Решение Сбера и НИУ ВШЭ позволит машинному обучению работать в десятки раз быстрее
Большинство задач в области анализа данных сводятся к прогнозированию на основе имеющихся данных. Это может быть задача классификации, когда нужно определить принадлежность объекта к определённому классу, или регрессии, когда нужно предсказать числовое значение. В практической работе часто возникают ситуации, где количество классов или размерность регрессии может быть очень большой.
В таких ситуациях исследователи прибегают к градиентному бустингу — продвинутому алгоритму машинного обучения, который решает задачи классификации и регрессии. Он строит предсказание в виде ансамбля слабых моделей. Из нескольких слабых моделей в итоге получается одна, но эффективная.
Глеб Гусев, директор Лаборатории искусственного интеллекта Сбербанка:
— Наши исследователи разработали уникальный фреймворк, который позволяет расширить границы применимости градиентного бустинга. Новый алгоритм способен показывать лучшие результаты в целом ряде задач, где ранее применялись только нейросетевые подходы. Предложенный подход строится на сжимании данных перед самым времязатратным этапом — поиском оптимальной структуры дерева. Это решение откроет новые возможности для исследования моделей в области машинного обучения с целью совершенствования технологий с использованием искусственного интеллекта.
Леонид Иосипой, эксперт Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ:
— Работа алгоритма градиентного бустинга похожа на гольф: чтобы загнать мяч в лунĸу, гольфист ударяет клюшкой по мячу, каждый раз исходя из предыдущего удара. Перед новым ударом гольфист смотрит на расстояние между мячом и лунĸой и стремится его сократить. Бустинг строится примерно так же: каждая новая модель стремится сократить ошибку уже построенного ансамбля моделей.
У градиентного бустинга есть проблема: в классификации с очень большим количеством классов может потребоваться практически бесконечное время на обучение модели.
Решая задачу классификации, алгоритм не просто определяет классы, которые соответствуют каждому объекту, он определяет вероятность принадлежности каждого объекта к каждому возможному классу. Таким образом, чем больше классов, на которые делятся объекты, тем больше результатов выдаёт алгоритм. Как следствие, растёт вычислительная сложность этого алгоритма.
Нашли ошибку - выделите текст с ошибкой и нажмите CTRL+ENTER
Другие материалы рубрики
Каждому второму пользователю сложно определить мошенническую рассылку в почте или мессенджере
Бессмертный полк онлайн вновь объединит миллионы людей по всей стране
Попасть в историю: как выглядят жилые объекты культурного наследия в России
Сергей Меламед возглавил дивизион «Малый и микробизнес» Сбербанка
Каждому второму пользователю сложно определить мошенническую рассылку в почте или мессенджере
Бессмертный полк онлайн вновь объединит миллионы людей по всей стране
Попасть в историю: как выглядят жилые объекты культурного наследия в России
Сергей Меламед возглавил дивизион «Малый и микробизнес» Сбербанка
Главполитген: «Мельниченко собрал портфель проектов, которые работают на федеральную повестку»
Владимир Путин провел встречу с Олегом Мельниченко
Вадим Супиков принял участие в обсуждении развития АПК и кадрового обеспечения здравоохранения в ПФО
Вадим Супиков принял участие в церемонии возложения цветов к Вечному огню в Йошкар-Оле
