Он будет применим в генерации и обработке изображений и текстов, а также при решении задач обучения с подкреплением, в том числе — в медицине.
Ученые из Института AIRI и Сколтеха предложили новый подход к решению обширного класса сложных вычислительных задач на основе Оптимального Транспорта (ОТ), повсеместно применимых в машинном обучении и математическом моделировании. Метод позволит ускорить обучение моделей от 3 до 10 раз. Исследователи представят разработку в Ванкувере в ходе NeurIPS 2024, одной из крупнейших мировых ИИ-конференций.
Методы оптимального транспорта сегодня все чаще используются при обучении генеративных моделей для синтеза искусственных данных, например — изображений или текстов. Еще одно значимое применение — адаптация моделей к данным из новых источников, что особенно актуально в медицине, где работа часто связана с небольшими и разрозненными выборками. Однако существующие методы решения задач ОТ при помощи нейросетей сталкиваются с рядом проблем, таких как высокая нестабильность обучения и необходимость сложных промежуточных преобразований.
Ключевым преимуществом предложенного учеными метода, реализованного на фреймворке JAX и получившего название ENOT, стало внедрение энтропийной регуляризации. Это позволило достичь значительного ускорения вычислений — от 3 до 10 раз — и улучшения целевых метрик качества работы моделей. Первоначально эксперименты проводились на двумерных данных, а позднее метод был протестирован на задачах генерации изображений, переносе стиля и реконструкции трехмерных объектов, что подтвердило его универсальность.
«Предложенный нами метод является самым быстрым и точным на сегодняшний день. Что касается практического применения, то задачи оптимального транспорта мультидисциплинарны, поэтому он может применяться в самых разных областях. В частности, мы применяли его для обучения имитации — когда эксперт показывает определенные действия, агент пытается имитировать поведение, и система оценивает, насколько действия агента похожи на действия эксперта. Примером может служить урок танцев, когда преподаватель показывает движение, а ученик пытается его повторить», –– объяснил Назар Бузун, руководитель группы «Обучение Представлений»лаборатории «Сильный ИИ в медицине» Института AIRI.
«Несмотря на теоретический формат статьи, в основе метода лежит интуитивно понятная идея – предлагается «стягивать» генерируемое к ожидаемому. Мне кажется, сегодня в нашей области слишком много «черных ящиков». Конечно, десятикратное ускорение ––это весомый аргумент, но я думаю, что рецензентам NeurIPS наш метод понравился именно своей интуитивностью», –– отметил директор лаборатории «Сильный ИИ в медицине» Института AIRI и доцент центра технологий ИИ Сколтеха Дмитрий Дылов.
Метод быстро нашел отклик в научном сообществе: принятую на конференцию статью определили в Spotlight– дополнительный трек конференции, в рамках которого авторам лучших работ по версии рецензентов предоставляется дополнительное время для доклада. Кроме того, авторы одного из основных решений по теме ОТ (ott—jax) достаточно быстро имплементировали метод в свою библиотеку.
