Алгоритм понимания естественного языка NLU (Natural Language Understanding) Microsoft DeBERTa превзошел человеческие возможности в одном из самых сложных тестов для подобных алгоритмов SuperGLUE. На данный момент модель занимает первое место в рейтинге с показателем в 90,3, в то время как среднее значение человеческих возможностей составляет 89,8 баллов.
Свежий рейтинг алгоритмов по прохождению теста SuperGLUE можно посмотреть на этой странице – https://super.gluebenchmark.com/leaderboard/.
SuperGLUE
Тест SuperGLUE включает в себя ряд задач, которые разработаны для оценки способности ИИ-моделей распознавать и понимать естественный язык, например, дать правильный ответ на вопрос на базе прочитанного абзаца, определить, правильно ли используется многозначное слово в определенном контексте и т.д. Тест был разработан группой исследователей в 2019 году. Когда был представлен SuperGLUE, разрыв между самой эффективной моделью и показателями человека в таблице лидеров составлял почти 20 баллов.
Для того чтобы добиться текущего результата в 90,3 балла, модель DeBERTa получила масштабное обновление архитектуры: теперь она состоит из 48 слоев и имеет 1,5 млрд параметров. Microsoft сделает публичной свою модель и ее исходный код. Кроме того, DeBERTa будет интегрирована в следующую версию Тьюринговой модели – Microsoft Turing NLRv4.
Тьюринговые модели используются сегодня в таких продуктах Microsoft, как Bing, Office, Dynamics и Azure Cognitive Services, чтобы совершенствовать, например, взаимодействие с чат-ботами, предоставление рекомендаций и ответов на вопросы, поиск, автоматизацию поддержки клиентов, создание контента и решение многих других задач на пользу сотен миллионов пользователей.
Особенности DeBERTa
В отличие от других моделей, DeBERTa учитывает не только значения слов, но также их позиции и роли. Например, в предложении «a new store opened beside the new mall» (англ. «новый магазин открылся рядом с торговым центром») она может понять, что близкие по контекстному значению «store» («магазин») и «mall» («торговый центр») играют разные синтаксические роли (подлежащим здесь является именно «store»).
Более того, эта модель способна определять зависимость слов друг от друга. Например, DeBERTa понимает, что зависимость между словами «deep» и «learning» гораздо сильнее, когда они стоят рядом (термин «глубокое обучение»), чем когда они встречаются в разных предложениях.
Несмотря на то, что новая модель DeBERTa превзошла человеческие показатели в тесте SuperGLUE, это еще не означает, что ИИ-модель достигла уровня человека в понимании естественного языка. В отличие от машин, люди хорошо умеют использовать свои знания, ранее полученные при выполнении различных задач, для решения новых – это называется «композиционным обобщением» (англ. compositional generalization). Поэтому, несмотря на многообещающие результаты DeBERTa в тесте, необходимо продолжить исследования, для того чтобы развить у модели этот навык.
Microsoft сейчас активно работает над усовершенствованием технологий искусственного интеллекта. Так, в октябре 2020 года был представлен прогрессивный ИИ-алгоритм для автоматической генерации подписей к изображениям, которые во многих случаях оказываются более точными, чем написанные людьми. Это позволит сделать продукты и сервисы Microsoft еще более инклюзивными и доступными для большего количества пользователей.
В первую очередь, автоматическое описание помогает людям с нарушениями зрения при работе с документами или веб-страницами, а также в целом позволяет получить доступ к содержимому любого изображения, к примеру, при поиске или подготовке презентаций.
Второе и третье места пьедестала
Если мы вернемся к рейтингу алгоритмов по прохождению теста SuperGLUE и посмотрим на то, кто занял в нем второе и третье места, то увидим, что вторым является вовсе не человек, а также система искусственного интеллекта – T5 + Meena, которая была создана корпорацией Google. T5 + Meena достигла результата в 90,2 балла, таким образом, ИИ от Google всего на 0,1 балла уступил DeBERTa искусственному разуму компании Microsoft.
Портал VentureBeat заявил о том, что на момент публикации результатов тестирования в SuperGLUE корпорация Google, в отличие от Microsoft, отказалась раскрывать какие-либо подробности о своей модели искусственного интеллекта, так что остается непонятным, за счет чего ей удалось добиться столь высоких показателей в этом бенчмарке.
Человек сегодня, увы, занимает лишь третье место в этом рейтинге теста SuperGLUE, однако не стоит сильно огорчаться по этому поводу – до «терминатора» и «восстания машин» еще очень и очень далеко.
