Сбер продолжает развивать русскоязычную нейросеть ruGPT-3, которая уже способна генерировать очень сложные осмысленные тексты всего лишь по одному запросу на «человеческом» языке. С момента презентации нейросети на AI Journey 2020 количество ее параметров выросло почти вдвое – с 760 млн до 1,3 млрд. Это огромный шаг вперед в обработке естественного языка методами искусственного интеллекта в России.
Языковая модель GPT-3
Напомним, что GPT-3 (Generative Pre-trained Transformer) – крупнейшая языковая модель в мире, разработанная компанией OpenAI для решения любых задач на английском языке. На русском языке, более сложном с точки зрения его структуры, до появления системы ruGPT-3 аналогичных качественных моделей просто не существовало.
Отечественная GPT-3 постоянно обучается на суперкомпьютере Сбера «Кристофари» на гигантском массиве данных, так что ее возможности растут с каждым днем.
RuGPT-3 может не только создавать тексты любого профиля (новости, романы, стихи, пародии, техническую документацию и так далее), но также исправлять грамматические ошибки, вести диалоги и писать программный код. По сути дела, это прообраз «общего», или так называемого «сильного», искусственного интеллекта AGI (Artificial General Intelligence), способного уже сегодня решать разноплановые задачи в различных сферах человеческой деятельности.
Конференция AI Journey
Александр Ведяхин, первый заместитель председателя Правления Сбербанка, сообщил, что на международной конференции AI Journey в декабре 2020 года представители Сбера продемонстрировали ruGPT-3 и анонсировали дальнейшее наращивание ее возможностей. Совместно с командой из SberDevices специалисты Сбера выполняют это обещание и уже довели число параметров нейросети с 760 млн до 1,3 млрд. Этот количественный рост означает качественное улучшение «интеллекта» системы, ее способности решать новые задачи на уровне, сопоставимом с человеческим, или выше него.
Однако вычислительные мощности суперкомпьютера Сбера «Кристофари» позволяют специалистам ставить еще более амбициозные цели, так что 1,3 млрд параметров – это только начало.
Место в рейтинге нейросетей
Сеть ruGPT-3 XL на 1,3 млрд параметров на данный момент занимает первое место в лидерборде (рейтинге) нейросетей Russian SuperGLUE. С помощью метода few-shot данная модель без какого-либо обучения лучше всех выполнила следующие задачи:
- выбор лучшего решения в заданных условиях (+10% точности по сравнению с предыдущей версией на 760 млн параметров);
- ответы на вопросы по тексту (+3% точности);
- машинное чтение (тест на понимание общего смысла текста) (+32% точности).
Лидерборд Russian SuperGLUE – это первый рейтинг нейросетей для русского языка. Место в этом рейтинге зависит от того, насколько качественно та или иная нейросеть выполняет задания на логику, здравый смысл, целеполагание и понимание смысла текста. Лидерборд был разработан командой AGI NLP (Artificial General Intelligence Natural Language Processing). Это открытый проект, которым пользуются все исследователи данных, работающие с русскоязычными нейросетями.
Результаты данного рейтинга публикуются на сайте https://russiansuperglue.com/ru/.
