В рамках технологического конкурса Up Great ПРО//ЧТЕНИЕ завершился первый цикл испытаний и объявлены победители номинаций «Грамматика» и «Грамматика.Eng».
Конкурс Up Great ПРО//ЧТЕНИЕ направлен на создание ИИ-ассистента, способного помогать учителям выявлять логические, фактические, стилистические и другие смысловые ошибки в сочинениях школьников по русскому языку, литературе, истории, обществознанию и английскому языку. Цель конкурса – стимулирование развития технологий сильного искусственного интеллекта и поддержка сообщества разработчиков в области машинного обучения.
Первый этап
В первом цикле конкурса приняли участие более 180 команд разработчиков. По результатам квалификации до испытаний были допущены 11 команд, показавших эффективные решения. В рамках испытаний ИИ-ассистенты проверили по 500 эссе и сочинений ЕГЭ на русском языке и столько же – на английском. Автоматизированная платформа сопоставила тексты, проверенные ИИ-ассистентами и реальными педагогами, и выявила наиболее качественные решения.
Победители специальных номинаций «Грамматика» и «Грамматика. Eng», чьи ИИ-системы корректно определили наибольшее количество грамматических и речевых ошибок, разделили призовой фонд в 20 млн руб.
Номинация «Грамматика» для текстов на русском языке
На первом месте «Ракета» (разработчики из МФТИ и МГУ им. Ломоносова) – 7 млн руб., на втором – «Антиплагиат» (разработчики «Антиплагиат») – денежный приз получат в другой номинации, согласно регламенту конкурса, на третьем – Chemist (разработчики из МФТИ) – 2 млн руб., на четвертом NugumanovTeam (разработчики из Уфы) – 1 млн руб.
Номинация «Грамматика.ENG» для текстов на английском языке
Первое место с призовыми 7 млн руб. заняла команда «НейроЧтение» (разработчики DeepPavlov), второе с призовыми 2 млн руб. – «Антиплагиат» (разработчики «Антиплагиат»), третье с призовыми в 1 млн руб. – «Наносемантика» (разработчики «Нейросети Ашманова» и сервиса ОРФО).
На кону 200 миллионов
В рамках основной задачи конкурса пока ни одна команда не достигла результата, соответствующего уровню педагогов. Участники смогут вновь побороться за призовой фонд конкурса в размере 200 млн руб. на испытаниях второго цикла, запланированных на весну 2021 г.
В ходе анализа текстов на русском языке лучший промежуточный результат показала команда «Антиплагиат» (уровень точности – 57,8%). Для английского языка наиболее качественное решение продемонстрировала команда «НейроЧтение» (уровень точности – 84,5%). В числе лидеров оказалась и команда из Санкт-Петербурга Seedh AI, а также команды «Ракета» и «Наносемантика». На данном этапе ИИ-ассистенты участников наиболее успешно справились с выявлением лексических, грамматических и речевых ошибок. Самые большие сложности возникают при определении логических ошибок.
ИИ-ассистенты
Решения участников планируются к пилотному внедрению и эксплуатации в 2021–2022 гг. в ряде школ в разных регионах России.
«Результаты испытаний показали, что задача по созданию ИИ-ассистента, способного выявлять все типы смысловых ошибок в текстах, вполне решаема на базе существующих технологий, – говорит глава оргкомитета технологического конкурса Up Great ПРО//ЧТЕНИЕ Юрий Молодых. – Команды показали эффективные решения, которые уже сейчас могут использоваться как эффективный помощник учителя в школе. Такой помощник сможет облегчить ежедневную рутинную работу педагога, позволив учителям сконцентрировать свои усилия на наиболее важных и сложных педагогических задачах, формировании логического и критического мышления».
Комментируя победу в конкурсе, заведующий Лабораторией нейронных систем и глубокого обучения МФТИ, команда «НейроЧтение», Михаил Бурцев отметил библиотеку DeepPavlov, на которой был построен оркестратор аннотаторов ошибок и навыков по их исправлению. Высокая скорость обработки сочинения – всего пять-шесть секунд – подтвердила, что библиотека готова работать с большими объемами данных в условиях реальной индустриальной нагрузки.
Исполнительный директор «Антиплагиат» Юрий Чехович уверен, что команде по силам на предстоящих этапах преодолеть технологический барьер, то есть создать решение, которое будет оценивать письменные работы не хуже живого преподавателя.
Конкуренция в Data Science
Если судить по опыту международных соревнований в Data Science, то регулярные состязания с гарантированными призами лучшим участникам – оптимальный вариант стимулировать разработки. Сильные команды в постоянном режиме заняты решением проблемы, начинающие – могут быстро показать, на что они способны.
Технологический конкурс Up Great ПРО//ЧТЕНИЕ, организованный РВК, Фондом «Сколково» и АСИ в рамках реализации Национальной технологической инициативы, при поддержке АНО «Школьная лига Роснано» и ДВФУ, проходит в несколько этапов и продлится до конца 2022 г.
В рамках соревнования сделана ставка на разработку ИИ-решений, способных находить смысловые, логические и фактические ошибки в текстах на естественном языке. Для победы предложенный инструмент должен справиться с этой задачей не хуже педагога. В ходе соревнований системы участников должны будут найти ошибки в нескольких сотнях эссе, при этом на решение по каждому тексту ИИ отводится всего 30 секунд.
