В сборнике ICLR (A*), одной из самых известных в мире конференций по искусственному интеллекту и машинному обучению, опубликована статья «Ограничения языковых моделей в понимании химии: исследование на примере задачи описания молекул», которую подготовили специалисты Сбера и Института AIRI.
Нейросетевые языковые модели уже решают широкий круг задач в сфере естественных наук. В химии они используются для автоматической обработки данных, например для синтеза новых и лучшего понимания существующих молекул. В таком подходе атомы представляются в виде букв, а молекулы — составленных из этих букв слов. Модель создаёт текстовое описание характерных химических свойств молекулы (растворимость в воде, принадлежность к определённому классу веществ и прочее. Ученые постарались выяснить, меняется ли качество сгенерированного моделью описания молекулы в зависимости от исходного запроса.
Исследование показало, что даже незначительное изменение входного слова снижает достоверность описания, которое готовит AI-модель, и увеличивает количество ошибок, в том числе при генерации описания молекулы. Простейших знаний из школьного курса химии достаточно, чтобы обмануть химические языковые модели, на порядок повысив количество их ошибок при решении задач понимания химических структур, например, задачи генерации описания молекулы.
Полученный результат может привести к глубокому пересмотру существующего подхода к автоматической обработке химических данных, что в свою очередь приведет к повышению надёжности нейросетевых химических моделей.
Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка:
«Нейросетевые модели помогают химикам описывать молекулы, предсказывать результаты химических реакций, синтезировать новые соединения и так далее. Учёные заинтересованы в дальнейшем развитии подобных моделей, но для этого нужно чётко понимать их слабые места. Наше исследование обнаружило, что пока AI-модели неустойчивы к простейшим тождественным преобразованиям входных молекул. Таким образом, чтобы повысить надёжность нейросетевых химических моделей, необходимо кардинально пересмотреть подход к автоматической обработке химических данных».
Иван Оселедец, генеральный директор Института искусственного интеллекта AIRI, профессор Сколтеха:
«В области химии LLM можно использовать для таких задач, как открытие лекарств, прогнозирование химических свойств или реакций. LLM могут помочь химикам в разработке новых молекул с конкретными свойствами, создавая виртуальные библиотеки соединений и предлагая потенциальных кандидатов для синтеза. Чтобы ИИ-модели стали полноценным инструментом в лаборатории, а не одним из вариантов, которые можно попробовать ради интереса, потратив затем множество часов на проверку результата, важно исследовать и моделировать все потенциальные сценарии использования. Изучая, как LLM выполняют конкретные задачи, можно повысить их точность, эффективность и надежность».
Авторы исследования продолжают работу в этом направлении. Планируется разработать метрику для сопоставления представлений молекул в скрытых слоях сетей. В дальнейшем будут рассмотрены языковые модели других классов и архитектур и создана метрика для сопоставления уровня знания химии в разных моделях.
Учёные уверены: в будущем сильные AI-модели освободят исследователей от необходимости описывать свойства новых синтезированных молекул, ускорят разработку новых лекарств и позволят создавать принципиально новые препараты.
