Основным препятствием для использования моделей машинного обучения в критических приложениях является проблема, связанная с устойчивостью алгоритмов данного класса к внешним воздействиям, выяснили представители НОШ МГУ «Мозг, когнитивные системы, искусственный интеллект» в рамках исследований на тему «Искусственный интеллект в кибербезопасности», проводимых на факультете ВМК МГУ. Результаты исследования опубликованы в International Journal of Open Information Technologies.
Природа атак на системы ИИ
Сегодня машинное обучение – синоним термина «искусственный интеллект», программы развития которого реализуются на национальном уровне во многих странах. Добавлять в приложения возможности машинного обучения становится проще: многие библиотеки машинного обучения и онлайн-сервисы не требуют глубоких знаний в этой области.
В опубликованной работе рассматривается проблема атак на системы машинного обучения с целью добиться желаемого поведения системы или воспрепятствовать ее корректной работе. Первым шагом к противодействию такого рода угрозам, по мнению ученых, является классификация, понимание их типов, мест приложения. Природа атак на системы машинного обучения и глубокого обучения отличается от других киберугроз.
Угроза состязательных атак
Даже для простых в использовании систем машинного обучения характерны свои проблемы. В частности, таковой для приложений машинного обучения является угроза состязательных атак. Под этим понимаются специальные воздействия на элементы конвейера системы, запускающие необходимое злоумышленнику поведение, например, неверную работу классификатора. Существуют также атаки, направленные на извлечение параметров модели.
«Эта информация поможет атакующему создать обманывающие систему примеры. Существуют атаки, которые позволяют проверить, например, принадлежность определенных данных к тренировочному набору и, возможно, раскрыть тем самым конфиденциальную информацию», – рассказал Евгений Ильюшин, сотрудник кафедры ИБ.
Состязательные атаки отличаются от других типов угроз безопасности. Они опираются на сложность глубоких нейронных сетей и их вероятностную природу, чтобы найти способы их применения и изменения поведения.
Манипуляции поведением моделей
«Состязательная атака часто используется в широком смысле для обозначения различных типов злонамеренных действий против моделей машинного обучения. Возможности обнаружить их с помощью классических инструментов, используемых для защиты программного обеспечения от киберугроз, нет», – пояснил Дмитрий Намиот, старший научный сотрудник Лаборатории открытых информационных технологий кафедры ИБ.
Состязательные атаки манипулируют поведением моделей машинного обучения. По одной версии, состязательные атаки обусловлены нелинейным характером систем, что приводит к существованию неохваченных алгоритмом генерализации областей данных. По другой – это, наоборот, переобучение системы, когда даже небольшие отклонения от тренировочного набора данных обрабатываются неверно.
Для критических вариантов применения машинного обучения остро стоит вопрос сертификации систем, моделей и наборов данных, по аналогии с традиционными системами программного обеспечения. Состязательные атаки вызывают проблемы с доверием к алгоритмам машинного обучения, особенно к глубоким нейронным сетям. Эти инструменты дают огромные возможности в самых разных областях и уже стали частью нашей жизни. Поэтому важно изучать их уязвимости и защищать от посягательств злоумышленников.
