Состоялась четвертая открытая конференция OpenTalk.AI, на которой обсуждались наиболее общие аспекты применения технологий искусственного интеллекта и нейронных сетей. Конференция началась с дня дистанционных лекций, который проводились только в онлайн-режиме и на которых можно было ознакомиться с современным положением дел в области применения искусственного интеллекта и наиболее перспективным методам обучения нейронных сетей. В первый очный день рассматривались вопросы использования искусственных нейронных сетей для машинного зрения и ведения диалогов на естественном языке, а вот второй день был посвящен наиболее общими проблемам применения нейронных сетей – «обучению с подкреплением» и универсальному искусственному интеллекту.
Искусственный интеллект – машинное обучение
Лучших результатов «универсализации» искусственного интеллекта удалось добиться при использовании киберфизических систем или Embodied AI, то есть искусственный интеллект используется для решения задач управления физическим роботом, отдавая исполнительным механизмам последнего определенные команды и наблюдая за тем, что происходит. Первой задачей для такой киберфизической системы является ориентация в пространстве и вообще изучение пространства, в которое попал робот. Здесь и начинают работать методы обучения с подкреплением, в которых за определенные действия робот получает награду, а за некоторые – наказание. Именно этим методом роботов учит играть во всякие игры с неизвестными для них правилами.
Именно с помощью обучения с подкреплением удалось научить робота ставить в соответствие объекты на карте и предметы, которые он видит собственной камерой. Это позволяет роботу передвигаться в помещении по заданным координатам, используя для ориентации собственные камеры, не сталкиваясь с препятствиями и находя, хотя и не оптимальный, но всё-таки достижимый путь к указанной цели. Оказалось, что быстрее робот выполняет подобную задачу, если ему поставлена не только конечная цель, но и несколько промежуточных – плотность подкрепления помогает ему лучше искать путь к конечной цели.
Впрочем, далеко не всегда киберфизический интеллект учиться на реальных объектах. Сейчас разработана цифровая технология обучения физических роботов в симуляторе, где картинка создаётся в виртуальной реальности, в которой робот также может перемещаться и выполнять поставленные перед ним задачи. Первичное обучение роботов, скорее всего, лучше делать именно в виртуальной реальности, поскольку при обучении с подкреплением часто работы идут на “самоубийственные” действия, за которыми традиционно следует наказание, но физическое тело робота при этом может пострадать. Виртуальная реальность предоставляет широкие возможности для любых экспериментов, а потом уже полученный опыт роботу можно будет проверить и на реальном физическом объекте.
Следует отметить, что автономные автомобили как раз учатся управлению с помощью метода «обучения с подкреплением», когда они стремятся управлять автомобилем максимально повторяя действия человека. В этом случае вначале человек проезжает определенный маршрут и передаёт запись роботу, который старается повторить все действия человека. Правда, обычно в таком опыте нет аварийных ситуаций, поскольку человек старается в них не попадать, но если робот попадет в такую ситуацию, то он просто не будет знать, что ему делать. Именно поэтому обучение в виртуальной реальности с разбором аварийных ситуаций, возможно, поможет роботам лучше ориентироваться на дороге и в реальной жизни.
Эффективность обучения роботов и универсальность ИИ
Следует отметить, что метод обучения с подкреплением позволяет максимально близко подойти к решению задачи универсального искусственного интеллекта – полноценного робота, как их представляют писатели-фантасты. Собственно, “Три закона робототехники” Айзека Азимова вполне могут быть реализованы в виде правил для получения положительных подкреплений и наказаний. Конечно для универсального киберфизического интеллекта важны будут не только положительные и отрицательные оценки, но и состояние собственных ресурсов, тем не менее методика обучения наиболее универсальных роботов вполне может быть для этого применена. Так что, вполне возможно, что роботы из научно-фантастических романов в скором времени появится и в коммерческой эксплуатации.
