В Москве прошел Analyze IT Meetup, организованный «Альфа-Банком». Ключевой темой мероприятия стало использование искусственного интеллекта (ИИ) в работе системных аналитиков. Спикеры поделились примерами применения AI для генерации документации, продемонстрировали работу с большими языковыми моделями и обсудили потенциальные угрозы, связанные с их использованием.
Иван Шелапутов, руководитель направления по развитию ИТ-систем, рассказал о том, как ИИ-агенты могут существенно облегчить процесс формирования системной документации для микросервисов. Эксперт отметил, что одним из ключевых решений для оптимизации работы является использование частной большой языковой модели, такой как ChatGPT.
Он подробно рассказал о продуктах, находящихся в разработке: «Первое решение – это обращение к внутренней разработке модели, чтобы ничего не уходило в Интернет. Все находится под контролем банка». Это обеспечивает высокий уровень конфиденциальности и безопасности данных. Кроме того, докладчик представил IDE-плагин, который значительно упрощает жизнь разработчиков: «Этот плагин помогает дополнить код, предложить реализацию или переписать его. Мы хотим, чтобы разработчики могли взаимодействовать с моделью прямо в среде разработки», – добавил Иван. Модель, с которой работает плагин, была создана на основе данных, собранных внутри банка.
Иван Шелапутов также рассказал о третьем решении – агентах на базе собственного интеллекта: «Эти сервисы работают автономно, отвечают на запросы пользователей и выполняют различные действия в их среде». Все решения ориентированы на ИT-отделы, однако есть планы по созданию мобильных решений для более широкого использования: «Мы разрабатываем инструменты для общих задач, такие как транскрипция встреч в нашем видеосервисе или работа с большими файлами».
Эксперт подчеркнул, что направление AlfaGen активно расширяется: «Мы добавляем новые функции и инструменты». В частности, планируется интеграция агента в мессенджер, который будет помогать пользователям выбирать задачи для выполнения.
Иван Шелапутов поделился планами по развитию, которые включают поддержку новых сценариев работы, таких как генерация документации на новые методы, обновление существующей документации, полная перегенерация документации на сервисы и создание документации для новой функциональности по требованиям аналитиков. Кроме того, предусмотрена генерация описания таблиц баз данных и документации для микросервисов без API, включая микросервисы-консьюмеры. Планируется поддержка API-сервисов на JavaScript и TypeScript, что позволит значительно улучшить процесс разработки и документирования.
Андрей Кнутсон, старший системный аналитик «Альфа Банка», рассказал о больших языковых моделях. LLM могут быть полезны в разработке и управлении проектами. Они помогают в структурировании требований, создании технических заданий, проектировании API и диаграмм, описании задач в Jira, проектировании баз данных, объяснении кода и анализе логов. Кроме того, LLM упрощают написание деловых писем и расшифровку встреч, что повышает эффективность командной работы и коммуникации.
Эксперт дал необычный совет в использовании Chat GPT: «Если хотите получить более релевантный ответ, попросите его подумать, результат станет лучше».
«Мы должны учитывать безопасность на каждом этапе восстановления продукта: во время разработки – писать безопасный код, во время тестирования – проверять уязвимости, а на этапе внедрения – обеспечивать защиту. Безопасность должна быть в центре внимания на каждом этапе процесса. Тогда наши продукты станут намного безопаснее, и мы значительно усложним жизнь нашим врагам», – сказал Артем Гринько, главный технический лидер ДАКРП.
Выступающий также докладчик осветил уязвимости, связанные с использованием языковых моделей. Первая из них – инъекция промпта. Этот метод включает в себя специальные входные инструкции, которые могут манипулировать выводом модели. В результате инъекции ИИ может выполнять действия, выходящие за рамки его предполагаемого функционала. Например, злоумышленники могут заставить языковую модель вызывать инструменты с опасными или некорректными аргументами, что может привести к зацикливанию вызовов и другим нежелательным последствиям.
Вторая уязвимость – косвенное внедрение промпта. В этом случае злоумышленник доставляет промпт через внешний источник, например, включая его в обучающие данные или вывод из вызова API. Это позволяет проводить XSS-атаки на других пользователей, что значительно увеличивает риски безопасности при взаимодействии с языковыми моделями. Таким образом, важно учитывать эти уязвимости и принимать меры для их предотвращения на всех этапах разработки и внедрения ИИ.
Analyze IT Meetup продемонстрировал важность интеграции искусственного интеллекта в работу системных аналитиков. Спикеры поделились ценными практическими примерами, которые показали, как AI может значительно упростить жизнь. Андрей Кнутсон отметил: «Chat GPT нас не заменит. Он пока далек от истины, но люди, которые умеют его использовать, могут в разы повысить свою производительность».
