Яндекс представил YandexART 2.0, способную генерировать тексты на изображениях, создавать логотипы и рекламные баннеры.
Компания «Яндекс» представила новое поколение визуальной нейросети – YandexART 2.0. Модель научилась создавать надписи прямо на изображениях, придерживаться нескольких стилей на одной картинке, располагать объекты в пространстве и относительно друг друга более естественно и учитывать при генерации больше деталей из текстового запроса.
Пользователи могут применять новые возможности, чтобы развивать своё дело, например: создать логотип для бренда, этикетку продукта, иллюстрации для сайта и постов в социальных сетях, а компании – чтобы повысить эффективность рекламных и маркетинговых кампаний.
Гибридная архитектура модели
В основе YandexART 2.0 – собственная разработка компании – новая гибридная архитектура модели, сочетающей качество работы свёрточной и трансформерной нейросетей.
Свёрточная модель работает по принципу человеческого глаза и выявляет на картинке важные признаки – края, текстуры и формы. При этом нейросеть с такой архитектурой не умеет учитывать длинный контекст (поэтому ей трудно справляться с большим количеством деталей в промтах), зато это умеет трансформер.
Объединение двух этих моделей в YandexART 2.0 позволило ей точнее следовать текстовым запросам. Теперь она умеет придерживаться нескольких стилей в одном изображении и может, например, сгенерировать фотореалистичную банку лимонада, на этикетке которой будет аниме-персонаж.
YandexART обучалась на сотнях миллионов пар картинок и текстовых описаний к ним. Чтобы повысить качество этих текстов и сделать их более точными, Яндекс использовал собственную VLM-модель. Она анализировала изображения и детально описывала, что на них находится. Обучение YandexART 2.0 на улучшенных данных помогло нейросети учитывать больше деталей из запроса пользователя.
Визуальные нейросети могут генерировать отдельные буквы. Но для составления из них слов требуется дополнительное обучение на большом количестве примеров. Яндекс расширил обучающий дата-сет YandexART 2.0 несколькими сотнями тысяч изображений с текстом. Так нейросеть научилась создавать надписи латинскими буквами на картинках.
Система оценки
Для замера качества работы нейросети Яндекс разработал новую систему оценки, основанную на четырех параметрах: релевантность, эстетичность, дефектность и комплексность, то есть сложность и детализированность картинки. Например, YandexART 2.0 выиграла у Midjourney v6.1 в 66% случаев по критерию комплексности, в 58% – по эстетичности и практически сравнялась по доле побед в релевантности запросам пользователей.
Для бизнеса
YandexART 2.0 доступна на облачной платформе Yandex Cloud. Её можно использовать через API, чтобы интегрировать генерацию изображений в свои приложения, а также протестировать в демо-режиме, чтобы подобрать оптимальный промт. Нейросеть лучше понимает запросы пользователя, поэтому компании смогут быстрее и качественнее создавать реалистичные изображения для маркетинговых и рекламных кампаний. Предприниматели смогут генерировать иллюстрации для статей и социальных сетей, создавать баннеры или разрабатывать варианты брендирования одежды.
Нейросеть тестируют клиенты Yandex Cloud. Например, сервис Text.ru на базе YandexART создал Нейропомощника Иллюстратора, который позволяет авторам оформлять материалы для своего сайта, блога, канала, группы или магазина на маркетплейсе.
Генеративные нейросети Яндекса использует сервис presentsimple.ai, который автоматически создаёт презентации для работы или учёбы по текстовому запросу. Сервис анализирует и систематизирует материалы с помощью YandexGPT, а изображения к слайдам генерирует с помощью YandexART.
С помощью YandexART 2.0 уже можно создавать рекламные объявления в Яндекс Директе. Сейчас 11% рекламодателей используют картинки, сгенерированные с помощью YandexART внутри сервиса. По результатам экспериментов, использование нейрообъявлений в сочетании с собственными креативами может повысить эффективность рекламной кампании на 10–15%.
Для пользователей
Пользователи могут применять возможности нового поколения YandexART для решения повседневных и творческих задач в чате с виртуальным ассистентом Алисой при подключении опции Про.
Алиса может сгенерировать картинку, дополнить её и изменить так, как захочет пользователь. Промты можно уточнять прямо в режиме диалога. Например, сначала сказать: «Алиса, нарисуй свечу ручной работы», а после получения результата добавить: «вокруг еловые ветви». Виртуальный ассистент поможет создать аватарку для соцсети или иконку для приложения, логотип или принт на футболку, смешную открытку для друга или иллюстрацию для поста.
Пользователи, которые подключили опцию Алису Про, могут безлимитно создавать изображения в мобильной и десктопной версии в разных форматах. Генерация картинок займет всего несколько секунд.
Диффузионная нейросеть
Yandex AI Rendering Technology (YandexART) – диффузионная нейросеть, которая создаёт и улучшает изображения и анимацию, а также обрабатывает загруженные фотографии в ответ на текстовые запросы. Она обучалась на примере 850 млн картинок с описанием, знает российский культурный код и использует особый алгоритм распознавания текстов, чтобы точнее понимать пожелания пользователей.
В числе других возможностей YandexART – качественная проработка мелких деталей, работа в заданном художественном стиле и создание фотореалистичных портретов.
Нейросеть интегрирована в Шедеврум и Алису, используется в Яндекс Бизнесе, Директе, Браузере и Маркете. Кроме того, компании могут получить доступ к API YandexART в Yandex Cloud.
Иллюстрацию предоставлены: Внешняя пресс-служба Yandex Cloud
