Сбер представил новую версию нейросети Kandinsky 3.0. Модель теперь еще лучше понимает текстовые запросы и за несколько секунд создает реалистичные изображения, в том числе на тему культуры России.
Очередная версия генеративной модели для творчества Kandinsky 3.0 была представлена на конференции Сбера по искусственному интеллекту и машинному обучению AI Journey, которая проходит с 22 по 24 ноября.
По сравнению с предыдущими версиями она лучше понимает текстовый запрос пользователя. Нейросеть научилась создавать ещё более фотореалистичные изображения, генерировать полноценные художественные картины и арты со скетчами. Модель работает с запросами из широкого списка тем и способна реализовать любой полёт фантазии.
Знаток, художник, полиглот
Kandinsky 3.0 превзошла предыдущие версии по знанию элементов отечественного культурного кода. Так, значительно улучшилось качество генерации российских и советских известных личностей и персонажей, архитектурных достопримечательностей, объектов культуры и элементов народного искусства России, например гжельской росписи. Кроме того, у новой модели усовершенствована функция редактирования изображений и возможность их дорисовки в режиме бесконечного полотна (inpainting и outpainting).
Kandinsky 3.0 создаёт изображения с высоким разрешением — 1024 х 1024 пикселей, — при этом может синтезировать картинки с выбранным соотношением сторон. Для обучения нейросети разработчики использовали обновлённый датасет в размере 1,5 млрд пар «текст — изображение», содержащий данные, которые прошли многоэтапные процедуры фильтрации, что в итоге привело к заметному повышению качества генераций.
Пользователи нейросети Kandinsky 3.0 также могут создавать видеоролики по текстовому описанию в режиме анимации. По одному запросу генерируется видео длиной в четыре секунды c выбранным эффектом анимации, с частотой 24 кадра в секунду и разрешением 640 x 640 пикселей. Синтез одной секунды видео в среднем занимает около 20 секунд. Для расширения возможностей базовой модели были реализованы разные виды анимации изображений, что позволило перемещать объекты, приближать и отдалять их, оживлять статику всеми возможными способами. В основе режимов анимации лежит функция перерисовки изображения по текстовому описанию (image2image).
Kandinsky 3.0 понимает запросы более чем на 100 языках, а пользователи могут создавать изображения в неограниченном количестве стилей. Модель разработали и обучили исследователи Sber AI при партнёрской поддержке учёных из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и компании SberDevices.
