Новая нейросеть способна редактировать изображения по текстовому описанию

Специалисты американской IT-компании OpenAI создали нейросеть, способную редактировать изображения по словесному описанию желаемого результата, сообщает ZME Science в своём обзоре.

Компания OpenAI, известная по разработке моделей искусственного интеллекта, продемонстрировала нейросеть под названием GLIDE. Она способна не только генерировать изображения по текстовому описанию, но и редактировать существующие с сохранением экспозиции и стиля.

Теперь каждый пользователь может представить любое изображение, описать его словами и спустя несколько секунд получить результат. В научном издании называют эту технологию автоматизированным Photoshop.

Разработчики обучили сеть на 3,5 миллиарда параметров и протестировали её как с классификатором CLIP, так и автономно – второй подход оказался эффективнее и показал более высокое качество.

Несмотря на способность генерировать изображения с нуля, программа не всегда справляется со сложными описаниями. Поэтому разработчики оснастили нейросеть функцией "zero-shot generation". После введения текстового описания модель ищет существующее изображение, затем редактирует и закрашивает его. Правки соответствуют стилю и цвету исходного контента.

В обзоре признают, что GLIDE не идеален – некоторые запросы, описывающие необычные объекты или сценарии (например, описание автомобиля с треугольными колёсами), не дают изображений с удовлетворительными результатами.

 Официальная кодовая база для запуска модели GLIDE выпущена на GitHub.

Читайте также:

• В России Google оштрафовали на 7,2 млрд рублей
• В Турции заявили о разработке первого в мире дрона с лазерным оружием
• В Алматы госорганы через портал закупок приобрели пиратские программы Microsoft