Alibaba открыла доступ к самой мощной ИИ-модели для создания реалистичных видео. Она полностью бесплатна

Китайская компания Alibaba сделала свою модель искусственного интеллекта Wan 2.1 для генерации реалистичных изображений и видео общедоступной, сообщает Reuters.

Модель, выпущенная в январе, заняла лидирующие позиции среди аналогичных ИИ в рейтинге VBench, особенно выделяясь в таких аспектах, как взаимодействие между объектами. VBench – это рейтинг, который оценивает модели искусственного интеллекта для генерации видео. Он анализирует их по нескольким ключевым параметрам, таким как реалистичность, качество анимации, способность к взаимодействию объектов в кадре и другие характеристики.

Wan 2.1 представлена в четырёх вариантах, каждый из которых предназначен для различных задач и обладает определёнными характеристиками:

• T2V-1.3B: модель "текст-видео" с 1,3 млрд параметров. Оптимизирована для работы на потребительских видеокартах, требуя 8,19 ГБ видеопамяти для генерации пятисекундного видео в разрешении 480p за четыре минуты на GPU RTX 4090;
• T2V-14B: модель "текст-видео" с 14 млрд параметров. Поддерживает генерацию видео в разрешениях 480p и 720p, способна создавать видеоролики на китайском и английском языках;
• I2V-14B-480P: модель "изображение-видео" с 14 млрд параметров, генерирующая видео в разрешении 480p. Предназначена для создания видеороликов на основе предоставленных изображений, обеспечивая сложные визуальные сцены и движения;
• I2V-14B-720P: модель "изображение-видео" с 14 млрд параметров, генерирующая видео в разрешении 720p. Также используется для преобразования изображений в видеоролики с высоким качеством и детализацией.

Сейчас модель Wan 2.1 доступна только для локального использования, что требует её скачивание и установку на компьютер или ноутбук.

Alibaba разместила предобученные версии модели, готовые к использованию, а также инструменты для её интеграции и тестирования на платформах ModelScope и HuggingFace. Это облегчает доступ к модели и её применение в различных проектах без необходимости самостоятельной настройки с нуля.

Полный исходный код модели Wan 2.1, включая необходимые файлы, инструкции для её установки и использования, доступны на платформе GitHub.