Создание видео из текста

Сора — это модель искусственного интеллекта, которая может создавать реалистичные и творческие сцены из текстовых инструкций.


Мы учим ИИ понимать и моделировать физический мир в движении с целью обучения моделей, которые помогут людям решать проблемы, требующие взаимодействия в реальном мире.

Представляем Sora, нашу модель преобразования текста в видео. Sora может создавать видеоролики продолжительностью до минуты, сохраняя при этом визуальное качество и соответствие указаниям пользователя.

Сора способен создавать сложные сцены с несколькими персонажами, определенными типами движения и точными деталями объекта и фона. Модель понимает не только то, что пользователь запросил в командной строке, но и то, как эти вещи существуют в физическом мире.

Модель обладает глубоким пониманием языка, что позволяет ей точно интерпретировать подсказки и создавать убедительные символы, выражающие яркие эмоции. Сора также может создавать несколько кадров в одном видео, в которых точно сохраняются персонажи и визуальный стиль.

Безопасность
Мы предпримем несколько важных шагов по обеспечению безопасности, прежде чем сделать Sora доступной в продуктах OpenAI. Мы работаем с «красными командами»  —  экспертами в таких областях, как дезинформация, контент, разжигающий ненависть, и предвзятость  –  которые будут проводить состязательное тестирование модели.

Методы исследования
Сора — это диффузионная модель, которая генерирует видео, начиная с видео, похожего на статический шум, и постепенно преобразует его, удаляя шум на протяжении многих шагов.

Sora способна создавать целые видео одновременно или расширять созданные видео, чтобы сделать их длиннее. Обеспечивая модельное предвидение для многих кадров одновременно, мы решили сложную проблему: гарантировать, что объект остается неизменным, даже когда он временно выходит из поля зрения.