Rhubarb Lip Sync

Rhubarb Lip Sync — это инструмент для автоматического создания анимации рта по аудиозаписи. Он анализирует речь и генерирует данные о том, какая форма губ должна отображаться в каждый момент времени. Подходит для игр, мультфильмов и любых проектов, где нужно синхронизировать движение губ персонажа с голосом.

Что такое Rhubarb Lip Sync

Rhubarb Lip Sync — это консольная утилита с открытым исходным кодом, которая превращает голосовую дорожку в набор мимических команд. Она не создаёт анимацию сама, а выдаёт файл с таймингами и названиями форм рта, который затем используется в программах для анимации. Разработчик — Daniel Wolf, проект распространяется бесплатно по лицензии MIT.

• Тип: нейросеть (инструмент автоматической липсинк-анимации);
• Платформы: Windows, macOS, Linux (консольная утилита);
• Языки интерфейса: английский (интерфейс командной строки);
• Регистрация: не нужна;
• Бесплатно: да, полностью бесплатно, включая коммерческое использование;
• Интеграции: Adobe After Effects, Moho, OpenToonz, Spine, Vegas Pro, Visionaire Studio, Blender (через аддоны), Godot, Ren’Py.

Основные функции Rhubarb Lip Sync

Сервис закрывает одну конкретную задачу — автоматическую синхронизацию губ с аудио. Он не рисует персонажа и не создаёт видео, но избавляет аниматора от ручной расстановки мимики по кадрам.

• Автоматический анализ аудио — утилита распознаёт речь и определяет, какие звуки произносятся в каждый момент.
• Генерация данных о форме рта — на выходе получается файл с таймингами и названиями форм губ (A, B, C, D, E, F, G, H, X).
• Поддержка нескольких форматов экспорта — TSV, XML, JSON, DAT (для Moho и OpenToonz).
• Два движка распознавания речи — PocketSphinx для английского и фонетический анализатор для других языков.
• Опция указания текста диалога — если дать утилите текст реплики, точность распознавания повышается.
• Настройка набора форм рта — можно использовать только шесть базовых форм или добавить расширенные (G, H, X).
• Многопоточная обработка — скорость работы зависит от количества ядер процессора.

Как пользоваться Rhubarb Lip Sync

Работа с утилитой строится через командную строку. Сначала нужно скачать сборку для своей операционной системы, затем вызвать исполняемый файл с нужными параметрами.

1. Скачайте архив с официальной страницы на GitHub и распакуйте его в любую папку.
2. Откройте командную строку или терминал и перейдите в папку с утилитой.
3. Вызовите команду вида rhubarb -o output.txt recording.wav, указав входной аудиофайл и имя выходного файла.
4. При необходимости добавьте параметры: -r phonetic для неанглийской речи, -f json для выбора формата, -d dialog.txt для указания текста диалога.
5. Дождитесь завершения обработки — утилита выведет прогресс в консоль.
6. Полученный файл с данными о мимике импортируйте в программу для анимации (After Effects, Moho, Spine и т.д.).

Регистрация и тарифы Rhubarb Lip Sync

Регистрация не требуется. Утилита распространяется бесплатно и с открытым исходным кодом. Никаких подписок, лимитов на количество обработок или платных тарифов нет.

• Лицензия: MIT — можно свободно использовать, изменять и распространять, в том числе в коммерческих проектах.
• Бесплатный доступ: полный, без ограничений по количеству обработок.
• Регистрация: не нужна.
• Вход через Google, Apple или почту: не предусмотрен.
• Ограничения: зависят только от производительности вашего компьютера и формата входного аудио (поддерживаются WAV и OGG).

Особенности Rhubarb Lip Sync

Утилита ценится за простоту интеграции в существующие пайплайны анимации и за то, что не требует ручной работы над каждым кадром.

• работает через командную строку, что позволяет встраивать её в скрипты и автоматизировать обработку;
• поддерживает не только английский, но и другие языки за счёт фонетического распознавателя;
• доступны сборки для Windows, macOS и Linux;
• не требует регистрации, оплаты или подключения к интернету после скачивания;
• экспорт в TSV, XML, JSON и DAT — можно выбрать формат под конкретную программу;
• есть готовые скрипты и аддоны для After Effects, Spine, Moho, OpenToonz, Vegas Pro, Blender, Godot и Ren’Py;
• подходит для инди-разработчиков и небольших студий, которым нужно быстро озвучить персонажей без ручной анимации губ.

Для кого подойдёт Rhubarb Lip Sync

Инструмент ориентирован на людей, которые работают с 2D-анимацией и хотят сократить ручную работу над липсинком.

• Инди-разработчики игр — можно быстро озвучить диалоги персонажей без ручной анимации губ;
• Мультипликаторы — ускоряет процесс создания анимации для эпизодов с большим количеством реплик;
• Моушн-дизайнеры — позволяет добавлять говорящих персонажей в рекламные ролики и промо-видео;
• Разработчики визуальных новелл — интеграция с Ren’Py и Godot упрощает создание говорящих спрайтов;
• Студенты и преподаватели — бесплатный инструмент для учебных проектов по анимации;
• Создатели контента для соцсетей — можно быстро анимировать говорящего персонажа для короткого видео.

Заключение

Rhubarb Lip Sync — узкоспециализированный, но очень полезный инструмент для тех, кто занимается 2D-анимацией. Он не пытается быть универсальной нейросетью, а решает одну задачу — автоматическую синхронизацию губ — и делает это бесплатно и без ограничений.