Audio2Face-3D

Audio2Face-3D Это инструмент, разработанный NVIDIA, который преобразует аудиовход в реалистичную 3D-анимацию лица, обеспечивая синхронизацию движений губ и выражений с речью. Он поддерживает как предварительно записанные аудиофайлы, так и потоковые аудиоданные в реальном времени, анализируя акустические особенности, такие как фонемы и интонации, для создания точных анимаций. Система способна автоматически распознавать эмоциональные оттенки в речи и соответствующим образом адаптировать выражения лица цифрового аватара, делая его более естественным и выразительным. Audio2Face-3D поддерживает одновременную обработку нескольких потоков, что позволяет нескольким пользователям подключаться и генерировать анимацию одновременно.

GitHub: https://github.com/NVIDIA/Audio2Face-3D