Traducir y doblar vídeo con una red neuronal

Traducir vídeo es una cadena de tareas que las redes neuronales ahora hacen casi automáticamente: oír el habla, traducirla, volver a locutarla en otro idioma y encajar en los labios. Hace poco esto era un proceso de estudio caro; hoy un clip en un idioma se puede hacer "hablar" otro en minutos.

De qué se compone un doblaje

Es una combinación de varias tecnologías de libros vecinos:

1. Reconocimiento de voz — transcribir la pista original a texto.
2. Traducción — traducir ese texto, conservando el sentido y el tono.
3. Síntesis de voz — locutar la traducción; idealmente con la voz del locutor original para mantener la identificación.
4. Lip-sync — ajustar el movimiento de los labios a la nueva pista (como un avatar parlante).

Cuantos más eslabones trabajan juntos, más "sin costuras" el resultado: el mejor doblaje es cuando el espectador no adivina que el idioma original era otro.

Sube un clip, elige un idioma — obtén una versión con traducción y locución. El vídeo y la locución cuestan más que el texto: el primer doblaje está disponible tras registrarte y el onboarding — que conceden tokens iniciales.

Niveles de "profundidad" de un doblaje

No siempre necesitas un doblaje completo — elige según la tarea y el presupuesto:

• Solo subtítulos — barato, rápido, el espectador oye el original. Un capítulo aparte.
• Traducción en voz superpuesta — una voz sintetizada sobre el original atenuado. Barato, claro, sin lip-sync.
• Doblaje completo — una nueva pista en lugar del original, idealmente con la voz del locutor y con lip-sync. Más caro, pero se ve como un vídeo nativo.

Para que la traducción suene viva

• Sonido limpio del original. El ruido y la música estorban al reconocimiento — cuanto más limpia la pista, más precisa la traducción.
• Revisa la traducción. La traducción automática conviene ajustarla a la entonación coloquial — la síntesis locutará exactamente lo que esté escrito.
• Vigila la longitud de las frases. Las líneas tienen distinta longitud en distintos idiomas; a veces la traducción se recorta para encajar en el tiempo.

Qué sigue

Hemos aprendido a traducir y locutar. Queda una última tarea común con un vídeo terminado — quitar lo de más del encuadre.

En el chat de Twelver la traducción y la locución de vídeo están reunidas en una conversación. Los tokens iniciales se conceden tras registrarte y el onboarding.