Probé el nuevo AI Dubbing de AI de Prime Video, y tengo pensamientos

Cuando ves una pieza de medios producida en un idioma que no hablas, tienes un par de opciones. Puede, por supuesto, activar los subtítulos y seguir leyendo. Pero en algunos casos, puede cambiar la pista de audio a cualquier idioma que hable. Esto se llama «Dub», y generalmente requiere que los artistas de voz graben las líneas en este nuevo idioma, de una manera que coincida con el tono original del espectáculo o película.

Esto requiere tiempo y dinero, algo con lo que los estudios no siempre están dispuestos a separarse. Como tal, no todo tiene un doblaje. Pero, ¿y si pudiera?

El miércoles, Amazon anunció «Dubbing asistido por AI» para el video principal. En títulos seleccionados, los espectadores pueden optar por reproducir un doblaje del guión generado por IA en español inglés o latinoamericano. Amazon dice que hay 12 títulos que admiten esta función en este momento, pero solo se llaman tres: El Cid: La leyenda; Mi madre lora; y Perdido. La compañía también dice que los «profesionales de localización» trabajan con IA para «garantizar el control de calidad». No está claro lo que eso significa, aparte de que hay humanos que revisan estos doblajes de IA para asegurarse de que no se traduzcan mal o cometan otros errores. Debido a alucinaciones.

Tengo un video principal, así que estaba interesado en ver estos doblajes para ver cómo la IA de Amazon en comparación con, ya sabes, seres humanos. En mi búsqueda, no pude encontrar Mi madre loraPero pude encontrar los otros dos títulos. Para usar la función, debe ingresar al selector de idiomas en el título compatible y elegir la «AI Beta». Entonces, puedes experimentar lo que experimenté.

El Cid: La leyenda

Hay algunos títulos en el video de primer nivel con el nombre de El CidPero el único que admite el doblaje de AI es Esta opción específica: Un documental de 63 minutos sobre Rodrigo Díaz de Vivar, otorgüenmente conocido como El Cid. No estaba mirando El Cid: Layend Para obtener más información sobre este gobernante de la España medieval, quería saber qué tan bien un bot de IA manejaría el doblaje en inglés de una película producida en español.

Los resultados son interesantes, por decir lo menos. La mayor parte del habla en el documental ocurre a través de Voicever, que es extremadamente impredecible. («Hit» puede ser demasiado generoso). Cuando sabes que la voz es generada por AI, eliges las inflexiones suaves o extrañas. Es un discurso clásico generado por IA: Los artículos en una lista se hablan en tonos inconsistentes; Algunas palabras se arrastran o se ralentizan artificialmente, como si el bot hubiera tomado una bebida o dos. Pero con toda honestidad, esperaba peor. Esto no es como ver un documental narrado por la voz Tiktok Ai. No es genial (ni siquiera es bueno), pero ofrece un poco Más emoción de la que esperaba.

Los problemas se extienden a los Dubs de IA de los entrevistados del documental. En muchos casos, la voz es bastante incómoda, forzada y llena de las inconsistencias mencionadas anteriormente. A veces, la voz está completamente desprovista de cualquier emoción, y suena más como una herramienta de voz en off de años pasados, en lugar de las voces de IA de «alta calidad» que esperamos.

Para crédito de Amazon, suena como si la IA use una voz diferente para cada persona que está doblando. Eso hace que sea un poco más fácil distinguir entre los diferentes altavoces y te ahorra tener que escuchar la misma voz mediocre de IA para toda la película.

Perdido

Perdido es un poco más difícil de juzgar: la película, originalmente producida en inglés, tiene un doblaje de IA en español. Como no hablo español, no es tan fácil elegir las peculiaridades robóticas que su oído recoge cuando conoce el idioma.

Aún, Perdido ofreció una experiencia diferente a El CidDado que esta es una película: puedes escuchar cómo la IA maneja el doblaje sobre los actores. Al igual que la voz en off de IA en el documental, estos actores de IA no son tan malos como esperaba. Anticipaba las voces de IA que entregaban sus líneas totalmente planas, pero a veces hay algo de emoción. Ningún robot está ganando un Oscar aquí, eso sí: de hecho, las voces pueden ser bastante incómodas y carentes, leyendo el guión de manera demasiado fuerte, abrupta o clara. Pero, para algunas líneas, no estoy seguro de suponer que estas eran voces de IA si aún no lo supiera con anticipación.

Incluso en escenas más intensas, la IA «intenta». Cuando el personaje grita, la IA levanta su voz. Está lejos de ser perfecto, pero es un experimento interesante para ver qué puede hacer la IA:

En una escena, dos personajes compiten en un juego de «gordito», en el que cada uno tiene que continuar agregando malvaviscos a la boca mientras aún puede decir «conejito gordito». A veces, la IA en realidad suena amortiguada, y aunque no es «realista», es un buen toque. (Quizás aquí es donde entra en juego la intervención humana). En otras ocasiones, sin embargo, la IA suena totalmente normal, mientras que las bocas de los actores están claramente llenas de malvavisco.

Otra peculiaridad interesante: uno de los personajes comienza a hablar en francés, por lo que la pista de IA se corta y el audio original entra. Es discordante, porque puedes escuchar la diferencia de inmediato, no solo los diferentes idiomas, por supuesto, sino la diferencia en cómo suena el audio real de la película en comparación con la producción estéril de IA.

Me gustaría probar esta función nuevamente en una película producida en español con un dub inglés de IA. Me imagino que sería más fácil para mí elegir los problemas, y saber si más (o todas) las voces sonarían totalmente falsas.

¿Es el futuro de Dubbing AI?

Mira, no hay forma de que realmente disfrutaría viendo una película o serie completa con un doblaje de IA. Personalmente, no soy un gran admirador de los doblajes generados por humanos, por lo que tengo cero interés en uno que, a veces, suena como un robot que dispara para el EGOT.

Pero tengo que admitir que la tecnología no es horrible. En algunos puntos, las voces suenan lo suficientemente realistas como para obtener la esencia, especialmente cuando la voz en off también sería monótona e informativa, como durante un documental. Y es interesante que estos Dubs de IA puedan incorporar elementos del programa o película, como el discurso amortiguado durante un juego de gordito.

No quiero ver a ningún actor de voz que se pusiera fuera del trabajo aquí. Merecen a que le paguen por su trabajo y audiencias merecen un doblaje de alta calidad en los programas y películas que pagan por ver. Sin embargo, creo que AI Dubbing podría ofrecer un compromiso para los tiempos en que ningún doblaje está en camino: si un estudio no va a pagar por un doblaje de todos modos, sería útil tener un doblaje, incluso si está en el lado robótico. Eso ciertamente ayudaría a los espectadores con discapacidad visual, que podrían no poder aprovechar los subtítulos.

Por supuesto, es ingenuo pensar que los estudios solo usarán esta tecnología para esos usos específicos, en lugar de eliminar una profesión humana completa para ahorrar algo de efectivo. Con ese fin, sería feliz si toda la práctica de doblaje de IA termina aquí y ahora: es interesante, pero no es bueno, así que no reemplace a los actores de voz reales.