OmniVoice Studio: clonar voces en local
Instalé OmniVoice Studio un viernes por la noche, con la expectativa típica de quien ya ha visto demasiadas "alternativas gratuitas a ElevenLabs" terminar en una demo inestable. El resultado fue sorprendentemente bueno, pero no impecable: el español se mantiene bien, aunque algunas pronunciaciones tropiezan con palabras menos comunes, y la voz que había elegido en la biblioteca no siempre coincidía al cien por cien con lo que salía de los altavoces. Y es precisamente en esa diferencia donde el proyecto se vuelve interesante, porque muestra a la vez el salto adelante del audio sintético y su lado más delicado, el de la seguridad y el uso responsable, dado que la clonación de voz puede ser valiosa para el doblaje o la accesibilidad, pero también fácilmente utilizable de forma abusiva por quien desee suplantar a otra persona.
Lo primero que hay que aclarar, porque el nombre genera equívocos en cada hilo de Reddit que lo ha citado, es que "OmniVoice" indica dos cosas diferentes. Por un lado, está el modelo desarrollado por el equipo k2-fsa—los creadores de Kaldi y otras herramientas históricas para el reconocimiento de voz: un motor de text-to-speech de código abierto (open source), bajo la licencia Apache-2.0, entrenado para cubrir más de 600 idiomas con clonación zero-shot, es decir, sin necesidad de entrenar un modelo para cada nueva voz. Por otro lado, está OmniVoice Studio, la suite de escritorio desarrollada por Palash Debnath, que toma ese motor y lo integra en una aplicación real con interfaz gráfica, gestión de proyectos, doblaje (dubbing) de vídeo y dictado de voz a nivel de sistema. Es la diferencia entre un motor y el automóvil que se construye a su alrededor: el primero se encuentra en GitHub en forma de librería de Python, mientras que el segundo se descarga como una aplicación para macOS, Windows o Linux y se abre como cualquier otro programa.
Vale la pena decirlo de inmediato porque en otros lugares de internet circulan también sitios web comerciales que se llaman simplemente "OmniVoice" y venden créditos de pago mediante suscripción: no son el mismo proyecto, de hecho se declaran explícitamente no afiliados a los modelos open source que su nombre podría evocar. Un detalle que debéis tener en cuenta antes de buscar "omnivoice pricing" en cualquier motor de búsqueda.
Cómo funciona
El flujo de trabajo de Studio es más sencillo de lo que sugiere su lista de funciones. Se carga una muestra de voz—bastan unos pocos segundos de habla limpia—y el sistema genera un nuevo audio que reproduce su timbre y cadencia en cualquiera de los idiomas soportados. No hay ningún entrenamiento dedicado a la voz individual; es lo que en la jerga se denomina un enfoque zero-shot: el modelo no aprende vuestra voz en sentido estricto, sino que la utiliza como referencia acústica en el momento de la generación, un poco como un actor de doblaje que escucha un clip e intenta reproducir su entonación en el acto, sin meses de estudio del personaje.
Además de la clonación, la suite ofrece voice design, es decir, la creación de voces sintéticas a partir de atributos como género, edad, tono y acento, sin ninguna muestra de partida: describís la voz que deseáis obtener y el sistema intenta producirla. También cuenta con el dubbing de vídeo, que une la transcripción, la traducción, la resíntesis de voz y la sincronización, y el dictado, pensado para transcribir en tiempo real mientras escribís en cualquier otra aplicación del sistema operativo, accesible mediante un atajo de teclado global. Todo se ejecuta en local: sin claves API, sin cuentas y sin que el audio salga de vuestra máquina, a menos que elijáis explícitamente un motor remoto.
La prueba sobre el terreno, con algunas cifras reales
He probado tanto las voces predefinidas de la biblioteca—ajustando el sexo, el tono y la edad mediante los controles disponibles—como la clonación de algunas voces de personajes conocidos, con el único propósito de realizar una verificación técnica y manteniendo todo estrictamente en local, eliminando los archivos al finalizar las pruebas. En mi hardware, un Ryzen 7700 con 32 GB de RAM DDR5 y una Radeon RX 9060 XT con 16 GB de VRAM, la generación de unos diez segundos de audio requirió una media de unos 200 segundos, una velocidad que sería un eufemismo calificar como alejada del tiempo real.
Vale la pena explicar por qué esto no es culpa del modelo en sí. La documentación oficial de la suite aclara que el soporte de GPU para tarjetas AMD pasa por ROCm, que solo está disponible en Linux y es opcional, mientras que en Windows las GPU de AMD, incluidas las Radeon, se quedan fuera de la aceleración y la síntesis de voz termina ejecutándose en la CPU. Es el mismo tipo de fractura que quienes seguís el ecosistema de los modelos locales de audio o imagen conocéis muy bien: NVIDIA disfruta de un soporte maduro en todas partes, mientras que AMD sigue siendo un ciudadano de segunda clase fuera de Linux, independientemente de la potencia de la tarjeta sobre el papel. Quienes tengáis hardware de AMD y deseéis tiempos de generación razonables haríais bien en considerar un arranque dual con Linux, o bien esperar pacientemente a que madure el ecosistema ROCm en Windows.
En cuanto a la calidad pura, dejando de lado la lentitud, los resultados fueron de buenos a muy buenos. La clonación de mi propia voz pareció tener un nivel aceptable, aunque hay que decir que la calidad del archivo grabado con la webcam no era óptima y que a cualquiera le resulta extraño escuchar su propia voz grabada debido a la conducción ósea que distorsiona la percepción que tenemos de nosotros mismos cuando hablamos en vivo. Para una prueba más fiable, intenté clonar las voces de personajes conocidos en diferentes campos, y en la mayoría de los casos los resultados fueron convincentes, con una única excepción en la que el resultado era similar pero no del todo reconocible. La impresión, puramente subjetiva, es que las voces con rasgos tímbricos muy marcados se prestan mejor a la clonación que las voces más "medias" y menos distintivas, un poco como en Serial Experiments Lain, donde las identidades más definidas sobreviven al paso a la red mientras que las más difusas se dispersan.
La reseña independiente de TECHSY sobre el modelo k2-fsa por sí solo, realizada con una RTX 4090, reporta tiempos radicalmente diferentes a los míos: un factor de tiempo real de alrededor de 0,03, es decir, unas treinta veces más rápido que el propio habla, con una puntuación de similitud del hablante de 0,830 en benchmarks multilingües, superior a la medida para ElevenLabs en la misma prueba. Es una diferencia enorme en comparación con mis 200 segundos para diez segundos de habla, y muestra claramente cómo la experiencia real con estas herramientas depende menos del modelo y más de la compatibilidad real del hardware: mismo software, misma arquitectura, pero mundos diferentes según el silicio que haya bajo el capó.
Gratis, open source, pero con algunos matices
"Gratis" no significa lo mismo para todos los usos, y es en este punto donde los titulares sensacionalistas tienden a simplificar demasiado. El modelo k2-fsa se distribuye bajo la licencia Apache-2.0, que es permisiva casi sin condiciones. La suite Studio, en cambio, está bajo AGPL-3.0, una licencia copyleft de red: podéis utilizarla de forma gratuita incluso en el ámbito comercial, vender el audio producido, doblar vídeos para clientes y distribuirla en equipos, pero si modificáis el código de la suite y la ofrecéis a terceros como un servicio de red, debéis publicar también vuestras modificaciones bajo los mismos términos. Para quienes deseen integrar Studio en un producto propietario cerrado sin esta obligación de reciprocidad, está disponible una licencia comercial independiente que puede solicitarse directamente al desarrollador. Es un modelo de licencia habitual en el software de código abierto más maduro, diseñado para financiar el desarrollo sin convertir el proyecto en una trampa para quienes lo extienden.
El proyecto se encuentra aún en fase beta activa, algo que los desarrolladores declaran con una honestidad bastante inusual en el panorama de las "alternativas a" que inundan GitHub: algunas cosas pueden romperse entre una versión y otra, y quienes deseen las correcciones más recientes deben compilar a partir del código fuente en lugar de confiar en los paquetes ya preparados.
OmniVoice Studio frente a ElevenLabs: una comparación honesta
La comparación natural es con ElevenLabs, que sigue siendo el referente comercial del sector. En cuanto al coste, la diferencia es clara: ElevenLabs factura por carácter generado con suscripciones que van desde unos pocos dólares al mes hasta cifras importantes en los planes enterprise, mientras que OmniVoice, al ejecutarse en local, no tiene ningún coste por generación, solo la inversión inicial en el hardware. En cuanto a la cobertura de idiomas, el proyecto de código abierto gana por un amplio margen, ofreciendo cientos de idiomas frente a las pocas decenas que cubre el servicio en la nube (cloud). En cuanto a la privacidad, la situación es similar: con OmniVoice el audio nunca sale de la máquina, mientras que con un servicio en la nube se procesa necesariamente en otra parte, incluso cuando las políticas de privacidad son rigurosas.
Donde ElevenLabs mantiene una ventaja real es en el pulido del producto final y en la predictibilidad: una única pipeline muy optimizada, diseñada para una latencia mínima, ideal para aplicaciones conversacionales en vivo donde cada centésima de segundo cuenta. OmniVoice, por su naturaleza de proyecto impulsado por la comunidad que debe funcionar en hardware heterogéneo, ofrece en cambio un abanico de motores diferentes entre los que elegir, con calidades y velocidades que varían notablemente según la configuración. Se trata de un compromiso similar al que conoce bien cualquiera que haya utilizado Stable Diffusion en local en comparación con un servicio como Midjourney: más control y cero cuotas mensuales, a cambio de un trabajo de puesta a punto que el servicio en la nube os ahorra.
Por qué el procesamiento local importa de verdad
El punto fuerte más concreto de OmniVoice, dejando a un lado los debates sobre la calidad del audio, es probablemente este: sin claves API que custodiar, sin cuentas que crear y sin depender de un servidor externo que pueda cambiar las condiciones de uso, subir los precios o simplemente desaparecer un día, llevándose consigo años de proyectos. Para quienes trabajan con voces sintéticas de marca, con contenidos sensibles o simplemente con material que no desean que termine en los registros de procesamiento de terceros, este nivel de control pesa más que unos segundos adicionales de latencia.
Ética y seguridad, sin rodeos
Conviene ser directos en este punto: la clonación de voz es una herramienta potente y, como toda herramienta potente, es tan útil como susceptible de abuso. Las propias fuentes oficiales del proyecto k2-fsa lo dejan claro por escrito en su advertencia: está prohibido utilizar el modelo para clonaciones no autorizadas, suplantaciones de identidad, fraudes o cualquier actividad ilícita, y la responsabilidad de un uso conforme a la ley recae exclusivamente en quien genera el audio, no en los desarrolladores del modelo. Es el mismo esquema de responsabilidad distribuida que vemos desde hace años en la edición de imágenes con inteligencia artificial, con la diferencia de que aquí el objetivo es algo más íntimo: la voz, que conlleva firmas emocionales que una foto modificada no consigue replicar con la misma inmediatez.
El consentimiento sigue siendo el núcleo del asunto. Clonar vuestra propia voz, o la de alguien que os haya dado su consentimiento explícito para un proyecto creativo o de accesibilidad, es un uso tan legítimo como evidente. Clonar la voz de una persona real sin permiso, tal vez para un vídeo satírico compartido sin contexto o, peor aún, para una estafa telefónica, es una historia completamente diferente, y es un riesgo que en los últimos años ya ha generado casos reales en las noticias, no solo escenarios teóricos en conferencias de ciberseguridad. OmniVoice intenta mitigar parte del problema integrando una marca de agua (watermark) de audio invisible basada en tecnología desarrollada por Meta, diseñada para seguir siendo legible incluso después de la compresión, de modo que se pueda verificar más tarde si un archivo ha sido generado por el sistema. Se trata de una herramienta útil, pero no de una solución definitiva, porque siempre puede ser desactivada por quien modifique el código fuente y porque la marca de agua ayuda a rastrear el origen, pero no a impedir la generación en primer lugar.
Siguen abiertas preguntas que el proyecto por sí solo no puede resolver. ¿Quién verifica que el consentimiento declarado por quien carga una muestra de voz sea auténtico en un sistema que, por definición, no tiene forma de comprobar la identidad del usuario? ¿Cómo afectará en los próximos años la disponibilidad gratuita y sin filtros de una herramienta de este tipo a la capacidad de las personas para confiar en un audio recibido por teléfono o en un mensaje de voz? Y sobre todo: ¿se mantendrá la responsabilidad legal, que hoy se descarga casi por completo en el usuario final en los términos de la licencia, cuando el uso indebido se vuelva, como parece probable, más común y menos amateur de lo que es ahora?
A quién recomendarlo y a quién no
OmniVoice Studio está bien pensado para quienes realizan doblaje independiente en varios idiomas, para desarrolladores que desean integrar la síntesis de voz en su propio producto sin pagar por cada carácter generado, para quienes trabajan con datos sensibles y no pueden permitirse que el audio salga de su entorno, y para equipos que prefieren el procesamiento por lotes (batch) sin límites de uso artificiales. Es menos recomendable para quienes buscan un pulido inmediato y listo para usar sin ninguna configuración, para quienes necesitan voces fuera de catálogo en pocos clics sin tocar parámetros técnicos, o para aplicaciones conversacionales en vivo donde la latencia es un requisito no negociable: en esos casos, un servicio en la nube optimizado sigue siendo, al menos por ahora, la opción más sensata.
Por último, cabe hacer una consideración más amplia que va más allá del proyecto concreto: herramientas como esta están reduciendo rápidamente la barrera técnica para generar audio sintético creíble, un proceso que recuerda de cerca al que se vivió hace unos años con la generación de imágenes. La pregunta que merece la pena plantearse no es si la clonación de voz seguirá mejorando, porque casi con total seguridad lo hará, sino qué infraestructuras sociales, técnicas y normativas seremos capaces de construir para convivir con un mundo en el que escuchar una voz ya no sea suficiente para garantizar su autenticidad.