Método reproducible de pruebas A/B para clonación de voz con IA

Una comparación de clonación de voz es difícil de interpretar cuando cambias varias entradas al mismo tiempo.

Si A usa una referencia, una frase corta, emoción neutral y un modelo, mientras B usa otra referencia, un texto más largo, otro pace y otro modelo, puedes oír diferencias, pero no explicar qué las produjo.

Una prueba A/B útil se diseña alrededor de una sola pregunta. Voice Lab en IndexTTS Online facilita comparaciones controladas de modelos, y el mismo método sirve para referencias, formato de texto, presets de emoción o ritmo de habla.

Escribe la pregunta antes de generar audio

Buenas preguntas son estrechas:

• ¿Cuál de estas referencias mantiene mejor la identidad del hablante?
• ¿Un punto mejora esta pausa frente a una coma?
• ¿Qué modelo se adapta mejor a esta frase inglesa/china con las mismas entradas?
• ¿Un pace más lento mejora la comprensión de este párrafo?

Preguntas como “¿qué setup es mejor?” o “¿qué modelo suena más humano?” son demasiado amplias.

Una pregunta estrecha define qué variable puede cambiar y qué debe permanecer fijo.

Define las variables de control

Para un A/B de modelos, registra al menos:

• archivo de referencia;
• texto objetivo;
• idioma;
• emotion;
• pace;
• modelo A y B;
• fecha;
• número de repeticiones.

Mantén la referencia y el texto idénticos en ambos lados.

Si una capacidad solo existe en un modelo, no presentes la prueba como simétrica. En el producto alojado, IndexTTS2 se centra en inglés/chino, mientras IndexTTS 2.5 expone chino, inglés, japonés, español, árabe y controles de pace. Un test japonés puede evaluar 2.5, pero no es un A/B directo justo contra una ruta que no ofrece japonés.

Usa una referencia limpia y autorizada

La referencia debe contener un solo hablante, poco ruido, sin música y un entorno estable.

No empieces un supuesto benchmark de modelos con una fuente dudosa: entonces estás midiendo la interacción entre el modelo y una referencia mala.

En ejemplos públicos, documenta procedencia y derechos. No publiques audio de clientes o referencias privadas sin permiso explícito.

Las referencias upstream pueden servir como inputs cuando su origen es claro, pero los outputs de tu flujo alojado deben etiquetarse por separado de muestras oficiales upstream.

Elige un texto que responda a la pregunta

Para identidad/naturalidad, usa habla conectada normal.

Para puntuación, una frase con una pausa significativa.

Para números, una línea corta con la notación que quieres comprobar.

Para multilingüe, una frase natural escrita o revisada por alguien competente en el idioma.

No pongas nombres, siglas, fechas, diálogo emocional y tokens de código en una sola prueba “general” salvo que ese sea realmente el dominio que quieres medir.

Ejecuta más de una vez

La generación puede variar.

Una toma excepcionalmente buena o mala no debería convertirse en conclusión universal. Para decisiones importantes, repite los finalistas dos o tres veces como mínimo práctico.

Guarda archivos con nombres auditables:

• case01-modelA-run1.wav
• case01-modelA-run2.wav
• case01-modelB-run1.wav
• case01-modelB-run2.wav

Si el ganador cambia entre runs, esa inestabilidad es información útil.

Haz una primera escucha ciega cuando sea posible

Las etiquetas pueden sesgar la percepción.

Renombra temporalmente los clips como A y B, escribe las notas y revela el mapping después.

En revisión de equipo, pide que cada persona escriba su elección antes de discutir. Así reduces el efecto de la primera opinión expresada con mucha seguridad.

Separa las dimensiones de escucha

“Suena mejor” mezcla varias cosas.

Evalúa por separado:

Identidad del hablante

¿Se parece a la referencia autorizada durante todo el clip?

Inteligibilidad

¿Se entienden las palabras sin leer el texto?

Pronunciación

¿Nombres, números, siglas y palabras del idioma se leen como se pretende?

Prosodia

¿Estrés, ritmo, pausas y finales de frase son naturales?

Estabilidad

¿La voz se mantiene estable dentro del clip y entre repeticiones?

Artefactos

¿Hay sonidos metálicos, glitches, fonemas repetidos, cortes, respiraciones extrañas o ruido parecido a fondo?

Ajuste a la tarea

Aunque ambos sean buenos, ¿cuál encaja mejor en narración, diálogo, localización o soporte?

Estas categorías producen notas accionables.

Usa escalas internas con cuidado: no todo es MOS

Una escala interna 1–5 puede ser útil para producción. No se convierte automáticamente en Mean Opinion Score.

MOS normalmente implica metodología de escucha definida, varios oyentes y una forma concreta de agregación.

Si no ejecutaste ese estudio, llama al resultado:

• internal review score;
• reviewer preference;
• production note;
• sample comparison.

Etiquetar con honestidad evita una precisión falsa.

No inventes benchmarks de latencia

La latencia depende de cola, proveedor, red, subida de referencia, longitud del texto, cold starts, retries y región, además del modelo.

Si publicas latencia, define exactamente:

• punto de inicio y final;
• tamaño de muestra;
• región;
• longitud del texto;
• fecha;
• cómo trataste los fallos.

Sin ese protocolo, decir “Model X es 30% más rápido” no es una afirmación fiable.

Los informes técnicos upstream pueden citarse como evidencia upstream, pero no como medición reproducida por tu producto alojado.

Separa evidencia upstream y mediciones first-party

Una página de benchmark puede incluir:

1. hechos del producto alojado;
2. resultados publicados por los autores del modelo;
3. mediciones ejecutadas realmente por tu servicio.

Etiqueta las tres categorías por separado. Evita que un número upstream colocado junto al producto parezca una reproducción propia.

Registra fecha y configuración exactas

Modelos, proveedores, infraestructura y controles cambian.

Para una prueba pública conserva:

• fecha;
• identificadores de modelo;
• procedencia de la referencia;
• texto objetivo;
• idioma;
• controles;
• runs;
• método de evaluación.

Así un resultado antiguo puede actualizarse sin fingir que representaba todas las versiones futuras.

Prueba la tarea de producción real

Una frase benchmark es útil, pero la decisión final debe incluir un caso representativo.

Para audiolibro, usa un párrafo realista. Para UI prompts, instrucciones cortas. Para localización española, narración española real.

El mejor setup en una muestra genérica puede no ser el mejor para tu flujo.

Ejemplo de A/B de modelos

Pregunta: ¿Qué modelo es más estable con esta referencia de narrador inglés?

Fijo: mismo voice_01.wav, mismo texto, misma emoción neutral/follow-reference, mismo pace aplicable.

Cambio: solo modelo.

Runs: tres por modelo.

Revisión: identidad, pronunciación, prosodia, artefactos y preferencia.

La conclusión puede apoyar una decisión para ese caso, no demostrar superioridad universal.

Ejemplo de A/B de referencias

Pregunta: ¿Qué referencia funciona mejor para narración repetida?

Fija modelo, texto, idioma, emoción y pace. Cambia únicamente el archivo de referencia.

Después de elegir una, repítela con un segundo texto. Si sigue ganando, guárdala como baseline del proyecto.

Plantilla reutilizable

Guarda por caso:

Puede vivir en una hoja, Markdown o base de datos. La consistencia importa más que la herramienta.

Un resultado inconcluso también es válido

A veces A y B son igualmente buenos, o los runs invierten la preferencia inicial.

No fuerces un ganador.

Registra:

y decide después por idiomas soportados, controles, coste o simplicidad de workflow.

Una conclusión honesta e inconclusa es más útil que una certeza fabricada.

Reglas finales

Una prueba A/B fiable:

1. formula una pregunta estrecha;
2. cambia una variable;
3. controla referencia y texto;
4. repite runs importantes;
5. evalúa varias dimensiones;
6. no presentes preferencias internas como MOS estandarizado;
7. documenta procedencia y fecha;
8. separa upstream de mediciones propias;
9. no fuerces comparaciones de capacidades no equivalentes;
10. publica las limitaciones junto con el resultado.

El A/B reduce el guesswork. Su credibilidad viene de la disciplina: controla lo que puedas, etiqueta exactamente lo que mediste y no afirmes más de lo que el experimento demuestra.