Meta presentó Muse Voice Transcribe, un nuevo modelo de inteligencia artificial diseñado para procesar audio en tiempo real y combinar transcripción, identificación de hablantes y detección de finalización de ideas en un mismo sistema.
El modelo fue desarrollado por Meta Superintelligence Labs y representó el primer modelo de percepción de audio en tiempo real de esta división.
¿Qué es Muse Voice Transcribe y cómo funciona?
De acuerdo con Meta, Muse Voice Transcribe ofrece reconocimiento automático del habla (ASR) mediante streaming, diarización de más de 20 hablantes y finalización.
Su funcionamiento se apoya con un modelo multimodal autoregresivo de la familia Muse Spark, que procesó el audio en bloques de 80 milisegundos.
El sistema convierte cada bloque en un token y, durante la transmisión, decide si debe continuar escuchando o emitir texto. Esta característica permite que el modelo determine cuánto contexto necesitará antes de transcribir una palabra.
Meta denominó a este mecanismo “retardo adaptativo”, debido a que el tiempo de escucha podía variar según la dificultad de cada término.
Según la compañía, este enfoque busca mantener un equilibrio entre velocidad y precisión. El entrenamiento mediante aprendizaje por refuerzo combinó recompensas relacionadas con la tasa de error de palabra y el retraso, con el objetivo de mejorar ese balance.
La arquitectura también permitió incorporar funciones adicionales mediante tokens especiales. Para la diarización, Muse Voice Transcribe detectó posibles cambios de hablante y asignó etiquetas para distinguir las voces.
El modelo puedo mantener la misma identificación cuando una misma persona interviene en distintos segmentos.
Cuáles son las características de Muse Voice Transcribe: idiomas, contexto y aplicaciones
Meta señaló que el modelo fue entrenado con más de 70 idiomas, aunque 25 fueron ampliamente validados para su lanzamiento inicial.
También incorporó cambio de código, por lo que puede reconocer conversaciones en las que una persona alternara idiomas dentro de una misma oración o entre distintas frases.
Otra característica fue el procesamiento de entradas de audio superiores a una hora y conversaciones con más de 20 hablantes, sin requerir una etapa posterior de procesamiento.
La compañía también indicó que el sistema mejoró el reconocimiento mediante sesgos relacionados con idioma, palabras clave y contexto.
Meta afirmó que Muse Voice Transcribe ocupa el primer lugar en el ranking de streaming de voz a texto de Artificial Analysis y en los benchmarks públicos de diarización. Estas clasificaciones correspondieron a la información y mediciones citadas por la propia compañía.
¿Cuál es el precio de Muse Voice Transcribe?
El modelo quedó disponible para desarrolladores a través de Meta Model API, con un precio de tres dólares por cada mil minutos de audio, equivalente a 0.18 dólares por hora. Además, ya había comenzado a utilizarse en el dictado por voz de Meta AI para Mac y en Muse Code.
De cara a sus aplicaciones, Meta indicó que el dictado podía utilizarse con cualquier aplicación y para realizar tareas mediante Meta AI sobre las ventanas mostradas en pantalla. Así, Muse Voice Transcribe se incorporó como una tecnología orientada tanto a desarrolladores como a funciones de interacción por voz.
APC