El reconocimiento de voz, también llamado reconocimiento automático de voz (ASR), convierte el audio hablado en texto escrito. Es la contraparte orientada a la entrada de texto a voz y un componente fundamental de IA conversacional, asistentes de voz, software de dictado y sistemas de subtitulado automático.
Historia
Los primeros sistemas de reconocimiento de voz en las décadas de 1970 y 1980 dependían de características acústicas diseñadas manualmente combinadas con modelos ocultos de Márkov, modelos estadísticos muy adecuados para representar la estructura secuencial y variable en el tiempo del habla, a menudo emparejados con modelos de lenguaje de n-gramas para restringir secuencias de palabras plausibles. Estos sistemas requerían un ajuste sustancial específico del dominio y tenían dificultades con acentos, ruido de fondo y vocabulario fuera de sus datos de entrenamiento. La década de 2010 trajo un cambio hacia aprendizaje profundo, primero reemplazando componentes individuales del pipeline con redes neuronales y luego pasando a arquitecturas neuronales completamente de extremo a extremo, notablemente modelos de secuencia basados en redes neuronales recurrentes y, después de 2017, sistemas basados en transformers que mapeaban audio crudo o ligeramente procesado directamente a texto sin un pipeline separado de modelo acústico y de lenguaje.
Sistemas modernos
El Whisper de OpenAI, lanzado como código abierto en 2022, se convirtió en un sistema ASR de propósito general ampliamente adoptado, entrenado con un gran y diverso conjunto de datos multilingüe de audio emparejado con transcripciones, y notable por su sólido rendimiento en acentos, ruido de fondo y múltiples idiomas sin ajuste fino por idioma. Whisper y sistemas comparables de otros laboratorios se usan comúnmente como un componente dentro de pipelines más grandes de IA multimodal, asistentes de voz y productos de transcripción de reuniones, y sus salidas alimentan frecuentemente tareas posteriores de procesamiento de lenguaje natural como resumen o traducción.
Técnicas
Los sistemas ASR modernos suelen usar un codificador que procesa el audio en una secuencia de representaciones aprendidas y un decodificador que genera texto de forma autorregresiva, un patrón arquitectónico estrechamente relacionado con los modelos Seq2seq y los sistemas de traducción automática. El entrenamiento depende en gran medida de grandes conjuntos de datos de audio-texto emparejados, y el aprendizaje autosupervisado preentrenado en audio no etiquetado, aprendiendo representaciones útiles antes de que haya transcripciones disponibles, se convirtió en una técnica importante para mejorar el rendimiento en idiomas con datos etiquetados limitados, en paralelo a enfoques similares en el procesamiento de lenguaje natural y la visión por computadora.
Aplicaciones y limitaciones
El reconocimiento de voz sustenta el subtitulado en vivo, los asistentes de voz como los integrados en teléfonos inteligentes, el software de dictado, el análisis de centros de llamadas y las herramientas de accesibilidad para usuarios sordos o con dificultades auditivas. A pesar de los grandes avances en precisión, los sistemas ASR aún funcionan de manera desigual en acentos, dialectos e idiomas con menos datos de entrenamiento disponibles, una fuente documentada de sesgo algorítmico en sistemas comerciales. El ruido de fondo, los hablantes superpuestos y el vocabulario específico del dominio, como la terminología médica o legal, también siguen siendo fuentes de error, y los sistemas se ajustan finamente o se complementan con vocabularios personalizados para despliegues especializados. La evaluación típicamente se centra en la tasa de error de palabras, aunque esa métrica única puede ocultar un rendimiento desigual entre grupos demográficos y condiciones de habla.