Los datos de entrenamiento son el conjunto de ejemplos utilizados para enseñar a un modelo de aprendizaje automático, del cual el modelo aprende patrones estadísticos durante el proceso de entrenamiento. Para los modelos de lenguaje grandes modernos, los datos de entrenamiento suelen consistir en enormes cantidades de texto extraído de la web pública, conjuntos de datos con licencia, libros, repositorios de código y, cada vez más, datos sintéticos generados por otros modelos, siendo la escala, diversidad y calidad de estos datos uno de los principales impulsores de la capacidad del modelo junto con el tamaño del modelo y la computación, como describen las leyes de escalado.
La composición y el origen de los datos de entrenamiento se convirtieron en un punto importante de controversia legal, ética y comercial a partir de aproximadamente 2023, cuando autores, artistas, editores y otros titulares de derechos presentaron demandas contra desarrolladores de IA por el uso de material protegido por derechos de autor, y cuando el texto de alta calidad fácilmente extraíble se volvió más escaso en relación con el creciente apetito de datos de modelos cada vez más grandes.
Fuentes y composición
Los corpus de entrenamiento de modelos de lenguaje grandes suelen extraerse de una combinación de fuentes: rastreos web amplios como Common Crawl, subconjuntos de la web curados y filtrados como los conjuntos de datos detrás de GPT-3 y sus sucesores, libros digitalizados, Wikipedia y otros sitios de referencia, código de programación de repositorios como GitHub, artículos académicos y contenido con licencia obtenido mediante acuerdos comerciales con editores, empresas de medios de archivo y otros titulares de derechos, una práctica que creció significativamente entre los principales laboratorios a partir de 2023 como alternativa al rastreo sin licencia. Los datos generalmente se deduplican, se filtran por calidad y toxicidad, y cada vez más se ponderan o sobremuestrean hacia categorías de mayor valor como código, libros de texto y texto denso en razonamiento, lo que refleja investigaciones que sugieren que la calidad y la mezcla de datos importan tanto como el volumen bruto.
El muro de datos
Hacia 2024 y 2025, varios investigadores y líderes de laboratorios discutieron públicamente un muro de datos inminente: el suministro finito de texto generado por humanos de alta calidad y fácilmente disponible en la web pública, estimado en decenas de billones de tokens, estaba siendo alcanzado o superado por los entrenamientos de los modelos más grandes. Las respuestas propuestas incluían el uso creciente de datos sintéticos, acuerdos de licencia para datos no disponibles previamente para rastreo, como archivos, foros privados y transcripciones de video, entrenamiento multimodal que extrae señal de imágenes, audio y video en lugar de solo texto, y enfoques arquitectónicos o algorítmicos, incluido el escalado de computación en tiempo de prueba, destinados a extraer más capacidad sin un aumento proporcional en los datos de preentrenamiento.
Controversia legal y ética
Las prácticas de datos de entrenamiento son centrales en una ola de demandas por derechos de autor en IA presentadas a partir de 2023, incluidos casos presentados por The New York Times, grupos de autores, artistas visuales y sellos discográficos contra empresas como OpenAI, Meta, Stability AI y Midjourney, que generalmente alegan que se utilizaron obras protegidas por derechos de autor para entrenar modelos sin permiso ni compensación, mientras que los demandados generalmente han argumentado que el entrenamiento constituye uso justo o una doctrina equivalente bajo la ley de IA y derechos de autor. Por separado, investigadores y periodistas han documentado que algunos conjuntos de datos de entrenamiento incluían datos personales extraídos sin consentimiento, y en al menos un caso documentado que involucra el conjunto de datos LAION utilizado para modelos de imágenes, material ilegal que requirió remediación de emergencia, lo que provocó un escrutinio más amplio de las prácticas de curación y divulgación de conjuntos de datos, un área que los reguladores, incluida la Ley de IA de la UE, exigen cada vez más documentar.