En Machine learning, un corte de conocimiento (o corte de datos) es el punto en el tiempo a partir del cual un Large language model no ha sido entrenado con datos nuevos. Dado que los modelos de lenguaje grandes se preentrenan con instantáneas estáticas de datos recopilados de internet, libros y otras fuentes, el conocimiento de cualquier modelo queda fijado en lo que se le enseñó antes de su despliegue. La información sobre eventos posteriores a esta fecha está ausente de los datos de entrenamiento del modelo, y este no puede acceder a ella sin un sistema de acceso a datos en tiempo real, como la generación aumentada por recuperación, que obtiene información nueva de una base de datos externa.
Los cortes de conocimiento pueden introducir limitaciones como alucinaciones, donde el modelo genera afirmaciones seguras pero falsas, vacíos de información y una precisión reducida en conocimientos en evolución. La investigación ha demostrado que los cortes de conocimiento tienen implicaciones críticas para la seguridad en dominios como la atención médica, donde el conocimiento desactualizado puede llevar a recomendaciones perjudiciales. En el dominio clínico, los modelos con un corte de conocimiento más tardío tuvieron mayor precisión en preguntas que reflejaban pautas más nuevas.
Descripción
Un modelo de lenguaje grande se entrena antes de su despliegue con instantáneas estáticas de datos recopilados hasta una fecha específica de corte de conocimiento. Durante el entrenamiento, un LLM puede aprender patrones lingüísticos, semántica y significados contextuales. Luego, el modelo se entrena para estimar la probabilidad de cada palabra candidata que podría seguir a una oración dada, y utiliza estas probabilidades para generar texto. Debido a que su conocimiento queda congelado en el punto de entrenamiento, un modelo con un corte de conocimiento fijo no puede proporcionar información sobre hechos o desarrollos que surgieron más tarde solo a partir de su conocimiento preentrenado. Algunos modelos pueden recuperar información más reciente mediante herramientas de búsqueda, pero su juicio sigue moldeado por los datos con los que fueron entrenados. Las consultas sobre desarrollos posteriores al corte pueden, por lo tanto, recibir respuestas incompletas, desactualizadas o incorrectas.
Entrenar los sistemas de IA más avanzados se ha vuelto cada vez más costoso; un estudio de 2024 realizado por investigadores de Universidad de Stanford y Epoch AI proyectó que el costo de entrenar los sistemas de IA más grandes alcanzaría los miles de millones para 2027. El modelo GPT-4 tiene un corte de conocimiento de septiembre de 2021, el modelo GPT-4 Turbo tiene un corte de conocimiento de diciembre de 2023, y el modelo GPT-5 tiene un corte de conocimiento de septiembre de 2024. GPT-OSS-120B tiene un corte de conocimiento de mayo de 2024, y Llama 4 Maverick tiene un corte de conocimiento de agosto de 2024.
Vacíos de Información
Los cortes de conocimiento crean vacíos de información. Los LLM carecen de conocimiento sobre eventos o descubrimientos no incluidos en sus datos de entrenamiento. Debido a que estos modelos se entrenan para generar la secuencia de palabras más probable basada en sus patrones de entrenamiento, pueden producir resultados seguros pero incorrectos cuando se les consulta más allá de esa información. Un estudio de Cacioli et al. creó un punto de referencia de 363 preguntas basado en dos versiones de las pautas de tratamiento de COVID-19 de la Sociedad de Enfermedades Infecciosas de América. Los modelos cuyos cortes de conocimiento precedían a la pauta más nueva, como GPT-3.5-Turbo y Llama-2, obtuvieron peores resultados en estas preguntas (76.03 por ciento y 35.26 por ciento, respectivamente), mientras que los modelos con cortes posteriores, como GPT-4o y Llama 3.3, tuvieron una precisión superior al 90 por ciento. El estudio concluyó que la actualidad de la información debe tratarse como un atributo crítico para la seguridad, a la par de la alineación o la interpretabilidad, destacando las preocupaciones de seguridad de los cortes de conocimiento en la toma de decisiones clínicas.
Fechas Efectivas vs. Reportadas
Un estudio de Pęzik et al. en la Universidad de Łódź indicó que el conocimiento de un modelo no necesariamente coincide con su fecha de corte. El corte efectivo, la fecha hasta la cual puede conocer información de manera confiable, a menudo difiere según el tema y está influenciado por la distribución de la información dentro de los datos de entrenamiento; algunos temas pueden reflejar conocimiento más tardío que otros, y el conocimiento que precede al corte puede estar ausente. Los datos de entrenamiento tienen información desigual entre temas. Debido al alto costo de reentrenar modelos de lenguaje grandes, estos rara vez se reentrenan para extender su corte de conocimiento. Algunos modelos pueden usar herramientas de búsqueda integradas para acceder a información más reciente, lo que hace poco claro si una respuesta proviene del entrenamiento original del modelo o de una búsqueda en vivo; GPT-4 puede acceder a su herramienta de búsqueda y proporcionar información en tiempo real.
Generación Aumentada por Recuperación
La generación aumentada por recuperación aumenta un modelo de lenguaje grande con datos actualizados de fuentes externas, permitiéndole generar respuestas mejor informadas. En RAG, el modelo de lenguaje se conecta a una base de conocimiento externa o motor de búsqueda para recuperar datos en vivo. Esto permite al modelo encontrar información actual relevante para una consulta e incorporarla en su respuesta, con citas. Anclar un modelo a datos externos, lo que vincula las respuestas del modelo a sus fuentes recuperadas, ayuda a reducir la frecuencia de alucinaciones y mejora la precisión de la salida. Sin embargo, la base de conocimiento externa podría estar desactualizada o contener sesgos, lo que puede llevar a información incorrecta (o alucinaciones). Las Resúmenes de IA de Google han hecho afirmaciones falsas y proporcionado resultados poco fiables, ya que el modelo puede malinterpretar las fuentes que recuperó o no recuperar fuentes de alta calidad. La recuperación por sí sola no puede compensar completamente un corte de conocimiento desactualizado; la comprensión fundamental del modelo está arraigada en sus datos de entrenamiento. Esto se puede mitigar con técnicas como aprendizaje por refuerzo con retroalimentación humana, que alinea un modelo de IA con las preferencias humanas; esta técnica puede mejorar la calidad y fiabilidad de las respuestas de un modelo de lenguaje grande.
Aprendizaje Incremental
Otro enfoque es el aprendizaje incremental (o aprendizaje continuo), un método de aprendizaje automático en el que se utilizan continuamente datos nuevos para extender el conocimiento del modelo existente. Su objetivo es prevenir el olvido catastrófico, donde la IA olvida abruptamente lo que ha aprendido. En la práctica, sin embargo, a menudo no logra prevenir completamente el olvido catastrófico. Esta técnica permite actualizaciones incrementales y eficientes de un modelo sin el costo de un ciclo completo de reentrenamiento. Una técnica de aprendizaje continuo es el ajuste fino, que permite a los laboratorios de IA ajustar con precisión el comportamiento de un modelo. Un método más eficiente de ajuste fino implica métodos como la Adaptación de Bajo Rango. Esto no proporciona conciencia en tiempo real, sin embargo, ya que agregar módulos al sistema puede resultar en olvido catastrófico a medida que los pesos del modelo se sesgan a favor del nuevo conjunto de datos.