Dans le apprentissage automatique, une coupure de connaissances (ou coupure de données) est le point dans le temps au-delà duquel un grand modèle de langage n'a pas été entraîné sur de nouvelles données. Étant donné que les grands modèles de langage sont pré-entraînés sur des instantanés statiques de données collectées sur Internet, dans des livres et d'autres sources, les connaissances de tout modèle sont figées à ce qu'il a appris avant son déploiement. Les informations sur les événements postérieurs à cette date sont absentes des données d'entraînement du modèle, et celui-ci ne peut pas y accéder sans un système d'accès aux données en temps réel tel que la génération augmentée par récupération, qui récupère de nouvelles informations à partir d'une base de données externe.
Les coupures de connaissances peuvent introduire des limitations comme des hallucinations, où le modèle génère des affirmations confiantes mais fausses, des lacunes informationnelles et une précision réduite sur les connaissances en évolution. La recherche a montré que les coupures de connaissances ont des implications critiques pour la sécurité dans des domaines comme la santé, où des connaissances obsolètes peuvent conduire à des recommandations nocives. Dans le domaine clinique, les modèles avec une coupure de connaissances plus tardive avaient une plus grande précision sur les questions reflétant les directives les plus récentes.
Description
Un grand modèle de langage est entraîné avant son déploiement sur des instantanés statiques de données collectées jusqu'à une date de coupure de connaissances spécifique. Pendant l'entraînement, un LLM peut apprendre des schémas linguistiques, des sémantiques et des significations contextuelles. Le modèle est ensuite entraîné à estimer la probabilité de chaque mot candidat qui pourrait suivre une phrase donnée, et il utilise ces probabilités pour générer du texte. Parce que ses connaissances sont figées au moment de l'entraînement, un modèle avec une coupure de connaissances fixe ne peut pas fournir d'informations sur des faits ou des développements survenus plus tard à partir de ses seules connaissances pré-entraînées. Certains modèles peuvent récupérer des informations plus récentes via des outils de recherche, mais leur jugement reste façonné par les données sur lesquelles ils ont été entraînés. Les requêtes sur des développements postérieurs à la coupure peuvent donc recevoir des réponses incomplètes, obsolètes ou incorrectes.
Entraîner les systèmes d'IA les plus avancés est devenu de plus en plus coûteux ; une étude de 2024 menée par des chercheurs de Stanford University et Epoch AI a projeté que le coût d'entraînement des plus grands systèmes d'IA atteindrait des milliards d'ici 2027. Le modèle GPT-4 a une coupure de connaissances de septembre 2021, le modèle GPT-4 Turbo a une coupure de connaissances de décembre 2023, et le modèle GPT-5 a une coupure de connaissances de septembre 2024. GPT-OSS-120B a une coupure de connaissances de mai 2024, et Llama 4 Maverick a une coupure de connaissances d'août 2024.
Lacunes informationnelles
Les coupures de connaissances créent des lacunes informationnelles. Les LLM manquent de connaissances sur les événements ou découvertes non inclus dans leurs données d'entraînement. Parce que ces modèles sont entraînés à générer la séquence de mots la plus probable en fonction de leurs schémas d'entraînement, ils peuvent produire des sorties confiantes mais incorrectes lorsqu'ils sont interrogés au-delà de ces informations. Une étude de Cacioli et al. a créé un benchmark de 363 questions basé sur deux versions des directives de traitement de la COVID-19 de l'Infectious Diseases Society of America. Les modèles dont les coupures de connaissances précédaient la directive plus récente, comme GPT-3.5-Turbo et Llama-2, ont obtenu de moins bons résultats sur ces questions (76,03 pour cent et 35,26 pour cent, respectivement), tandis que les modèles avec des coupures plus tardives, comme GPT-4o et Llama 3.3, ont dépassé 90 pour cent de précision. L'étude a conclu que la récence des informations doit être traitée comme un attribut critique pour la sécurité, au même titre que l'alignement ou l'interprétabilité, soulignant les préoccupations de sécurité des coupures de connaissances dans la prise de décision clinique.
Dates effectives et déclarées
Une étude de Pęzik et al. à l'Université de Łódź a indiqué que les connaissances d'un modèle ne correspondent pas nécessairement à sa date de coupure. La coupure effective, la date jusqu'à laquelle il peut connaître de manière fiable les informations, diffère souvent selon le sujet et est influencée par la distribution des informations dans les données d'entraînement ; certains sujets peuvent refléter des connaissances plus récentes que d'autres, et des connaissances antérieures à la coupure peuvent être absentes. Les données d'entraînement présentent une répartition inégale des informations entre les sujets. En raison du coût élevé du réentraînement des grands modèles de langage, ces modèles sont rarement réentraînés pour étendre leur coupure de connaissances. Certains modèles peuvent utiliser des outils de recherche intégrés pour accéder à des informations plus récentes, ce qui rend incertain de savoir si une réponse provient de l'entraînement d'origine du modèle ou d'une recherche en direct ; GPT-4 peut accéder à son outil de recherche et fournir des informations en temps réel.
Génération augmentée par récupération
La génération augmentée par récupération enrichit un grand modèle de langage avec des données mises à jour provenant de sources externes, lui permettant de générer des réponses mieux informées. Dans le RAG, le modèle de langage est connecté à une base de connaissances externe ou à un moteur de recherche pour récupérer des données en direct. Cela permet au modèle de trouver des informations actuelles pertinentes pour une requête et de les intégrer dans sa réponse, avec des citations. Ancrer un modèle dans des données externes, ce qui lie les réponses du modèle à ses sources récupérées, aide à réduire la fréquence des hallucinations et améliore la précision des sorties. La base de connaissances externe peut toutefois être obsolète ou contenir des biais, ce qui peut conduire à des informations incorrectes (ou des hallucinations). Les aperçus IA de Google ont fait des affirmations fausses et fourni des résultats peu fiables, car le modèle peut mal interpréter les sources qu'il a récupérées ou échouer à récupérer des sources de haute qualité. La récupération seule ne peut pas entièrement compenser une coupure de connaissances obsolète ; la compréhension fondamentale du modèle est enracinée dans ses données d'entraînement. Cela peut être atténué avec des techniques comme apprentissage par renforcement à partir de retours humains, qui aligne un modèle d'IA avec les préférences humaines ; cette technique peut améliorer la qualité et la fiabilité des réponses d'un grand modèle de langage.
Apprentissage incrémental
Une autre approche est l'apprentissage incrémental (ou apprentissage continu), une méthode d'apprentissage automatique dans laquelle de nouvelles données sont continuellement utilisées pour étendre les connaissances du modèle existant. Elle vise à prévenir l'oubli catastrophique, où l'IA oublie soudainement ce qu'elle a appris. En pratique, cependant, elle échoue souvent à prévenir complètement l'oubli catastrophique. Cette technique permet des mises à jour efficaces et incrémentales d'un modèle sans le coût d'un cycle de réentraînement complet. Une technique d'apprentissage continu est le fine-tuning, qui permet aux laboratoires d'IA d'ajuster précisément le comportement d'un modèle. Une méthode plus efficace de fine-tuning implique des méthodes comme l'adaptation de bas rang. Cela ne fournit toutefois pas une conscience en temps réel, car l'ajout de modules au système peut entraîner un oubli catastrophique lorsque les poids du modèle deviennent biaisés en faveur du nouvel ensemble de données.