La notation automatisée de dissertations (AES) est une méthode computationnelle pour évaluer une prose écrite, généralement des dissertations d'étudiants, sans lecture humaine directe. Les systèmes AES analysent le texte à l'aide de modèles statistiques, de traitement du langage naturel et, de plus en plus, de techniques de apprentissage automatique pour attribuer des scores sur des dimensions telles que la correction grammaticale, la cohérence et la force argumentative. Cette approche est déployée commercialement depuis la fin des années 1990 et est désormais intégrée dans des tests standardisés à grande échelle et des plateformes d'apprentissage en ligne, où elle offre rapidité, cohérence et efficacité en termes de coûts par rapport aux évaluateurs humains.
L'AES fonctionne en extrayant des caractéristiques d'une dissertation - par exemple, la longueur des phrases, la diversité du vocabulaire, la complexité syntaxique et la présence de marqueurs de discours - puis en mappant ces caractéristiques à un score à l'aide d'un modèle prédictif. Les premiers systèmes reposaient sur des règles artisanales et la régression, tandis que les implémentations modernes utilisent des architectures de apprentissage profond, y compris des modèles de réseaux de neurones et des transformeurs basés sur des grands modèles de langage, pour capturer des schémas plus subtils dans l'écriture. Ce domaine croise la recherche en intelligence artificielle sur la compréhension du langage naturel et la rétroaction automatisée, et a suscité un débat continu sur la validité, l'équité et l'impact éducatif de l'évaluation par machine.
Développement historique
Le concept de notation automatisée de dissertations a émergé dans les années 1960, mais les systèmes pratiques ne sont apparus que dans les années 1990. Le premier système commercial largement utilisé, Project Essay Grade (PEG), a été développé par Ellis Batten Page en 1966, bien qu'il soit resté expérimental pendant des décennies. En 1999, l'Educational Testing Service (ETS) a introduit e-rater, un système combinant des caractéristiques statistiques et linguistiques pour noter les dissertations du Graduate Record Examination et d'autres tests. À peu près à la même époque, l'Intelligent Essay Assessor (IEA), basé sur l'analyse sémantique latente, a été déployé par Pearson pour la plateforme Knowledge Analysis Technologies. Ces premiers systèmes reposaient sur l'ingénierie de caractéristiques et des modèles linéaires, atteignant un accord modéré avec les évaluateurs humains.
Dans les années 2010, l'essor du apprentissage automatique et la disponibilité de grands corpus de dissertations annotées ont permis des approches plus sophistiquées. Le concours Automated Student Assessment Prize (ASAP) de la Fondation Hewlett en 2012 a fourni un benchmark public, stimulant la recherche sur les méthodes d'ensemble et les modèles riches en caractéristiques. L'introduction des architectures transformeurs en 2017, en particulier BERT et plus tard les grands modèles de langage, a marqué un tournant, permettant aux systèmes AES de traiter des dissertations entières de manière contextuelle plutôt que par des caractéristiques artisanales seules. Au milieu des années 2020, de nombreux systèmes commerciaux, y compris ceux utilisés par le College Board et diverses évaluations d'État, intègrent des modèles neuronaux, bien que les approches hybrides combinant les scores machine et l'examen humain restent courantes.
Approches techniques
Les systèmes AES suivent généralement un pipeline de prétraitement, d'extraction de caractéristiques et de notation. Le prétraitement comprend la tokenisation, l'étiquetage morphosyntaxique et l'analyse syntaxique, souvent à l'aide d'outils de linguistique computationnelle. L'extraction de caractéristiques peut être catégorisée en caractéristiques de surface (par exemple, le nombre de mots, la longueur des phrases), caractéristiques syntaxiques (par exemple, la profondeur de l'arbre syntaxique, la densité des propositions), caractéristiques sémantiques (par exemple, la cohérence thématique, le chevauchement lexical) et caractéristiques discursives (par exemple, la présence de thèses, de mots de transition). Les modèles traditionnels, tels que les machines à vecteurs de support ou la régression linéaire, combinaient ces caractéristiques en un score unique.
L'AES moderne repose de plus en plus sur des modèles de apprentissage profond et de réseaux de neurones, en particulier les architectures basées sur transformeurs. Ces modèles peuvent apprendre des représentations du texte directement à partir de jetons bruts, capturant des dépendances à longue portée et des schémas stylistiques nuancés. Par exemple, un modèle pourrait utiliser un grand modèle de langage pré-entraîné comme base, affiné sur des ensembles de données de notation de dissertations avec une tête de régression qui produit un score continu. Certains systèmes utilisent des mécanismes de attention multi-têtes pour pondérer différentes parties de la dissertation, tandis que d'autres utilisent des cadres séquence à séquence ou encodeur-décodeur pour des tâches plus complexes comme la génération de rétroaction. L'entraînement implique généralement un apprentissage supervisé sur des dissertations notées par des humains, avec des fonctions de perte telles que l'erreur quadratique moyenne ou des pertes de régression ordinale. Des techniques comme la augmentation de données et l'apprentissage par curriculum sont parfois appliquées pour améliorer la robustesse, et l'élagage de modèles peut réduire le coût computationnel pour le déploiement.
Applications et déploiement
L'AES est utilisée dans plusieurs contextes à enjeux élevés et faibles. Dans les tests standardisés, l'Educational Testing Service (ETS) utilise e-rater pour le GRE et le TOEFL, tandis que le College Board utilise un système AES pour la dissertation du SAT (interrompue en 2021 mais toujours utilisée dans certaines évaluations d'État). L'Intelligent Essay Assessor de Pearson est utilisé dans les programmes d'écriture de l'enseignement primaire, secondaire et supérieur, et des plateformes comme Revision Assistant de Turnitin et les vérifications de ton et de style de Grammarly intègrent des fonctionnalités de type AES. Dans les cours en ligne ouverts et massifs (MOOC), l'AES permet une notation évolutive pour des milliers d'étudiants, comme on le voit dans les devoirs évalués par les pairs de Coursera complétés par des vérifications automatisées.
Au-delà des tests, l'AES alimente des outils de rétroaction automatisée qui aident les étudiants à réviser leur écriture. Ces systèmes peuvent signaler des erreurs de grammaire, suggérer des améliorations dans l'organisation et fournir des scores holistiques. Certains prototypes de recherche utilisent l'apprentissage par renforcement ou le apprentissage par renforcement à partir de rétroaction IA pour générer des commentaires plus instructifs. Cependant, le déploiement n'est pas sans controverse. Les critiques soutiennent que l'AES peut être contournée en utilisant un langage verbeux ou superficiellement complexe, et qu'elle peut pénaliser les styles d'écriture créatifs ou non standard. Des études ont montré que les évaluateurs humains et l'AES sont souvent en désaccord sur les dissertations à haute sophistication rhétorique, ce qui soulève des préoccupations concernant l'équité pour les locuteurs non natifs et les étudiants issus de divers horizons.
Évaluation et défis
Les systèmes AES sont généralement évalués en mesurant l'accord avec les scores humains, à l'aide de métriques telles que le kappa quadratique pondéré (QWK) ou la corrélation de Pearson. Le benchmark ASAP a fixé un objectif de QWK supérieur à 0,80, que de nombreux systèmes modernes dépassent. Cependant, atteindre un accord élevé en moyenne ne garantit pas l'exactitude pour des dissertations individuelles, en particulier les valeurs aberrantes. Les défis incluent la gestion des dissertations hors sujet, la détection des entrées adversariales (par exemple, du charabia qui trompe le modèle) et la prise en compte des variations culturelles et linguistiques. La recherche a également exploré les biais dans l'AES, constatant que les modèles peuvent systématiquement sous-noter les dissertations de certains groupes démographiques si les données d'entraînement ne sont pas représentatives.
Un autre défi est l'interprétabilité des modèles neuronaux. Alors que les systèmes basés sur des caractéristiques pouvaient expliquer les scores en listant les caractéristiques contributives, les modèles de apprentissage profond sont souvent opaques. Cela a conduit à des travaux sur l'AES explicable, utilisant des techniques comme la visualisation de l'attention ou l'élagage de modèles pour identifier les mots saillants. Au début des années 2020, aucun système AES ne reproduit pleinement le jugement d'un évaluateur humain formé, et la plupart des experts recommandent d'utiliser l'AES comme complément, plutôt que comme remplacement, de l'évaluation humaine dans les décisions à enjeux élevés.
Orientations futures
L'intégration des grands modèles de langage dans l'AES est un domaine de recherche actif. Des modèles comme GPT-4 et Claude peuvent générer une rétroaction détaillée et même noter des dissertations avec un amorçage à quelques exemples, bien que leur fiabilité et leur cohérence restent à l'étude. Certains chercheurs proposent d'utiliser la IA générative pour créer des données d'entraînement synthétiques, répondant à la rareté des dissertations annotées. D'autres explorent l'apprentissage multitâche, où un seul modèle effectue simultanément la notation, la rétroaction et la détection de plagiat. Le développement des modèles d'OpenAI et d'Anthropic a également soulevé des questions sur la question de savoir si l'AES devrait être basée sur des modèles de langage à usage général ou des systèmes de notation spécialisés.
Les considérations politiques et éthiques sont susceptibles de façonner l'adoption future. Les débats sur la responsabilité algorithmique, la confidentialité des données et le rôle de l'automatisation dans l'éducation sont en cours. Certaines institutions éducatives se sont éloignées de la notation entièrement automatisée au profit de systèmes avec intervention humaine, où l'AES fournit une première passe et les évaluateurs humains examinent les cas limites. Au milieu des années 2020, le consensus dans le domaine est que l'AES continuera d'évoluer, mais son succès dépendra de la résolution des problèmes d'équité, de transparence et de valeur pédagogique de la rétroaction.
Voir aussi
- apprentissage automatique
- grand modèle de langage
- transformeur
- educational-testing-service
- traitement du langage naturel