Human-in-the-loop (HITL) est un paradigme de conception en Artificial intelligence où des opérateurs humains participent à l'entraînement, à l'évaluation ou à l'exploitation de modèles de Machine learning. Cette approche est utilisée lorsque les systèmes automatisés ne peuvent pas résoudre entièrement l'ambiguïté, lorsque les erreurs sont coûteuses, ou lorsque les résultats doivent se conformer aux valeurs humaines et aux réglementations.
Les flux de travail HITL impliquent généralement un cycle de rétroaction : un modèle produit une prédiction, un humain la révise ou la corrige, et la correction est intégrée dans l'itération d'entraînement suivante du modèle. Ce cycle peut être appliqué à différentes étapes, de l'étiquetage des données à la prise de décision finale, et constitue un composant central de nombreuses chaînes de traitement modernes de Large language model.
Méthodes et flux de travail
Une méthode courante est l'apprentissage actif, où le modèle identifie les exemples qui amélioreraient le plus ses performances et demande des étiquettes pour ces exemples à un annotateur humain. Cela réduit le nombre d'étiquettes nécessaires par rapport à un échantillonnage aléatoire. L'apprentissage automatique interactif étend cette approche en permettant aux utilisateurs de corriger les résultats en temps réel ; ces corrections deviennent des données d'entraînement supplémentaires. Pour les modèles génératifs, OpenAI et Anthropic ont utilisé l'apprentissage par renforcement à partir de rétroaction humaine (RLHF) pour aligner le comportement du modèle sur l'intention de l'utilisateur. Dans le RLHF, des évaluateurs humains comparent les réponses du modèle et les classent ; ces classements entraînent un modèle de récompense, qui guide ensuite le fine-tuning via l'apprentissage par renforcement. Une technique connexe, Reinforcement Learning from AI Feedback (RLAIF), utilise un système d'IA pour générer la rétroaction, réduisant mais n'éliminant pas le besoin de supervision humaine.
HITL croise également l'entraînement de Deep learning et de Neural network. Par exemple, les modèles Transformer (architecture) sont souvent affinés avec des préférences humaines après une phase initiale de pré-entraînement non supervisé. Certains systèmes combinent HITL avec Curriculum Learning, où les tâches sont ordonnées de faciles à difficiles, et la rétroaction humaine est concentrée sur les exemples les plus difficiles.
Applications
Dans la conduite autonome, Waymo et Tesla emploient des opérateurs à distance et des conducteurs de sécurité pour gérer les cas limites que leurs systèmes de perception ne peuvent pas résoudre avec confiance. Ces interventions humaines sont enregistrées et utilisées pour améliorer les versions ultérieures du modèle. Dans le secteur de la santé, le système da Vinci de Intuitive Surgical permet aux chirurgiens de contrôler des instruments robotiques, et les outils de diagnostic assistés par IA exigent souvent qu'un clinicien confirme ou remplace les résultats automatisés. Les plateformes de modération de contenu utilisent HITL pour examiner les publications signalées, en particulier pour des questions nuancées telles que le discours de haine ou la désinformation.
Les fournisseurs de cloud proposent des services HITL gérés : Amazon Web Services SageMaker Ground Truth et Google Cloud AI Platform data labeling permettent aux clients de créer des ensembles de données personnalisés avec des annotateurs humains. Microsoft Azure fournit un service d'étiquetage similaire. Ces services s'intègrent aux plateformes de crowdsourcing et peuvent être utilisés pour entraîner des modèles pour des applications d'IA générative.
Histoire et recherche
Le concept d'un humain supervisant des systèmes automatisés remonte à la théorie du contrôle et à l'ingénierie des facteurs humains du milieu du XXe siècle. Dans les années 1960, des chercheurs de Xerox PARC ont exploré l'informatique interactive, et des travaux ultérieurs au MIT CSAIL ont étudié comment les humains pouvaient guider l'apprentissage automatique par des exemples et des corrections. Les années 2000 ont apporté des plateformes de crowdsourcing telles qu'Amazon Mechanical Turk, rendant l'annotation humaine à grande échelle économiquement viable. La recherche académique sur l'apprentissage automatique interactif s'est développée dans les années 2000, avec des contributions de multiples institutions.
Défis et limites
HITL introduit des coûts et une latence significatifs. L'annotation humaine est coûteuse, et le temps nécessaire à la révision peut ralentir les applications en temps réel. Le désaccord entre annotateurs est courant, et les biais dans le jugement humain peuvent être encodés dans les modèles. Des recherches menées par Aleksander Madry et ses collègues ont montré que la rétroaction humaine peut être incohérente, en particulier lorsque les tâches sont subjectives ou lorsque les évaluateurs sont influencés par des entrées adverses. Pour atténuer ces problèmes, les praticiens utilisent l'augmentation de données pour générer des exemples d'entraînement synthétiques, et Model Pruning pour simplifier les modèles et réduire le nombre de décisions nécessitant une révision humaine. Dans les domaines à enjeux élevés, les cadres réglementaires exigent de plus en plus une intervention humaine dans les décisions automatisées, mais la mise en œuvre pratique reste un défi ouvert.
Orientations futures
À mesure que les systèmes d'IA deviennent plus capables, le rôle des humains évolue de l'étiquetage par exemple à l'alignement et à l'audit de haut niveau. Google DeepMind a étudié la supervision à grande échelle, où des modèles plus petits aident à évaluer des modèles plus grands, et OpenAI et Anthropic ont publié des directives pour intégrer la rétroaction humaine lors du développement de modèles. L'intégration de HITL avec les architectures basées sur les transformeurs et les chaînes d'entraînement de réseaux neuronaux est un domaine de recherche actif, avec un accent sur la réduction de l'effort humain nécessaire tout en maintenant la fiabilité et l'équité.