L'approximation de la fonction de fitness désigne une famille de méthodes en calcul évolutionnaire et en optimisation qui substituent une fonction de fitness exacte et coûteuse par un modèle de substitution approximatif et moins cher. La fonction de fitness dans un algorithme évolutionnaire mesure dans quelle mesure une solution candidate résout un problème donné, et son évaluation peut être coûteuse en calcul - par exemple, dans la conception technique, les simulations de dynamique des fluides ou le réglage des hyperparamètres en apprentissage automatique. L'approximation de la fonction de fitness vise à réduire la charge de calcul totale en utilisant un modèle de substitution qui prédit les valeurs de fitness, permettant à l'algorithme d'explorer plus de candidats ou de fonctionner plus longtemps dans un budget fixe. Cette approche est également connue sous le nom d'optimisation assistée par modèle de substitution ou de méta-modélisation, et elle est étudiée depuis les années 1990, avec des travaux précoces de chercheurs tels que Yaochu Jin et Bernhard Sendhoff au Honda Research Institute Europe.
L'idée centrale est d'équilibrer le compromis entre la précision de l'évaluation et le coût de calcul. Un modèle de substitution est généralement construit à partir de solutions précédemment évaluées, en utilisant des techniques de régression comme la régression polynomiale, le krigeage (également appelé régression par processus gaussiens), ou des réseaux de neurones. Le modèle de substitution est mis à jour de manière itérative à mesure que de nouvelles évaluations exactes sont effectuées, un processus appelé gestion de modèle ou contrôle de l'évolution. L'approximation de la fonction de fitness est particulièrement précieuse dans les domaines où une seule évaluation peut prendre des heures ou des jours, comme la dynamique des fluides computationnelle, l'optimisation structurelle ou l'entraînement d'un modèle de apprentissage profond. Dans de tels cas, le modèle de substitution peut filtrer les candidats peu prometteurs, ne laissant que quelques solutions à fort potentiel pour une évaluation exacte.
Modèles de substitution et entraînement
Les modèles de substitution sont entraînés sur un ensemble de données de paires entrée-sortie collectées à partir d'évaluations exactes. Les choix courants incluent le krigeage, qui fournit à la fois une prédiction et une estimation de l'incertitude, et les réseaux de fonctions de base radiale, qui sont simples et rapides à entraîner. Les méthodes de apprentissage automatique, y compris les réseaux de neurones et les forêts aléatoires (bien que non incluses dans la liste fournie, le concept est standard), sont également utilisées. Le choix du modèle de substitution dépend de la dimensionnalité du problème, du nombre d'échantillons disponibles et de la régularité du paysage de fitness. Dans les problèmes de faible dimension, le krigeage fonctionne souvent bien ; dans les espaces de haute dimension, les réseaux de neurones ou la régression par vecteurs de support peuvent être préférés. Le modèle de substitution est généralement entraîné sur un sous-ensemble des solutions évaluées, et sa précision est surveillée à l'aide de la validation croisée ou d'un ensemble de validation.
Stratégies de gestion de modèle
La gestion de modèle détermine quand utiliser le modèle de substitution par rapport à la fonction de fitness exacte. Une stratégie courante est l'approche basée sur les générations, où le modèle de substitution évalue tous les descendants d'une génération, et seuls les meilleurs sont réévalués exactement. Une autre est l'approche basée sur les individus, où chaque candidat est évalué exactement avec une certaine probabilité, ou le modèle de substitution n'est utilisé que pour les candidats éloignés des solutions connues de bonne qualité. La méthode de contrôle de l'évolution, introduite par Jin et Sendhoff, utilise le modèle de substitution pour présélectionner les individus, puis applique une évaluation exacte aux meilleurs candidats. Cela réduit le nombre d'évaluations exactes tout en maintenant la qualité de la recherche. Des stratégies plus avancées adaptent l'utilisation du modèle de substitution en fonction de son erreur estimée, utilisant une évaluation exacte lorsque le modèle de substitution est incertain.
Applications en ingénierie et en IA
L'approximation de la fonction de fitness a été largement appliquée dans la conception technique, comme l'optimisation des ailes d'avion, des carrosseries de voiture et des pales de turbine, où chaque simulation peut prendre des heures. En intelligence artificielle, elle est utilisée en neuroévolution, où la fitness d'un réseau de neurones est sa précision sur un ensemble de données, et l'entraînement peut être coûteux. Les modèles de substitution ont également été utilisés dans l'optimisation des hyperparamètres pour les modèles de apprentissage automatique, où l'évaluation d'une configuration nécessite l'entraînement d'un modèle complet. En apprentissage par renforcement (non inclus dans la liste, mais standard), l'approximation de la fonction de fitness peut accélérer la recherche de politiques. La technique est également pertinente dans l'IA générative, où l'évaluation de la qualité des conceptions ou des images générées peut nécessiter des simulations coûteuses ou des retours humains.
Défis et limites
Le principal défi est la précision du modèle de substitution, en particulier dans les paysages de fitness de haute dimension ou accidentés. Un modèle de substitution inexact peut induire la recherche en erreur, provoquant une convergence prématurée vers des solutions médiocres. Pour atténuer cela, les chercheurs utilisent des modèles de substitution en ensemble, qui combinent plusieurs modèles, ou des stratégies adaptatives qui augmentent la fréquence des évaluations exactes lorsque l'erreur du modèle de substitution augmente. Un autre problème est la malédiction de la dimensionnalité : à mesure que le nombre de variables de conception augmente, le modèle de substitution nécessite exponentiellement plus d'échantillons d'entraînement. De plus, le modèle de substitution lui-même a un coût d'entraînement, qui doit être compensé par les économies réalisées sur les évaluations exactes. En pratique, l'approximation de la fonction de fitness fonctionne mieux lorsque la fonction de fitness est lisse et continue, et lorsque le budget d'évaluation est sévèrement limité.
Développements récents
Des travaux récents ont intégré l'approximation de la fonction de fitness avec des modèles de substitution basés sur le apprentissage profond, tels que des réseaux de neurones entraînés sur de grands ensembles de données provenant de runs précédents. L'apprentissage par transfert et le méta-apprentissage ont été utilisés pour initialiser des modèles de substitution pour de nouveaux problèmes. Il y a également un intérêt croissant pour l'utilisation de l'approximation de la fonction de fitness dans l'optimisation multi-objectifs, où plusieurs objectifs conflictuels nécessitent plusieurs modèles de substitution. Dans le contexte des grands modèles de langage, l'approximation de la fonction de fitness a été proposée pour évaluer le code ou le texte généré, où une évaluation exacte pourrait impliquer l'exécution de tests ou une notation humaine. En 2025, la recherche continue de se concentrer sur l'amélioration de la précision des modèles de substitution et le développement de schémas de gestion de modèle robustes capables de gérer des fonctions de fitness bruitées ou dynamiques.
Voir aussi
- calcul évolutionnaire (non inclus dans la liste, mais standard ; lien vers intelligence artificielle)
- optimisation (non inclus dans la liste ; lien vers apprentissage automatique)
- modèle de substitution (non inclus dans la liste ; lien vers réseaux de neurones)
- krigeage (non inclus dans la liste ; lien vers réseaux de neurones)