Comment mesurer vraiment une politique de robot
Une politique de robot peut afficher 90 % sur un benchmark et échouer malgré tout sur le terrain. Les pièges de l’évaluation des politiques, et comment en tester une honnêtement.
Une politique de robot affiche 90 % sur un benchmark et le titre s’écrit tout seul. Quatre-vingt-dix pour cent de quoi, au juste : mesurés comment, sur combien d’essais, sur quels objets. Un chiffre sur un classement est la compression d’une expérience, et l’essentiel de ce dont vous auriez besoin pour lui faire confiance a été jeté au cours de cette compression.
L’évaluation est la crise silencieuse de l’apprentissage robotique. Presque tout le monde s’accorde à dire que les politiques s’améliorent. Presque personne ne s’accorde sur la façon de le prouver. Une politique de manipulation n’est pas un modèle de langage que l’on peut noter en une nuit sur un jeu de test figé. Chaque essai coûte un robot physique, une réinitialisation et une personne pour le relancer, et le monde refuse de rester immobile entre deux exécutions : la lumière change, l’objet roule d’un centimètre, la pince s’use.
Aussi cet article prend-il position. La plupart des taux de réussite rapportés pour les robots tiennent davantage de l’anecdote que de la mesure, et cet écart n’est pas de la négligence. Une évaluation honnête est coûteuse, lente et peu flatteuse, ce qui explique précisément qu’on la saute. Les équipes dont les politiques survivent au contact du monde réel sont celles qui traitent l’évaluation comme une expérience de premier ordre : assez d’essais pour porter un intervalle de confiance, des conditions sur lesquelles la politique ne s’est jamais entraînée, et des modes de défaillance rapportés plutôt qu’enterrés.
Le chiffre est une compression, et il perd les barres d’erreur
Commençons par les statistiques, car elles sont impitoyables et régulièrement ignorées. Les évaluations de robots rapportent un résultat binaire, réussite ou échec, sur une poignée d’essais. Attribuez à une politique un score de 8 sur 10 et cela fait figure de bon résultat. Calculez l’intervalle de confiance binomial, et le taux de réussite réel pourrait tout à fait se situer n’importe où entre environ 50 % et 95 %. Dix essais ne peuvent tout simplement pas trancher la différence. Pire, avec dix essais chacune, vous ne pouvez pas distinguer de façon fiable une politique ayant obtenu 8 sur 10 d’une politique ayant obtenu 6 sur 10 : les intervalles se recouvrent presque entièrement.
Ce n’est pas un détail chicanier, c’est la différence entre une démonstration et une mesure. Toyota Research Institute s’est montré exceptionnellement direct à ce sujet dans ses travaux sur les Large Behavior Models, où l’évaluation est menée comme une véritable expérience : de nombreux essais, des comparaisons A/B en aveugle et randomisées pour que l’espoir de l’opérateur ne déteigne pas sur la façon dont une scène est réinitialisée, et des tests statistiques avant qu’un changement ne soit déclaré une amélioration. Rien de tout cela n’est spectaculaire. C’est pourtant tout cela qui sépare une politique qui a eu de la chance un mardi d’une politique réellement meilleure.
Les benchmarks de simulation récompensent la mauvaise chose
Les simulateurs sont bon marché, rapides et parfaitement reproductibles, ce qui explique précisément pourquoi ils sont séduisants et pourquoi ils induisent en erreur. Une politique peut gravir un benchmark de simulation en s’ajustant aux particularités d’un moteur physique et d’un moteur de rendu, plutôt qu’à la tâche. Le modèle de contact est une approximation ; surajustez-le et vous obtenez une politique calibrée pour un monde qui n’existe pas.
L’écart n’est pas uniforme. La simulation se transfère bien pour la locomotion et le contrôle du corps entier, là où la dynamique des corps rigides est modélisée fidèlement et où les chercheurs ont beaucoup poussé la randomisation de domaine. Elle se transfère mal pour la manipulation riche en contacts que l’on veut le plus : objets mous, déformables ou articulés, où un simulateur incapable de rendre un tissu qui se plie ou une prise qui glisse entraînera avec entrain une politique confiante qui échoue sur l’objet réel. Une grande partie de la littérature sim2real sur Berkeley BAIR et dans les préprints cs.RO tourne autour de la même mise en garde : un score de simulation est une hypothèse sur le monde réel, pas une mesure de celui-ci. Un benchmark qui ne touche jamais une vraie pince mesure à quel point vous surajustez un moteur physique.
Le jeu de tâches pèse plus lourd que la métrique
Avant de débattre de la métrique, regardez sur quoi elle a été calculée. Le jeu de tâches décide en silence du résultat. Évaluez sur les mêmes objets, les mêmes scènes et le même éclairage que ceux sur lesquels la politique s’est entraînée, et vous avez mesuré de la mémorisation, pas de la compétence. Cela aura l’air résolu jusqu’au moment précis où la serviette est rouge au lieu de bleue, ou bien où le soleil se déplace au-dessus de la table.
Les benchmarks partagés aident, et le domaine en a construit de bons. Open X-Embodiment a mutualisé l’évaluation sur de nombreux robots et institutions, précisément pour que les résultats puissent être comparés sur un terrain commun. Mais même un benchmark partagé peut être détourné en ne rapportant que les tâches complaisantes, et un unique taux de réussite agrégé masque quelles conditions ont porté le score. Le protocole honnête est ennuyeux et difficile à truquer : réservez des objets, des scènes et un éclairage que la politique n’a jamais vus, fixez le nombre d’essais à l’avance, et rapportez par condition plutôt qu’une seule moyenne flatteuse. Si le chiffre sur données réservées est très inférieur au chiffre sur données vues, cet écart est le résultat, pas une note de bas de page.
Le taux de réussite masque comment elle a réussi, et comment elle a échoué
La réussite binaire est une métrique à perte, même lorsque les statistiques et le jeu de tâches sont honnêtes. Une politique qui s’en sort de justesse avec une prise maladroite et hésitante et une politique qui saisit l’objet proprement du premier coup obtiennent un score identique, et pourtant une seule des deux survivra à un millimètre d’encombrement supplémentaire. Le taux de réussite consigne le résultat et efface la marge.
Une évaluation plus riche rapporte plus qu’un seul bit. Un crédit partiel accordé à la progression de la tâche distingue une politique arrivée à mi-chemin d’une politique qui n’a jamais démarré. Une marge de robustesse, c’est-à-dire l’ampleur de la perturbation que la politique tolère avant de céder, prédit le comportement sur le terrain bien mieux que la réussite en salle blanche. Le plus précieux et le plus négligé, c’est la récupération : la politique remarque-t-elle une erreur et la corrige-t-elle, ou bien un seul dérapage se propage-t-il en une cascade de défaillances. Les travaux de groupes comme Stanford IRIS sur l’apprentissage par imitation soulignent depuis longtemps que ce sont la robustesse et la récupération, non les démonstrations parfaites, qui généralisent. Rapporter les modes de défaillance n’est pas un aveu de faiblesse, c’est l’information la plus utile que produise une évaluation.
| Approche d’évaluation | Ce qu’elle mesure | Comment elle induit en erreur |
|---|---|---|
| Benchmark de simulation | Le comportement dans un monde modélisé, à faible coût et de façon reproductible | Récompense le surajustement au moteur physique et au moteur de rendu ; le contact et les objets déformables brisent le transfert |
| Petit jeu d’essais en conditions réelles | La réussite réelle sur le robot | Intervalle de confiance si large qu’il ne peut séparer deux politiques |
| Suite de tâches en distribution | La compétence sur les objets et scènes appris | Note la mémorisation ; s’effondre dès que les objets, l’encombrement ou l’éclairage changent |
| Taux de réussite binaire | Si la tâche s’est achevée | Ignore la marge, la robustesse et la récupération ; une prise ratée de peu fait jeu égal avec une prise nette |
| Exécution triée sur le volet ou meilleure sur N | Le plafond sur une tâche complaisante | Rapporte le meilleur essai, non l’essai attendu ; un montage des temps forts, pas une moyenne |
Un chiffre de benchmark vous dit comment une politique s’est comportée sur la chose précise pour laquelle elle a été notée. Savoir si elle fonctionnera dans le monde réel est une autre question, et seuls des essais réservés, comptés honnêtement, peuvent y répondre.
Un bon jeu d’évaluation, ce sont des données capturées, pas une impression
Tout cela converge vers une exigence dérangeante. Des objets réservés, des scènes réservées, un éclairage contrôlé et des réinitialisations répétables n’apparaissent pas sur commande. Pour faire office de test équitable, un jeu d’évaluation doit être capturé, instrumenté et documenté avec autant de soin que les données d’entraînement, faute de quoi il ne peut être reproduit au trimestre suivant et ses chiffres ne peuvent être comparés d’une équipe à l’autre. Une évaluation que vous ne pouvez pas relancer est une histoire, pas un benchmark. La vérité inconfortable, c’est que construire un jeu de test difficile et honnête relève du même savoir-faire que construire un bon jeu d’entraînement, et coûte à peu près aussi cher.
Alors, la prochaine fois qu’une politique de robot est annoncée à 90 %, posez les trois questions que le chiffre a enterrées : combien d’essais réels le soutiennent, sur quelles conditions réservées, et à quoi ressemblaient réellement les échecs. Si la réponse est un chiffre unique sur un jeu de tâches complaisant, vous regardez un montage des temps forts. Si la réponse arrive avec un intervalle, un écart sur données réservées et un compte rendu honnête des échecs, vous avez sous les yeux une mesure, et celles-ci sont bien plus rares que les classements ne le laissent croire.