Manipulation mobile : des données pour des robots qui se déplacent et saisissent
La plupart des données robotiques supposent un bras boulonné à une table. Les robots qui marchent jusqu’à l’objet avant de le saisir ont besoin de données qui couplent la navigation à la manipulation.
Dans un entrepôt, un robot marche vers une étagère, s’arrête, plonge la main dans un bac, soulève un colis, se retourne et le porte jusqu’à un convoyeur. Tout cela paraît routinier, jusqu’à ce que vous vous demandiez d’où venaient les données d’entraînement. La quasi-totalité de ces données a été enregistrée par un bras incapable de se déplacer où que ce soit : boulonné à un établi, fixant le même coin de table, répétant le « pick-and-place » dans le même bac pendant un millier d’épisodes.
C’est le décalage silencieux qui se cache au cœur de la manipulation mobile. Le domaine a constitué une offre considérable de données de démonstration en partant du principe que la base ne bouge jamais. Dès l’instant où la base se met effectivement à bouger, à marcher, à rouler, à s’accroupir, le problème change de forme, et une grande partie de ces données cesse d’être parfaitement adaptée. La manipulation mobile n’est pas de la manipulation à base fixe à laquelle on aurait ajouté un train roulant en dessous. C’est un autre problème de données.
La différence tient à une seule chose : un robot mobile doit atteindre l’objet avant de pouvoir agir sur lui, et la manière dont il y est parvenu détermine si l’action est seulement possible. Capturer ce couplage, la navigation et la manipulation comme un seul comportement continu plutôt que deux, est plus difficile qu’il n’y paraît, et c’est là que la capture égocentrique depuis un corps en mouvement fait la preuve de son utilité.
La plupart des données de manipulation supposent une table
Ouvrez un jeu de données de manipulation typique et la base y est un meuble. Le bras est monté sur un châssis fixe, l’espace de travail est un plateau de table, les caméras observent depuis des positions arrêtées, et l’objet se trouve quelque part à portée du bras. Cette hypothèse n’a rien d’un hasard. Elle simplifie tout ce qui vient ensuite : le repère du monde et le repère du robot sont en pratique identiques, l’ensemble atteignable est fixe, et un épisode est court parce que la partie intéressante commence à l’instant même où la démonstration débute.
Open X-Embodiment a réuni bien plus d’un million de trajectoires issues de plus de vingt types de robots, et constitue un jalon de l’apprentissage inter-incarnations, mais l’écrasante majorité de ces épisodes proviennent de bras stationnaires, montés sur table. Ce n’est pas une critique du corpus ; cela reflète l’endroit où le domaine a trouvé le moins coûteux de collecter. Mais cela signifie qu’une policy préentraînée sur ces données a vu énormément de gestes pour atteindre et saisir, et très peu de situations où l’on s’approche d’un comptoir devant lequel on ne s’est jamais tenu pour décider où s’arrêter.
Ce qui change quand la base peut bouger
Boulonnez le bras à une base à roues ou à pattes, et trois choses s’étendent d’un coup.
L’état grandit. L’état d’un bras à base fixe se résume pour l’essentiel à ses angles articulaires, à la pince et à l’objet. Un système mobile y ajoute la pose de la base dans le monde, son cap et sa vitesse, ainsi que la relation entre la base et le bras. Davantage de degrés de liberté, cela signifie davantage d’espace à couvrir, et la couverture est précisément ce que les données de démonstration permettent d’acheter.
Les repères se multiplient et dérivent. Sur un établi, la position d’un objet peut s’écrire une fois pour toutes dans un repère du monde et rester fiable pour toute la session. Sur une base mobile, il y a un repère du monde, un repère de base, un repère bras-base, un repère de la caméra de tête et un repère de la pince, et tous se déplacent les uns par rapport aux autres. Pire encore, l’estimation que la base fait de sa propre position dérive. L’odométrie des roues patine, une démarche à pattes introduit du balancement, et la localisation SLAM peut se tromper de plusieurs centimètres. Une cible de préhension écrite en coordonnées du monde hérite de cette erreur. Des données capturées dans un repère relatif au corps, où la cible est exprimée par rapport à la tête ou à la main, contournent entièrement la dérive, parce que les relations qu’une policy utilise réellement ne dépendent pas de la position globale.
Le point de vue se déplace avec le corps. Une caméra murale peut observer un bras fixe indéfiniment. Elle ne peut pas suivre un robot qui parcourt un bâtiment. La seule caméra dont la présence est garantie au moment de la manipulation est celle qui se trouve sur le robot lui-même, et cette caméra parvient à l’objet par le chemin qu’a emprunté la base. Ce qui est visible au moment de la préhension dépend de l’approche, si bien que l’approche doit elle aussi figurer dans les données.
| Dimension | Manipulation à base fixe | Manipulation mobile |
|---|---|---|
| État à capturer | Articulations du bras, pince, objet | Bras, pince, plus pose de la base, cap et vitesse |
| Repères | Repère du monde et repère du robot coïncident, stables | Plusieurs repères mobiles, la localisation de la base dérive |
| Point de vue | Peut utiliser des caméras externes fixes | Uniquement embarqué, se déplace avec le corps, déterminé par l’approche |
| Durée d’épisode | De quelques secondes à environ une minute | Souvent plusieurs minutes, navigation plus manipulation |
| Difficulté de capture | Circonscrite, reproductible | Plus vaste, plus longue, plus difficile à synchroniser et à réinitialiser |
C’est au moment du relais que tout se brise
La robotique classique range la navigation et la manipulation dans des boîtes distinctes : un planificateur conduit la base jusqu’à une pose cible, puis un contrôleur de manipulation prend le relais. C’est à la couture entre les deux que la manipulation mobile échoue en silence. Arrêtez-vous un demi-mètre trop loin et l’étagère est hors de portée. Approchez sous le mauvais angle et la préhension que la policy a apprise ne s’aligne plus. La pose de la base à la fin de la navigation est la condition initiale de tout ce que le bras fait ensuite, et une démonstration qui traite les deux phases comme des séquences sans rapport jette cette dépendance aux orties.
Les bonnes démonstrations mobiles enregistrent au contraire ce couplage. Elles capturent la base qui se pré-positionne en vue du geste, le bras qui commence à se déployer avant que la base ne soit tout à fait arrêtée, la coordination du corps entier qui permet à un robot d’incliner son torse pour gagner quelques centimètres de portée plutôt que de faire un pas de plus. Voilà pourquoi les rigs de téléopération du corps entier comptent : des systèmes de la trempe de Mobile ALOHA, mis au point à Stanford, permettent à un seul opérateur de piloter la base et les deux bras ensemble, si bien que la trajectoire enregistrée contient la coordination, et non une séquence « naviguer-puis-saisir » assemblée de bric et de broc. Les travaux de groupes comme le Stanford IRIS lab et un flot continu de travaux cs.RO ont poussé ce cadrage du corps entier précisément parce que la frontière naïve entre modules perd l’information la plus importante.
L’endroit où le robot s’arrête est la première décision de la préhension, pas la dernière décision de la marche. Des données qui séparent les deux apprennent à une policy à approcher et à manipuler comme deux inconnus.
Pourquoi une caméra portée sur le corps convient
Les humains sont les manipulateurs mobiles de référence. Nous traversons une pièce, ouvrons un tiroir et en sortons une cuillère sans y penser, couplant locomotion et manipulation si étroitement que nous ne remarquons jamais le relais. Capturez cela du point de vue de la personne elle-même, une caméra de tête et une caméra au poignet, et l’enregistrement possède une propriété qui convient exactement à un robot mobile : le point de vue se déplace avec le corps, de la même façon que le feront les caméras embarquées du robot.
C’est la raison plus profonde pour laquelle la capture égocentrique et la manipulation mobile vont de pair. Une caméra portée sur le corps s’avance jusqu’au comptoir, elle enregistre donc l’approche, l’échelle changeante de la cible, l’instant où la main entre dans le cadre par le bas. Elle est naturellement relative au corps, si bien qu’elle ne dépend pas d’une position globale parfaite qu’un robot réel n’aura jamais. Et comme une personne qui navigue vers une tâche puis l’exécute forme un flux ininterrompu, le couplage entre le fait d’y arriver et celui de faire la tâche est capturé gratuitement, à l’endroit précis où il est le plus difficile de le falsifier après coup.
Des systèmes déployés rendent le propos concret. Agility Robotics a construit Digit, un robot bipède qui marche vers des bacs et les déplace dans des entrepôts ; Google DeepMind a fait tourner des policies de manipulation sur des plateformes mobiles, dans des cuisines et des bureaux, où le robot doit se conduire lui-même à portée avant de pouvoir agir. Dans les deux cas, les capteurs du robot sont sur le robot, se déplacent avec lui, et voient ce que voit une caméra portée sur le corps, non ce que verrait un trépied à l’autre bout de la pièce.
La base n’est pas une note de bas de page
Il est tentant de traiter le train roulant comme de la tuyauterie sous un problème de manipulation déjà résolu sur un établi. Les données disent le contraire. Quand la base bouge, l’état grandit, les repères dérivent, le point de vue voyage, et l’épisode s’étire pour englober la marche qui a préparé la préhension. Un robot qui n’a jamais appris qu’à partir d’un bras boulonné à une table abordera le monde comme si le monde venait à lui. Ceux qui marchent jusqu’à l’objet, et le saisissent une fois arrivés, auront appris à partir de données enregistrées de la même façon qu’ils se déplacent.