Mobile Manipulation: Daten für Roboter, die sich bewegen und greifen

Ein Roboter in einem Lagerhaus läuft zu einem Regal, bleibt stehen, greift in eine Kiste, hebt ein Paket an, dreht sich um und trägt es zu einem Förderband. Jeder Teil davon wirkt routinemäßig, bis man fragt, woher die Trainingsdaten stammen. Fast alle davon wurden von einem Arm aufgezeichnet, der nirgendwohin laufen kann: an einer Werkbank festgeschraubt, auf denselben Tischausschnitt gerichtet, tausend Episoden lang dasselbe Pick-and-Place in denselben Behälter wiederholend.

Das ist die stille Diskrepanz in der mobilen Manipulation. Das Feld hat ein enormes Angebot an Demonstrationsdaten aufgebaut, ausgehend von der Annahme, dass sich die Basis niemals bewegt. Sobald sich die Basis bewegt, laufend, rollend, kauernd, ändert sich die Form des Problems, und ein Großteil dieser Daten passt nicht mehr sauber. Mobile Manipulation ist keine ortsfeste Manipulation mit einem darunter montierten Antrieb. Es ist ein anderes Datenproblem.

Der Unterschied lässt sich auf eine Sache zurückführen: Ein mobiler Roboter muss das Objekt erst erreichen, bevor er darauf einwirken kann, und wie er dorthin gelangt ist, entscheidet darüber, ob die Handlung überhaupt möglich ist. Diese Kopplung zu erfassen, Navigation und Manipulation als ein durchgehendes Verhalten statt als zwei getrennte, ist schwerer, als es aussieht, und genau hier zahlt sich egozentrische Erfassung von einem bewegten Körper aus.

Die meisten Manipulationsdaten setzen einen Tisch voraus

Öffnet man einen typischen Manipulations-Datensatz, ist die Basis Mobiliar. Der Arm ist an einem festen Rahmen montiert, der Arbeitsbereich ist eine Tischplatte, die Kameras beobachten von festgelegten Positionen aus, und das Objekt liegt dort, wo der Arm es ohnehin erreichen kann. Diese Annahme ist kein Zufall. Sie macht alles Nachgelagerte einfacher: Weltkoordinatensystem und Roboterkoordinatensystem sind praktisch identisch, die erreichbare Menge ist fest, und eine Episode ist kurz, weil der interessante Teil in dem Moment beginnt, in dem die Demonstration startet.

Open X-Embodiment hat weit über eine Million Trajektorien von mehr als zwanzig Robotertypen zusammengeführt und ist ein Meilenstein im Cross-Embodiment-Lernen, doch die überwältigende Mehrheit dieser Episoden stammt von stationären, tischmontierten Armen. Das ist keine Kritik am Korpus; es spiegelt wider, wo die Erfassung für das Feld am günstigsten war. Es bedeutet aber, dass eine auf diesen Daten vortrainierte Policy sehr viel Greifen und Fassen gesehen hat und sehr wenig davon, an eine Theke heranzugehen, an der sie noch nie gestanden hat, und zu entscheiden, wo sie anhalten soll.

Was sich ändert, wenn sich die Basis bewegen kann

Verschraubt man den Arm mit einer Rad- oder Beinbasis, wachsen drei Dinge gleichzeitig.

Der Zustand wird größer. Der Zustand eines ortsfesten Arms besteht im Wesentlichen aus seinen Gelenkwinkeln, dem Greifer und dem Objekt. Ein mobiles System fügt die Pose der Basis in der Welt, ihre Ausrichtung und Geschwindigkeit sowie die Beziehung zwischen Basis und Arm hinzu. Mehr Freiheitsgrade bedeuten mehr Raum, der abgedeckt werden muss, und genau diese Abdeckung ist es, was Demonstrationsdaten liefern.

Die Koordinatensysteme vervielfachen sich und driften. An einer Werkbank kann die Position eines Objekts einmal in einem Weltkoordinatensystem festgehalten und für die gesamte Sitzung als gültig angenommen werden. Bei einer beweglichen Basis gibt es ein Weltkoordinatensystem, ein Basiskoordinatensystem, ein Arm-Basis-Koordinatensystem, ein Kopfkamera-Koordinatensystem und ein Greifer-Koordinatensystem, und alle bewegen sich relativ zueinander. Schlimmer noch: Die eigene Schätzung der Basis, wo sie sich befindet, driftet. Die Radodometrie rutscht, ein Beingang führt zu Schwankungen, und die SLAM-Lokalisierung kann um mehrere Zentimeter danebenliegen. Ein in Weltkoordinaten geschriebenes Greifziel erbt diesen Fehler. Daten, die in einem körperbezogenen Koordinatensystem erfasst werden, in dem das Ziel relativ zum Kopf oder zur Hand ausgedrückt wird, umgehen die Drift vollständig, weil die Beziehungen, die eine Policy tatsächlich nutzt, nicht von der globalen Position abhängen.

Der Blickwinkel bewegt sich mit dem Körper. Eine Wandkamera kann einen ortsfesten Arm endlos beobachten. Sie kann einem Roboter, der durch ein Gebäude streift, nicht folgen. Die einzige Kamera, die im Moment der Manipulation garantiert vorhanden ist, ist die am Roboter selbst, und diese Kamera erreicht das Objekt auf welchem Weg auch immer die Basis genommen hat. Was beim Griff sichtbar ist, hängt von der Annäherung ab, also muss die Annäherung ebenfalls Teil der Daten sein.

Die Übergabe ist die Bruchstelle

Die klassische Robotik hält Navigation und Manipulation in getrennten Kästen: Ein Planer fährt die Basis zu einer Zielpose, dann übernimmt ein Manipulationscontroller. An der Naht dazwischen versagt mobile Manipulation still und leise. Bleibt man einen halben Meter zu weit entfernt stehen, ist das Regal außer Reichweite. Nähert man sich im falschen Winkel, passt der von der Policy gelernte Griff nicht mehr. Die Basispose am Ende der Navigation ist die Ausgangsbedingung für alles, was der Arm als Nächstes tut, und eine Demonstration, die die beiden Phasen als unabhängige Clips behandelt, wirft diese Abhängigkeit weg.

Gute mobile Demonstrationen erfassen stattdessen die Kopplung. Sie zeichnen auf, wie die Basis sich selbst für die Reichweite vorpositioniert, wie der Arm beginnt sich auszustrecken, bevor die Basis vollständig zum Stehen gekommen ist, die ganzkörperliche Koordination, die es einem Roboter erlaubt, seinen Oberkörper zu neigen, um ein paar Zentimeter Reichweite zu gewinnen, statt einen weiteren Schritt zu machen. Deshalb sind Teleoperationsrigs für den ganzen Körper wichtig: Systeme nach dem Vorbild von Mobile ALOHA, entwickelt in Stanford, lassen einen einzigen Operator Basis und beide Arme gemeinsam steuern, sodass die aufgezeichnete Trajektorie die Koordination enthält und nicht eine zusammengeflickte Abfolge aus Navigieren-dann-Greifen. Forschung von Gruppen wie dem Stanford IRIS Lab und ein stetiger Strom an cs.RO-Arbeiten haben diese ganzkörperliche Sichtweise vorangetrieben, gerade weil die naive Modulgrenze die wichtigste Information verliert.

Wo der Roboter anhält, ist die erste Entscheidung des Griffs, nicht die letzte Entscheidung des Gehens. Daten, die die beiden trennen, bringen einer Policy bei, Annäherung und Manipulation wie Fremde zu behandeln.

Warum eine körpergetragene Kamera passt

Menschen sind die Referenz-Mobilmanipulatoren. Wir durchqueren einen Raum, öffnen eine Schublade und nehmen einen Löffel heraus, ohne nachzudenken, und koppeln dabei Fortbewegung und Manipulation so eng, dass wir die Übergabe nie bemerken. Erfasst man das aus der eigenen Perspektive der Person, mit einer Kopfkamera und einer Kamera am Handgelenk, hat die Aufzeichnung eine Eigenschaft, die genau zu einem mobilen Roboter passt: Der Blickwinkel bewegt sich mit dem Körper, genau wie es später die On-Board-Kameras des Roboters tun werden.

Das ist der tiefere Grund, warum egozentrische Erfassung und mobile Manipulation zusammengehören. Eine körpergetragene Kamera geht selbst zur Theke, sie zeichnet also die Annäherung auf, die sich verändernde Größe des Ziels, den Moment, in dem die Hand von unten ins Bild kommt. Sie ist von Natur aus körperbezogen und hängt daher nicht von einer perfekten globalen Position ab, die ein realer Roboter niemals haben wird. Und weil eine Person, die zu einer Aufgabe geht und sie dann ausführt, einen ununterbrochenen Strom darstellt, wird die Kopplung zwischen Hinkommen und Ausführen gratis miterfasst, genau an der Stelle, an der sie sich im Nachhinein am schwersten fälschen lässt.

Im Einsatz befindliche Systeme machen den Punkt greifbar. Agility Robotics hat Digit gebaut, einen zweibeinigen Roboter, der zu Kisten läuft und sie in Lagerhäusern bewegt; Google DeepMind hat Manipulations-Policies auf mobilen Plattformen in Küchen und Büros laufen lassen, wo der Roboter sich selbst in Reichweite bringen muss, bevor er handeln kann. In beiden Fällen sitzen die Sensoren des Roboters am Roboter selbst, bewegen sich mit ihm und sehen, was eine körpergetragene Kamera sieht, und nicht, was ein Stativ auf der anderen Seite des Raums sehen würde.

Die Basis ist keine Fußnote

Es ist verlockend, den Antrieb als bloße Verrohrung unter einem Manipulationsproblem zu behandeln, das an der Werkbank bereits gelöst wurde. Die Daten sagen etwas anderes. Wenn sich die Basis bewegt, wächst der Zustand, driften die Koordinatensysteme, wandert der Blickwinkel, und die Episode dehnt sich aus, um den Weg mit einzuschließen, der den Griff vorbereitet hat. Ein Roboter, der ausschließlich von einem an einen Tisch geschraubten Arm gelernt hat, wird der Welt begegnen, als käme die Welt zu ihm. Diejenigen, die zum Objekt laufen und es greifen, sobald sie angekommen sind, werden aus Daten gelernt haben, die auf dieselbe Weise aufgezeichnet wurden, wie sie sich bewegen.