Aktives Lernen: die richtigen Roboterdaten erfassen, statt einfach nur mehr
Roboterdemonstrationen sind teuer, deshalb sollten Sie jene erfassen, aus denen eine Policy am meisten lernt: aktives Lernen durch Unsicherheit, Uneinigkeit und Einsatzfehler.
Eine Pick-and-Place-Policy läuft am Band und meistert gut neunzig Prozent ihrer Versuche ohne Zwischenfall. Schaut man sich dann die Fehlschläge an, sind sie nicht zufällig verteilt. Sie häufen sich: die durchsichtige Clamshell-Verpackung, die die Kameras nicht lokalisieren können, das Teil, das über einen bestimmten Winkel hinaus verdreht ankommt, der Behälter am äußersten Rand der Armreichweite. Immer dieselbe Handvoll Situationen, wieder und wieder, während alles andere einfach funktioniert.
Der Reflex in den meisten Labors lautet: mehr Demonstrationen sammeln und neu trainieren. Das ist der falsche Reflex, oder zumindest ein teurer. Jede Roboterdemonstration muss von einem Menschen in Echtzeit auf realer Hardware ausgeführt werden, und eine frische Charge von zehntausend Aufnahmen landet größtenteils auf Situationen, die die Policy bereits beherrscht. Sie hätten für zehntausend Demonstrationen bezahlt, um an drei Fehlermodi zu kratzen, die ein paar hundert gezielte Aufnahmen geschlossen hätten.
Die entscheidende Frage ist nicht, wie viele Daten Sie erfassen sollten. Sie lautet: Von welchen Demonstrationen lernt die Policy am meisten, und können Sie genau diese gezielt erfassen? Das ist aktives Lernen: eine jahrzehntealte Idee aus dem klassischen maschinellen Lernen, die die Robotik erst jetzt ernst nehmen muss, denn das Label ist hier kein Mausklick. Es ist ein Mensch, der eine Aufgabe ausführt.
Mehr ist die falsche Achse
Beginnen wir beim Preis einer einzelnen Demonstration. In einer Text-Pipeline ist ein zusätzliches Trainingsbeispiel fast kostenlos, schon geschrieben und irgendwo auf einer Webseite abgelegt. In einer Roboter-Pipeline ist eine zusätzliche Demonstration eine Stunde qualifizierter menschlicher Arbeitszeit, ein Rig und ein physisches Objekt, das zwischen den Aufnahmen zurückgesetzt werden muss. Die Grenzkosten sind hoch und weitgehend fix, sodass als einziger Hebel der Grenznutzen bleibt: wie viel jede Demonstration dem Modell beibringt, was die vorherigen nicht schon vermittelt haben.
Für eine Policy, die bereits meistens erfolgreich ist, hat eine gleichverteilt gesampelte Charge einen miserablen Grenznutzen. Der Großteil wiederholt Zustände, die die Policy längst beherrscht, und vertieft eine Kompetenz, die nie infrage stand. Die Information steckt im Tail: in den Griffen, die misslingen, und den Zuständen, die die Policy nie besucht hat. Das Argument, dass Abdeckung dieses Tails mehr bringt als rohe Stunden, ist inzwischen ein Gemeinplatz. Aktives Lernen ist die fehlende Hälfte davon: nicht die Erkenntnis, dass der Tail zählt, sondern eine Methode, ihn zu finden.
Das Modell fragen, wo es unsicher ist
Der Kerngedanke des aktiven Lernens ist, das Modell seine eigenen Trainingsdaten vorschlagen zu lassen. Statt dass ein Mensch im Voraus entscheidet, was sich zu erfassen lohnt, lesen Sie ein Signal aus der aktuellen Policy ab, das auf die Zustände zeigt, in denen sie schwach ist, und erfassen genau dort. Zwei Signale leisten den Großteil der Arbeit.
Unsicherheit. Eine Manipulations-Policy sagt bei jedem Zustand, den sie sieht, eine Aktion oder eine Verteilung über Aktionen voraus. Ist diese Verteilung scharf, ist die Policy sich sicher; ist sie breit und hochentropisch, rät die Policy im Grunde nur. Uncertainty Sampling bewertet Kandidatenzustände nach dieser Entropie und erfasst Demonstrationen dort, wo sie am höchsten ausfällt. In der Praxis fördert das genau das reflektierende Objekt zutage, das die Policy nicht sicher bestimmen kann, und den unübersichtlichen Behälter, in dem drei Griffe gleich plausibel wirken, also genau die Stellen, an denen ihre Zuversicht dünn ist.
Uneinigkeit. Die Unsicherheit eines einzelnen Netzwerks lässt sich leicht täuschen, denn eine Policy kann selbstbewusst falsch liegen. Query-by-Committee umgeht das, indem es ein Ensemble von Policies auf denselben Daten trainiert und beobachtet, wo sie auseinanderlaufen. Sind sich fünf Modelle über die Aktion einig, ist der Zustand gut bestimmt, und eine weitere Demonstration dort wäre verschwendet. Streuen sie, hat die Datenlage sie unterbestimmt gelassen, und eine einzige Demonstration löst eine echte Mehrdeutigkeit auf. Uneinigkeit ist häufig ein besseres Erfassungssignal als reine Zuversicht, weil sie misst, was die Daten nicht festlegen konnten, statt was ein einzelnes Netzwerk zufällig glaubt.
Sampling-Strategien im Vergleich
Diese Signale schließen sich nicht gegenseitig aus, und keines passt für jeden Fall. Die Tabelle stellt die gängigen Strategien ihrem jeweiligen Ziel gegenüber und zeigt, wann sich der Aufwand lohnt.
| Strategie | Was sie anvisiert | Wann sie hilft |
|---|---|---|
| Gleichverteilt / zufällig | Die gesamte Zustandsverteilung, gleichmäßig | Früh, bevor die Policy über ausnutzbare Kompetenz verfügt; eine sichere Grundlinie |
| Uncertainty Sampling | Zustände mit hochentropischen vorhergesagten Aktionen | Wenn die Policy meist gut ist und Sie die Zustände suchen, in denen sie zögert; schwach gegen selbstsichere Fehler |
| Uneinigkeit (Query-by-Committee) | Zustände, in denen ein Ensemble auseinanderläuft | Wenn die Zuversicht eines einzelnen Modells unzuverlässig ist; deckt Lücken auf, die die Daten unterbestimmt gelassen haben |
| Sampling nach Einsatzfehlern | Zustände, in denen die eingesetzte Policy tatsächlich versagt oder eine menschliche Übernahme braucht | Wenn Sie die Policy in der realen Umgebung laufen lassen und ihre Eingriffe protokollieren können; das schärfste Signal, das es gibt |
| Neuheit / Out-of-Distribution | Zustände, die weit von allem im aktuellen Datensatz entfernt liegen | Wenn Abdeckung die Sorge ist; schützt vor blinden Flecken, die der Policy nicht einmal bewusst sind |
Die günstigste Demonstration und die wertvollste sind so gut wie nie dieselbe. Aktives Lernen ist die Disziplin, beide auseinanderzuhalten, und es ist wertlos ohne ein Erfassungsprogramm, das die wertvolle tatsächlich beschaffen kann.
Den Kreis bei Einsatzfehlern schließen
Das reinste Signal des aktiven Lernens in der Robotik wird gar nicht offline berechnet. Es entsteht dadurch, dass man die Policy laufen lässt und beobachtet, wo sie versagt. Ein Roboter bei einer realen Aufgabe erzeugt einen Strom genau der Zustände, die zählen: derjenigen, in die er sich selbst hineinmanövriert hat und mit denen er nicht zurechtkam. Muss ein Mensch eingreifen und übernehmen, ist dieser Eingriff ein annotiertes Beispiel: ein Zustand, den die Policy nicht lösen konnte, gepaart mit der Aktion, die ihn löst. Das ist die Grundidee hinter der Forschungsrichtung des interaktiven Imitationslernens, DAgger und seinen vielen Nachfolgern, bei denen der Datensatz dadurch wächst, dass die aktuelle Policy wiederholt eingesetzt und korrigiert wird, statt eine einzige feste Charge im Voraus zu erfassen.
Der Grund, warum das der Offline-Unsicherheit überlegen ist, liegt in der Verteilung. Offline raten Sie, welche Zustände die Policy tatsächlich aufsuchen wird. Im Einsatz zeigt es Ihnen die Policy selbst: Sie driftet in ihre eigenen Fehlerzustände hinein und verstärkt ihre eigenen Fehler, sodass die gesammelten Korrekturen genau auf der Verteilung liegen, die der Roboter selbst erzeugt. Real-Robot-Gruppen an Labors wie Berkeley BAIR und Stanford IRIS setzen genau aus diesem Grund auf diese interaktive Schleife: Sie zielt auf die Zustände, die eine Policy unter eigener Kontrolle erreicht, also jene Zustände, die eine Offline-Charge am ehesten nicht enthält. Das Toyota Research Institute macht von der Datenseite her einen kompatiblen Punkt: Was ein Large Behavior Model voranbringt, ist nicht mehr von dem, was es bereits gut kann, sondern Demonstrationen, die abdecken, was es nicht kann.
Zu wissen, was zu erfassen ist, ist erst die halbe Aufgabe
Hier trennen sich die Wege der Robotik von der Lehrbuchversion des aktiven Lernens. In einer Labeling-Pipeline ist das Beschaffen des Labels, sobald der unbeschriftete Pool bewertet ist, nur ein Klick auf Daten, die bereits vorliegen. In der Robotik ist der Pool die physische Welt, und das Label für den Zustand, vor dem sich die Policy am meisten fürchtet, ist eine frische Demonstration genau dieser Situation, eigens inszeniert und absichtlich ausgeführt. Aktives Lernen legt eine Anfrage offen. Jemand muss sie noch erfüllen.
Das teilt das operative Problem in zwei Teile. Zuerst brauchen Sie einen Weg, um sichtbar zu machen, was als Nächstes zu erfassen ist: einen Auswertungs-Harness, der Fehlschläge clustert, einen Unsicherheits- oder Uneinigkeits-Score, berechnet über reale Zustände, eine ehrliche Einschätzung, welcher Ausschnitt der Einsatzverteilung noch dünn besetzt ist. Dann brauchen Sie ein Erfassungsprogramm, das schnell auf die Anfrage reagieren kann, die Szene mit dem reflektierenden Objekt oder den Griff am äußersten Reichweitenrand aufbaut und binnen Kurzem ein paar hundert saubere Demonstrationen davon liefert, solange der Befund noch aktuell ist. Ein Team mit dem ersten, aber nicht dem zweiten Teil sammelt nur eine Wunschliste an. Die Robotik-Literatur ist reich an klugen Methoden, um zu bewerten, was zu erfassen ist, aber vergleichsweise still, wenn es um die Logistik der Erfassung geht, den Teil, der die meisten Programme tatsächlich ausbremst.
Die Teams, die sich absetzen, werden nicht jene mit den größten Logs oder der cleversten Unsicherheitsmathematik für sich genommen sein. Es werden jene sein, die die Schleife eng schließen: einsetzen, beobachten, wo die Policy unsicher oder falsch liegt, das in eine präzise Erfassungsanfrage übersetzen und die Demonstrationen in der Hand haben, bevor der nächste Trainingslauf beginnt. Mehr Daten zu sammeln ist leicht, und meist verschwenderisch. Die richtigen Daten gezielt zu erfassen, eine Charge nach der anderen, ist die schwerere Disziplin, und es ist die, die sich auszahlt.