GPT 6 Astra lässt humanoiden Roboter selbstständig fremde Küche aufräumen
Forscher der Stanford University und des California Institute of Technology haben mit HomeBody ein System entwickelt, das einen humanoiden Roboter selbstständig Aufgaben in einer zuvor unbekannten Küche erledigen lässt. Als Roboter kommt ein Unitree G1 zum Einsatz, während GPT 6 Astra die Planung übernimmt. In den gezeigten Versuchen im Video räumt der Roboter Lebensmittel auf, entsorgt verdorbene Getränkekartons und holt Medikamente aus einer Schublade.
Handlubg durch Erkundung
Bevor der Roboter eine Aufgabe erhält, erkundet er die Küche. Dabei sammelt HomeBody unter anderem Kamerabilder, LiDAR Daten, Gelenkpositionen und Informationen aus dem SLAM System. Aus diesen Daten entsteht in Nvidia Isaac Sim ein digitaler Zwilling der Umgebung. Dadurch verfügt das System über ein räumliches Gedächtnis und kann sich merken, wo sich Gegenstände befinden, selbst wenn diese später nicht mehr im Sichtfeld des Roboters liegen.
Bei einer Demonstration erhält der Roboter die Aufgabe, Kaffeetüten zusammenzuräumen, sowie verdorbene Milch und Orangensaftkartons zu entsorgen. In einem weiteren Versuch soll er ein vergessenes Medikament holen und gleichzeitig einen verdorbenen Karton wegwerfen. Das Medikament befindet sich zunächst außerhalb seines Sichtfeldes. HomeBody erinnert sich jedoch an die zuvor erfasste Position, navigiert zur entsprechenden Schublade, öffnet sie, nimmt das Medikament heraus und bringt es zur Person.
Planung durch GPT 6 Astra
Das Besondere an HomeBody ist die Architektur. Bei vielen Robotersystemen befindet sich zwischen einem großen Sprach beziehungsweise Bildmodell und der eigentlichen Robotersteuerung ein zusätzlich trainiertes Vision Language Action Modell. HomeBody verzichtet auf diese Zwischenschicht. Stattdessen wählt GPT 6 Astra direkt aus einer Bibliothek von fünf Fähigkeiten aus: Greifen, Ablegen, Schubladen öffnen, Gegenstände aus Schubladen nehmen und Navigieren.
Astra steuert dabei nicht unmittelbar jeden einzelnen Motor des Roboters. Das Modell entscheidet, welche Fähigkeit eingesetzt werden soll und welches räumliche Ziel sie erhält. Die jeweilige Fähigkeit übernimmt anschließend die konkrete Bewegungsplanung und Ausführung. Scheitert beispielsweise ein Griff, kann das System lokal einen neuen Versuch starten. Reicht das nicht aus, wird der Fehler an Astra zurückgemeldet, sodass das Modell seine weitere Vorgehensweise anpassen kann.
Für die demonstrierte Küche waren nach Angaben der Forscher keine umgebungsspezifischen Trainingsdaten und kein zusätzliches Training einer Aktionspolicy notwendig. Damit untersucht HomeBody die Frage, ob leistungsfähige multimodale Modelle künftig komplexe Roboteraufgaben planen können, ohne für jede neue Umgebung eine eigene Steuerung erlernen zu müssen.
Noch kein realitätsnaher Haushaltsroboter
Die Forscher nennen allerdings deutliche Einschränkungen. GPT 6 Astra läuft über das Netzwerk und benötigt Zeit für seine Entscheidungen, wodurch zwischen einzelnen Aktionen sichtbare Pausen entstehen. Auch die Erstellung des digitalen Zwillings verursacht zusätzlichen Zeitaufwand und API Kosten. Die lokale Wahrnehmung und Bewegungsplanung läuft auf einem Razer Blade Laptop mit einer RTX 4090 Grafikkarte. Bei längeren Einsätzen können zudem die Servomotoren in den Fingern des Unitree G1 überhitzen.
Hinzu kommt, dass HomeBody bislang vor allem durch ausgewählte Demonstrationen dokumentiert ist. Die Projektseite veröffentlicht derzeit keine systematischen Erfolgsraten, anhand derer sich zuverlässig beurteilen ließe, wie robust das System bei vielen unterschiedlichen Küchen oder wiederholten Versuchen arbeitet. Auch der vollständige Robotercode war zum Zeitpunkt der Veröffentlichung noch nicht öffentlich verfügbar.
HomeBody zeigt damit noch keinen einsatzbereiten Haushaltsroboter. Das Projekt demonstriert jedoch einen anderen Ansatz für autonome humanoide Roboter: Statt eine komplette Steuerung für eine bestimmte Umgebung zu trainieren, übernimmt ein leistungsfähiges multimodales Modell die Planung und kombiniert dafür bereits vorhandene Roboterfähigkeiten mit einem räumlichen Gedächtnis.
