Roboter können mithilfe eines neuen Durchbruchmodells unbekannte Aufgaben erlernen

Im Gegensatz zu früheren Vision-Language-Action-Systemen, die

Im Gegensatz zu früheren Vision-Language-Action-Systemen, die Schwierigkeiten hatten, Fähigkeiten auf neue Weise zu kombinieren, kann π0.7 bestehende Fähigkeiten in neuen Kontexten ohne zusätzliches Fine-Tuning anwenden. Es generalisiert auch effektiver über verschiedene Roboter, Umgebungen und Aufgaben hinweg.

Diese Ergebnisse deuten auf einen Übergang zu flexibleren, allgemeinzweckmäßigen Systemen, bei denen die Fähigkeiten effizienter skalieren, während die Modelle lernen, Wissen über verschiedene Domänen hinweg wiederzuverwenden und zu kombinieren.

Flexible KI-Systeme π0.7s breite Generalisierung resultiert daraus, wie es trainiert und eingegeben wird (prompted). Anstatt sich auf eine einzige Datenquelle zu verlassen, basiert das Modell auf einer Mischung, darunter mehrere Roboterplattformen, menschliche Demonstrationen und autonom gesammelte Episoden.

Technik und Auswirkungen

Anstatt diese Datensätze direkt zu kombinieren, wird das System mit reichhaltigen, multimodalen Prompts trainiert, die nicht nur die Aufgabe, sondern auch die Ausführungsdetails definieren. Zu diesen Prompts können Textanweisungen, visuelle Unterziele, die Anordnungen, und Parameter wie die Dauer der Aufgabe gehören.

Dieser zusätzliche Kontext hilft dem Modell, vielfältiges Verhalten und Strategien zu interpretieren, und ermöglicht es ihm, Wissen flexibler anzuwenden. Während der Inferenz kann das Modell standardmäßige Sprachanweisungen befolgen und gleichzeitig Anleitungen einbeziehen, wie gewünschte Strategien oder generierte visuelle Ziele.

Dies ermöglicht es ihm, sich in Echtzeit anzupassen und die Leistung zu verbessern, ohne neu trainiert werden zu müssen. Im Test zeigte das System die Fähigkeit, zu inferieren, wie man unbekannte Objekte benutzt, indem es begrenzte Vorbeispiele mit breiterem erlerntem Wissen kombiniert.

Mit minimaler Anleitung versuchte es neue

Mit minimaler Anleitung versuchte es neue Aufgaben, und mit strukturierten Schritt-für-Schritt-Anweisungen verbesserte sich die Leistung signifikant. Der Ansatz unterstreicht einen Wandel hin zum interaktiven Lernen, bei dem menschliches Feedback und Prompt-Design eine entscheidende Rolle für die Ergebnisse spielen.

Allerdings benötigt das System für mehrstufige Aufgaben immer noch detaillierte Anleitungen und kann komplexe Anweisungen nicht autonom aus einem einzigen Befehl ausführen. Forscher weisen auch auf das Fehlen standardisierter Benchmarks hin, was eine unabhängige Validierung schwierig macht.

Die Ergebnisse sind noch in einem frühen Stadium, deuten aber auf anpassungsfähigere Robotersysteme hin, die Fähigkeiten über ihr ursprüngliches Training hinaus erweitern können.