Humanoide Roboter
Beschleunigen Sie die Entwicklung fortschrittlicher KI-Robotik.
Workloads
Simulation / Modellierung / Design
Robotik
Branchen
Fertigung
Hardware/Halbleiter
Gesundheitswesen und Biowissenschaften
Einzelhandel/Konsumgüter
Smart Cities/Spaces
Geschäftsziel
Innovation
ROI Rentabilität
Produkte
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Isaac GROOT
NVIDIA Jetson Thor
NVIDIA Omniverse
Überblick
Die nächste Ära der physischen KI
Universell einsetzbare humanoide Roboter sind so gebaut, dass sie sich schnell an bestehende, auf den Menschen ausgerichtete städtische und industrielle Arbeitsbereiche anpassen und mühsame, sich wiederholende oder körperlich anstrengende Aufgaben übernehmen können.
Diese Roboter finden ihren Weg von den Fabrikhallen in die Gesundheitseinrichtungen, wo sie den Menschen helfen und den Arbeitskräftemangel durch die Automatisierung entschärfen.
Figure
Der Bau humanoider Roboter birgt jedoch vielfältige komplexe und technische Herausforderungen. Dazu gehören die Replikation menschlicher Wahrnehmung, verschiedene Freiheitsgrade, Geschicklichkeit, Mobilität, Kognition und Ganzkörpersteuerung.
Zur Lösung dieser Herausforderungen sind beschleunigte Fortschritte in der Forschung und Technologie der Robotik notwänding, einschließlich künstlicher Intelligenz, maschinelles Lernen, physikbasierte Simulation, Sensortechnologien und Mechatronik.
Quick-Links
Technische Umsetzung
Fortschritte in der Entwicklung humanoider Roboter
NVIDIA entwickelt beschleunigte Systeme, Blueprints, Tools, Services, Algorithmen und andere Robotertechnologien, die zur Entwicklung von universellen Robotern mit menschlichem Formfaktor verwendet werden können.
Lösung mit drei Computern
Humanoide Roboter müssen in der Lage sein, in einer vorgegebenen Umgebung selbstständig zu erkennen, zu planen und zu handeln, was die Verarbeitung großer Datenmengen in Echtzeit voraussetzt. Das erfordert das Trainieren von Foundation Models, die die Grundlage des Robotergehirns bilden, die Simulation und Validierung des Robotergehirns und schließlich die Bereitstellung dieser Gehirne und der zugehörigen Software im tatsächlichen Roboter.
Die drei KI-Systeme sind:
- Ein NVIDIA KI-Supercomputer – ein NVIDIA DGX™ mit NVIDIA H100- oder B100-Prozessoren – zum Trainieren leistungsstarker, generativer physischer KI-Modelle und Roboter-Foundation-Models.
- Ein NVIDIA OVX™-Computer mit NVIDIA RTX™-GPUs für synthetische Datengenerierung, Roboterlernen und Tests in der Simulation mit Simulations-Frameworks wie NVIDIA Isaac Sim™ und Isaac™ Lab, die auf NVIDIA Omniverse™ basieren.
- Ein Runtime-Computer auf dem Robotor wie NVIDIA Jetson Thor™, der Inferenz mit niedriger Latenz und hohem Durchsatz ausführen kann und auf der Blackwell-Architektur von NVIDIA basiert.
NVIDIA Isaac GR00T
GR00T ist eine Forschungsinitiative und Entwicklungsplattform für universelle Roboter-Foundation-Models und Datenpipelines für die Beschleunigung der humanoiden Robotik.
Roboter-Foundation-Models
Roboter erledigen heute eine Vielzahl von Aufgaben in verschiedenen Umgebungen. Jede dieser Aufgaben erfordert oft ein dediziertes KI-Modell. Das Trainieren dieser Modelle für jede neue Aufgabe und Umgebung von Grund auf ist ein mühsamer Prozess. Anstatt für jede Aufgabe einzelne Modelle zu entwickeln, erlernen Roboter-Foundation-Models, die mit verschiedenen Daten trainiert werden, generalisierbare Fähigkeiten. Diese umfassende Schulung versetzt sie in die Lage, mit einer Vielzahl von Aufgaben, Umgebungen und Roboterverkörperungen umzugehen und die Skalierbarkeit und Anpassungsfähigkeit erheblich zu verbessern.
NVIDIA Isaac GR00T N1 ist das weltweit erste offene Foundation Model für generalisiertes Reasoning humanoider Roboter und deren Fähigkeiten. Dieser modellübergreifende Ansatz erfordert multimodale Eingaben, einschließlich Sprache und Bilder, um Manipulationsaufgaben in verschiedenen Umgebungen auszuführen. GR00T N1 wurde mit einem umfangreichen humanoiden Datensatz trainiert, der aus echten erfassten Daten, synthetischen Daten, die mit den Komponenten des NVIDIA Isaac GR00T-Mimic blueprint generiert wurden, und Videodaten im Internetmaßstab bestand. Es ist durch Nachtrainieren für bestimmte Ausführungsformen, Aufgaben und Umgebungen anpassbar.
Frameworks für Roboterlernen und Simulation
Simulationen sind für Entwickler von entscheidender Bedeutung, wenn es um das Trainieren humanoider Roboter für eine Vielzahl physikalisch genauer Umgebungen und Bedingungen geht, bevor sie sie in der realen Welt eingesetzt werden.
Frameworks für Roboterlernen und Simulation wie NVIDIA Isaac Sim und Isaac Lab, die auf der Omniverse-Plattform basieren, ermöglichen physisch genaue Simulationen für das parallele Training und die Validierung mehrerer humanoider Roboteragenten.
Isaac Lab ist ein einheitliches Open-Source-Framework für Roboterlernen, das auf Isaac Sim basiert und verwendet werden kann, um diese Lerntechniken zum Trainieren einer Roboterrichtlinie anzuwenden. Die trainierten Roboterrichtlinien können dann in Isaac Sim, einer Referenzanwendung zum Erstellen, Simulieren und Testen von Humanoiden in physikalisch basierten virtuellen Umgebungen, validiert werden.
Agility Robotics
GR00T-Workflows
Generierung und Verarbeitung von Daten
Das Sammeln umfangreicher, hochwertiger, realer Datenmengen zu diesem Zweck kann herausfordernd, kostspielig und zeitaufwändig sein. Synthetische Daten, die aus physisch genauen Simulationen generiert werden, bewältigen diese Herausforderung, indem sie die Datenerfassung beschleunigen und die Vielfalt bieten, die erforderlich ist, um Roboterlernmodelle zu generalisieren.
Mit den GR00T-Referenz-Workflows für die Datengenerierung können Entwickler synthetische Bewegungen für Manipulation, Bewegung und Standort aus wenigen von Menschen vorgeführten Demonstrationen generieren. Die generierten Bilder oder Videos können mit NVIDIA Cosmos™ von 3D zu realistisch erweitert werden, um die Kluft zwischen Simulation und Realität zu verringern.
Geschickte Manipulation
Die Greiffähigkeiten humanoider Roboter erfordern eine menschenähnliche Geschicklichkeit bei der Handhabung von Objekten. Sie müssen in der Lage sein, sowohl grobe als auch detaillierte Manipulationsaufgaben auszuführen. GR00T-Dexterity ist eine umfassende Suite von Modellen und Richtlinien, die mit einem auf Reinforcement Learning basierenden Ansatz entwickelt und mit Referenz-Workflows kombiniert wurde, um die Entwicklung dieser fortgeschrittenen Fähigkeiten zu ermöglichen.
Mobilität
Die universelle Navigation in komplexen und dynamischen Umgebungen erfordert eine umfangreiche Feineinstellung. Mit dem GR00T-Mobility-Referenz-Workflow können Sie einen Mobilitäts-Generalisten für die Navigation durch verschiedene Umgebungen und Roboterimplementierungen einrichten.
Ganzkörpersteuerung
Die Ganzkörpersteuerung in humanoiden Robotern stellt eine große Herausforderung dar, da sie sowohl eine stabile Manipulation als auch eine robuste Fortbewegung erfordert. GR00T-Control begegnet diesem Problem mit einer Suite von fortschrittlichen Bewegungsplanungs- und Steuerungsmodellen, Richtlinien und Referenz-Workflows, die die Entwicklung effektiver Steuerungssysteme optimieren.
Durch den Einsatz von Imitationslernen und teleoperierten Datenmengen erleichtert GR00T-Control das Training für robuste, Ganzkörperbewegungsrichtlinien, mit denen humanoide Roboter geschickte Manipulations- und Fortbewegungsfähigkeiten erlernen können.
KI-basierte Wahrnehmung
Um das Situationsbewusstsein und die Interaktionseffizienz zu verbessern, benötigen humanoide Roboter ein Langzeitgedächtnis für Ereignisse, Räume, personalisierte Einstellungen und kontextsensitive Reaktionen
GR00T-Perception macht dies mit einer robusten Suite von Wahrnehmungsbibliotheken, Foundation Models und Referenz-Workflows möglich, die auf Isaac Sim und Isaac ROS basieren. Diese Tools integrieren fortschrittliche Technologien wie Vision-Language-Models und Retrieval-Augmented Memory, um die Wahrnehmung, Kognition und Anpassungsfähigkeit in humanoiden Robotern zu verbessern.
Die On-Roboter-Computing-Plattform der nächsten Generation
Die Roboterhardware ist ebenfalls wichtig, um ein Ensemble multimodaler KI-Modelle auszuführen, die für die richtige Leistung, Latenzzeit und Funktionssicherheit unter verschiedenen Bedingungen in Humanoiden verantwortlich sind.
NVIDIA Jetson AGX Thor, das auf der Blackwell-GPU-Architektur von NVIDIA basiert, bietet Ultra-High-Performance-KI-Computing und eine neue Transformer-Engine. Hierdurch wird die notwendige KI-Superpower am Edge erreicht, die für die neue Generation von Humanoiden erforderlich ist.
Quick-Links
Ökosystem
Erste Schritte mit unseren Partnern im Bereich Humanoide Roboter
Jetzt starten
Entwicklung humanoider Roboter
Erreichen Sie Fortschritte in der Entwicklung Ihrer humanoiden Roboter mit den GR00T-Grundtechnologien und greifen Sie auf Tutorials, Foren, Versionshinweise und eine umfassende Dokumentation zu.
