GigaBrain-0 : deux bras, une pelle et une balayette pour débarrasser une table

Pourquoi une pelle et une balayette sont un problème intéressant

La démonstration est familière : un bras maintient une pelle pendant que l’autre pousse de petits déchets avec une balayette. Une main humaine ajoute ensuite des éléments sur la table, et les deux bras reprennent la tâche avant de vider la pelle vers une corbeille.

Ce n’est pas un nettoyage complet de la table. La vaisselle et le gobelet restent présents et la vidéo ne montre ni tri ni désinfection.

Le projet GigaBrain-0 classe table bussing parmi ses tâches de manipulation long-horizon. Ce type de tâche demande de coordonner plusieurs effecteurs, des outils et des états d’objets qui changent au cours de l’action.

GigaBrain-0 cherche surtout à résoudre un problème de données

Les modèles vision-langage-action ont besoin de beaucoup de données robot réelles. Or enregistrer ces données est lent, coûteux et difficile à diversifier.

L’équipe GigaBrain-0 propose d’augmenter ce corpus avec plusieurs formes de données générées par world models : génération vidéo, transfert entre scènes réelles, transfert humain, changement de point de vue et données sim-to-real.

L’objectif annoncé est de diminuer la dépendance aux seules démonstrations physiques tout en améliorant la capacité du modèle à fonctionner lorsque l’apparence, la position des objets ou le point de vue change.

RGB-D et raisonnement intermédiaire

Le projet indique que GigaBrain-0 utilise une entrée RGB-D. La profondeur apporte une information géométrique supplémentaire par rapport à une image RGB classique.

L’architecture produit également ce que les auteurs appellent un Embodied Chain-of-Thought comme représentation intermédiaire avant l’action. Leur objectif est de mieux représenter la géométrie spatiale, l’état des objets et les dépendances dans les tâches longues.

Il faut garder la terminologie dans son contexte : ce « Chain-of-Thought » est une composante d’architecture décrite par l’équipe, pas une preuve que le robot raisonne comme un humain.

Ce que les auteurs comparent

Sur la page du projet, GigaBrain-0 est comparé à π0 sur six catégories de tâches : pliage du linge, préparation d’essuie-tout, préparation de jus, débarrassage de table, déplacement de boîtes et déplacement de paniers à linge.

Les auteurs annoncent de meilleures performances de leur modèle dans ces expériences.

Ils montrent aussi une étude de généralisation où la proportion de données générées par world models augmente. Le projet rapporte une amélioration lorsque cette proportion monte dans le mélange d’entraînement, notamment face à des changements d’apparence, de placement et de point de vue.

Ce sont des résultats publiés par l’équipe elle-même. Ils restent à lire comme des résultats expérimentaux du papier, pas comme une certification indépendante du système.

Ce que montre exactement notre Short

La source de notre extrait présente la séquence comme autonome et la vidéo utilisée est déjà accélérée ×10.

Une intervention humaine est néanmoins visible : une main remet des déchets sur la table pendant la démonstration. Cela ne signifie pas nécessairement qu’un humain contrôle les bras ; cela signifie simplement que l’environnement est modifié volontairement pendant l’essai.

Tomorrow, Tested. conserve cette intervention dans le cadre au lieu de la couper, car elle aide à comprendre les conditions réelles de la démonstration.

Le Short ne permet pas d’en déduire un taux de réussite général, la durée réelle complète d’une tâche ou la robustesse à n’importe quel type de déchet.

Pourquoi les world models comptent pour la Physical AI

Le problème de fond est économique autant que technique.

Un modèle web peut apprendre à partir d’un volume immense de texte et d’images déjà disponibles. Un robot a besoin de données où actions, géométrie et conséquences physiques sont correctement reliées.

Si une partie de ces données peut être générée ou transformée de manière fiable, les équipes peuvent explorer davantage de variations sans refaire chaque scène physiquement.

La difficulté est de ne pas apprendre les erreurs du générateur. Des données synthétiques plus nombreuses ne sont utiles que si elles améliorent réellement le comportement sur le robot réel.

C’est pour cela que les expériences de généralisation sont plus intéressantes que la simple quantité de données générées.

Dans le cas de GigaBrain-0, la balayette est donc l’image facile à retenir. Le sujet plus important est la tentative de construire un VLA moins dépendant de la collecte physique brute et plus robuste aux changements du monde réel.

Les sources ci-dessous permettent de consulter le projet et le papier complet.