Les données égocentriques en Europe : la capture est désormais une spécification

Attachez une caméra sur les personnes qui font la démonstration de tâches pour une équipe d’apprentissage robotique aujourd’hui, et le rig a presque partout la même allure : une caméra près des yeux, une seconde au poignet. Ce consensus tacite n’a que quelques années, et il n’avait rien d’évident. Pendant longtemps, la solution par défaut était un trépied à l’autre bout de la pièce, observant toute la scène comme un flux de vidéosurveillance.

Le domaine a évolué pour des raisons concrètes. Une caméra sur la tête et le poignet voit à peu près ce qu’un robot voit à travers ses propres capteurs de tête et de poignet, de sorte que les images d’entraînement correspondent aux images que la policy rencontre à l’inférence. Les mains et le point de contact restent grands et centrés au lieu de se réduire à une vignette derrière le dos de quelqu’un. Et la vidéo humaine ordinaire est peu coûteuse à collecter à grande échelle, ce qui explique pourquoi des projets comme Ego4D et Ego-Exo4D existent tout court. Les travaux de NVIDIA sur les humanoïdes s’appuient précisément sur ce mélange de vidéo humaine et égocentrique pour amorcer les compétences de manipulation.

Voici ce que l’argument du point de vue laisse de côté. Un enregistrement égocentrique est, par construction, l’enregistrement d’une personne : sa cuisine, son visage reflété dans une fenêtre, sa voix, ses mains. Cela en fait une donnée personnelle. Et dès lors qu’il s’agit d’une donnée personnelle, l’endroit et la manière dont vous la capturez cessent d’être une note de bas de page pour devenir une ligne dans la spécification.

Le point de vue sur lequel tout le domaine s’est accordé

La manipulation se joue dans les derniers centimètres : l’approche, la prise, l’instant du contact. Une caméra sur la tête ou le poignet garde cette zone dans le cadre et au point. Une caméra murale l’observe à plusieurs mètres et la perd derrière le bras de l’acteur une fois sur deux. Entraînez une policy sur la vue murale et vous avez optimisé pour un angle que le robot n’occupe jamais, puis espéré que la compétence survive au passage vers un point de vue qu’elle n’a jamais vu.

La deuxième raison est l’approvisionnement. On ne peut pas récupérer des relevés de force ou des poses de main sur internet, mais on peut enregistrer d’énormes volumes de personnes accomplissant des choses ordinaires depuis leur propre point de vue. Ego4D a rassemblé des milliers d’heures de ces séquences ; Ego-Exo4D enregistre la même action à la fois du point de vue à la première personne et de celui du spectateur, afin qu’un modèle puisse apprendre comment les deux se rapportent l’un à l’autre. Des groupes de robotique ont intégré cette vidéo humaine dans leur pré-entraînement. Le stack Isaac GR00T de NVIDIA, développé avec son GEAR Lab, rapporte que l’ajout de grands volumes de vidéo humaine et égocentrique a amélioré de manière mesurable les performances de manipulation, au lieu de servir de simple remplissage. Le schéma est constant : pré-entraîner sur une abondante démonstration humaine, puis aligner sur un robot spécifique avec un ensemble plus petit et précis.

Chaque clip égocentrique est une personne

Déplacez l’objectif du robot vers l’humain qui portait le rig, et les données prennent un autre visage. Une session de capture à la première personne enregistre un vrai domicile, le visage de quiconque le traverse, le son d’une vraie voix, et une paire de mains dont la géométrie peut identifier leur propriétaire. Au regard du droit européen, rien de tout cela n’est ambigu. Ce sont des données personnelles, et une partie d’entre elles s’approche des catégories particulières que le GDPR protège le plus étroitement.

Ce seul fait réorganise tout le problème de la collecte. Une démonstration n’est plus seulement un exemple d’entraînement ; c’est une opération de traitement portant sur une personne identifiable, qui exige une base légale, une finalité définie, une limite de conservation, et un consentement documenté de la personne qui portait la caméra. Ces règles n’ont pas été écrites pour les données robotiques, mais elles s’y appliquent proprement, car l’entrée est un être humain en train de faire quelque chose devant un objectif qu’il a accepté de porter.

Deux façons de constituer le corpus

Il existe globalement deux modèles pour assembler un grand jeu de données égocentrique, et ils divergent sur le lieu où l’enregistrement a lieu.

Le premier est la récolte de volume : pousser la collecte là où la main-d’œuvre est bon marché et les règles peu contraignantes, rassembler le plus d’heures possible, régler la paperasse plus tard ou pas du tout. Il optimise la quantité brute par dollar. Le second est la capture avec consentement et provenance intégrés dès la première image : chaque session rattachée à un sujet documenté, une base légale, un lieu, et un relevé de ce qui a été anonymisé. Il coûte plus cher par heure et produit un jeu de données dont vous pouvez réellement rendre compte.

Un jeu de données, ce sont ses images plus la paperasse qui atteste que vous aviez le droit d’enregistrer les personnes qui s’y trouvent. Retirez la seconde moitié, et ce qui ressemble à un actif devient un passif en haute résolution.

Pendant un temps, le premier modèle a paru strictement moins cher, il l’a donc emporté par défaut. Ce calcul est en train de changer. Un acheteur qui entraîne une policy commerciale hérite de la provenance de chaque clip dont elle a appris, et une faille dans cette chaîne n’est pas un tracas administratif ; c’est un défaut qui peut imposer un réentraînement.

La capture, écrite comme une spécification

Si la provenance doit voyager avec les données, alors une session de qualité manipulation possède une seconde moitié à sa fiche technique. La première moitié est le stack de capteurs habituel. La seconde moitié est le relevé qui rend chaque canal licite à détenir et à vendre. L’EU AI Act pousse dans le même sens, en demandant aux fournisseurs de systèmes à haut risque de documenter les données qui y sont entrées, ce qui fait passer la provenance du statut de vertu à celui d’obligation de dépôt.

Lisez la colonne de droite comme un schéma, non comme une clause de non-responsabilité. Chaque champ est quelque chose qu’un acheteur sérieux peut réclamer, auditer, et pour lequel il peut refuser le jeu de données. L’anonymisation à la source compte le plus : un visage flouté avant que les données ne quittent la salle de capture est un visage qui ne deviendra jamais une violation par la suite.

« Capturé sous juridiction UE » comme champ d’un jeu de données

Mettez ces pièces bout à bout et une formule se met à se comporter comme une valeur de spécification. « Capturé sous juridiction UE par la structure de la société » indique à un acheteur que le consentement, la base légale et la piste de provenance se situent à l’intérieur d’un régime juridique dont il doit déjà répondre. Cela resserre sa diligence plutôt que de l’élargir. Pour un OEM européen qui expédie un produit dans des foyers européens, un jeu de données assemblé sous les mêmes règles n’est pas une préférence morale ; c’est une inconnue de moins dans un audit.

Cela ne rend pas le volume offshore sans valeur. La vidéo humaine, bon marché et abondante, continuera d’assurer l’essentiel du travail dans le pré-entraînement, où l’objectif est une large couverture visuelle et sémantique et où le seuil de provenance est plus bas. La capture premium et traçable justifie son coût dans la couche d’alignement, où un ensemble plus restreint de démonstrations propres et bien documentées règle une policy pour un déploiement réel et où chaque clip doit résister à l’examen.

La question du point de vue est tranchée : les robots apprennent le mieux la manipulation depuis la vue propre du corps, mains, forces et tout le reste. La question ouverte s’est déplacée en aval. Quelqu’un doit capturer cette vue de manière délibérée, une tâche à la fois, et il faut désormais qu’il soit capable de dire précisément à qui appartenaient les mains dans le cadre, et à quelles conditions. En Europe, cette seconde phrase est en train de devenir une partie du produit.