PLATEFORME
Comment Roborecs capture les données.
D’une démonstration humaine à la première personne à un épisode d’entraînement annoté et prêt à concéder sous licence : le pipeline, les huit canaux de capture, l’installation de fidélité de Phase 2 et les modèles spécialisés que le corpus entraîne.
Comment ça fonctionne
Comment une démonstration devient des données prêtes pour l’entraînement, la feuille de route par phases et chaque canal qu’une session enregistre.
De la démonstration humaine aux données d’entraînement des robots.
Démonstrations égocentriques
Des opérateurs formés enregistrent de vraies tâches à deux mains, à la première personne, sur un rig portable tête et poignet : RGB synchronisé, profondeur, pose et squelette 3D de la main, mouvement et audio. La production croît linéairement avec le nombre d’opérateurs formés, à une fraction du coût horaire de la téléopération, sans laboratoire ni robot pour enregistrer.
RIG TÊTE + POIGNET · RGB MULTI-VUES · SYNCHRO SUB-MSAligner et annoter
Des horodatages inférieurs à la milliseconde alignent chaque canal ; les flux plus rapides sont sous-échantillonnés et les plus lents interpolés. Chaque épisode est segmenté en tâches et en étapes, avec des étiquettes d’objet et de contact, le consentement et la provenance.
SYNCHRO SUB-MS · ANNOTATIONS TÂCHE + ÉTAPE · PROVENANCEÉpisodes prêts à concéder sous licence
Résultat : des épisodes d’entraînement annotés, dans le format que l’écosystème utilise déjà, prêts à intégrer les pipelines de modèles de fondation pour humanoïdes.
GDPR · EU AI ACT · HDF5 / LeRobot v3LA FEUILLE DE ROUTE · DE LA CAPTURE AU CORPUS AUX MODÈLES
Un seul moteur de données, construit en trois temps.
Capture égocentrique
Démonstrations humaines à la première personne, capturées sur un rig portable tête et poignets. Le moyen le moins coûteux et le plus évolutif de produire la base de chaque modèle humanoïde.
La large base du corpus. Là où nous commençons.
Fidélité multimodale
La capture en installation ajoute les signaux qu’un rig portable laisse de côté : force, couple, contact et regard. La fidélité qu’exige l’assemblage à deux mains contrôlé en force.
La fidélité vers laquelle grimpe la base.
Modèles spécialisés
Le corpus se cumule et reste le nôtre. Lorsqu’il atteint l’échelle, et avec la direction de recherche en ML que nous recrutons pour cette phase, nous entraînons les modèles verticaux qu’il alimente, compatibles avec NVIDIA Isaac GR00T N1.7, Physical Intelligence π0 et Hugging Face LeRobot.
La douve de données devient une douve de modèles.
Voilà ce qu’était la robotique.
Huit canaux synchronisés, fusionnés en une seule image annotée.
L’offre multimodale sur laquelle s’entraînent les robots humanoïdes.
Roborecs construit le pipeline qui capture ces canaux à la première personne, six dès la Phase 1, la force et le regard s’ajoutant dans l’installation de Phase 2, et les fusionne en images d’entraînement dans le format que l’industrie utilise déjà.
Spécification de capture : les canaux visés, leurs cadences et la sortie fusionnée. À titre illustratif, pas de données de capteur en direct ou enregistrées.
Chaque canal capture à sa cadence native. Des horodatages inférieurs à la milliseconde alignent chaque échantillon. Les canaux plus rapides sont sous-échantillonnés, les plus lents interpolés. La sortie est une seule image multimodale, 30 fois par seconde.
Un jeu de données Roborecs est livré sous forme d’épisodes documentés et prêts à l’entraînement, non de données brutes. Ce qui est disponible dépend de la phase de capture.
- Vidéo RGB 7 caméras
- Profondeur
- IMU à 500 Hz
- Trajectoires spatiales
- Audio
- Pose et squelette de la main
- Force-couple et tactile (Phase 2)
- Segmentation en tâches et étapes
- Étiquettes d’objets et d’interactions (saisir, poser, insérer, acheminer)
- Événements de contact et de préhension
- Métadonnées par épisode (tâche, environnement, opérateur)
- Taxonomies personnalisées pour votre modèle ou votre benchmark
- LeRobot v3 / HDF5
- Fiches de jeu de données et manifestes
- Artefact de consentement et de provenance par épisode
- Livraison en juridiction UE
- Bucket cloud ou transfert chiffré
Spécification de livraison du programme de capture. Les modalités et annotations disponibles dépendent de la phase de capture.
La couche de fidélité
L’installation de Sofia, et la force et le toucher qu’une caméra seule ne peut capter.
Conçue pour la Physical AI, en Europe.
Une installation de capture de données dédiée, prévue au Sofia Tech Park, de 1 100 m² au lancement pour atteindre 5 000 m². Accès direct aux talents STEM, à l’infrastructure énergétique et à la logistique UE. Mise en service visée à partir du T3 2027.
Assemblage bimanuel contrôlé en force, le catalogue de fidélité de la Phase 2.
La Phase 2 ajoute les tâches riches en contact qui exigent la force et la coordination à deux mains, au-delà de ce que la vidéo à la première personne transmet à elle seule. Les clients OEM de robots peuvent commander des bibliothèques de tâches dans les catégories ci-dessous, avec des commandes sur mesure pour des besoins propriétaires.
- →Accouplement de connecteurs et cheminement de câbles
- →Serrage de précision au couple
- →Manipulation de PCB et de composants
- →Assemblage par prise et dépose
- →Contrôle qualité
- →Tri en bacs et emballage
- →Coordination bimanuelle
- →Manipulation d’outils
- →Alignement fin
- →Passation de tâche collaborative
- →Assistance et guidage
- →Travail en proximité sécurisée
- →Spécifications de tâches définies par l’OEM
- →Sessions de capture sur mesure
- →Cession intégrale des droits IP
Des commandes sur mesure sont disponibles pour des bibliothèques de tâches spécifiques à un OEM. Cession intégrale des droits IP. Provenance conforme au GDPR de l’UE dès le premier jour.
DISCUTER D’UNE COMMANDE →L’opérateur pilote. Le robot exécute.
La couche de fidélité de la Phase 2, pour les tâches les plus riches en contacts. Déplacez votre curseur pour piloter la commande de l’opérateur ; le robot exécute pendant que nous enregistrons ses états articulaires, ses forces et ses contacts au fil du travail, capturés dans l’espace d’action propre au robot, directement entraînables, sans reciblage humain-vers-robot.
télémétrie illustrative · dérivée en direct de la cinématique de la démo, et non de données de capteurs enregistrées
D’abord le corpus. Puis les modèles bâtis dessus.
La capture et la fidélité construisent une seule chose : un corpus propriétaire, annoté en actions, d’assemblage contrôlé en force. L’architecture des modèles de robots se banalise, GR00T ouvert, LeRobot ouvert, π0 ouvert. Les données sous-jacentes, non. Le corpus est la douve ; les modèles spécialisés en sont le rendement composé.
Le corpus ne peut pas être moissonné, seulement capturé une interaction à la fois, et il s’enrichit à chaque tâche réalisée. Chaque tour de la boucle creuse l’avance sur les données.
Aucun modèle ne s’entraîne encore sur les données Roborecs, et aucun modèle Roborecs n’est livré à ce jour. La couche modèle s’ouvre à deux conditions : le corpus franchit l’échelle que les résultats publiés jugent nécessaire à une policy spécialisée, et nous ajoutons la direction de recherche ML pour la bâtir. Nous préférons énoncer ces conditions plutôt que de suggérer un modèle, ou une équipe, qui n’existe pas encore.
Nos modèles spécialisés sont des policies de tâche, pas un robot, et ils fonctionnent sur toute stack compatible LeRobot. La donnée est le produit : tout corpus qu’un client obtient sous licence est prélevé sur notre propre feuille de route de modèles, de sorte que nous ne livrons jamais de policy qui concurrence un client de données. Les policies que nous bâtissons, elles, prouvent ce que le corpus peut produire.
EXEMPLES DE POLICIES · FEUILLE DE ROUTE
Assemblage électronique
Une policy vision-langage-action spécialisée pour l’insertion de connecteurs, le cheminement de câbles et le vissage. Post-entraînée sur les canaux force-couple et tactiles du corpus d’assemblage, là où un millimètre et quelques newtons décident du succès. Livrée compatible LeRobot.
Kitting de précision
Placement de pièces, du bac au gabarit, sous tolérance serrée. Le même corpus, une autre famille de tâches.
Les modèles se situent en aval des modèles de fondation ouverts, non pas face à eux. Post-entraînés sur le corpus, livrés dans le même format compatible LeRobot. Compatibles avec, jamais concurrents de, NVIDIA Isaac GR00T N1.7 et Physical Intelligence π0.
LA SUITE
Lancez un pilote.
Indiquez-nous votre robot et vos tâches cibles. Nous cadrons un programme de capture, convenons d’une spécification d’échantillon et livrons un jeu d’évaluation avant tout engagement de volume.