PLATEFORME
Comment Roborecs capture les données.
D’une démonstration humaine à la première personne à un épisode d’entraînement annoté et prêt à concéder sous licence : le pipeline, les sept canaux de capture, l’installation de Sofia et les modèles spécialisés que le corpus est conçu pour entraîner.
Comment ça fonctionne
Comment une démonstration devient des données prêtes pour l’entraînement, la feuille de route par phases et chaque canal qu’une session enregistre.
De la démonstration humaine aux données d’entraînement des robots.
Démonstrations égocentriques
Des opérateurs formés enregistrent de vraies tâches à deux mains, à la première personne, sur un rig portable tête et poignets : RGB synchronisé, profondeur, pose et squelette 3D de la main, mouvement et audio. La production croît linéairement avec le nombre d’opérateurs formés, à une fraction du coût horaire de la téléopération, sans laboratoire ni robot pour enregistrer.
RIG TÊTE + POIGNET · RGB MULTI-VUES · SYNCHRO SUB-MSAligner et annoter
Des horodatages inférieurs à la milliseconde alignent chaque canal ; les flux plus rapides sont sous-échantillonnés et les plus lents interpolés. Chaque épisode est segmenté en tâches et en étapes, avec des étiquettes d’objet et de contact, le consentement et la provenance.
SYNCHRO SUB-MS · ANNOTATIONS TÂCHE + ÉTAPE · PROVENANCEÉpisodes prêts à concéder sous licence
Résultat : des épisodes d’entraînement annotés, dans le format que l’écosystème utilise déjà, prêts à intégrer les pipelines de modèles de fondation pour humanoïdes.
GDPR · CONSENTEMENT · HDF5 / LeRobot v3LA FEUILLE DE ROUTE · DE LA CAPTURE AU CORPUS AUX MODÈLES
Un seul moteur de données, construit en trois temps.
Capture égocentrique
Démonstrations humaines à la première personne, capturées sur un rig portable tête et poignets. Bien moins coûteuses et bien plus évolutives que la téléopération pour produire la base de chaque modèle humanoïde.
La large base du corpus. Là où nous commençons.
Déploiement et la boucle
Des robots déployés sur de vraies tâches d’usine captureront les échecs de déploiement qu’un rig portable ne voit jamais. Chaque cycle améliore les robots et enrichit le corpus avec des données qu’aucune capture par rig seul ne peut produire.
La boucle qui cumule l’avance sur les données.
Modèles spécialisés
Le corpus se cumule et reste le nôtre. Lorsqu’il atteint l’échelle, et avec la direction de recherche en ML que nous recrutons pour cette phase, nous entraînons les modèles verticaux qu’il alimente, compatibles avec NVIDIA Isaac GR00T N1.7, Physical Intelligence π0 et Hugging Face LeRobot.
La douve de données devient une douve de modèles.
Voilà ce qu’était la robotique.
Sept canaux synchronisés, fusionnés en une seule image annotée.
L’offre multimodale sur laquelle s’entraînent les robots humanoïdes.
Roborecs construit le pipeline qui capture ces canaux à la première personne et les fusionne en images d’entraînement dans le format que l’industrie utilise déjà.
Spécification de capture : les canaux visés, leurs cadences et la sortie fusionnée. À titre illustratif, pas de données de capteur en direct ou enregistrées.
Nécessite un suivi oculaire que le rig ne possède pas encore. Disponible dès l’ouverture de la couche d’évaluation phase 2.
Chaque canal capture à sa cadence native. Des horodatages inférieurs à la milliseconde alignent chaque échantillon. Les canaux plus rapides sont sous-échantillonnés, les plus lents interpolés. La sortie est une seule image multimodale, 30 fois par seconde.
Un jeu de données Roborecs est livré sous forme d’épisodes documentés et prêts à l’entraînement, non de données brutes. Ce qui est disponible dépend de la phase de capture.
- Vidéo RGB 7 caméras
- Profondeur (multi-vues)
- IMU à 500 Hz
- Trajectoires spatiales
- Audio
- Pose et squelette de la main
- Segmentation en tâches et étapes
- Étiquettes d’objets et d’interactions (saisir, poser, insérer, acheminer)
- Événements de contact et de préhension
- Métadonnées par épisode (tâche, environnement, opérateur)
- Taxonomies personnalisées pour votre modèle ou votre benchmark
- LeRobot v3 / HDF5
- Fiches de jeu de données et manifestes
- Artefact de consentement et de provenance par épisode
- Livraison en juridiction UE
- Bucket cloud ou transfert chiffré
Spécification de livraison du programme de capture. Les modalités et annotations disponibles dépendent de la phase de capture.
La couche de fidélité
L’installation de Sofia, et le pipeline multimodal derrière les données prêtes pour l’entraînement.
Conçue pour la Physical AI, en Europe.
Une installation de capture de données dédiée, prévue au Sofia Tech Park, de 1 100 m² au lancement pour atteindre 5 000 m². Accès direct aux talents STEM, à l’infrastructure énergétique et à la logistique UE. Mise en service visée à partir du T3 2027.
Assemblage industriel bimanuel, le catalogue de tâches.
Les tâches à deux mains, riches en contacts, qui exigent une véritable démonstration industrielle, travail sur connecteurs, fixation, manipulation de précision, à capturer dans les environnements industriels où les robots se déploient. Les clients peuvent commander des bibliothèques de tâches dans les catégories ci-dessous, avec des commandes sur mesure pour des besoins propriétaires.
- →Accouplement de connecteurs et cheminement de câbles
- →Serrage de précision au couple
- →Manipulation de PCB et de composants
- →Assemblage par prise et dépose
- →Contrôle qualité
- →Tri en bacs et emballage
- →Coordination bimanuelle
- →Manipulation d’outils
- →Alignement fin
- →Passation de tâche collaborative
- →Assistance et guidage
- →Travail en proximité sécurisée
- →Spécifications de tâches définies par l’OEM
- →Sessions de capture sur mesure
- →Cession intégrale des droits IP
Des commandes sur mesure sont disponibles pour des bibliothèques de tâches spécifiques à un OEM. Cession intégrale des droits IP. Provenance conforme au GDPR de l’UE dès le premier jour.
DISCUTER D’UNE COMMANDE →Le robot à la tâche.
C’est l’extrémité déploiement de la boucle : un robot exécutant une tâche de manipulation. Déplacez votre curseur pour le guider ; il exécute pendant que nous capturons ce qui se passe au fil du travail, les réussites et les échecs, que nous réinjectons pour améliorer la version suivante. C’est là que le corpus se cumule.
télémétrie illustrative · dérivée en direct de la cinématique de la démo, et non de données de capteurs enregistrées
D’abord le corpus. Puis les modèles bâtis dessus.
La capture et le déploiement construisent une seule chose : un corpus propriétaire, annoté en actions, de manipulation industrielle réelle. L’architecture des modèles de robots se banalise, GR00T ouvert, LeRobot ouvert, π0 ouvert. Les données sous-jacentes, non. Ce qui se cumule, c’est la boucle, de vrais déploiements alimentant le corpus, et les modèles spécialisés bâtis dessus.
Rien dans le corpus n’existe avant que nous le capturions nous-mêmes, une interaction à la fois, et il s’enrichit à chaque tâche réalisée. Chaque tour de la boucle creuse l’avance sur les données.
Aucun modèle ne s’entraîne encore sur les données Roborecs, et aucun modèle Roborecs n’est livré à ce jour. La couche modèle s’ouvre à deux conditions : le corpus franchit l’échelle que les résultats publiés jugent nécessaire à une policy spécialisée, et nous ajoutons la direction de recherche ML pour la bâtir. Nous préférons énoncer ces conditions plutôt que de suggérer un modèle, ou une équipe, qui n’existe pas encore.
Nos modèles spécialisés sont des policies de tâche, pas un robot, et ils fonctionnent sur toute stack compatible LeRobot. La donnée est le produit : tout corpus qu’un client obtient sous licence est prélevé sur notre propre feuille de route de modèles, de sorte que nous ne livrons jamais de policy qui concurrence un client de données. Les policies que nous bâtissons, elles, prouvent ce que le corpus peut produire.
EXEMPLES DE POLICIES · FEUILLE DE ROUTE
Assemblage électronique
Une policy vision-langage-action spécialisée pour l’insertion de connecteurs, le cheminement de câbles et le vissage. Post-entraînée sur les canaux multimodaux du corpus d’assemblage, là où un millimètre décide du succès. Livrée compatible LeRobot.
Kitting de précision
Placement de pièces, du bac au gabarit, sous tolérance serrée. Le même corpus, une autre famille de tâches.
Les modèles se situent en aval des modèles de fondation ouverts. Post-entraînés sur le corpus, livrés dans le même format compatible LeRobot. Compatibles avec, jamais en concurrence avec, NVIDIA Isaac GR00T N1.7 et Physical Intelligence π0.
LA SUITE
Lancez un pilote.
Indiquez-nous votre robot et vos tâches cibles. Nous cadrons un programme de capture, convenons d’une spécification d’échantillon et livrons un jeu d’évaluation avant tout engagement de volume.