Dobb-E

Dobb·E est un outil open-source convivial qui aide à enseigner aux robots comment gérer les tâches ménagères en imitant les actions humaines.

Au cœur de Dobb·E se trouvent les défis auxquels sont confrontés les robots domestiques, en offrant un moyen économique et ergonomique de rassembler des démonstrations de tâches ménagères. L'un des composants clés de ce cadre est un outil pratique connu sous le nom de Stick. Cet appareil innovant combine un bâton de saisie-retrouveur $25, quelques pièces imprimées en 3D et un iPhone pour faciliter le processus d'apprentissage.

Le Stick joue un rôle important dans la collecte de données précieuses à partir d'un ensemble de données appelé Homes of New York (HoNY). Cet ensemble de données comprend environ 13 heures d'activités enregistrées dans 22 maisons différentes de New York. Il inclut un mélange de vidéos RGB et de profondeur, ainsi que des annotations détaillées sur la position du préhenseur et comment il s'ouvre, toutes cruciales pour former les robots.

En utilisant les données recueillies à partir de ces démonstrations, Dobb·E entraîne un modèle connu sous le nom de Représentations Préentraînées à Domicile (HPR). Ce modèle est construit sur l'architecture ResNet-34 et utilise des méthodes d'apprentissage auto-supervisé pour préparer efficacement un robot à relever de nouvelles tâches dans différents environnements.

Impressionnant, Dobb·E a montré qu'il pouvait atteindre un taux de réussite moyen de 81% lors de l'exécution de nouvelles tâches, le tout en seulement 15 minutes, en s'appuyant sur seulement cinq minutes de données de démonstration collectées précédemment dans un cadre domestique inconnu.

Si vous êtes intéressé à approfondir, Dobb·E facilite l'accès aux modèles pré-entraînés, au code source et à une documentation complète via GitHub. De plus, il existe un article en accès libre intitulé "Sur le retour des robots à la maison" qui élabore sur les méthodes derrière Dobb·E et ses réalisations.