Dobb-E

Dobb·E è uno strumento open-source user-friendly che aiuta a insegnare ai robot come gestire le faccende domestiche mimando le azioni umane.

Alla base, Dobb·E affronta le sfide che i robot domestici devono affrontare offrendo un modo economico ed ergonomico per raccogliere dimostrazioni di compiti domestici. Uno dei componenti chiave di questo framework è uno strumento utile noto come Stick. Questo dispositivo innovativo combina un bastone raccoglitore $25, alcune parti stampate in 3D e un iPhone per facilitare il processo di apprendimento.

Lo Stick gioca un ruolo importante nella raccolta di dati preziosi da un dataset chiamato Homes of New York (HoNY). Questo dataset presenta circa 13 ore di attività registrate in 22 diverse case a New York City. Include un mix di video RGB e di profondità, così come annotazioni dettagliate sulla posizione del gripper e su come si apre, tutti elementi cruciali per addestrare i robot.

Utilizzando i dati raccolti da queste dimostrazioni, Dobb·E addestra un modello noto come Home Pretrained Representations (HPR). Questo modello è costruito sull'architettura ResNet-34 e utilizza metodi di apprendimento auto-supervisionato per preparare efficacemente un robot ad affrontare nuovi compiti in ambienti diversi.

Impressionantemente, Dobb·E ha dimostrato di poter raggiungere un tasso di successo medio dell'81% nel completare nuovi compiti, tutto in soli 15 minuti, facendo affidamento solo su cinque minuti di dati di dimostrazione raccolti in precedenza in un ambiente domestico sconosciuto.

Se sei interessato a approfondire, Dobb·E rende facile accedere a modelli pre-addestrati, codice sorgente e documentazione completa tramite GitHub. Inoltre, c'è un articolo ad accesso aperto intitolato "On Bringing Robots Home" che elabora i metodi dietro Dobb·E e i suoi successi.