Dobb-E

Dobb·E é uma ferramenta de código aberto amigável que ajuda a ensinar robôs a lidar com tarefas domésticas imitando ações humanas.

No seu núcleo, Dobb·E enfrenta os desafios enfrentados por robôs domésticos, oferecendo uma maneira econômica e ergonômica de coletar demonstrações de tarefas domésticas. Um dos componentes-chave deste framework é uma ferramenta prática conhecida como Stick. Este dispositivo inovador combina um bastão pegador $25, algumas peças impressas em 3D e um iPhone para facilitar o processo de aprendizado.

O Stick desempenha um papel importante na coleta de dados valiosos de um conjunto de dados chamado Homes of New York (HoNY). Este conjunto de dados apresenta cerca de 13 horas de atividades gravadas em 22 casas diferentes na cidade de Nova York. Inclui uma mistura de vídeos RGB e de profundidade, bem como anotações detalhadas sobre a posição do gripper e como ele se abre, tudo crucial para o treinamento dos robôs.

Usando os dados coletados dessas demonstrações, Dobb·E treina um modelo conhecido como Home Pretrained Representations (HPR). Este modelo é construído na arquitetura ResNet-34 e utiliza métodos de aprendizado auto-supervisionado para preparar efetivamente um robô para enfrentar novas tarefas em diferentes ambientes.

Impressionantemente, Dobb·E demonstrou que pode alcançar uma taxa média de sucesso de 81% ao completar novas tarefas, tudo em apenas 15 minutos, dependendo apenas de cinco minutos de dados de demonstração coletados anteriormente em um ambiente doméstico desconhecido.

Se você está interessado em se aprofundar, Dobb·E facilita o acesso a modelos pré-treinados, código-fonte e documentação abrangente através do GitHub. Além disso, há um artigo de acesso aberto intitulado "On Bringing Robots Home" que elabora sobre os métodos por trás do Dobb·E e suas conquistas.