Dobb-E

Dobb·E es una herramienta de código abierto fácil de usar que ayuda a enseñar a los robots cómo manejar las tareas del hogar imitando las acciones humanas.

En su núcleo, Dobb·E aborda los desafíos que enfrentan los robots domésticos al ofrecer una forma económica y ergonómica de recopilar demostraciones de tareas del hogar. Uno de los componentes clave de este marco es una herramienta práctica conocida como el Stick. Este dispositivo innovador combina un palo alcanzador-agarrador $25, algunas piezas impresas en 3D y un iPhone para facilitar el proceso de aprendizaje.

El Stick juega un papel importante en la recopilación de datos valiosos de un conjunto de datos llamado Homes of New York (HoNY). Este conjunto de datos presenta alrededor de 13 horas de actividades grabadas en 22 hogares diferentes en la ciudad de Nueva York. Incluye una mezcla de videos RGB y de profundidad, así como anotaciones detalladas sobre la posición del agarre y cómo se abre, todo crucial para entrenar a los robots.

Utilizando los datos recopilados de estas demostraciones, Dobb·E entrena un modelo conocido como Representaciones Preentrenadas para el Hogar (HPR). Este modelo se basa en la arquitectura ResNet-34 y utiliza métodos de aprendizaje auto-supervisado para preparar eficazmente a un robot para abordar nuevas tareas en diferentes entornos.

Impresionantemente, Dobb·E ha demostrado que puede lograr una tasa de éxito promedio de 81% al completar nuevas tareas, todo en solo 15 minutos, confiando únicamente en cinco minutos de datos de demostración recopilados previamente en un entorno doméstico desconocido.

Si estás interesado en profundizar, Dobb·E facilita el acceso a modelos preentrenados, código fuente y documentación completa a través de GitHub. Además, hay un artículo de acceso abierto titulado "Sobre llevar robots a casa" que elabora sobre los métodos detrás de Dobb·E y sus logros.