Dobb-E

Dobb·E ist ein benutzerfreundliches Open-Source-Tool, das hilft, Robotern beizubringen, wie man Haushaltsaufgaben erledigt, indem menschliche Handlungen nachgeahmt werden.

Im Kern geht Dobb·E die Herausforderungen an, mit denen Haushaltsroboter konfrontiert sind, indem es eine kostengünstige und ergonomische Möglichkeit bietet, Demonstrationen von Haushaltsaufgaben zu sammeln. Ein zentrales Element dieses Rahmens ist ein praktisches Werkzeug, das als Stick bekannt ist. Dieses innovative Gerät kombiniert einen $25 Greifarm, einige 3D-gedruckte Teile und ein iPhone, um den Lernprozess zu erleichtern.

Der Stick spielt eine wichtige Rolle beim Sammeln wertvoller Daten aus einem Datensatz namens Homes of New York (HoNY). Dieser Datensatz umfasst etwa 13 Stunden aufgezeichneter Aktivitäten in 22 verschiedenen Haushalten in New York City. Er enthält eine Mischung aus RGB- und Tiefenvideos sowie detaillierte Annotationen zur Position des Greifers und wie er sich öffnet, die alle entscheidend für das Training der Roboter sind.

Mit den aus diesen Demonstrationen gesammelten Daten trainiert Dobb·E ein Modell, das als Home Pretrained Representations (HPR) bekannt ist. Dieses Modell basiert auf der ResNet-34-Architektur und nutzt selbstüberwachende Lernmethoden, um einen Roboter effektiv auf neue Aufgaben in verschiedenen Umgebungen vorzubereiten.

Beeindruckenderweise hat Dobb·E gezeigt, dass es eine durchschnittliche Erfolgsquote von 81% erreichen kann, wenn es neue Aufgaben innerhalb von nur 15 Minuten abschließt, wobei es sich nur auf fünf Minuten zuvor gesammelter Demodaten in einer unbekannten häuslichen Umgebung stützt.

Wenn Sie tiefer eintauchen möchten, macht Dobb·E es einfach, auf vortrainierte Modelle, Quellcode und umfassende Dokumentation über GitHub zuzugreifen. Außerdem gibt es ein Open-Access-Papier mit dem Titel "On Bringing Robots Home", das die Methoden hinter Dobb·E und seine Erfolge näher erläutert.