Stretch AI : comment se déroule le ramassage guidé par des mots

Stretch 3 reçoit deux descriptions écrites : celle de l’objet à ramasser et celle du récipient où le déposer. L’utilisateur les saisit dans le terminal, la fenêtre de commande de l’application. Le robot tente alors de saisir l’objet au sol, puis de le placer dans le récipient proche, lui aussi posé au sol. Pendant la tentative, il annonce oralement ce qu’il fait.

Hello Robot rapporte des réussites avec différents objets et des contenants tels que des paniers et des boîtes.

Le fonctionnement se répartit entre deux machines. Stretch 3 effectue la manipulation et héberge le serveur, le programme avec lequel l’application communique. L’application de démonstration tourne sur un ordinateur externe équipé d’un GPU, un processeur graphique qui apporte de la puissance de calcul. Elle télécharge d’abord les modèles d’IA nécessaires à son fonctionnement.

Hello Robot recommande un GPU NVIDIA et un point d’accès Wi-Fi dédié pour relier l’ordinateur au robot. Selon le fabricant, les performances dépendent d’un débit élevé, pour échanger les données, et d’une faible latence, c’est-à-dire d’un délai de transmission court.

Que permet le serveur sans caméra D405 ?

Le Stretch RE2 ne possède pas de caméra sur sa pince. Pour le Stretch 2, Hello Robot propose un kit de mise à niveau vers les capacités du Stretch 3. Le fabricant décrit également une version du serveur Stretch AI sans prise en charge de la caméra D405. Ces options ne garantissent pas que toutes les démonstrations fonctionnent sur chaque ancien modèle.

Avec cette version du serveur, Hello Robot indique que l’on peut encore essayer la démonstration de mouvements simples et afficher des images. En revanche, le ramassage et la dépose guidés par des mots, décrits plus haut, ne fonctionnent pas avec elle. Il en va de même pour l’apprentissage par démonstration, destiné à faire apprendre une tâche au robot à partir d’exemples.