AmazingHand – Introduction au produit

AmazingHand est une plateforme avancée open source de main robotique dextre, conçue pour la recherche en robotique, l’éducation et le développement. Elle prend en charge le suivi de la main en temps réel, l’environnement de simulation et le contrôle du matériel réel, offrant une solution complète pour la recherche en manipulation robotique.

Principales caractéristiques

• Suivi de la main en temps réel : suivez les mouvements de la main via webcam et contrôlez la main robotique en temps réel
• Environnement de simulation : exécutez des démos de suivi de la main en simulation sans matériel physique
• Contrôle du matériel réel : prise en charge d’une main (gauche/droite) et de deux mains
• Contrôle de l’angle des doigts : contrôlez directement les angles de chaque doigt pour une manipulation précise
• Prise en charge multiplateforme : compatible avec Windows, Linux et les environnements de machine virtuelle

Démarrage rapide

1. Configuration de l’environnement

Installez les dépendances requises :

• Rust
• uv
• dora-rs

Clonez le code source :

git clone https://github.com/pollen-robotics/AmazingHand.git

2. Câblage

L’alimentation doit fournir au moins 5 V/3 A. Connectez-la à la carte de pilotage des servos, puis reliez la carte à votre ordinateur via USB.

3. Vérifier le numéro de port

• Windows : port COM (généralement COM11, à vérifier dans le Gestionnaire de périphériques)
• Linux : /dev/ttyACM0

Vérifiez les permissions du port sous Linux :

ls /dev/ttyUSB* /dev/ttyACM*
sudo chmod 666 /dev/ttyACM*
sudo usermod -aG dialout $USER

4. Modifier la configuration du port

1. Modifiez AmazingHand-main/Demo/AHControl/src/main.rs pour qu’il corresponde à votre port
2. Modifiez le fichier yml correspondant dans le répertoire Demo :
   • Main droite : dataflow_tracking_real_right.yml
   • Main gauche : dataflow_tracking_real_left.yml
   • Deux mains : dataflow_tracking_real_2hands.yml

5. Exécuter la démo

Démarrer le daemon

dora up

Activer l’environnement virtuel

Windows :

Set-ExecutionPolicy -ExecutionPolicy Bypass -Scope Process
.venv\Scripts\activate

Linux :

source .venv/bin/activate

Environnement de simulation

dora build dataflow_tracking_simu.yml --uv   # Run only once
dora run dataflow_tracking_simu.yml --uv

Matériel réel - Main droite

dora build dataflow_tracking_real_right.yml --uv   # Run only once
dora run dataflow_tracking_real_right.yml --uv

Matériel réel - Main gauche

dora build dataflow_tracking_real_left.yml --uv   # Run only once
dora run dataflow_tracking_real_left.yml --uv

Matériel réel - Deux mains

dora build dataflow_tracking_real_2hands.yml --uv   # Run only once
dora run dataflow_tracking_real_2hands.yml --uv

Contrôle simulé de l’angle des doigts

dora build dataflow_angle_simu.yml --uv   # Run only once
dora run dataflow_angle_simu.yml --uv

Structure du projet

• AHControl: nœud dora-rs pour le contrôle des moteurs et les utilitaires de configuration
• AHSimulation: nœud dora-rs pour la simulation des mouvements de la main et la cinématique inverse
• HandTracking: nœud dora-rs pour le suivi de la main par webcam et la génération des cibles de contrôle

Ressources

• JuxiTechnology github
• Lark Wiki