Le robot Cassie et l’apprentissage renforcé de la marche

Cassie, robot bipède conçu par le groupe américain Agility Robotics, est parvenu à marcher de lui-même au moyen d’une nouvelle technique pensée par des experts en robotique. Au moyen du mélange de l’apprentissage via renforcement ainsi que de deux environnements virtuels, le robot a effectué un entraînement pour marcher et est parvenu à effectuer un transfert de ses savoirs dans la réalité.

Une capacité de déplacement unique et étonnante

Les robots du groupe Boston Dynamics (expert dans la robotique, surtout à utilisation militaire) sont des machines très étonnantes quand on voit leur savoir-faire à bouger de façon autonome. D’ailleurs, une vidéo dévoile ces derniers en pleine danse, prouvant ainsi leur grande agilité. Néanmoins, ces machines demande des années de conceptions afin d’aboutir à un tel résultat. Des experts travaillant dans l’université américaine de Californie dans la ville de Berkeley ont utilisé une nouvelle technique, offrant une meilleure rapidité, qui donne la possibilité à un robot d’effectuer l’apprentissage de la marche par lui-même.

Cassie est un robot pensé et conçu par la société Agility Robotics se définissant par une simple paire de jambes. Les experts se sont servis de l’apprentissage via renforcement afin qu’un robot apprenne à marcher, et cela est inédit. Néanmoins, Cassie n’a pas pu faire son apprentissage directement dans le monde réel sans subir le danger de multiples chutes. S’il y a chute, Cassie peut progresser dans la réalité sans aucune aide mais avec une simple corde.

Deux simulations à la suite pour un apprentissage autonome

Les experts ont pensé et conçu un mécanisme en trois phases, qui débute avec un environnement virtuel nommé MuJoCo et une simulation du robot qui doit parvenir à effectuer la reproduction de la totalité d’une grande bibliothèque de mouvements. Néanmoins, ce type de simulations n’est pas assez précis afin que l’apprentissage puisse être utilisé dans la réalité.

Afin de confirmer les résultats du premier entraînement, les spécialistes se sont servis d’un deuxième environnement virtuel appelé SimMechanics. Ce dernier est beaucoup plus dans le détail et demande une puissance de calcul plus poussée. Ainsi, il ne peut pas marcher en temps réel.

Encore du chemin à faire pour le robot Cassie

Lorsque l’apprentissage a été transféré au robot, il y a pu avoir un test dans le monde réel à partir des connaissances intégrées à la machine. Le robot Cassie est parvenu à marcher en position debout ou accroupi sur une multitude de surfaces, à transporter des charges imprévues et à effectuer une compensation quand il est bousculé ou qu’il tombe à cause de quelque chose. Le robot a même pu continuer à avancer à la suite d’un problème lié à deux moteurs au niveau de sa jambe droite.

Néanmoins, Cassie n’est pas à l’heure actuelle au même niveau que le robot Atlas ou le célèbre Spot du groupe Boston Dynamics. Toutefois, cette progression devrait offrir la possibilité d’optimiser la conception de nouveaux robots. En effet, ces derniers pourraient ainsi marcher mieux et plus vite. Les machines pourraient aussi éviter les risques de chutes.