2/ La programmation

 

         

           Pour que le diagramme de Markov puisse répondre correctement à chaque demande des robots, il a été enrichi avec des milliers de scènes filmées par Kinect pendant 45 secondes dans divers endroits quotidiens comme la salle de bain, la cuisine, la chambre à coucher… Plusieurs personnes y ont été filmées en train d’accomplir des actions banales comme prendre de l’eau dans le réfrigérateur, décrocher le téléphone…

Toutes ces données ont été reliées à l’algorithme. À chaque objet présent dans la scène et détecté par le Kinect, est attribué une action potentielle : par exemple pour une tasse seront associées les activités « boire » et « déplacement ».

         Toutefois, il n’y a pas seulement la Kinect, il existe aussi des caméras 3D et des caméras thermiques qui permettent au robot d’être réceptif aux comportements des personnes. 

 

La programmation des robots peut aussi se faire avec un mode appelé "learning". C'est-à-dire que lorsque l'homme juge que le comportement du robot n'est pas approprié à la demande faite, il l'accompagne par la main en faisant le mouvement voulu avec lui pour qu'il puisse enregistrer, sur sa base de données, ce nouveau scénario.