Il s'agit pour les chercheurs de qualifier et structurer en profondeur (sur plusieurs niveaux) chaque élément servant à décrire le monde. Chaque nœud de ce schéma de données représente un objet, une action ou une partie d'une image et chaque nœud est associé à une probabilité d'exactitude. Toutes les idées (point ou nœuds) sont donc reliées par des lignes (des arêtes). Grâce aux perceptions visuelles et auditives le robot transmet à Robo Brain (à qui il est connecté en permanence) ses données privées. La base créé alors un diagramme propre à sa situation puis l’enrichit avec ses données du Cloud.

 

Dans le diagramme, des millions d’opérations se créent pour aboutir à une réponse à la situation du robot. Nous en présenterons deux d'entre elles ici:

                                                                                                         le Split        et        le Merge

 

 

          permet de diviser un nœud en deux ou plusieurs                                                                permet la fusion de deux nœuds dans un nœud unique,

                        nœuds donc de les fractionner.                                                                                                   il le concatène (regroupe)
                                                                                                                                                          Le point final de l’opération est ensuite connecté

                                                                                                                                                                                  à une autre arête.

               

 

            Il existe différentes formes de points dans Robo Brain qui permettent d’aiguiller le robot :

    - en mots

    - image en 2D

    - point (image) de la base en 3D

    - heatmap (« carte des points chauds »)

 

          Ensuite il y a aussi beaucoup d’exemples pour les arêtes qui permettent de donner des précisions sur les actions que doivent entreprendre les robots en reliant deux noeuds :

    - is-a-type-of = est une sorte de (exemple : l’humain est une sorte de mammifère)

    - has-appearance = a l’apparence de (exemple : une bouteille de vin a l’apparence d’une bouteille d’eau)

    - can-perform-action = peut faire une action précise.

    - spatially-distributed-as = situer dans l’espace (exemple : la disposition de l’être humain est répartie dans l’espace de façon suivante ...)

    - is-holonym = découle de (holonyme) (exemple : la feuille vient de l’arbre)