Gestualité Expressive

Passer du texte au geste

• La gestuelle a une part importante dans la transmission de l’information du locuteur vers l’auditeur. Pour coller à cette réalité, le projet GV-LEx se propose de faire faire à NAO et à Greta des gestes qui correspondent aux situations et aux personnages évoqués dans l'histoire racontée.

• Le schéma ci-dessous résume le processus qui permet de générer les gestes de NAO ou de Greta à partir du texte à raconter.

• Un premier logiciel analyse le texte pour en extraire automatiquement les informations pouvant être illustrées par des gestes. Un « Bonjour ! » dit par un des personnages sera interprété comme une salutation qui peut être accompagnée d’un geste. Cette analyse est décrite sur la page Aspects linguistiques.
• Ensuite, une étape va transformer les annotations sémantiques extraites de l’analyse précédente en fonctions pratiques permettant de traduire gestuellement l’information à transmettre. Le langage FML (Function Markup Language) est utilisé pour cela. La salutation identifiée dans le texte à l’étape précédente va être traduite par un geste de la main ou un hochement de la tête.
• La dernière étape va transformer ce geste générique en mouvement pour chacun des actionneurs du robot ou de l’humain virtuel en utilisant le formalisme BML (Behaviour Markup Language).

Les gestes de Greta et de NAO

Le robot NAO et l'avatar 3D Greta, même s’ils ont tous les deux des formes humanoïdes, ne peuvent pas faire exactement les mêmes gestes.

• Le robot et l’humain virtuel n’ont pas le même nombre d’articulations et leurs débattements ne sont pas les mêmes.
• L’avatar a un visage animé alors que celui de NAO est fixe mais dispose d’yeux dont la couleur peut changer
• NAO subit des contraintes physiques (auto-collisions, équilibre, vitesse et accélération limitées) que n’a pas Greta

C’est la raison pour laquelle la dernière étape du passage au geste est différente pour le robot et pour l’avatar.