Poster

---

  Gianni, Frédérick
  Dalle, Patrice

(IRIT , UMR 5505, Université Paul Sabatier, Toulouse)

Interaction visuo-gestuelle avec un mur d’images

L’interaction homme-machine est une problématique majeure en vision par ordinateur, notamment pour le pilotage d’écrans larges au moyen de gestes. Un des enjeux dans ce contexte est d’élaborer des solutions pour l’interaction, depuis le ``langage’’ employé jusqu’au traitements informatiques et vidéo mis en œuvre. Nous présentons tout d’abord la conception du langage gestuel à l’aide d’un magicien d’OZ expérimenté sur 10 personnes ; c’est un moyen d’obtenir des gestes non contraints réalisés de différentes manières. Ce magicien d’OZ est utilisé pour la conception des opérateurs de traitements d’images. Puis nous présentons les cadres d’utilisation : conférences, réunion, salle de crise. Ceci implique la présence de plusieurs personnes utilisateur inclus autour du dispositif, avec les quelles l’utilisateur communique. Nous détaillons quelques traitements informatiques permettant la reconnaissance et l’interprétation des gestes de commande. En particulier l’utilisation de modèles du corps et des bras, cela nous fournit des informations pertinentes pour la reconnaissance à partir d’un système monovision. Enfi n nous présentons les solutions adoptées pour reconnaître les gestes du langage défi ni, interpréter leurs paramètres pour exécuter la commande associée et répondre avec un retour visuel : un affi chage à l’écran correspondant à l’exécution de la commande ou une signalétique expliquant une erreur de commande ou d’interprétation.

---

Human machine interaction is a major problem in computer vision, particularly in order to drive wide screen with gestures. One of those stakes in this context is to provide solutions for interaction, from the choice of ``gestural language’’ used, to the computing and the video engineering implemented. First we present the conception of a gestural language with assistance of a wizard of Oz experienced on ten people ; this is a way to get unconstrained gestures produced in various manners. This Wizard of Oz has been used for the conception of operators of image processing. Then we present uses of such interaction : conferences, meetings, crisis room. This implies several people including the user present around the interface device with whom the user communicate. We point out some computing engineering which allow us to recognize and interpret command gestures. Particularly the use of body and arm model providing relevant information for mono-vision based recognition. Finally, we present solutions used for recognizing gestures of the defi ned language, for interpreting gestures parameters to execute the associated interface’s functions and for replying with a visual feedback : an on-screen display resulting of the command execution or an emblem showing a command or interpretation error.