Poster

---

  Lenseigne, Boris
  Dalle, Patrice

(IRIT-TCI, UPS Toulouse)

Apports d’un modèle de l’espace de signation pour l’interprétation d’interactions en langue des Signes

Dans le cadre d’une étude sur l’interaction en langue des Signes, nous présentons une première étape qui consiste à comprendre des requêtes. Il s’agit donc de construire une interprétation de l’énoncé permettant de produire la réponse désirée, c’est-à-dire d’identifi er les rôles des différentes entités évoquées et de les mettre en relation. Cet énoncé étant produit en langue des Signes et le périphérique d’entrée étant une caméra, cette représentation peut être construite en étudiant la façon dont le signeur instancie l’espace de signation (ES) qui l’entoure. Ce dernier utilise en effet cet espace pour y positionner les différentes entités qui représentent les concepts du discours et les mettre en relation en fonction de leur rôle dans l’énoncé. Les séquences de gestes régissant la construction de cet espace sont en outre guidées par une grammaire précise. Nous proposons dans cet article un modèle permettant cette interprétation et nous montrons comment l’utiliser pour répondre à des requêtes concernant un planning, c’est-à-dire mettant en jeu des notions de personne, de lieu, de date et d’action. Nous nous basons pour cela sur une représentation de l’ES sous forme d’un volume discrétisé dans lequel les entités sont positionnées et mises en relation et sur un modèle de la grammaire régissant sa construction. Ce modèle permet de prédire des événements visuels sous forme de descriptions de l’état des composants dont le système d’analyse d’images peut alors vérifi er l’occurrence. Ce mécanisme permet d’éviter une reconstruction complète des gestes, trop lourde. Cette première analyse permet de défi nir le nombre et le rôle des différentes entités évoquées dans l’énoncé indépendamment du lexique et permet donc d’envisager la reconnaissance des signes proprement dits dans le contexte très réduit des termes du lexiques susceptibles d’évoquer une entité de ce type.

Using signing space for interpretating sign language interaction

In the field of sign language (SL) interaction, we present an application that intends to understand requests on a database. The goal of such an application is to produce a representation of the utterances that enables the system to answer that question that is identifying the entities that where evoked and their relationships. When the input language is SL and the input device is a camera, such a representation can be constructed by analysing the way the signer instanciates the signing space surrounding him. This space is used by the signer to position the entities that correspond with the concepts that where evoked and to link them together depending on their ‘role in the sentence. Moreover, the gestures that are used for this construction follow the grammatical rules of the SL. We propose a model that handles such interpretations and we present how to use it to launch requests on a timetable which includes information on persons, dates, places and actions. In order to do so, we use a representation of the signing space as a discrete volume, where entities can be positioned and linked together, as well as a grammatical model of its construction. This model allows the prediction of visual events as a description of the components of the signer’s body. An image processing system is used to verify the occurrence of those events, thus avoiding too complex reconstructions of the gestures. This fi rst stage of analysis allows identifying the entities that where evoked without taking in account the lexicon. The analysis thus makes it possible to identify the signs proper in the limited context of the terms of the lexicon that may correspond to an entity of that given type.