(Salle F05)

---

  Braffort, Annelies (LIMSI-CNRS, UPR 3251, Paris)
  Dalle, Patrice IRIT-TCI, UMR 5505, Toulouse

Traitement informatique de la LS : modèles, représentations, outils d’analyse vidéo, d’animation d’avatar et de communication

L’objectif est d’étudier des outils facilitant l’écriture d’énoncés en LSF, par analyse de vidéos, ou assistant leur lecture à l’aide d’avatars signants. L’espace de signation, où sont placés tous les éléments auxquels le signeur et son interlocuteur pourront faire référence, sert de cadre à la structuration du discours. Sa modélisation permet à un système d’analyse d’images de prédire et d’interpréter les événements visuels en termes linguistiques et de produire une description syntaxico- sémantique du discours. Inversement, un éditeur graphique exploitant cette représentation permet de générer le cadre structurel d’un énoncé destiné à être réalisé par un avatar signant. Au niveau de la réalisation manuelle des signes, le module d’analyse associe des indices visuels à la représentation articulaire des signes, pour les reconnaître et en fournir une représentation dans un codage permettant l’utilisation d’outils standard d’édition. Ce nouveau formalisme articulaire sera aussi exploité en synthèse. Ces travaux sont complétés par une modélisation des expressions du visage, qui jouent avec le regard un rôle syntaxique essentiel, et par l’étude d’outils d’analyse et de synthèse correspondants.Les applications étudiées concernent l’exploitation d’une écriture de la LSF dans le cadre scolaire, dans la communication à distance et dans l’utilisation d’internet.

Sign language processing : models, representations, tools for video analysis, for signing avatars and for communication

The aim is to study tools facilitating the writing of utterances in FSL through the analysis of videos, or aiding in their comprehension using signing avatars. The signing space, which contains all the elements to which the signer and his addressee make reference, is the framework for structuring discourse. Its modellisation enables an image analysis system to anticipate and interpret visual events in linguistic terms and produce a syntactico-semantic description of discourse. Conversely, a graphic editor using this representation allows us to generate the structural framework of an utterance produced by a signing avatar. At the level of the manual production of signs, the analysis module associates visual clues with the articular representation of signs, in order to recognise them and to provide a representation in a code allowing the utilisation of standard editing tools. This new articular formalism will also be utilised for synthesis. This undertaking is supplemented by a modellisation of facial expressions which - together with the signer’s gaze - play an essential syntactic role, and by the study of corresponding analysis and synthesis tools. The applications under study concern the exploitation of a written form for FSL in schooling, in distance communication and in internet use.