(Salle F08)
Haciahmetoglu, Yonca
Quek, Francis
Virginia Polytechnic Institute and State University, Blacksburg
Repackaging Multimodal Communicative Behavior
Across Multiple Discourse Configurations
The synchrony of gesture strokes and speech intonational phrases is
a cornerstone to most models of multimodal communicative behavior.
We present an animated avatar that tests the proposition that
this temporal multimodal packaging is preserved across communication
confi gurations (speaking while pointing into a tablet computer
or speaking in front of a projection screen). We show that
we can repackage the communication streams to produce believable
embodied multimodal behavior using tablet-based behavior
and speech as the input package. Our system is a distance tutoring/
presentation avatar. In the highly spatial and contextually rich
tutor-student interaction, a key to facilitating learning is to provide
a sense of situatedness between tutor and student. We employ a
strategy of spatial and temporal binding where elements of space
and time are attached to generate behavior. Behavior specifi cation
is produced by interpreting pen gestures into a tablet-based
poster. By binding gestural intent with appropriate template, the
system generates multimodal behavior. Temporal situatedness is
preserved by binding the execution time activity with the relative
timing of the pen activity, whereas spatial situatedness is
preserved by binding gestural behavior trajectories/locations with
interlocutor behavior detected by a camera and the spatial con-
fi guration of the avatar space. We present results of our usability
experiments to show the effi cacy and applicability of this system.
La synchronisation de la gestuelle et de l’intonation orale est un
aspect essentiel de la plupart des modèles du comportement multi
mode de la communication. Nous vous présentons un avatar (humain
virtuel) animé, qui examine la proposition que cette relation multimode temporelle est préservée à travers des confi gurations de communication
(parlant tout en se dirigeant vers un tablette PC ou
parlant devant un écran de projection). Nous illustrons que nous
pouvons réorganiser les attitudes de la communication pour produire
un comportement exprimé en plusieurs modes qui est crédible,
en utilisant le comportement vis-à-vis de la tablette et le discours
comme données initiales. Notre système est un avatar sur la distance
du tutorat/présentation. Dans les interactions grassement riches en
espaces et en contextes entre le tuteur et l’étudiant, une solution
pour faciliter l’apprentissage est de fournir un sens à la situation
entre les deux patries. Nous utilisons une stratégie reliant l’espace et
le temps où leurs éléments respectifs sont unis pour générer le comportement.
L’exactitude du comportement est fournie en interprétant
l’écriture sur une affi che de la tablette de base. En reliant l’intention
gestuelle avec le modèle approprié, le système produit un comportement
multi mode. L’attitude temporelle est préservée en reliant
l’activité du temps d’exécution avec la synchronisation relative de
l’activité de stylo, tandis que l’attitude spatiale est préservée en
reliant les trajectoires/localisations du comportement gestuel avec
le comportement de l’interlocuteur, détecté par un appareil photo,
et la confi guration spatiale de l’espace de l’avatar. Nous présentons
ainsi les résultats de nos expériences pour montrer l’effi cacité et
l’applicabilité de ce système.
