(Salle F101)
Rose, Richard Travis
Quek, Francis
Virginia Polytechnic Institute and State University, Blacksburg
MacVisSTA : An Extendible Annotation and Data
Visualization Tool for Analysis
of Human Communication and Interaction
Advancement of a science is tied to the advancements of its tools.
To understand the intricate relationships among human communication
in body and speech, it is important to be able to visualize
the temporal relationships among multiple ‘modality streams’.
Technological advancements in speech and video processing provide
the researcher access to such data as motion traces, head orientations,
and speech prosody. Because the coding process is integral to
research in embodied communication, we combine data visualization
and time-accurate annotation in the same interface of MacVisSTA
(Macintosh Visualization for Situated Temporal Analysis). The system
uses animated graphical windows and a moving strip-chart metaphor
to display multiple data streams co-temporally with audio/video
playback. The system permits creation of multiple annotations that
can be assembled, viewed and edited graphically together with timeseries
data layers using a multi-tier, music-score representation.
MacVisSTA has been designed as a principled interface in consultation
and iterative refi nement with psycholinguists. We will present
results of usability studies involving benchmark tasks. To support the
broader research community, MacVisSTA is open-sourced and publicly
available.
Le progrès d’une science est relatif aux progrès de ses outils. Pour
comprendre les rapports complexes de la communication humaine
dans le corps et la parole, il est important de pouvoir visualiser les
rapports temporels parmi les différents fl ux de modalité. Les avancements
technologiques dans le domaine de la parole et du traitement
visuel fournissent l’accès du chercheur à des données telles que le mouvement trace, les orientations principales, et la prosodie de la
parole. Puisque la programmation est intégrale pour rechercher la
communication incorporée, il est necessaire de combiner la visualisation
de données et l’annotation temps-précise dans la même interface
de MacVisSTA (visualisation de Macintosh pour l’analyse temporelle
située). Le système utilise des fenêtres graphiques animées et
une métaphore graphique à barres mobile pour montrer les fl ux de
données multiples et co-temporel avec le playback audio/video. Le
système permet la création des annotations multiples qui peuvent
être assemblées, regardées et éditées graphiquement avec des couches
données de série de temps en utilisant un à plusieurs niveaux
et une représentation de musique-points. MacVisSTA a été conçu
comme interface principale après l’avoir améliorée itérativement et
après consultation de psycholinguistes. Nous allons présenter les
résultats des études de rentabilité impliquant le repère charge. Pour
soutenir une plus large communaute de scientifi ques, MacVisSTA est
publiquement disponible.
