(Salle F08)
Pesheva, Milena
(Bolton Institute)
Hartley, Roger
(University of Leeds, Leeds)
Elsayed, Adel
(Bolton Institute)
Gestures in Active Presentations
Gestures represent a functional component in human communication
within verbal and visual modalities. They contribute to delivering
and conveying meaning, intention, affect and empathy in Active
Presentations. Active Presentations are short multimodal presentations
that use a coherently integrated multi-modal mode for the
delivery of educational material. Such presentations foster the cognitive
learning process by integrating human natural speech and
visual content with the aid of an integrating object. The integrating
object, represented by the natural human hand, is a gesture bearing
element that integrates the visual and verbal modalities. It enriches
the semantics of the narrative by deploying semantic integration,
elaboration of meaning and gesture articulation.
In this paper we investigate the role of human gestures in learning
environments. Our early research has shown that gestures can be an
important factor in communicating meaning and intention. They can
sub link the illustrative force and enhance the comprehension effects
of the educational narrative. We distinguish a semiotic framework of
gestures and a classifi catory scheme that lead to identifying main
functions of gestures. These functions are represented by icon, trajectory
and referent in respect to other modalities in the communicative
act. The integration of modalities in the communicative acts
results into the establishment of a Multimodal Communication Act to
form an organic process within the presentation.
Les gestes représentent un élément fonctionnel dans la communication
humaine au niveau des modalités verbales et visuelles. Ils contribuent à transmettre la signifi cation, l’intention, l’affect et l’empathie
dans les Présentations Actives. Les Présentations Actives sont des
présentations courtes multimodales qui emploient un mode multimodal
intégré de façon cohérente pour la transmission du matériel
éducatif. De telles présentations stimulent l’apprentissage cognitif
en intégrant le discours humain et le contenu visuel naturels à l’aide
d’un objet d’intégration. L’objet d’intégration, représenté par la
main humaine naturelle, est un élément porteur de gestes qui intègre
les modalités visuelles et verbales. Il enrichit la sémantique
de la narration par le deploiement de l’intégration sémantique,
l’élaboration de la signifi cation et l’articulation du geste.
Dans ce papier nous éudions le rôle des gestes humains dans les
contextes pédagogiques. Notre recherche initiale a prouvé que les
gestes pouvaient être un facteur important dans la communication
de la signifi cation et de l’intention. Elles peuvent sous-tendre la force
d’illustration et augmenter les effets de compréhension du discours
éducatif. Nous distinguons un cadre sémiotique des gestes et un plan
de classifi cation qui mène à l’identifi cation des fonctions principales
des gestes. Ces fonctions sont représentées par l’icône, la trajectoire et
le référent par rapport à d’autres modalités dans l’acte communicatif.
L’intégration des modalités dans les actes communicatifs aboutit à
la création d’un Acte de Communication Multimodal pour former un
processus organique dans la présentation.
