Multimodal communication in instructional settings: An investigation of the functional roles of gestures and arrows



Document title: Multimodal communication in instructional settings: An investigation of the functional roles of gestures and arrows
Journal: Revista signos
Database: CLASE
System number: 000539159
ISSN: 0035-0451
Authors: 1
3
2
Institutions: 1Jagiellonian University, Cracovia. Polonia
2Middle East Technical University, Ankara. Turquía
3McMaster University, Hamilton, Ontario. Canadá
Year:
Season: Dic
Volumen: 54
Number: 107
Pages: 867-892
Country: Chile
Language: Inglés
Document type: Artículo
Approach: Analítico, descriptivo
Spanish abstract En la comunicación diaria y en entornos educativos, las flechas y los gestos espontáneos suelen transmitir información espacial similar a los interlocutores. Ellos pueden visualizar información espacial en el espacio 2D o 3D basándose en representaciones conceptuales y espaciales compartidas. El presente estudio investiga la relación entre los gestos espontáneos y las flechas desde la perspectiva de la generación y la comprensión en contextos de enseñanza. Introducimos un corpus de flechas en un texto multimodal escrito y un corpus de gestos generados durante la comunicación a través de material instructivo multimodal. También presentamos una investigación experimental que utilizó un corpus para estudiar el impacto de los gestos en el aprendizaje de la comprensión. La comparación de los corpus revela similitudes y diferencias funcionales entre las flechas y los gestos y su papel complementario en la comunicación multimodal. Los resultados sugieren que las flechas y los gestos pueden compartir un espacio conceptual común durante la comunicación, teniendo un impacto significativo en la comprensión y el aprendizaje
English abstract In daily communication and instructional settings, arrows and spontaneous gestures usually convey similar spatial information to interlocutors. They can visualize spatial information in 2D or 3D space based on shared conceptual and spatial representations. The present study investigates the relationship between spontaneous gestures and arrows from the perspective of generation and comprehension in instructional settings. We introduce a corpus of arrows in written multimodal text and a corpus of gestures generated during communication through multimodal instructional material. We also report an experimental investigation that used corpus material to study the impact of gestures on comprehension learning. A comparison of the corpora reveals functional similarities and differences between arrows and gestures and their complementary role in multimodal communication. The findings suggest that arrows and gestures may share a common conceptual space during communication, having a significant impact on comprehension and learning
Disciplines: Literatura y lingüística
Keyword: Sociolingüística,
Modalidad,
Deixis,
Flechas,
Gestos,
Multimodalidad
Keyword: Sociolinguistics,
Modality,
Deixis,
Arrows,
Gestures,
Multimodality
Full text: Texto completo (Ver HTML) Texto completo (Ver PDF)