Intersemiotic Texture: analyzing cohesive devices between language and images

Cohesion in multimodal documents

“…Among many factors that specify how humans construct referential links -such as the prior knowledge and the verbal and/or spatial abilities of the readers -the design of multimodal documents has received most of the attention in many of the relevant disciplines. For instance, in their investigation of spatial contiguity between text and pictures, Mayer and colleagues have shown that placing the picture and the text that refers to the picture close together leads to a better learning outcome (Mayer, 2009).…”

“…Research on document design and learning has been trying to elucidate what kind of impact multimodal material has on the reader. Mayer (2009), for instance, reports on years of studies showing that students learn better when they learn from words and pictures than when they learn from words alone. The learning, however, is improved only when certain principles in the presentation of the multimedia material are followed.…”

Relaciones retóricas y multimodalidad en el género Informe de Política Monetaria del discurso académico de la Economía

“…Criterios de clasificación de artefactos multisemióticos (Parodi, 2010a Relaciones retóricas y multimodalidad en el género Informe de Política Monetaria del discurso académico de la Economía idea de la funcionalidad que se asigna en una disciplina específi ca a los artefactos multisemióticos, en particular, en el discurso de la Economía y confi rma la idea de que en cada género discursivo se emplean artefactos multisemió-ticos para cumplir propósitos comunicativos específi cos. En cuanto al estudio de los géneros discursivos de la Economía, no se detectan estudios que describan para el español las relaciones intersemióticas (RI) entre estos artefactos y su cotexto verbal. En inglés, principalmente, se ha descrito las relaciones intersemióticas basados en la perspectiva de la Lingüística Sistémico Funcional (e.g., O'Toole, 1994;Royce, 1999; Martinec y Salway, 2005;Liu y O'Halloran, 2009;Wu, 2014) y no centrados en la disciplina económica. En otras disciplinas, una alternativa de investigación es la que han introducido Taboada y Habel (2013) al utilizar la Teoría Retórica Estructural para analizar las relaciones entre artefacto y cotexto verbal en una muestra de textos de tres géneros discursivos diferentes.…”

“…Se cuenta con escasos trabajos que defi nen lo que se entiende por artefacto, aun cuando varios investigadores los utilizan como unidad de análisis en sus investigaciones (e.g., Martin y Rose, 2008;Bateman, 2008;Gunnarson, 2009;Liu y O'Halloran, 2009;Hippala, 2012aHippala, , 2012bTaboada y Habel, 2013). Para efectos de esta investigación, seguiremos los lineamientos de Parodi (2010a), quien defi ne los artefactos multisemióticos como aquellos elementos creados por la confl uencia de múltiples sistemas semióticos y que tienen un rol importante en la construcción del signifi cado global de un texto, correspondiente a un determinado género discursivo.…”

mStories: exploring semiotics and praxis of user-generated mobile stories

“…Bearne 2005;Clark and Mayer 2003;Jewitt 2006;Kress 1997;Pailliotet and Mosenthal 2000;Reinking et al 1998 (Martinec 1998) and film and television (Iedema 2001). Furthermore, intersemiotic approaches (Liu and O'Halloran 2009;Royce 1998;2007;Unsworth 2006;2008a) provide a means for thinking about how multiple modes relate to each other to form a coherent semantic unit. In addition to semiotic approaches, there has been a turn towards focusing on practice (Couldry 2004).…”