Katharina Lobinger erklärt in Kapitel 5 des Buches “Visuelle Kommunikationsforschung. Medienbilder als Herausforderung für die Kommunikations- und Medienwissenschaft” (Lobinger 2012) den Zusammenhang von Bild und Text in multimodalen Medienbotschaften. Interessant sind hier vor allem die jeweiligen modalitätsspezifschen Leistungen von bildlicher und verbaler Kommunikation. Im Wahrnehmungs- und kognitiven Verarbeitungsprozess spielt die Rezeptions-, Verarbeitungs- und Wirkungsweisen von Bildern ein Rolle. Bilder haben ein Emotionalisierungspotenzial und eine Bildüberlegenheitswirkung. Zentrales Argument Lobingers ist, dass die Visuelle Kommunikationsforschung alle beteiligten Modi einer Botschaft berücksichtigen muss, um aussagekräftige Befunde im Hinblick auf Medieninhalte und deren Wirkung machen zu können.
Zur Multimodalität medialer Botschaften
Mitchell sagt „There are no visual media“ und beschäftigt sich mit der großen Herausforderung, der sich die Visuelle Kommunikationsforschung stellen muss, nämlich der Analyse multimedialer Medientexte. Bei der Visuellen Kommunikationsforschung reicht es nicht aus sich nur mit Medienbildern zu beschäftigen, das alleine würde zu kurz greifen. Bilder treten immer in Verbindung mit anderen Kommunikationselementen auf. Obwohl Medienbotschaften immer mehr aus visuellen Elementen bestehen sind sie doch immer mit anderen Zeichensystemen verknüpft. Somit werden mehrere Wahrnehmungssysteme angesprochen. Durch die Digitalisierung ist die Kombination von verschiedenen semiotischen Kommunikationsmodi wie z. B. Text, Bild oder Klang leicht umzusetzen und bilden dann die so genannten multimodalen Texte.
Hier ist der Unterschied zwischen multicodalen und multimodalen Botschaften zu treffen:
Multicodale Botschaften sind mediale Angebote, die mehrere Symbolsysteme wie z. B. Bild und geschriebenen Text beinhalten. Multimodale Botschaften sind Angebote, die mehrere Sinnesmodalitäten wie z. B. Sehen und Hören ansprechen.
Für die Analyse multimodaler Botschaften kann keine Trennung zwischen den Elementen vorgenommen werden, da sie sich gegenseitig beeinflussen und miteinander vernetzt sind. Damit ist die Bild-Text-Beziehung nicht nur die Interaktion der Einzelteile, sondern ein komplexes Gesamtkonstrukt. Daher ist es für die Forschung notwendig den multimodalen Aspekt zu beachten. Denn Bilder können nur umfassend untersuchte werden, wenn der textliche Kontext und die damit verbundenen Rezeptionsvorgänge berücksichtigt werden. Im Moment besteht noch ein Entwicklungsbedarf hinsichtlich der Analyseinstrumente, welche den Zusammenhang zwischen Bild und Text erfassen können. Dies gilt vor allem für Online-Inhalte, in denen Text und Ton mit Stand- und Bewegtbild zusammenfließen.
Lobinger 2012 Katharina Lobinger: Es gibt keine visuellen Medien! Zur Multimodalität medialer Botschaften In: A. Hepp, F. Krotz, W. Vogelgesang (Hrsg.): Visuelle Kommunikationsforschung. Medienbilder als Herausforderung für die Kommunikations- und Medienwissenschaft. Wiesbaden: Springer VS 2012, S. 71-94
