Die Wirkung von Game Sound auf Emotionen (Teil 2: Ursprung, Typen & Realismus)

Im letzten Teil haben wir erfahren, dass Menschen auch bei fiktiven Ereignissen Emotionen empfinden, indem die Spielwelt und deren Zusammenhänge von dem Spieler als die Realität angenommen werden und dieser sich somit in die Spielsituation hineinversetzen kann.

Wo liegt der Ursprung menschlicher Emotionen?

Zunächst stellt sich jedoch die Frage, wieso klangliche Ereignisse überhaupt emotionale Wirkungen bei Menschen erzeugen und was die Ursprünge dafür sind. Verschiedene Theorien nennen folgende Gründe:

  • evolutionsbedingte menschliche Instinkte (z.B. um Gefahren zu erkennen)
  • Mere-Exposure-Effekt: Wiederholte Wahrnehmung einer ursprünglich neutral beurteilten Sache führt zu Vertrautheit und somit zu positiver Bewertung
  • Verarbeitungsflüssigkeit: leicht zu verarbeitende Wahrnehmungsreize werden als positiv bewertet
  • Erinnerungen und Assoziationen
  • Wahrnehmung des menschlichen Körpers, vor allem des eigenen Stimmorgans
  • kulturbedingte angeeignete Erwartungshaltungen

Es wird davon ausgegangen, dass, vor allem im Hinblick auf musikalische Hörgewohnheiten, neben den im Laufe des Lebens angelernten Erwartungen, eine Kombination aus evolutionsbedingten Relikten, psychologischen und physiologischen Phänomenen die Gründe dafür sind, wieso Emotionen bei der Wahrnehmung von Klängen entstehen.

Typen von Emotionen

Bei der Kategorisierung von Emotionen betrachten wir zunächst das Medium Film. Dort unterteilt der Forscher Ed S. Tan Emotionen in zwei grundlegende Typen. Empathische Emotionen und nicht-empathische Emotionen. Empathische Emotionen werden durch die Handlung der Geschichte erzeugt und erfordern die Rolle des Beobachters des Zuschauers, der einen anderen und meist vielseitigeren Einblick in die Geschichte hat, als die Protagonisten. Nicht-empathische Emotionen werden hingegen durch einfache Sinneswahrnehmungen erzeugt, beispielsweise bei der Betrachtung einer schönen Landschaft oder eines/einer attraktiven Schauspieler/in.

In Videospielen hat der Spieler, im Gegensatz zum Film, eine aktive Rolle, indem er einen Protagonisten oder eine Partei steuert, womit die Vermutung nahe liegt, dass empathische Emotionen nicht empfunden werden können. Allerdings stellt man fest, dass auch diese Emotionen, trotz des einseitigen Einblicks in die Handlung, angesprochen werden. Zusätzlich kommt ein weiterer Emotionstyp hinzu, der Gameplay Emotion genannt wird und spielbedingter Natur ist. Es entsteht eine Verbundenheit zum Protagonisten aus dem Grund, zusätzlich zur gefühlten Empathie, weil der Protagonist ein Werkzeug darstellt, mit welchem das Ziel des Spiels erreicht werden muss. Der Spieler trägt Sorge dafür, dass dieses Ziel gelingt und widmet sich dementsprechend den Fähigkeiten und der Optimierung des Protagonisten.

Man kann nun ableiten, dass auch Sound einen Einfluss auf die verschiedenen Emotionstypen hat. Zusätzlich dazu müssen Klänge noch im Kontext des Spiels betrachtet werden. Diese werden grundsätzlich in zwei Kategorien eingeordnet.

Diegetischer Ton

Dieser bezeichnet Klänge, die in der Spielwelt stattfinden und somit, zusätzlich zum Visuellen, den Realismus und die Glaubwürdigkeit unterstützen. Diese sprechen im Fall von Umgebungsgeräuschen beim Spieler klassischerweise nicht-empathische Emotionen an. Gleichzeitig werden diegetische Klänge auch bewusst als Spielelement genutzt und aktivieren somit Gameplay Emotionen. Typisch hierfür ist beispielsweise in Spielen der Thief- oder Quake-Serie das Schleichen, das als grundlegendes taktisches Element genutzt wird, um vom Gegner nicht gehört zu werden.

Nicht-diegetischer Ton

Das sind Klänge, die nicht Teil der Spielwelt sind. Sie können jedoch Teil der Spielmechanik sein und Gameplay Emotionen erzeugen, wie z.B. User Interface-Sounds. Diese werden häufig so gestaltet, dass sie sich jedoch in das Setting der Spielwelt fügen und nicht als unpassend wahrgenommen werden. Weitere klassische nicht-diegetische Klänge sind der Soundtrack, der die emotionale Wirkung des Spiels unterstreicht und sogar steigert oder manchmal auch eine Erzählerstimme, die als narratives Element genutzt wird.

Realismus als Garant für Glaubwürdigkeit?

Unter der Annahme, dass Realismus ein Kriterium für die emotionale Zugänglichkeit zum Spiel ist, entsteht allerdings das Problem, dass diegetische und nicht-diegetische Töne einen grundsätzlichen Widerspruch darstellen. In der realen Welt hört man, in der Regel, nicht ununterbrochen ein Orchester im Hintergrund spielen, während man im Garten einer Tätigkeit nachgeht. Ein Soundtrack lässt dennoch ein Spiel nicht weniger realistisch wirken. Zwei Faktoren sind für dieses Phänomen zuständig:

Ein entscheidender Punkt, ist die Gleichzeitigkeit von Bild und Ton. Es muss also eine zeitliche Übereinstimmung gegeben sein, damit die beiden Elemente als eine Einheit gesehen werden können. Ein berühmtes Beispiel, welches dieses Prinzip veranschaulicht und in gewisser Weise eine Extremform darstellt, wäre das sogenannte Mickey-Mousing, bei welchem, passend zum Bild, Soundeffekte durch musikalische Motive ersetzt werden. Im Fall von Musik muss das so gesehen werden, dass ein Musikstück zeitlich passend zu einem Ereignis erklingt. Also wenn eine traurige Szene im Spiel erscheint, sollte auch die Musik auf dieses Ereignis reagieren und traurige Emotionen hervorrufen.

Abgesehen vom Mickey-Mousing sollte bei Soundeffekten außerdem gegeben sein, dass diese die grundsätzlichen klanglichen Charakteristiken des realen Gegenstücks besitzen. Diese Charakteristiken werden durch einen Durchschnitt klanglicher Eigenschaften verschiedener Objekte des gleichen Typs definiert. Jede Eisenstange klingt beim Aufprall auf dem Boden je nach Länge, Breite, Dichte des Materials unterschiedlich, dennoch haben alle Eisenstangen eine gewisse klangliche Grundcharakteristik. Diese gilt es als Sound Designer zu reproduzieren, wenn der Klang als glaubwürdig eingestuft werden soll. Dabei spielt es keine Rolle, auf welche Weise diese Klänge erstellt werden. Häufig werden viele Klänge so gestaltet, dass sie spektakulärer klingen und eine dramatischere Wirkung haben als in der Realität.

Realismus muss in Videospielen also als etwas Relatives gesehen werden. Er gewährleistet zu einem gewissen Grad Glaubwürdigkeit und erlaubt es dem Spieler die Handlung ernst zu nehmen und einen emotionalen Bezug zu dieser aufzubauen. Es muss allerdings auch beachtet werden, dass viele Klänge in Videospielen einen Nutzen haben, die Teil der Spielmechanik sind. Diese haben Vorrang und dürfen durchaus den Grad des Realismus einschränken, wenn damit das Gameplay verbessert wird. Trotzdem sollten diese Klänge passend gestaltet sein, damit sie in einem zusammenhängenden Kontext mit der Spielwelt und der Geschichte gesehen werden können.

Quellen:

https://www.researchgate.net/publication/233406205_Psychologically_motivated_techniques_for_emotional_sound_in_computer_games

https://www.researchgate.net/publication/224927551_Meaningful_Noise_Understanding_Sound_Effects_in_Computer_Games

Turn any Sound Into an instrument With AI!

Using our voice or even any other random sound as an instrument is not really a new thing. Music producers often make synths by sampling their own voice, which is a fun approach to sound design. Moreover, beatboxers are capable of creating quite realistic drum sounds with their voice. But, have you ever wondered if it is possible to turn any sound into an actual instrument- like a trumpet, violin or such? Well, now you can!

Two teams within Google Research- Magenta and AIUX collaborated on creating Tone Transfer, which took over a year to develop. This little software allows you to transform everyday sounds into instruments, like the trumpet, violin or flute. The way the algorithm works is by transferring the formants of the selected instrument onto the sound recording that is fed into the software. The results vary, but are sometimes very accurate. However, even if they give a weird result, most of the time the newly synthesised sounds are quite cool for integration into electronic music.

The project is based on Magenta’s Differentiable Digital Signal Processing  (DDSP) technology. AIUX helped make it user-friendly, so that it can be used by a wider audience, not just experienced developers. Their current online web app has a limited array of 4 instruments, with the possibility to upload your own and train the algorithm yourself. The algorithm was trained with 10-minute long samples for each of the instruments that are currently available.

There is still a long way to go and the research teams state that this is just the beginning of their plans. Tone transfer is not perfect yet, as it struggles with volume/dynamics of samples it is fed with. It also cannot superimpose attenuations of each specific instrument on the input sound, so it may not always sound realistic. The trumpet sounds the best with vocals. I presume it is because pushing out air into trumpets and while signing produce similar dynamics and volume changes.

This project is a great example of how useful machine learning can be in a multitude of situations. Software like the Tone Transfer could open up possibilities of unique live performances with generated instrument sounds that cannot be achieved with traditional instruments. Below you can watch a demonstration of how this software looks and works:

Sources:

https://www.inputmag.com/culture/google-tone-transfer-turns-every-noise-into-an-instrument

https://magenta.tensorflow.org/tone-transfer

Evelyn Glennie: How to listen

Evelyn is a deaf percussionist and musician. Her job is all about listening and her aim is to teach the world how to listen. In a piece of music which is full of black little dots it just tells you technically how to play it, like dynamic, where to play on the drum or which part of the stick to use etc.

What you have to do as a musician is everything that is not in the music. Much more important is the interpretation of the piece, the personality and the character you give to it while playing. Its simply not enough to just play what is in the music. Listen is much more important.

More dynamic with less effort. Just as you need time with the instrument, you need also time with the people to interpret it. You have to think for a piece not as a technician, rather than a musician.

Music is about listening, but how is Evelyn listening? She hears through her body. When she started her lessons with her teacher, they were tuning a timpani differently, but closely together. She can feel the tiniest differences with a small part of her finger.

When she auditioned at the music academy, they first wouldn’t accept her because of her disability of hearing. But she showed them in a second audition how to really listen and changed the whole system for accepting disabled student at a music academy through the UK.

Music and sound could be our daily medicine. Everyone experiences the sound different.

You need to imagine what sound you want to produce. You can for example just create the sensation of sound when we see something. For example, when we just see a tree in the wind, we can hear the sound in our head to it.

Acousticians had to really think about the type of halls. You can absolutely do anything in dynamic in a huge hall. It may sound good over there, but terrible in the back and so on. To find the exact hall how you imagine the sound is incredible.

If we listen to each other it is important to really test our listening skills through our body as a resonating chamber and stop the judgement. Give time to the music, and not just say that it’s a bad piece of music.

We all think about experiencing music just through our ears, just like we are used to clap with our two hands. But it is also possible to create other sounds by clapping on other parts of our body or use just 2 fingers and so on.

In one of Evelyn`s first lessons, her teacher let her experimenting with the snare drum using her body instead of the sticks. By playing technical exercises, there has to be a reason to saying something through music. This is how you can reach the audience. How we listen to the music and how you feel. Allow your body to open up at the next concert. Be aware that you are not going to experiencing the same as the performer.

Mechanical & Performance Royalties: What the hell is that?

As an independent artist you probably have your music on Spotify & co. And these services pay you through your aggregator, distributor or label. Additionally you might DJ or do some public performances where you get paid. But did you know that you are owed more than that? Platforms like Spotify and venues where you play are required by law to pay a fee to so-called collection societies. And these collection societies get the money whether you’ve joined or not.

Artist vs. Writer

Before talking about the different types of revenue that can be collected we first need to know that there are two types of musicians: songwriters and performing artists. The artist or performer is the entity performing the song. Take Martin Garrix for example: When releasing a track you always hear about “Martin Garrix”. But that’s not his real name, that’s his artist name or performer name. But as a songwriter he has to state his real name which would be Martijn Gerard Garritsen. On tracks like “Animals” only Martin himself worked on it so the difference is really not important, but bands or other artists have many different people working on one song. While the artists on “Titanium” are David Guetta and Sia, the songwriters are many more people who usually you do not know. And these people get money as well.

Performance Royalties

Performing artists hold the copyrights to the recording of a song. This is called a master recording. The royalties are paid to the artists every time a song is performed in public. This means a public performance is whenever your song is played in a bar, over the radio or on streaming services.

Mechanical Royalties

Songwriters (incl. Texters) hold the copyright to the melody and lyrics of a song. The royalties are paid whenever someone acquires a copy of a song. This can be online (e.g. through iTunes) or on physical media (e.g. CDs).

How to get paid

The two rights described above will both be collected via collection societies. You can either work with them directly or use a label or publisher. But in both cases you need to sign up with the societies, which usually costs money!

Direct approach

In Austria the performance royalties are collected by AKM, the mechanical ones by AUME. These two work together so you only have to sign up once and you can use only one platform to tell them about your work. Singing up costs a fee but fortunately in Austria that’s a one time thing. If you live somewhere else there might be a one time fee, an ongoing fee or both (like in Germany). Then you will add all your tracks to their database. Mechanical royalties will be automatically collected, but whenever you play something live you will either be asked by someone from the venue to give them a tracklist, or you will send the tracklist directly to your PRO (=Performance Rights Organization).

3rd-party approach

If you want you can sign up with 3rd parties to get some bonus features. This mostly applies to song copyrights where you can have your own publisher. Master recordings are usually handled be the record label (which you might be yourself).

Music publishers take a percentage cut off of your income from royalties but make submitting your music a little easier and more importantly pitch your songs! Depending on your publisher and your contract this can mean just adding it to a database and having to manually apply for synch (synch means your music being played in a TV ad for example). Or it can mean that you really don’t have much work to do and money is arriving on it’s own.

Stuff to check out

If you are new to all of this you might want to check out this Q&A by AKM: https://www.akm.at/mitglieder/fragen-antworten (German)

Here you can sign up for AKM & AUME (highly recommended!): https://www.akm-aume.at/akm-webapp/ (German again)

Other than performance and mechanical royalty laws, there is also neighbouring rights. Basically you will get money if you are an artist, a label and a music video creator. Here’s the Austrian site: http://lsg.at/ (danger! bad design!) and this one is for artists specifically https://www.lsg-interpreten.com/ (both in German). If you want to learn more about neighbouring rights I’d recommend checking out the German society GVL though: https://www.gvl.de/ (German & English)

If you have questions or anything to add I’d love to hear from you in the comments. Happy royalty collecting!

Wahl des Musikstils, Tempo, Instrumente in der Werbung früher/ heute

Der am häufigsten in Werbespots verwendete Musikstil ist wahrscheinlich die Popmusik. Bestimmte Musikstile werden häufiger gebraucht und andere weniger oder überhaupt nicht. Oft wird beispielsweise für Produkte wie Bier oder Jeans Rockmusik verwendet, wo hingegen Autowerbung häufig mit technischer oder klassischer Musik kombiniert werden. Die Wahl eines Musikstils wird einerseits nach dem beabsichtigten Produktimage und andererseits nach Präferenzen der Zielgruppe gewählt. Der Musikstil scheint das Image des Produktes stark zu beeinflussen. Besonders im Rahmen der Imagewerbung wird dies deutlich.

Abb. 8: Musikstile, Produkte und Images (Quelle: Mühlbacher, 1982, 31)(Vinh 1994)

Es sollen in diesen Fällen keine Produktinformationen überzeugen, sondern vielmehr die Wünsche und Träume, die ein Rezipient hat, angesprochen werden. Die vorangegangene Tabelle, bestehend aus den Ergebnissen einer Expertenbefragung Vinhs (1994), soll veranschaulichen, welche Musikstile zu welchen Produkten und deren Images passt. Die visuelle Darstellung unterstreicht diese Gefühle und Assoziationen, indem nicht nur Menschen gezeigt werden, die das beworbene Produkt konsumieren, sondern auch noch dazu deren soziales Umfeld. Man will damit erreichen, dass sich der Rezipient mit dem Produkt identifiziert. Jedoch ist es nicht möglich, gewissen Gesellschaftsschichten einen bestimmten Musikstil zuzuordnen. In der Praxis orientiert man sich vielmehr an Assoziationen, die jeder Mensch während seiner Sozialisierung erlernt hat. Der Stil der Imagewerbung wird vor allem bei jungen Rezipienten angewendet. Musikalisch bestehen diese Werbespots aus Popmusik, die stark an zeitgenössische Trends angelehnt und leicht verständlich ist. Die resultierende Assoziation ist ein Gefühl der Aktualität und Modernität, das mit dem Besitz des Produkts in Verbindung gebracht wird (Vinh 1994).

Die wahrgenommene Musikpräferenz einer Person kann sich auf ihre Bewertung durch andere auswirken, wie aus der Sozial- und Persönlichkeitspsychologie bekannt ist. Außerdem werden den Personen, die denselben oder einen ähnlichen Musikgeschmack haben wie man selbst, mehr positive Eigenschaften zugeordnet. (z. B. Boer et al. 2011; Lonsdale & North, 2009). Da das Konzept der Markenpersönlichkeit aus demselben Fachgebiet kommt, könnte man sich auch fragen, ob der Musikstil nicht auch einen Einfluss auf die Präferenz einer Marke hat, welche die persönlich bevorzugte Musik spielt. Wie Ulrich Föhl (2016) herausgefunden hat, gibt es auf jeden Fall solche Effekte. Diese sind jedoch nicht so einfach isoliert zu betrachten, da auch viele andere Faktoren eine Rolle spielen ( Föhl 2016).

Die Musikrichtungen bei Werbung in der heutigen Zeit (2020) gehen jedoch nach eigenen Annahmen zunehmend zu gesteigertem Tempo und Rhythmik, sowie vermehrter Gebrauch von Sound Design wie die Verwendung von Foley Sounds. Dies wird an den folgenden Werbespots von Nike von 1982 und 2017 veranschaulicht:

Signature Styles 1982:

Nike Erzählerstimme, erste TV Werbung, heute zum Teil immer noch ähnlicher Aufbau, Lauf Thema, Community, Stark, Beständig

Bright Pictures:

Für die Zeit neuartige Aufnahmen von Schuhdesign + Herstellung, Wissenschaft des Laufens, Action Thema am Anfang

Sound Design:

Popmusik passend zur Zeit, Anfang passend zum Action Thema, Sound Logo zum Nike Logo am Ende, keine Foley Sounds – nur Musik + Erzähler

making of 2017 commercial:

Signature Styles 2017:

Lauf Thema, Signature Nike Logo am Ende sich ausfüllend; in anderen neuen Werbungen auch noch Signature Erzählerstimme

Bright Pictures:

Visuell ansprechende, bunte animierte Videosequenzen von Schuhen/ Andeutungen von Schuhen mit Dynamik vom Laufen.

Sound Design:

keine Musik, Rhythmik, Foley Sounds, Atmung, lautmalerische Sounds (visuell passend), schnell

Einordnung der Kriterien:

Signature Styles:

Es gibt eine Vielzahl von eklektischen visuellen Stilen, die das Jahrzehnt widerspiegeln, in dem sie entstanden sind. Zeitgenössische Designer mischen oft diese visuellen, alten Elemente mit modernen Designmerkmalen, um sicherzustellen, dass sie sich immer noch frisch anfühlen und beim modernen Publikum Anklang finden.

Bright Pictures:

Die Mehrzahl der klassischen Anzeigen, insbesondere der in den 1950er und 1960er Jahren entstandenen, verwendete helle, farbenfrohe Bilder, um die Aufmerksamkeit des Publikums zu erregen. Farbe können unsere Kaufstimmung beeinflussen, und bestimmte Farben erzeugen eine bestimmte Emotion.

Sound Design:

Die verschiedenen Vorgehensweisen, wie Sound Logos, Foley Techniken, oder Corporate Sounds, oder bekannte Pop Songs haben unterschiedliche Ziele.

Terpsiton

Das Terpsiton ist ein fast vergessenes Musikinstrument, das berührungslos mit dem ganzen Körper gespielt wird. 

Es stammt aus der Weiterentwicklung des Theremins, die in Zusammenarbeit mit der Tänzerin und Filmemacherin Mary Ellen Bute, des Theremin-Erfinders Leon Theremin und der Musikerin und Tänzerin Clara Rockmore entstanden ist.

Grundsätzlich funktioniert es wie das Theremin: die elektrische Kapazität des menschlichen Körpers, der in ein elektrisches Feld eingebracht wird, beeinflusst einen Oszillator. 

Das Terpsiton mutierte die Stabantenne des Theremins zu einer isolierten Metallplatte, die sich unter einem großen Tanzpodest befindet. Je weiter man sich im Tanz nach unten in Richtung Podest neigt und dadurch die elektrische Kapazität erhöht, umso geringer wird die Frequenz des Röhrenoszillators und umso tiefer der erzeugte Ton; stellt man sich hingegen auf die Zehenspitzen, wird die Frequenz des Oszillators und somit auch der Ton erhöht. Die Töne werden also durch tänzerische Bewegungen moduliert, wobei Pose und Klang synchron zueinander variieren. Schon das Senken eines Arms oder das Heben eines Beins bewirkt eine hörbare klangliche Veränderung. Die Lautstärke und die Klangfarbe steuert eine zweite Person außerhalb des Terpsitons.

In späteren Modellen fügte Leon Theremin verschiedenfarbige Lichter hinzu, die es dem Tänzer ermöglichten, auch optisch wahrzunehmen, welche Note er gerade spielt. Heutzutage ist die ganze Technik in einem kleinen Kästchen versteckt, das mit einer größeren Antenne über dem Tänzer montiert wird.

Einige Terpsitons waren mit zusätzlichen Geräten zur Wiedergabe von Hintergrundmusik ausgestattet, zu der die Tanzenden spielten. 

Es ist jedoch viel schwieriger zu spielen als das Theremin, bis zum Punkt, dass es, für die meisten Menschen, fast unkontrollierbar ist.

Theremin, selbst begeisterter Tänzer, trug die Idee eines durch Tanzen spielbaren Instruments bereits mehrere Jahre (ab Mitte der 1920er Jahre) mit sich herum, bevor er sich an die konkrete Umsetzung des Terpsitons machte. 

Konkret an die Entwicklung machte er sich für eine geplante Vorführung seiner Instrumente in der New Yorker Carnegie Hall am 1. April 1932. Theremin suchte lange erfolglos nach einem Tänzer, der in der Lage war, das Terpsiton seinen Ansprüchen gemäß zu spielen, und musste sich an die Theremin-Virtuosin Clara Rockmore wenden, die nicht nur ein absolutes Gehör hatte, sondern auch sehr gelenkig war.

In der Presse wurde das Terpsiton immer wieder als misslungenes oder noch nicht ausgereiftes Projekt beschrieben, was nicht ganz den Tatsachen entspricht.  

in den USA hat doch eine Tanzgruppe sogar einigermaßen erfolgreich mit mehreren Terpsitons gearbeitet. Lavinia Williams, ein Mitglied dieser Gruppe, war mit Leon Theremin verheiratet.

Von Leon Theremin selbst sind neben dem Ursprungsgerät noch zwei gebaute Terpsitons bekannt. Eines hat er 1966–1967 am Moskauer Konservatorium gebaut, dieses ist mittlerweile verschollen. Ein zweites hat er in den 1970ern für Lidia Kawina gebaut. Dieses ist bis heute erhalten geblieben und ist das einzige bekannte existierende Terpsiton, das Theremin persönlich gebaut hat.

Andrej Smirnov | Terpsitone

N/O/D/E – Terpsitone

Kürzlich hat eine Berliner Bastlergruppe ein Terpsiton nachgebaut, ein Projekt weniger zum Anfassen, eher zum Anhören, Ansehen und Antanzen. 

Die Bastler haben einige Erweiterungen eingebaut: einen Vibratogenerator und eine Quantisierungsschaltung, mit der sich die Töne optional auf eine Durtonleiter beschränken lassen.

Quellen:

Andrej Smirnov – Temperiertes Tanzen

Wikipedia – Terpsiton

Das Terpsiton: Musik aus dem Äther in XXL

Die Wirkung von Game Sound auf Emotionen (Teil 1: Emotionen & Diegetisierung)

Sound trägt in audio-visuellen Medien eine maßgebliche Rolle an der Beeinflussung der emotionalen Stimmung des Konsumenten. Wer bereits einen Filmausschnitt ohne oder mit einer anderen Tonspur gesehen hat, weiß, dass dieser, abseits eines fehlenden oder verfälschten Inhalts, auch eine vollkommen andere Wirkung erzielt. In Videospielen trifft dies auch zu. Der wesentliche Unterschied ist, dass ein Film ein lineares Medium ist, bei welchem der Ablauf, die Reihenfolge der Handlung und somit auch die Länge der Sequenzen bestimmt sind und der Zuschauer keinen Einfluss darauf hat. Videospiele hingegen sind überwiegend nicht linear aufgebaut und der Spieler kann diverse Parameter hinsichtlich Handlung, Reihenfolge, und zeitlicher Dauer selbst bestimmen. Das hat zur Folge, dass klangliche Elemente im Spiel diesen Anforderungen gerecht werden müssen und somit auch dynamisch abrufbar sind. Dieses Prinzip wird adaptive bzw. dynamic Game Sound bezeichnet.

Die meisten Studien und Theorien, die sich mit der emotionalen Wirkung von Sound beschäftigen, beziehen sich auf lineare Medien. Da dies aber in der Form nicht auf Videospiele übertragbar ist, müssen Erkenntnisse aus anderen Themenfeldern, wie der Psychologie, der Musikwahrnehmung, Film-Sound und den interaktiven Medien hinzugezogen werden.

Zunächst einmal gilt es den Begriff der Emotion zu klären. Keith Oatley und Jennifer M. Jenkins beschreiben Emotionen wie folgt:

  • Emotionen entstehen bei Personen (bewusst oder unbewusst) bei der Beurteilung eines bedeutsamen Ereignisses im Zusammenhang eines Ziels oder einer Situation.
  • Der Kern einer Emotion ist die Bereitschaft zu handeln. Emotionen beeinflussen das Handeln, indem sie eine gewisse Bandbreite an möglichen Handlungsoptionen liefern und einen Sinn für die Notwendigkeit bestimmen.
  • Eine Emotion wird als eine distinktive Art von mentalen Zuständen wahrgenommen, begleitet oder gefolgt von körperlichen Veränderungen, Ausdrücken oder Handlungen

Emotionen sind also verantwortlich für die Beurteilung von Situationen und suggerieren die Art und Notwendigkeit von Handlungen und Reaktionen.

Wie ist es nun möglich, dass der Zuschauer beim Film oder der Spieler beim Videospiel Emotionen fühlt, obwohl dieser nur Beobachter ist und das Gesehene eine Fiktion ist, die man nicht real erlebt? Der Psychologe Nico H. Frijda geht davon aus, dass Emotionen bei fiktiven Ereignissen entstehen, sobald das menschliche Gehirn die Fiktion als eine Realität annimmt. Es entsteht quasi eine mentale Illusion, bei welcher das Medium, also der Film oder das Videospiel, ausgeblendet wird und die Bedingungen und Zusammenhänge der erzählten Welt plausibel erscheinen und man sich somit in die Charaktere hineinversetzen kann. Dieses Phänomen heißt Diegetisierung. Dieses Phänomen wird auch willentliche Aussetzung der Ungläubigkeit genannt

Quellen:
https://www.researchgate.net/publication/233406205_Psychologically_motivated_techniques_for_emotional_sound_in_computer_games

https://filmlexikon.uni-kiel.de/index.php?action=lexikon&tag=det&id=122#:~:text=Die%20Diegese%20ist%20das%20Produkt,der%20erz%C3%A4hlten%20Welt%20aufzubauen%20etc%20.

Die Aussetzung der Ungläubigkeit von Peter Jackson

Frijda, N. H. 1986. The emotions. Cambridge University.

Oatley, K. and Jenkins, J. 1996. Understanding Emotion. Blackwell Publishing.

Aufmerksamkeit, Gedächtnis und kognitive Belastung bei Musik in der Werbung

Nach Shevy & Hawkins (2008) muss bevor eine Botschaft überzeugen kann, die Aufmerksamkeit einer Person auf sich gezogen werden. In der Medienforschung ist diese ein Zustand des Fokus auf einen bestimmten Reiz, wie z. B. Fernsehwerbung, und wird oft, aber nicht immer, von den Sinnesorganen (z. B. Augen und Ohren) auf den Reiz und seine Botschaft ausgerichtet. So können Medieninhalte eine automatische Reaktion hervorrufen, bei der ein Ton in einer Fernsehsendung dazu führt, dass die Zuschauer reflexartig auf die Quelle des Geräuschs schauen. Jedoch entscheiden sich viele Menschen bewusst dazu, wie z. B. die Entscheidung, zum Fernseher zu sehen, um die Ursache für einen musikalischen Klangbeginn zu bestimmen. Die Forschung zur Untersuchung der automatischen und kontrollierten Aufmerksamkeit lässt sich laut Shevy & Hawkins (2008) im Allgemeinen in zwei Kategorien einteilen:

(a) was die Aufmerksamkeit auf eine Botschaft erhöht und

(b) wie die stimulierte Aufmerksamkeit sich auf die Nachrichtenverarbeitung auswirkt, wie z. B. die Bildung von Verständnis und Erinnerung (vgl.Tan, Cohen (2013) S. 322 ff.)).

Andere Studien deuten darauf hin, dass Musik die Aufmerksamkeit erhöhen und das Gedächtnis erleichtern kann (Allan, 2006). In einem Experiment von David Allan (2006), mit Hintergrundmusik in Radiowerbung, berichteten die Teilnehmer, dass sie einem Werbespot mehr Aufmerksamkeit schenkten, wenn er populäre Musik enthielt (z. B. Eminems “Without Me”). Dies galt insbesondere, wenn die ursprünglichen Texte, zur Förderung des Sponsors geändert, einbezogen wurden, im Vergleich zu Nicht-Musikversionen. Versionen der Musik mit veränderten Texten steigerten auch den Wiedererkennungswert der Marke konsequent. Kellaris, Cox und Cox (1993) stellten fest, dass, da bestimmte Eigenschaften der Musik die Erregung beim Hörer erhöhen, die Aufmerksamkeit zunehmen kann, was zu einem besseren Gedächtnis für die überzeugende Botschaft führt. Ihre Studie deutet darauf hin, dass die Kongruenz von Musik und Botschaften den Einfluss des Aufmerksamkeitswerts von Musik auf zumindest einige Aspekte der Erinnerung und Anerkennung von Werbung mildern kann. Wenn die Kongruenz hoch ist, scheint aufmerksamkeitsstarke Musik positiv zu diesen Ergebnissen beizutragen. Wenn die Kongruenz gering ist, scheint aufmerksamkeitsstarke Musik eher als Ablenkung von der Werbeverarbeitung zu dienen.

Die gemischten Ergebnisse der hier untersuchten Aufmerksamkeits- und Gedächtnisforschung weisen auf die Herausforderung hin, Aufmerksamkeit erregende Mittel in die Werbung zu integrieren, ohne die begrenzte kognitive Kapazität zu überlasten. So kann Musik mit erregenden Eigenschaften, wie z. B. einem schnellen Tempo, die Aufmerksamkeit auf eine Werbung lenken, aber auch die Zuweisung kognitiver Ressourcen zur Musik hinziehen und so weniger Ressourcen für die Kodierung der Werbebotschaft in den Speicher lassen. Nach Allan (2006) ist ein Ziel für die Werbeproduzenten also, Wege zu finden, Musik so zu nutzen, dass das Erinnern maximiert wird, durch die Erhöhung der Aufmerksamkeit, bei gleichzeitiger Minimierung der Beeinträchtigung des Speichers durch Ressourcenneuzuteilung.

Tan, Cohen (2013). Psychology of Music in Multimedia

Allan, David. (2006). Effects of Popular Music in Advertising on Attention and IVIemory. Journal of Advertising Research

Kellaris, James & Cox, Anthony & Cox, Dena. (1993). The Effect of Background Music on Ad Processing: A Contingency Explanation. Journal of Marketing. 57. 114.

How to get your music onto FM4

Or in other words: How to correctly pitch your songs to professionals

Due to a recent achievement, which is having my newest song being played on radio FM4 multiple times and giving an interview on it, i thought I’d share my knowledge.

Tools that help pitching

Before talking about pitching to FM4 or in general to radio stations, I’d like to show you two of the most known alternative options, which require far less work.

SubmitHub

This site lets you submit to bloggers, labels, YouTubers, playlisters, influencers and radio stations (small ones though). When creating your account you get a few credits which then can be spent on different people and networks – usually the bigger ones cost a little more. This site might look overwhelming at first but has a lot of great features! Unfortunately, you can’t really send your music to many outlets without purchasing some premium credits. The average approval rate on standard credits is 4%, as opposed to 18% on premium. So, the free credits don’t do as well but still, they do something. And if you only want to target a specific YouTube channel for example this would be perfectly sufficient.

LabelRadar

In contrary to SubmitHub, LabelRadar is far more minimalistic and easy-to-use. Now, don’t get fooled by the name – of course you can send your music to labels, but to promoters as well! Like the previous one, this website gives you a few credits when you start out, but you can send you music into a general pool where the labels or promoters don’t get notified but can browse through. And if you spend all of your credits, they will send you 5 new ones once a month.

Pitching to big radio stations

Okay, so get your pen and paper ready – you’ll want to follow this as closely as possible. I have heard of cases where radio stations did not listen to a track simply because it was in a zip file. This is understandable considering they have to listen to huge amounts of tracks every day. So, as artists it is our job to make it as easy as possible for them to listen to our songs. And we can do that with email and a link to a Dropbox folder. More on that later. Below is a list of what you need but I will get into detail anyway.

  • the song (obviously)
  • artwork
  • either a classic Press Kit
  • or an EPK
  • professional press photos

The song

Obviously your song has to fit in the radio station’s program. Ideally you have heard something similar in the past few weeks, which is something you can then refer to in your email. In your Dropbox folder add the file as an mp3 and as a wav (one for listening and one for actually airing it). Be sure to add as many id3 tags as possible. This can be done with software like AudioShell. As wav files don’t really support much tagging I always provide a flac file as well so that the tags appear as well as it being a lossless file. If your mp3 is smaller than 10MB (with id3 tags) then you can add it as an attachment to your email.

Artwork

The most important Artwork is your cover – including this is a must. Any other stuff you have might work as well. Don’t add your “coming soon” banners, but if you have a Spotify Canvas or something then they might look at it and maybe even share it.

Classic press kit

This is a one page A4 document containing all the information for your release. At the beginning of the press kit you’ll want to show all the basic info like your release title, cover, artist name, release date, label name, IRSC and UPC/EAN. Then add a short biography and a list of previous releases. Finally add some contact info. In my case including my phone number resulted in a spontaneous call where we did an interview.

Here is an example showing the press kit for my latest release “With You”:

Press Kit for “With You” – right click -> view image to make it bigger

And one more thing: don’t shift the design around too much. The radio stations will want to open a press kit and just look at a certain point rather than searching for the info!

EPK

EPK stands for electronic press kit. If you have a classic press kit you won’t need an EPK but I usually to do both. Essentially the EPK is the same as a classic press kit, but it being online comes with a few advantages: You can embed your music and let it autoplay when opening the webpage. Your songs can directly be downloaded with a button. And you can make fancy galleries with your press photos!

Here is an example, again for “With You”:

Screenshot of my EPK for “With You”right click -> view image to make it bigger

Whether you want to offer the complete song as a download or not is up to you. If you are concerned about other people finding this page and downloading your music I have a suggestion for you: Either you use a file sharing service and just don’t offer it on your site. Or you do the more elegant way and use some PHP coding / WordPress plugin installing. I’m using Members to create a custom group for press, promoters, etc. Then I’ll set up a temporary login link for that user group. Finally, to hide the page from normal users, I’m using Visibility Logic for Elementor (and Elementor Page Builder obviously).

Press photos

There’s not much to talk about this one but be sure to have them somewhere ready to be viewed and downloaded!

The email

Now that you have all the parts prepared let’s talk about the email. The most important thing to remember is the KISS Principle (Keep It Short and Simple)! Describe your song in about one to two sentences and then add the link(s). Then thank them for listening and that’s it! As mentioned above, if your mp3 (including id3 tags like the artwork) is smaller than 10MB you can add it as an attachment.

Now about the links: If you have an EPK you should add the link to it here. The other link will be to your folder on Dropbox or other providers and this should contain the audio files, the cover, the press kit and if applicable a txt with the lyrics. I also like to include a shortcut to my EPK but this is probably not very useful as the link is already in the email.

And that’s it. If you have done everything correctly send you music about 1.5 to 2.5 weeks before the release date. And then you’ll have to play the waiting game – with a bit of luck you’ll have your music on FM4 (or any other radio station). Let me know in the comments if this was helpful to you and whether you plan to send something to a radio station or if you already had something played on air!

The Synaesthetic Experience of Music

Music is a big part of almost everyone’s life. We all listen to at least one song a day. So, why do we choose specific songs over others and add them to our playlists? Of course, it mostly has to do with personal taste, which is shaped by our life experience, culture and what we emotionally resonate with. 

When we listen to music, we often generate multi-sensory experiences that come from the stimulation of our creativity. Most often, people yearn for a visual output for music, hence why we created visual shows. Good visuals make music even more gripping and stimulating to the senses.

So, what role does synaesthesia play in the perception of music? In its self, it’s an interesting concept, but once put into practice, it makes music much more attractive for listeners.

 

Synaestietic musicians see notes as colors or vice-versa. Chords can also each have their own specific colour.

Many famous musicians say that they have a form of synaesthesia, which makes a lot of sense. Synaesthetes build their art around their multi-sensory experience and thus make music a bit more unique.

An example of how synaesthetic music is different is when an artists “hears” colour and integrates this experience into their work. The synaesthetic experience is slightly different for each person, which leads to different musicians producing different interpretations of their conditions. Someone might see music in colour, like Mary J Blige, and someone, like Billie Eilish, might first start making music and then connect it to colour.

Why does music produced by synaesthetes have a competitive edge? Jamie Ward (cognitive neuroscience, University of Sussex) explains that synaesthetic music can have an impact on the listening choice in non-synaesthetes. He has observed how people always seem to prefer a synaesthete’s work over a non-synaesthete. Most people simply find their work “more aesthetic”. The following video gives more details about this phenomenon.

Resources:

Gordon, Eden Arielle Gordon Arielle. “15 Iconic Musicians with Synesthesia.” Popdust, 6 Jan. 2020, www.popdust.com/15-iconic-musicians-with-synesthesia-2643790427.html.