Category: Sound Design

Wie klingt unser Körper? Wahrscheinlich haben viele von euch diese Frage schon im Sinn und, zum Glück, ein Forschung- und Musikbereich befasst sich mit diesem Thema.

Dieses Feld heißt genau “Biophysical Music” und diese Bezeichnung wurde von Marco Donnarumma geprägt.

Er ist ein Künstler, Performer und Gelehrter, der seit Anfang 2000 Contemporary Performance, New Media Art und Computermusik miteinander verbindet. Er manipuliert menschliche Körper, erstellt Choreografien, entwickelt Technologie und komponiert Klänge. So kombiniert er Disziplinen und Medien zu einer sinnlichen, kompromisslosen Ästhetik.

Er ist international anerkannt für Soloauftritte, Bühnenproduktionen und Installationen, bei denen der Körper zu einer verwandelnden Sprache wird, um kritisch über Rituale, Macht und Technologie zu sprechen. […]

Die biophysikalische Musik ist ein sich schnell entwickelnder Bereich elektronischer Musik, der das Schaffen unkonventioneller Computerschnittstellen untersucht, um die Physiologie der menschlichen Bewegung mit Musiksystemen zu konfigurieren.

Neuromuskuläre Studien, Phänomenologie, Real-Time-Datenanalyse, Aufführungspraxis und Musikkomposition werden verbunden und Muskel-Biosignale werden von biophysikalischen-Musikinstrumenten verwendet, um Aspekte der körperlichen Geste des Performers in der Mensch-Maschine-Interaktion und musikalische Kompositionsstrategien zu integrieren.

Ein biophysikalisches Instrument ist zum Beispiel “Xth Sense” (XS).

Dieses Instrument wurde 2011 von M. Donnarumma entwickelt zwecks Erweiterung der körperlichen Fähigkeiten, nicht um den menschlichen Körper mit einem interaktiven System zu verbinden, sondern um ein tatsächliches und vollständiges Musikinstrument zu formen.

Xth Sense (gesprochen: „ecsth sense“) ist eine kostenlose und offene biophysikalische Technologie, die Geräusche aus Herz, Blut und Muskeln erfasst und damit den menschlichen Körper in ein digitales interaktives System für die Ton- und Videoproduktion integriert.

XS verstärkt Muskelgeräusche und benutzt sie als Kontrolldaten und Musikmaterial.

Wenn ein Muskel sich zusammengezogen wird, werden Low Frequency-Klänge erzeugt (Mechanomyogramm oder MMG) und durch einen Mikrofonsensor, der im XS-Armband eingebettet ist, werden sie aufgenommen und vorbereitet für ein Live-Sampling mit dem Laptop.

Schließlich erhält man Musik in Echtzeit.

Die Software, die Xth Sense kontrolliert, wird in Pure Data, eine datenstromorientierte Programmiersprache, geschrieben. Dieser Biosensor kann zusätzlich von jedem nachgebaut werden.

Das Design ist dokumentiert und unter einer Creative Commons Share-Lizenz frei verfügbar. Alle Informationen/ Tutorial / Schematic können Sie unter http://res.marcodonnarumma.com/projects/xth-sense/ finden.

Hier sind einige Beispiele:

Music for Flesh II | Marco Donnarumma

Biophysical Music | Marco Donnarumma

Quellen:

Guide To Unconventional Computing For Music, Marco Donnarumma.

Xth Sense Documentation, Marco Donnarumma.

Xth Sense: Recoding Visceral Embodiment, Marco Donnarumma.

Some years ago I had a dream to built my own custom Snare drum to play with. This dream became true in 2014 when my dad and I were able to make the first instrument. I would like to describe the building process in the following lines.

First of all I had to do some maths to calculate the angle of the staves to get a circle out of it. The second most important step is to pick the wood to use, which of course has some impact of the sound of the drum later on. We picked different local wood like apple, walnut and maple.

Der breite systematische Einsatz von Musik in der Werbung begann 1928 mit der Verbreitung des Radios und der Ausstrahlung des ersten gesungenen Werbejingles eines Radiosenders in Minnesota (Hirsch, Langeslang, 2004). Die folgenden Entwicklungen der Werbemusik wurden durch die Entwicklung des Fernsehers verstärkt, sodass heutzutage bis zu 96 % der Werbung mit Musik versehen sind (Allan, 2008). Sie wird zum Erreichen eines Kommunikationsziels, aber auch als peripherer Reiz in der Werbung eingesetzt. Traditionelle Werbemittel, wie Musik mit gesungenen Werbebotschaften oder Werbeliedern, verlieren immer mehr an Bedeutung, da neue Erscheinungsformen in den Vordergrund treten, wie Brand-Songs und Sound-Logos, die eine Marke gleichzeitig repräsentieren und deren akustische Identität bilden.

Musik soll nicht mehr nur Wiedererkennung steigern und Aufmerksamkeit erzeugen, die Bekanntheit steigern oder den Unterhaltungswert der Werbung erhöhen, sondern vor allem auch die Inhalte der Markenidentität im Hinblick auf die angestrebte Positionierung transportieren und bei den Zielgruppen mental verankern, dabei in einem kompetitiven Umfeld für eine Monopolstellung sorgen sowie die Wirksamkeit anderer Kommunikationsmaßnahmen erhöhen. Voraussetzungen für den Entwicklungsprozess einer Werbemusik sind unter anderem eine Analyse des Werbeumfeldes, wie z. B. das Erkennen des Markenstandpunktes und Festlegen eines Markenkonzeptes. Außerdem muss sie an verschiedene Einsatzbereiche anpassbar sein. Die Musik sollte dann optimalerweise zur Marke passen, eine bessere Differenzierbarkeit und Einzigartigkeit sicherstellen, die Wiedererkennbarkeit und Erinnerung, sowie die Konsistenz der Markenkommunikation stärken und die Marke emotionalisieren (Tauchnitz; in Rötter: Handbuch Funktionale Musik 2017).

Das folgende Modell basiert auf der Analyse von rund siebzig Forschungsberichten über musikalische Wirkungen in den audiovisuellen Medien und Fernsehwerbung. Es umfasst drei interaktive Ebenen, die nicht nur musik- und wirkungsbezogene Variablen enthalten, sondern auch Merkmale der Konsumenten wie ihre Persönlichkeit, ihre Vorurteile und ihre demografischen Daten (vgl. Bullerjahn (2001a) S.126).

Abb: Modell zur Wirkung von Musik in der Fernsehwerbung (Bullerjahn (2001a))

Im folgenden wird kurz die Entwicklung der Levi’s Werbespots der vergangenen Jahre eingegangen und Merkmal herausgestellt (eigene Annahme).

Bei dem ersten beiden Spots aus den 70er Jahren ist die Musik in Jingle Form und soll die Aufmerksamkeit erregen durch kurze ungewohnte Geräusche und Töne der Umgebung (TV Beiträge oder Filme), sowie den Erzähler unterstützen.

„Entwickelt sich die Werbung in der kapitalistischen Gesellschaft zur Alternative von Kunst und Kultur? Entwickelt sich der Werbespot zu einem eigenständigen Kunstgenre? Ist die Werbung der 80er Jahre eine lebensweltliche Übersetzung der Postmoderne? Imitiert das Leben den Werbespot? Braucht die Werbung noch Produkte?« (Schmidt/Sinofzik/Spieß 1991, S. 142 f.)“ (aus Bullerjahn, 2009 S. 256)

„Der Musik kommt als Emotion auslösendem Medium und möglichem Sympathieträger eine bedeutende Rolle in solchen Werbespots zu, die ohne sie völlig gemieden würden. Zusätzlich unterstützt sie die Imagebildung und dient der ›Scheindifferenzierung‹ zwischen Produkten, die keinerlei objektiv feststellbaren Unterschiede aufweisen. Diese Rolle der Musik ist darauf zurückzuführen, dass sie zusammen mit anderen nonverbalen Werbemitteln leichter und schneller verarbeitet wird als die verbalen Elemente des Werbespots.“ (vgl. Alpert/Alpert 1990, S. 111).

In den folgenden Werbevideos von 1994 und 2002 wird sehr gut der Übergang deutlich, wie zwar auf der einen Seite das Produkt und dessen Eigenschaften dargestellt werden, aber auf der anderen Seite die Musik und Blicke einen Lifestyle vermitteln sollen und auch auf den Schnitt der Werbung angepasst sind.

In den neuen Werbespots von Levi’s (Bsp. 2019) wird ein immer größerer Teil auf eine urbane und junge Konsumentengruppe wert gelegt. Es wohnt der Großteil der Menschen in Städten und so versuchen Marken einen Stil, bzw. eine Lebenseinstellung zu vermitteln, die mit ihrem Produkt eintrifft. Außerdem werden oft nur Leute in ihrer Situation gezeigt, um dem Konsumenten zu verdeutlcihen in welcher Gruppe sich die Käufer des Produkts finden lassen und ob sich diese zugehörig fühlen.

---

Sound Design ist ein wichtiger Bestandteil von Videospielen und dient mehreren Funktionen. Zum einen trägt es zur emotionalen und inhaltlichen Untermalung des Spiels bei. Es geht Hand in Hand mit den visuellen und dramaturgischen Elementen im Spiel und bringt den Spieler dazu, sich in die Spielsituation hineinversetzen zu können und diese glaubwürdig wirken zu lassen. Zum anderen kann Game Sound zu einem interaktiven Spielelement werden und Hinweise darauf geben, wie ein Spieler handeln soll. Beispielsweise hört man die Spielfigur im angestrengten Ton stöhnen, wenn seine Ausdauer ausgeschöpft ist und suggeriert dem Spieler, dass die Spielfigur bald nicht mehr laufen kann und er somit das Tempo verringern soll.

Im Gegensatz zu Sound Design im Film, das einer linearen Struktur folgt, ist das Sound Design in Videospielen interaktiv und reagiert auf die Handlungen des Spielers. Das ist erforderlich, da in Videospielen der Spieler nicht ein passiver Beobachter ist, sondern selbst eine aktive Rolle einnimmt und somit auch bestimmt, in welcher Reihenfolge und welchem zeitlichen Abstand Aktionen durchgeführt werden. Um die fiktive Spielwelt glaubwürdiger zu gestalten, wird auch diese adaptiv gestaltet. Dazu gehört unter anderem die Anpassung von Character-Sounds an die örtliche Umgebung. Die Geräusche von Schritten klingen, je nach Beschaffenheit des Untergrunds, unterschiedlich und die räumliche Wahrnehmung eines Klanges verändert sich mit der Größe und den Eigenschaften des Raumes, in welchem sich die Spielfigur befindet. Es gibt unzählig viele weitere Möglichkeiten, wie die Spielwelt klanglich adaptiv gestaltet wird.

Aus diesem Grund wurden dafür spezielle Werkzeuge entwickelt, die sich auf die Verarbeitung und Implementierung von Klängen zu adaptiven Elementen fokussieren. Die größten Vertreter sind FMOD und Wwise.

Ebenso wie das Sound Design ist auch der Soundtrack in modernen Videospielen adaptiv und passt sich den Gegebenheiten an. Beispielsweise wird ein neues Musikstück abgespielt, wenn der Spieler ein neues Spielgebiet betritt.

Gleichzeitig werden aber auch Musikstücke in mehrere „Layer“ eingeteilt, die je nach Spielsituation, zum Grund-Layer hinzugefügt werden können. Das gibt den Entwicklern die Möglichkeit ein Musikstück in mehrere Stimmungs- und Spannungsgrade einzuteilen, um sich dem Spielgeschehen auf eine subtile Art anzupassen.

Sound Design kann also sowohl die Schaffung von glaubwürdigen Klangkulissen für fiktive Spielwelten sein, zu die der Spieler einen emotionalen Bezug aufbaut, als auch die Gestaltung einzelner Klangelemente, die der Spielmechanik dienen und somit auch Teil des interaktiven Spiels werden. Die technischen Möglichkeiten dazu sind quasi grenzenlos.

Quellen:
https://www.researchgate.net/publication/233406205_Psychologically_motivated_techniques_for_emotional_sound_in_computer_games

The Icelandic composer Olafur Arnalds talks about his song “The Bottom Line” how he composed it and which tools he used in his Pro Tools session. As an inspiration he started with a melodic pattern on a kind of muted upright piano, which sounds very minimalistic with a few changes to it. It’s a quite simple chord structure. He thought a lot about the sound of the piano, which became a synth sound later on. As a light background he added 2 or 3 voices of string arrangement with viola and cello. In this process he quite likes to be able to visually see the midi notes, because you can see how the music grows. What you can also see is the dynamic. This was basically the arrangement and all the strings got recorded then in the studio.

As a recording technique for the string quartet, he used two AKG C12a microphones in medium distance to the strings as a stereo pair room mic which is mostly represented in the recording. There is also a pair of ribbon mics arranged in a blumlein technique which means that two figure-8 microphones are set up in a 90-degree angle to form a stereo image for a realistic field. Also, there are of course close mics for each instrument. He created a combination of the different microphones and also animated changes throughout the song.

As a reverb he uses a real plate reverb where metal plate in it vibrates and the sound comes back out as a reverb. He mixes this together with a digital reverb.

He says that you can’t finish an arrangement with just the samples. You have to know how the strings are playing, what articulations, dynamics and so on. He spent two days just on the string recording, including the rehearsing. They talked about a lot and experimented with a lot of different takes. That’s why it sounds so unique in my opinion in the end. When the song gets intense there are seven strings playing at the same time, but he faked this by recording the quartet twice. What he did is that left the microphones at the same position and repositioned the players as if they were new instruments.
As a textural background he uses a Korg synthesizer as an arpeggiator. A kick drum is side chaining with this organ like sound.

He spent 5 days mixing the song. His EQing is very precise or “embarrassing” how he calls it. He even animates the EQ throughout the song. He gets a very airy and transparent string sounds by removing all the bad resonances that occur.

Why he doesn’t use the sampled string quartet? If you compare a single sample with a real recorded instrument you probably are not able to say which one is which. The main difference is that they don’t feel the same. There is a layer that we don’t really can describe, its emotion, playing with intention and delivering a message with it. The samples are not doing that, they just play the notes you input.

Sensor Kinect ist eine Hardware zur Steuerung der Videospielkonsole Xbox 360 und Xbox live, der die Interaktion zwischen einem sich bewegenden Körper und dem Videospiel ermöglicht.

Er wurde von Microsoft und PrimeSense 2010 auf den Markt gebracht. Seit seiner Veröffentlichung haben Programmierer versucht, Lösungen für den Zugriff auf die Daten zu finden, um sie auf vielfältigste Weise benutzen zu können.

Dieser Sensor dient als Farbkamera, Mikrofonarray und bietet zum ersten Mal eine Tiefbildkamera zu einem erschwinglichen Preis.

Die Technologie wurde von der Firma PrimeSense entwickelt. Kinekt ist aus einer RGB Webcam (640×480 Pixel, Framerate 30 Hz), einem Depth Sensor (830nm wavelenght infrared laser) und einem 4-Kanalen-Mikrofonarray (sr 16 kHz, 24 bit) zusammengesetzt. Es wird über USB 2.0 mit zusätzlicher Stromversorgung angeschlossen.

Natürlich wurden ähnliche Sensoren von anderen Unternehmen entwickelt, zum Beispiel Xtion und Xtion Live von Asus.

Initial hat Microsoft eine andere Verwendung außer Videospielen nicht unterstützt. Also, war die Lizenz sehr restriktiv.

Doch, nach dessen Erfolg in der Open-Source-Community, hat es seine Ideologie verändert. 2011 wurde das SDK (Software Developement Kit) für Windows veröffentlicht.

Die OpenKinect Community hat ihre multi-platform Open-Source-Library „libfreenect“ veröffentlicht. Es unterstützt mehrere Kinect-Devices und ermöglicht deren Identifizierung durch eine eindeutige Seriennummer.

Es gibt auch Skeltrack, ein weiteres Open-Source-Projekt, das sich auf Skeletal-Tracking konzentriert.

Darüber hinaus hat PrimeSense die non-profit-Organisation OpenNI zwecks der Unterstützung der Interoperabilität von Natural Interaction-Geräten gegründet.

Um auf alle streams und Funktionen des Kinect zugreifen zu können, wurden custom Pure Data/ GEM Externals entwickelt und veröffentlicht.

Diese Daten können verwendet werden, um Sound oder Video zu kontrollieren.

Hier zwei Beispiele:

Musik, die einem Tänzer folgt.

Übersetzen – vertimas | piece for dancer, sound and projection | Matthias Kronlachner

Videoprojektion, die einem Tänzer folgt.

Monster | Marian Weger

Die Liste von Studien, Experimenten und Performances ist lang. Es ist ein sehr interessantes Werkzeug mit einem breiten Spektrum von künstlerischen Anwendungen.

Quellen:

The Kinect distance sensor as human-machine-interface in audio-visual art projects, Matthias Kronlachner.

Kinect, Wikipedia.

Monster – Ein interaktives Projektions-System für bewegte Objekte bei Tanzperformances, Marian Weger.