Audiovisual Aesthetics of Sound and Movement in Contemporary Dance

I want to share with you this interesting experiment I just discovered on the relationship between dance and music.

“How do movement and sound combine to produce an audiovisual aesthetics of dance? We assessed how audiovisual congruency influences continuous aesthetic and psychophysiological responses to contemporary dance. Two groups of spectators watched a recorded dance performance that included the performer’s steps, breathing and vocalizations, but no music. Dance and sound were paired either as recorded or with the original soundtrack in reverse, so that the performers’ sounds were no longer coupled to their movements. A third group watched the dance video in silence. Audiovisual incongruency was rated as more enjoyable than congruent or silent conditions. In line with mainstream conceptions of dance as movement-to-music, arbitrary relationships between sound and movement were preferred to causal relationships, in which performers produce their own soundtrack. Performed synchrony granger- caused changes in electro-dermal activity only in the incongruent condition, consistent with “aesthetic capture”. Sound structures the perception of dance movement, increasing its aesthetic appeal.”

Method Participants 

Thirty-four participants, (9 male, 25 female), ranging in age from 18-51 years (M = 27.41; SD = 7.3), volunteered to take part. Musicality ranged from 48-100 (M = 74.71; SD = 17.85). on the Goldsmiths musical sophistication index v1.0 (GMSI) musicality scale. Musicality involves a wide range of musical behaviours and musical engagement such as understanding and evaluation (Müllensiefen, Gingras, Musil, & Stewart, 2014). The GMSI is a standardised instrument that provides a measure of musicality in the general population, which ranges from 18-126 with an average score of 81.58 (SD = 20.62) across the general population 

(Müllensiefen, Gingras, Musil, & Stewart, 2013). Dance experience was assessed using a custom-made questionnaire, which asked people how many years dance experience they had, and how often they watched recorded dance. Fifty-three percent of participants reported previous formal dance training, but none were professional dancers, see table 1 for a demographic breakdown by experimental group. Participants volunteered in response to a Goldsmiths participation page on Facebook, and all participants signed a written consent form before taking part in the experiment. Participants were signed up to experimental groups based on their availability; allocation of experimental group to condition was randomized using numbered sealed envelopes containing randomization cards for either the congruent, incongruent, or silent conditions. The groups included 10, 14 and 10 participants in the congruent, silent, and incongruent groups respectively. All participants were included in the physiological and qualitative analyses however the tablet data of 8 participants was lost due to technical problems, leaving only 8, 10 and 8 in the congruent, silent, and incongruent groups for the enjoyment analyses. 

Sources:

Howlin, Vicari, Orgs – Audiovisual Aesthetics of Sound and Movement in Contemporary Dance

Klangliche Stilmittel in Videospielen (Teil 2: Signale, Stereotype, Subjektivierung)

Im letzten Blogeintrag bin ich auf die von Gerhard Hackl genannten Symbole, Leitmotive und Key Sounds eingegangen, die häufig in Filmen und Videospielen vorkommen [1]. In diesem Post werden zunächst weitere allgemeine Stilmittel ermittelt, die sich sowohl klanglich als auch visuell etabliert haben. Anschließend beschreibe ich mehrere rein klangliche Effekte zur Subjektivierung, die es dem Zuschauer erlauben, sich besser in die Rolle der Charaktere hineinzuversetzen.

Signale

Ein Signal ist ein Klangobjekt, das eine gesellschaftlich definierte und kommunikative Bedeutung hat. Das Signal übermittelt eine Information, die zum Handeln auffordert und/oder als Warnung dient, wie z.B. beim Heulen einer Sirene.

Meistens weisen Signale eine simple klangliche Grundstruktur auf, die ihren Mittelpunkt hinsichtlich des Frequenzspektrums in einem für Menschen kritischen und leicht hörbaren Frequenzbereich hat. Das hat zur Folge, dass dieses Geräusch trotz ungünstiger akustischer Bedingungen trotzdem deutlich gehört werden kann.

In Filmen oder Videospielen erklingen Signale häufig ohne den dazugehörigen visuellen Elementen, welche die klanglichen Signale verursachen. Damit soll der Beobachter auf einer höheren affektiven Gefühlsebene beeinflusst werden und Emotionen wie Angst, Aggression oder Vorsicht herbeiführen. In der Spielereihe Grand Theft Auto erklingen z.B. Sirenen, sobald eine Straftat begangen wurde und man von der Polizei verfolgt wird. Ziel des Spielers ist es nun, die Polizei abzuhängen und solange von der Bildfläche zu verschwinden, bis die Polizei die Verfolgungsjagd aufgibt.

Stereotype

Abgesehen davon, dass der Begriff heutzutage negativ konnotiert ist, tragen Stereotype eine wichtige Funktion als Orientierungshilfe. Mit ihrer Hilfe können Unterschiede der komplexen Außenwelt mit eigenen inneren Vereinfachungen bewältigt werden.

In Filmen und Videospielen werden Stereotype durch häufige Verwendungen, die sich über zahlreiche Filme und Videospiele erstrecken, geschaffen, um beim Rezipienten im Langzeitgedächtnis verankert zu werden. Ein typisches Beispiel wäre das Kreischen eines Adlers, das die Leere und Weite einer Landschaft verstärken soll oder im Horrorgenre das Wolfsgeheul bei Vollmond, das die Gefährlichkeit der Nacht symbolisiert und ein Gefühl von Angst beim Rezipienten erzeugen soll.

Da Stereotype dazu dienen, Komplexitäten zu reduzieren, werden außerdem entweder Ähnlichkeiten verschiedener Charaktere und Sachverhalte überbetont oder deren Unterschiede stark kontrastiert. Klanglich wird oft damit gearbeitet, dass “das Böse” mit Geräuschen gestaltet wird, die ihren Fokus im unteren Frequenzspektrum haben, somit eher dumpf klingen und ein Unbehagen beim Beobachter auslösen. “Das Gute” wird hingegen mit Klängen im Mittelton-, oder Hochtonbereich dargestellt, die dem Beobachter vertraut sind und dementsprechend sympathischer erscheinen. Mit solchen Stereotypen lassen sich Strukturen einfacher verdeutlichen. Sie machen es dem Beobachter leichter, Sachverhalte und Charaktere einzuordnen.

Subjektivierung

Stilmittel, die zur Darstellung der Sicht einer Figur oder aber auch zur Darstellung einer Veränderung von Wahrnehmungen, wie bei Träumen, Halluzinationen, Erinnerungen und Visionen dienen, werden Subjektivierung genannt. Diese kommen ursprünglich in Filmen vor, haben aber eine noch größere Bedeutung in Videospielen, in welchen man häufig aus der Sicht einzelner Charaktere spielt. Dabei bedient man sich verschiedener klanglicher Effekte und/oder der Dissoziation von Bild und Ton. Die Verfremdung des Klangmaterials oder die Diskrepanz von Bild und Ton, die beim Rezipienten einen logischen Konflikt erzeugt, wird durch kognitive Bemühungen und Zuordnungen interpretiert und dementsprechend als wahrnehmungsverändernd wahrgenommen.

Stille

Stille in einer Situation, in welcher es eigentlich laut sein müsste, ist häufig die Darstellung eines Realitätsverlusts. Das wird so erklärt, dass der Mensch ständig im sensorischen Austausch mit der Außenwelt steht und quasi bewusst oder unbewusst, selbst im Schlaf, klangliche Geräusche registriert. Beim Effekt der Stille trennt sich also die Figur von der Lautsphäre und somit auch von der Realität.

Lautstärke

Lautstärke bekommt erst eine Bedeutung durch ihren Kontrast. Ein plötzlicher Anstieg der Lautstärke bewirkt ein reflexartiges Zusammenzucken beim Zuschauer und verursacht Verängstigung. Auch wird mit der Lautstärke der Grad der Aggressivität der Spielfigur dargestellt.

Generell muss Lautstärke im Zusammenhang mit der Dauer betrachtet werden. Lang andauernde laute Geräusche und Klangkulissen verursachen Stress und werden auch in Videospielen genutzt, um ein Unwohlsein der Spielfigur darzustellen. Auch können lange und laute Geräusche andere Sinne beeinflussen und Gleichgewichtsstörungen, Schwindelgefühle, Schmerzen oder aber auch positive trance-artige Zustände hervorrufen.

Hall

Hall beschreibt einen bestimmten geistigen Zustand einer Figur. Oft werden damit Träume oder Erinnerungen dargestellt. Verhallte Geräusche werden hierbei in Form von akustischen Rückblenden genutzt. Ein weiterer gewünschter Effekt bei der Nutzung künstlichen Halls entsteht, wenn die klangliche räumliche Repräsentation nicht mit dem Gesehenen übereinstimmt. Durch die ungewohnte klangliche Umgebung fühlt der Rezipient eine gewisse Unsicherheit.

Zeitlupe

Die Zeitlupe wird als Effekt genutzt, um die Aufmerksamkeit des Beobachters auf bestimmte Momente zu lenken. Die Zeitlupe zielt auf das Phänomen ab, dass Zeit als etwas subjektiv dehnbares gesehen wird und in Abhängigkeit von Ereignissen und deren Intensität unterschiedlich lang wahrgenommen wird. Ein weiterer Effekt, der bei der Verlangsamung von Geräuschen entsteht, ist die Erhöhung ihrer dramatischen Wirkung, da diese Geräusche nach der Bearbeitung tiefer und somit auch voluminöser klingen.

Vergrößerung

Damit ist die Hervorhebung eines Geräusches von der restlichen Klangkulisse gemeint. Diese wird durch eine erhöhte Lautstärke, einen größeren Hallanteil oder durch klangliche Verfremdungen erzeugt. In manchen Fällen wird auch die Quelle des Geräusches durch eine andere ersetzt. Mit einer Vergrößerung wird die Wertung oder Relevanz einer Sache aus Sicht der Figur beeinflusst.

Atmen und Herzklopfen

Diese bilden eine besondere Form von Stilmitteln und repräsentieren eine extreme Form von Anspannung oder Lebensbedrohung. Diese Geräusche werden besonders hervorgehoben, wenn die Figur droht zu sterben oder einer extremen Belastung ausgeliefert ist. In vielen Spielen werden diese Geräusche außerdem genutzt, um dem Spieler ein bestimmtes Handeln zu suggerieren. Wenn man beispielsweise kurz davor ist, in einem im Spiel zu sterben, erklingt oft ein ein lautes Atmen oder ein intensives Herzklopfen, das signalisiert, dass die Spielfigur in Deckung gehen und sich erholen soll.

Das waren also gängige Stilmittel und Effekte, die sowohl in Filmen als auch in Videospielen anzutreffen sind. Sie haben verschiedene Ziele und sind in dieser Form gewöhnlich nicht in der realen Welt anzutreffen. Allerdings ermöglichen sie es dem Zuschauer oder Spieler auf eine leichtere und gleichzeitig intensivere Art in die erzählte Geschichte oder Spielhandlung einzutauchen und sich in die Charaktere hineinzuversetzen.

Quellen:

[1] https://phaidra.fhstp.ac.at/open/o:1779

Audio & Machine Learning (pt 2)

Part 2: Deep Learning

Neural Networks

Neural networks are a type of machine learning which are inspired by the human brain and consist of many interconnected nodes (neurons). The goal of using neural networks is to train a model, which is a file that is or has been trained by machine learning algorithms to recognize certain properties or patterns. Models are trained with a set of data and once trained they can be used to make predictions about new data. A neural network is split into different layers, to which diffident Neurons belong to. The layers a neural network consists of are an input layer, an output layer and one or more hidden layers in between. Mathematically, a neuron’s output can be described as the following function:

ƒ( wT x + b)

In the function above w is a weight vector, x is a vector of inputs, b is a bias and ƒ is a nonlinear activation function. When a neural network is training, weights w and biases b modify the model to better describe a set of input data (a dataset). Multiple inputs then result in a sum of weighted inputs.

i wi xi + b = w1 x1 + w2 x2 + … + wn xn + b

The neurons take a set of such weighted inputs and through an activation function produce new values.

Training

When training the network analyzes the individual packs of data (examples) from the dataset and initializes the weights of its neurons with random values and the bias with zero. Neural network training consists of three parts: A loss function evaluates how well the algorithm models the dataset. The better the predictions are the smaller the output of the loss function becomes. Backpropagation is the process of applying gradients to weights. The output of the loss function is used to calculate the difference between the current value and the desired value. The error is then sent back layer by layer from the output to the input and the neurons’ weights get changed depending on their influence on the error. Gradients are used to adjust the neurons’ weights based on the output of the loss function. This is done by checking how the parameters have to change to minimize loss (= decrease the output of the loss function). To modify the neurons’ weights, the gradients multiplied by a defined factor (the learning rate) are subtracted from the weights. This factor is very small (like 0.001) to ensure weight changes remain small to not jump over the ideal value (close to zero).



Illustration of the learning rate

Layers

As mentioned above, a neural network consists of multiple layers, which are groups of neurons. One or more are hidden layers. These calculate new values for previous values with a specific function (activation function).

deep neural network with two hidden layers

Hidden layers can be of various types like linear or dense layers and the type of the layer determines what calculations are made. As the complexity of the problems increases the complexity of the functions must also increase. But stacking multiple linear layers in sequence of each other would be redundant as this could be written out as one function. Dense layers exist for this reason. They can approximate more complex functions which make use of activation functions. Instead of only for the input values, activation functions are applied on each layer which in addition to more complexity leads also to more stable and faster results.

The following list introduces some commonly used activation functions:

  • linear (input=output)
  • binary step (values are either 0 or 1)
  • sigmoid (s-shaped curve with values between 0 and 1 but never 0 and 1)
  • tanh (like the sigmoid but maps from -1 to 1)
  • arcTan (maps the input to values between -pi/2 to +pi/2)
  • reLU – Rectified Linear Unit (sets any negative values to 0)
  • leaky reLU (does not completely remove negative values but drastically lowers their magnitude)
activation functions displayed in Geogebra

Deep Learning

As mentioned before, there are different layers in a neural network. What was not mentioned is that a neural network with more than one hidden layer is called a deep neural network. Thus the process of training a deep neural network’s model is called deep learning. Deep neural networks have a few advantages to neural networks. As mentioned above activation functions introduce non-linearity. And having many dense layers stacked after each other leads to being able to compute much more complex problem’s solutions. Including audio (finally)!


Read more:

http://www.deeplearningbook.org
https://www.techradar.com/news/what-is-a-neural-network
https://www.ibm.com/cloud/learn/neural-networks
https://www.mygreatlearning.com/blog/activation-functions/
https://algorithmia.com/blog/introduction-to-optimizers
https://medium.com/datathings/neural-networks-and-backpropagation-explained-in-a-simple-way-f540a3611f5e
https://medium.com/datathings/dense-layers-explained-in-a-simple-way-62fe1db0ed75
https://medium.com/deeper-learning/glossary-of-deep-learning-batch-normalisation-8266dcd2fa82
https://semanti.ca/blog/?glossary-of-machine-learning-terms

Audio Adaptor Boards for Teensy

This Audio Board is and extension for your Teensy. It exists for Teensy 4 and Teensy 3. If you want to use it you have to solder it together with your Teensy. It has an anormous amount of useful features, including for example high quality audio adapters in 16 bit and 44.1 kHz sample rate. It supports stereo headphone and stereo line-level output, and also stereo line-level input or mono microphone input.

Teensy Audio Library

This is kind of a software you can open in your browser to program your signal flow on the Audio Board to create all types of sophisticated audio applications. You can play multiple sound files, create synthesized waveforms, apply effects, mix multiple streams and output high quality audio to the headphones or line out pins. To use the sketch with your board you can export the code and apply it to your Teensyduino Software and upload all of it.

Klangliche Stilmittel in Videospielen (Teil 1: Symbole, Leitmotive, Key Sounds)

Bei der Gestaltung von Klängen gibt es verschiedene gängige Stilmittel, die genutzt werden, um dem Bild und der Handlung mehr Ausdruck zu verleihen. Dabei betrachten wir die Erkenntnisse von Gerhard Hackl in seiner Diplomarbeit „Sound-Design im Österreichischen Film“, welche sich zwar auf das Medium Film beziehen, allerdings auch auf Videospiele übertragbar sind [1].

Symbole

Symbole deuten auf Ereignisse hin, die ein kulturell geprägtes Vorwissen voraussetzen. Dazu gehören Rituale, Religionen, Mythen und soziale Traditionen, die einen besonderen Stellenwert in der Gesellschaft haben. Gleichzeit muss ein solches Symbol im Kontext des Films gesehen werden, weil es durchaus verschiedene Bedeutungen haben kann und anfällig ist für Falsch- oder Überinterpretationen.

Ein prominentes Beispiel wäre das Ticken einer Uhr. Damit wird die Erwartungshaltung erzeugt, dass etwas passieren wird, bzw. der Protagonist handeln muss, weil die Zeit abläuft. Gleichzeitig dient dieses Element als Mittel der Spannungssteigerung.

Leitmotive

Leitmotive sind musikalische Motive, die einen Charakter oder ein Ereignis klanglich darstellen. Leitmotive können sich im Laufe des Werks verändern und auf die Entwicklung der Handlung reagieren. Damit ein Leitmotiv also so eines erkannt wird und eine Bedeutung bekommt, muss dieses beim ersten Auftreten eindeutig gekennzeichnet sein. Die Verbindung von Bild und Ton muss dabei klar erkennbar sein und das Leitmotiv sollte daraufhin oft wiederholen, um es beim Beobachter im Gedächtnis zu verankern.

Eines der berühmtesten Leitmotive der Filmgeschichte ist John Williams‘ „Imperial March“, das den Bösewichten Darth Vader repräsentiert.

Der Komponist Nobuo Uematsu, der verantwortlich ist für die Musik der früheren „Final Fantasy“-Spiele, hat für jeden Protagonisten und Antagonisten dieser Spiele Leitmotive geschrieben, die immer dann erklingen, wenn die jeweilige Spielfigur mit einem bedeutsamen Ereignis in Verbindung gebracht wird und der Fokus auf die Figur gelenkt werden soll. In Final Fantasy VII ist z. B. der tragische Tod der Protagonistin Aerith ein Schlüsselmoment im Spiel und wird mit den ihr zugehörigen Leitmotiv begleitet.

Key Sounds

Key Sounds sind Hybride aus Symbolen und Leitmotiven. Sie sind symbolische Klänge, die erst im Film oder Spiel eine Bedeutung erhalten und nicht, im Gegensatz zu Symbolen, auf außerfilmischen Traditionen basieren. Key Sounds müssen klar als solche zu erkennen sein, indem sie oft wiederholt werden und mit der Grundthematik zusammenhängen.

Ein Beispiel wäre das Geräusch der Helikopterpropeller in Apocalypse Now, das kurz vor dem kriegerischen Angriff auf ein vietnamesisches Dorf sehr prominent zu hören ist und die bevorstehende Gefahr symbolisiert.

Im Spiel Witcher 3 wird die Ankunft der sogenannten „Wilden Jagd“, einer Truppe von böswilligen Elfen, die gleichzeitig die Antagonisten des Spiels sind, klanglich und visuell durch schwergepanzerte berittene Krieger dargestellt. Im Spiel sind diese auf der Jagd nach der Ziehtochter Ciri des Protagonisten Geralt. Genau genommen hat die „Wilde Jagd“ den Ursprung in der nordischen Mythologie, doch die wenigsten Rezipienten sind heutzutage mit dieser Sage vertraut und werden erst im Laufe des Spiels damit vertraut. Jedenfalls stellen die Klänge der galopierenden Pferde und der schweren metallischen Rüstungen Key Sounds dar, die im Laufe des Videospiels an mehreren Stellen auftreten.



Quellen:

[1] https://phaidra.fhstp.ac.at/open/o:1779

Audio & Machine Learning (pt 1)

Part 1: What is Machine Learning?

Machine Learning is essentially just a type of algorithm that improves over time. But instead of humans adjusting the algorithm the computer does it itself. In this process, computers discover how to do something without being programmed to do so. The benefits of such an approach to problem solving is that algorithms too complex for humans to develop can be learned by the machine. This leads to programmers being able to focus on what goes in to and what out of the algorithm rather than the algorithm itself.

Approaches

There are three broad categories of machine learning approaches:

  • Supervised Learning
  • Unsupervised Learning
  • Reinforcement Learning

Supervised learning is used for figuring out how to get from an input to an output. Inputs are classified meaning the dataset (or rather trainset, the part of the dataset used for training) is already split up into categories. The goal of using supervised learning is to generate a model that can map inputs to outputs. An example would be automatic audio file tagging – like either drum or guitar.

Unsupervised learning is used when the input data has not been labelled. The algorithm has to find out on its own how to describe a dataset. Common use cases are feature learning and discovering patterns in data (which might not have been visible without machine learning).

Reinforcement learning is probably what you have seen on YouTube. These are the algorithms that interact with something (like a human would do with a controller for example) and is either punished or rewarded for its behavior. Algorithms learning to play Super Mario World or Tesla’s Autopilot are trained with reinforcement learning.

Of course, there are other approaches as well, but these are a minority, and it is easier to just stick with the three categories above.

Models

The process of machine learning is to create an algorithm which can describe a set of data. This algorithm is called a model. A model exists from the beginning on and is trained. Trained models can then be used for example to categorize files. There are various approaches to machine learning:

  • Classifying
  • Regression
  • Clustering
  • Dimensionality reduction
  • Neural networks / deep learning

Classifying models are used to (you guessed it) classify data. They predict the type of data which can be several options (for example colors). One of the simplest classifying models is a decision tree which follows a flowchart-like concept of asking a question and getting either yes or no as an answer (or in more of a programmer’s terms: if and else statements). If you think of it as a tree (the way it is meant to be understood) you start at the root with one question, then get on to a branch where the next question is until you reach a leaf, which represents the class or tag you want to assign.

a very simple decision tree

Regression models come from statistical analysis. There are a multitude of regression models, the easiest of which is the linear regression. Linear regression tires to describe a dataset with just one liner function. The data is mapped on to a 2-dimensional space and then a linear function which “kind of” fits all the data is drawn. An example for regression analysis would be Microsoft Excel’s trendline tool.

non-linear regression | from not enough learning (left) to overfitting (right)

Clustering is used to group similar objects together. If you have unclassified data and want to make use of supervised learning, regression models can automatically classify the objects for you.

Dimensionality reduction models (again an aptronym) reduce dimensionality of the dataset. The dimensionality is the number of variables used to describe a dataset. As usually different variables do not contribute equally to the dataset, the dataset can still be reliably described by less variables. One example for dimensionality reduction is the principal component analysis. In 2D space the PCA generates a best fitting line, which is usually where the least squared distance from the points to the line is.

2D principal component analysis | the ideal state would be when the red lines are the smallest

Deep Learning will be covered in part 2 of this series as this is the main focus of this series.


Read more:

https://en.wikipedia.org/wiki/Glossary_of_artificial_intelligence
https://www.educba.com/machine-learning-models/
https://www.educba.com/machine-learning-algorithms/

History of Synaesthesia in the Audiovisual Sphere

Synaesthesia is one of the phenomenons that was always quite interesting to artists, however, still never explored as much as it should be. During my research, I was quite intrigued to find out that even Plato had referred to synaesthesia in his writing. In 370 BC, he wrote Timaeus, which connects the world’s essence with musical ratios. After that, Aristotle compared the harmony of sounds with the harmony colours. After the chromatic scale was introduced, and in 1492 Franchino Gaffurino proposed a colour system for the scales, where Dorian was crystalline, Phyrgian orange, Lydian red and the Mixolydian was an undefined mixed colour. In 1646 Athanasius Krcher developed a color system for musical interval based on symbolism. 

Sir Isaac Newton also delved into the relationship between music and colour. In his work Optics, he revisited and expanded upon Aristotle’s relationships between sound and colour. He mathematically divided visible light into seven different colours, which had similar mathematical relationships to a musical scale. Even though Newton didn’t hold to these claims as scientific truth, rather just analogies, Louis Bertrand Castel firmly believed that the connection between light and the musical scale is a fact. He drafted a sketch prototype for a “clavecin oculaire”, an instrument that would produce the “correct” colour with each note played. 

In 1875, the first colour organ was built by the American inventor Bainbridge Bishop.  The organ worked by projecting coloured light onto a screen while it is being played. Unfortunately all 3 of Bishop’s organs were lost in a fire.

Vincent Van Gogh is quite a notable artist with synaesthetic abilities. His letter to his brother often mention synaesthetic experiences, which confirm this claim. In those letters he mentions that certain colours, like yellow and blue were like fireworks to his senses. Van Gogh probably had chromesthesia and basically painted sounds the way he saw them. Yellow gave him an experience of joy- a song of hope that he was otherwise missing in his life.

Synaesthesia was a big subject of interest for certain Bauhaus artists as well, most notably Gertrud Grunow, who was a Bauhaus master and teacher since 1919. She was interested in incorporating movement and music into visual art, which in her words opened “new originals ways of experiencing”. She put a focus on instinctive and emotional expression. Gertrud started making a new style of curriculum, but sadly died before being able to finish. Today, it is hard to establish what her thoughts were in the curriculum, as it was finished by her assistant, and he was very good at mimicking her writing style. Grunow influenced the interest in Synaesthesia in Gropius, Kandinsky and Itten.

Kandinsky’s works were all named as if they were musical compositions. He called them “Symphony of Colours”. Just like Van Gogh, he found yellow to be particularly important to him. He created experimental performance-based expressions of Synaesthesia for theatre titled “The Yellow Sound”.

Today, there are more and more synaesthetic works done with modern techniques like VR, 3D animation and similar. Even though interest in this field is very steady, synaesthetic audiovisual experiences are not part of the mainstream media yet. Personally, I consider that this field needs a lot more attention and research, as it is still not entirely understood.

Entwicklung der Musik in der Werbung

Untersuchung des Sound Designs im Bezug zu Werbewirkung 1982-2018 am Beispiel Nike

In den unterstehenden Werbebeispielen wurden von mir insgesamt 3 verschiedene Werbespots herangezogen. Einmal die anscheinend erste TV Werbung von Nike von 1982, einen neuen Werbespot von Nike’s Zoom Pegasus Turbo Schuh von 2018 und zuletzt eine Nike Air Werbung von 2017. Bei der Auswahl der Spots wurde sich hautsächlich auch subjektiv wahrgenommene Kongruenz von Bild und Ton bezogen. Mein Ziel war es in dieser Übung die Musik des alten Spots von 1982 auf die Bilder der neuen Werbung zu legen und umgekehrt. Dadurch soll verdeutlicht werden, wie sich die Musikauswahl und das Sound Design über die Jahre verändert hat und heutzutage auf den Menschen wirkt. Dabei fällt meiner Meinung nach auf, dass die neue Musik das Potenzial hat, das alte Video aufzuwerten, umgekehrt ist es jedoch fast gegenteilig.

Zuletzt folgen zwei Zitate aus einem Buch von Sieglerschmidt (2008), welche die Kongruenz von Werbung und dem Konsumenten, sowie auch die Zugehörigkeit zu gewissen Bevölkerungsgruppen als Zielgruppe beschreiben.

Nike’s first television commercial (1982) – New Music:

Nike Zoom Pegasus Turbo (2018) – Old Music:

Nike’s first television commercial – 1982 (Original):

Nike Zoom Pegasus Turbo 2018 (Original):

Nike’s first television Commercial 1982 – New Music (Nike Air 2017):

Nike Air Max 2017 Commercial:

„Möglicherweise differieren verschiedene Arten von Kongruenz in ihrer Wirkung, weil sie unterschiedlich intensiv wahrgenommen werden. Einschlägige Aktivierungstheorien weisen uns auf die Bedeutung der Stärke eines Stimulus für dessen Wirkung hin (vgl. Felser, 2001, S. 385f.). Betrachtet man Kongruenz als Stimulus, so hieße das: Je deutlicher eine Kongruenz in den Augen eines Rezipienten zu Tage tritt, desto stärker ihr potentieller Einfluss auf die Verarbeitung von Werbeinhalten. Gunter et al. (2002) stellen entsprechende Überlegungen an. Sie vermuten, dass eine stilistische Kongruenz von Werbung und Kontext für sich genommen unzureichend sein könne, um einen Interferenzeffekt hervorzurufen.“ – Sieglerschmidt, Sebastian. Werbung Im Thematisch Passenden Medienkontext: Theoretische Grundlagen Und Empirische Befunde Am Beispiel Von Fernsehwerbung. 2008. Web. S. 113

“Zugehörigkeit zu einer sozialen Schicht (Mayer & Illmann, 2000, S. 611ff). Allerdings besteht eine hohe Korrelation dieser Variablen untereinander, so dass ein eindeutiger Einfluss einzelner Faktoren nur schwer nachzuweisen ist (Steffenhagen, 2000, S. 19). Ein relativ gesicherter Zusammenhang besteht zwischen verfügbarem Einkommen und Mediennutzung, welche wiederum die Wirksamkeit von Werbung beeinflusst: Je geringer das verfügbare Einkommen, desto intensiver der TV-Konsum (vgl. z.B. Arbeitsgemeinschaft Fernsehforschung [AGF], 2002). Hierbei handelt es sich aber nicht um einen Faktor, der Unterschiede in der Wirkung einer einzelnen Werbung bedingt, sondern die Menge empfangener Werbebotschaften insgesamt beeinflusst. Dagegen wirken sich schichtspezifische Unterschiede in der Suche nach Informationen auch auf die Wirkung einer einzelnen Werbung aus; die Suche nach Produktinformationen erfolgt in höheren sozialen Schichten intensiver (Mayer & Illmann, 2000, S. 617). Unterschiede zwischen Einkommensklassen bestehen außerdem bei werbevermeidendem Verhalten: Individuen mit höherem Einkommen haben ein größeres Bestreben, Werbung zu vermeiden (Speck & Elliott, 1997, S. 64).” – Sieglerschmidt, Sebastian. Werbung Im Thematisch Passenden Medienkontext: Theoretische Grundlagen Und Empirische Befunde Am Beispiel Von Fernsehwerbung. 2008. Web. S. 34

Theremin

Da ich letzte Woche über das Terpsiton geschrieben habe, finde ich es auch interessant, über das Instrument zu sprechen, aus dem es stammt, das Theremin.

Es ist nicht nur eines der ältesten elektronischen Musikinstrumente, sondern auch das erste Musikinstrument, das man beim Spielen nicht einmal berührt.

Obwohl es anderswo ähnliche Signalgeneratoren gab, war dieser Klangerzeuger das erste auf hochfrequenten Schwingkreisen basierende elektronische Musikinstrument, das großen Zuspruch gefunden hat.

Das Theremin ist seit den 1920er Jahren aufgetreten. Nachdem sein Entwickler Leon Theremin (Lev Sergejewitsch Termen) seine Militärdienste beendet hatte, hat er beim Physikalisch-Technischen Institut in Petrograd gearbeitet, wo er ein Gerät zur Messung des elektrischen Widerstands von Gasen entwickelt hat.

Da dieses Messgerät nach dem Überlagerungsprinzip arbeitet, können durch die Annäherung des menschlichen Körpers Klänge erzeugt und moduliert werden. Somit war das Theremin geboren. Leon Theremin hat mit seinem neuen Gerät ein kleines Konzert gegeben. „Termen spielt Voltmeter” haben seine Kollegen darüber gewitzelt. 🙂

Im Oktober 1921 spielte er vor Lenin, der dafür sorgte, dass Leon seine Erfindung überall in der Sowjetunion vorstellen konnte, um die „Elektrifizierung“ des Landes zu propagieren.


1926 erhielt Termen die Erlaubnis, sein Instrument auch im Ausland zu präsentieren. Die erste öffentliche Vorführung in Deutschland fand im Herbst 1927 im Rahmen der Internationalen Musikausstellung in Frankfurt statt, weitere Auftritte folgten in Berlin, Paris und London.

Mit dem Verschwinden seines Erfinders, der ab 1938 für einige Jahrzehnte in der Sowjetunion gefangen gehalten wurde, verloren Musiker und Komponisten weitgehend das Interesse an diesem Instrument. In den 1950ern konnte es jedoch Nischen in der Filmmusik und unter Hobbybastlern erobern.

Das Theremin arbeitet nach dem Prinzip eines kapazitiven Abstandssensors. Die Hand des Spielers, die durch ihre eigene Masse als Erdung fungiert, verändert über die jeweilige Elektrode („Antenne“) den LC-Schwingkreis eines Oszillators: Sie beeinflusst sowohl die Frequenz als auch die Güte des Schwingkreises, indem er den kapazitiven Anteil des Schwingkreises und dessen Dämpfung beeinflusst.

Hochfrequenzkomponenten werden durch einen Tiefpassfilter entfernt. Das Signal kann dann über einen Lautsprecher verstärkt werden.

Nur ein Schwingkreis mit variabler Frequenz wird verwendet. Ein Bandpassfilter sorgt dafür, dass sich der Pegel des Signals abhängig von der Frequenz ändert. Ein Hüllkurvendetektor erzeugt dann das Steuersignal für den Verstärker.

Der Elektronik-Enthusiast Robert Moog hat sein erstes Theremin in den 1950er Jahren gebaut, als er noch in der High School war.

Da das Theremin immer wieder in Filmmusiken zum Einsatz gekommen ist – etwa bei Spellbound (Alfred Hitchcock, 1945), The Lost Weekend (Billy Wilder, 1945), The Day the Earth Stood Still (Robert Wise, 1951), Ed Wood (Tim Burton, 1994) oder Mars Attacks! (Tim Burton, 1996) –, wird es zumeist mit „außerirdischen“, surrealen und gespenstischen Klängen und Glissandi, Tremoli und Vibrati assoziiert.

Es ist auch in verschiedenen Arten von Musik weit verbreitet, z. B. in Pop, Jazz, Rock und anderen.

Teensy Boards

Teensy is very similar to an Arduino Board. It is a complete USB-based microcontroller development system. Its very small and very powerful and beats the Arduino in many ways, so you can use it it a lot of different applications and projects. They have fast processors, a ton of libraries and are compatible with most Arduinos libraries. Its generous flash and RAM, numerous peripherals, and smallest size make it perfect for my most creative ideas.

Teensyduino

This is the software you have to install to communicate with your teensy. Basically you modify your existing Arduino software to hack Teensy support right in there. Then you just have to select your board and you are ready to go. It also installs you a lot of extremely useful libraries. On Windows you are required to install extra drivers. If you are on Mac, you are about to replace the Arduino Software by Teensyduino itself.

Different Teensy Boards

There are a few different versions of the Teensy Board out there. The Teensy 3.2 is already a little bit out of date, which was followed by Teensy 3.6, which has a much stronger processor, more pins and a built-in SD card slot. The powerhouse is still the Teensy 4.0, which has like 40 I/O lines compared to the Arduino´s 14. This list goes on with all the other connectivity options on the Teensy. The Teensy also runs at 600 Megahertz and is even cheaper than any Arduino on the market.

Looking forward to use the Teensy board in one of my projects, because its also great for the use with audio, especially with the Teensy Audio Board which I will talk more about in my next post.

https://www.pjrc.com/