Category: Media Design

I am going to record an Opera-Singer for a surrealistic short-film a friend of me was shooting earlier this year. After the recording i am trying to move her voice in postproduction trough a 3-Dimensional space fitting to the pictures.

Things to think about:

What is the perfect microphone Setup?

As 3D sound tools use mono-sources (or render stereofiles down to mono), i am aiming for a simple big membrane setup. The situation doesn`t allow me to visit a proper recording room, so i am going for a little bit of an DIY approach. Some Rugs and blankets will be used to treat the room for achieving the clearest signal possible.

The scene:

As seen in the picture the scene starts in a (virtual) room

How to move the object?

I spent a long time searching for the perfect tool to move the voice through the percepted virtual 3D-Space AND keep the file in stereo as the movie will only be mixed down in stereo. In all the tests i did the Plug-In “DearVR Micro” from DearVr in collaboration with Sennheiser did in my point of view th best job (and it`s for free yey!).

The recording took place in an (as mentioned above) empty, roughly 20m² big room. As you probably can imagine the reverberation was pretty huge, so i had a little bit of an “MacGyver” – attempt to get a clean recording. With the help of 6 tripods, 4 bamboo sticks and loads of rugs an other textil i created a capsule and achieved some honestly not too bad sound. In thoughts of my hopefully future career i wont show a picture.

As the record worked well, i will move on to the post processing. Stay tuned!

In this post I would like to show some work examples which I have found interesting from the concept and work style.

This Animation “My Sardasht” is from Ziba Arzhang, a female Iranian Animator. She narrates a sad, serious story within children animation and illustrations.

She used carpet as her main element for story telling. Carpet is very important in Iranian Culture. Every apartment has to have a carpet and without it, we say, the house is naked.

The main character narrates her story with her easy children literature while making the carpet. At the end the memory of the war remains as a traditional art piece.

From the visual technical point of view, we can see the colours that have been used as well as the style of the illustration.

Wie ein Bild in der Welt des Films oder der Fotografie letztendlich aussieht wird von einigen Faktoren beeinflusst. In erster Linie zähle ich Licht, Komposition, Wahl des Objektivs & Filter sowie der Kamera dazu. Wobei ich auch deren Priorität in der gleichen Reihenfolge nennen würde und mir zudem durchaus bewusst bin, dass Kamera & Equipment nicht zwingend der Bildgestaltung zuzuordnen sind. Meiner persönlichen Interpretation nach ordne ich aber mal alle Elemente die ein Bild letztlich gestalten dazu (und dazu gehören nicht nur die klassischen Gestaltungsregeln sondern auch das Werkzeug mit dem aufgenommen wird).

Licht

Dass Licht bzw. die Abwesenheit davon eine ungeheuer wichtige Rolle in der Gestaltung eines Bildes spielt würde wohl niemand verneinen, schließlich gäbe es ohne Licht kein Bild. Licht lenkt unsere Augen, zeigt oder versteckt Informationen, beeinflusst die Stimmung bzw. setzt den Ton und ist mit ausschlaggebend darüber ob wir etwas als schön oder nicht schön empfinden. Nicht nur trägt die Manipulation von Licht seit den Anfängen der Fotografie und des Films zu einem der bedeutendsten Bestandteile schöner Kompositionen bei, sondern ist zudem eine Sache, die in ihren Grundsätzen zwar schnell gelernt aber ungeheuer schwer zu meistern ist. In der Regel wird von hartem Licht, weichem Licht, direktem und reflektiertem Licht gesprochen. Zudem gibt es kaltes, warmes und eingefärbtes Licht sowie es natürlich auch Schatten gibt. All diese Varianten von Belichtung sind essentielle Werkzeuge um ein Bild zu gestalten. Instinktiv sieht der Mensch helle Stellen auch als erstes an – dieses Wissen ist besonders wichtig um Blicke gezielt lenken zu können.

Komposition

Wenn von der Bildkomposition gesprochen wird, wird meistens von der Zusammensetzung beziehungsweise der Position der Elemente im Bild sowie von der Position und dem Winkel der Kamera gesprochen. Auch die Komposition hat Einfluss auf die Stimmung, Blickführung und Ästhetik des Bildes. Die Gestaltgesetze der Wahrnehmung, Farbenlehre sowie Linien und Flächen spielen hierbei ein große Rolle. Als Hilfen für ein balanciertes Bild wird oft von der Drittel-Regel oder dem goldenen Schnitt geredet. Auch Linien (wie beispielsweise eine Zaun) können genutzt werden um Blicke zu führen und spannende Kompositionen zu entwickeln.

Objektive

Obwohl in der Bildgestaltung, zumindest in meinen kurzen Recherchen, selten von Kamera & Equipment die Rede ist, so finde ich tragen sie einen großen Teil zum finalen Look des Bildes bei. Vor allem das Objektiv beeinflusst nicht nur den Bildausschnitt sondern auch wie wir ein Bild wahrnehmen. Während ein sehr weitwinkliges Bild beispielsweise wirkt als wäre es aus der Sicht einer Fliege, kann ein sehr schmallwinkliges Bild das Gefühl des Beobachtetwerdens auslösen. Obwohl die Brennweite sicherlich das stärkste Unterscheidungsmerkmal zwischen Objektiven ist, so ist auch die gewählte Blendenstufe sowie die exakte Art des Objektivs entscheidend darüber, wie ein Bild verstanden wird. Stark vereinfacht ausgedrückt gilt zwischen alten Objektiven, neuen Objektiven und stilisierten Objektiven zu unterscheiden. Alle weisen unterschiedliche Eigenschaften auf und wirken sich letztendlich auf das finale Bild aus. Zudem gibt es verschiedenste Filter für unterschiedlichste Effekte und Anwendungsbereiche die das Licht, das letztlich auf dem Sensor eintrifft, stark manipulieren kann. In den Objektiven entsteht auch ebenfalls die Schärfe beziehungsweise Unschärfe eines Bildes. Die Blendenstufe beeinflusst zudem den Schärfenbereich einer Linse. Ein kleiner Schärfebereich führt zu einer starken Trennung zwischen Vordergrund und Hintergrund und wird gerne zur Bildgestaltung eingesetzt.

Kamera

Hier gilt in erster Linie zu unterscheiden zwischen Analog und Digital. Beide Arten der Aufnahme haben ihre Charakteristika (in der Analogwelt besonders auch der gewählte Film natürlich) und beide sind auch anfällig für Manipulation. So kann man eine Rolle Film auch absichtlich falsch behandeln oder spezielle chemische Prozesse unterziehen um einen stilisiertes ungewöhnliches Bild zu erhalten. Ein anderes beliebtes Mittel zur Stilisierung ist das Fotografieren oder Filmen im Infrarotlicht Bereich. Hierbei wird das sichtbar gemacht, das ansonsten für das menschliche Auge unsichtbar bleibt. Auch wenn die Wahl der Kamera letztendlich am letzten Platz meiner Prioritätenliste steht, so würde ich trotzdem versuchen diese Wahl mit Bedacht zu treffen da sie immer noch einen beachtlichen Einfluss auf die Gestalt des finalen Bildes nehmen kann.

Manipulation in der Postproduktion

Fast hätte ich diesen Punkt nicht in meine Liste mit aufgenommen aber wenn man mich fragt welche Möglichkeiten ich zur Bildgestaltung kenne, wäre es etwas verlogen die digitale Manipulation in der Nachbearbeitung zu verschweigen- sie bietet nunmal exakt das, nämlich die Möglichkeit zur Bildgestaltung, nur eben im nachhinein. Dazugehörige Software im Film- sowie im Fotobereich wird zudem immer einfacher, klüger und besser. Störelemente lassen sich in wenigen Mausklicks entfernen, Hintergründe innerhalb von Minuten austauschen und “Fehler” jeder Art, sei es kompositions bedingt oder technischer Natur, in kürzester Zeit beheben oder zumindest minimieren.

Der Emotion in der Geschichte dienen

Ja, jetzt werde ich gerade völlig verrückt in meinem Verständnis über Bildgestaltung aber was solls. Zu den “Möglichkeiten der Bildgestaltung” würde ich sogar die Möglichkeit zählen, alle vorher genannten Elemente nur so  zu benutzen, dass sie einzig und allein der Geschichte und den damit verbundenen Emotionen dienen. Nichts anderes tun die Profis und trotzdem ist es nicht selbstverständlich heutzutage. Oft ist man geblendet von irgendwelchen tollen kreativen Ideen oder Effekte die man woanders gesehen hat, ich spreche aus Erfahrung aber bin mir sicher, dass es euch in professionelleren Bereichen solche Fälle gibt (“Regisseure und ihre Vision” usw.). Bis jetzt hat es sich allerdings immer für mich gelohnt wenn ich noch einmal einen Schritt zurückging und erneut überlegte, wie eine Geschichte, Aussage oder Emotion im Kontext des Konzepts am besten dargestellt werden könnte. Walter Murch, welcher bekannt für seine Schnittarbeit mit Francis Ford Coppola und George Lucas wurde, beschreibt eine Sache in seinem Buch “In the Blink of an Eye” nämlich besonders gut und diese wäre:

What they finally remember is not the editing, not the camerawork, not the performances, not even the Story – it’s how they felt.

Landschaften wie diese sehen erstmal unheimlich schön aus. Umso spannender wird es, wenn man weiß, dass diese innerhalb kürzester Zeit aus den zuständigen Programmen in Echtzeit “ausgespuckt” werden. Schon lange werden auf diese Art und Weise komplette Spielwelten für Videospiele, siehe Ubisoft’s Far Cry 5, oder Hintergrundkulissen für Filme erzeugt.

Diese Art der Landschaftsgenerierung wird mithilfe von prozeduralen Algorythmen und zufälligen, aber mathematisch berechenbaren Verlaufswerte generiert. Diese Verlaufswerte, auch Perlin Noise genannt, sind zweidimensionale Bilder, in denen jeder Pixel einen bestimmten Schwarz-Weiß-Anteil enthält und dementsprechend einen Wert zwischen 0 und 1 darstellt.

Ein Wert im Bereich 0 würde einen sehr tiefgelegenen Ort darstellen, beispielsweise Seen oder andere flache Gegenden und ein Wert im Bereich 1 würden Gletscher und Berge repräsentieren. Je mehr Schwarzanteile der Pixel auf dem zweidimensionalen Bild hat, desto näher befindet er sich auf dem Meeresspiegel. Je weißer dieser Pixel ist, desto höher ist dieser Punkt im Terrain zu finden.

Tools, die auf diese Weise dreidimensionale Landschaften erzeugen stehen heute erst am Anfang eines boomenden Businesses, da dies eine unglaublich effiziente Lösung ist, organische bzw. photorealistische Kopien von Umgebungen ganz ohne lange Renderzeiten, umzusetzen.

(more in detail: Funktionsweise, Echtzeit-Rendering, areas & heights)

---

future topics:
Wie funktioniert prozedurale Generation? (allgemein)
Warum “Procedural Workflows” in 3D-Art?

Quellen:

TheHappieCat: How Procedurally Generated Terrain Works. url: https://www.youtube.com/watch?v=JdYkcrW8FBg (zuletzt aufgerufen am 02.12.2020)
Kim, Rachel (11.08.2020): WHY IS HOUDINI THE FUTURE OF 3D AND VFX?. In: https://infocusfilmschool.com/houdini-future-3d-vfx/ (zuletzt aufgerufen am 02.12.2020)

Wie im Blogpost „Die psychoanalytische Filmtheorie von Rauschzuständen im Film“ schon näher ausgeführt wurde, zählen zu Rauscherlebnissen im Film nicht nur durch Drogen und Rauschmittel induzierte Wahrnehmungsveränderungen, sondern auch Träume. In diesem Blogpost soll auf die Timeline, wann diese Themen wiederkehrend in Filmen aufgegriffen worden sind und wann sie es ins Mainstreamkino geschafft haben, eingegangen werden.

Spätestens in den 20er Jahren wurden vermehrt Träume und das Unbewusste in Filmen thematisiert, ein Beispiel dafür ist „Un Chien Andalou“, ein Film der 1928 erschien, bei dem Luis Bunuel und Salvador Dalí mitwirkten. Auch in Chaplins Filmen spielten Szenen, die Träume thematisieren eine große Rolle. In den 1920er Jahren fand jedoch nicht nur der Traum seinen Weg in die Filmwelt, auch das Thema Rausch und die Darstellung von Rauschzuständen kamen erstmals vor, wie am Film „Der letzte Mann“ von Friedrich Willhelm Murnau, der 1924 erschien, zu erkennen ist.

Im Blogpost „Die Ästhetik der Darstellung induzierter Bewusstseinsveränderungen im Film“ wurde auf verschiedene Merkmale, wie man solche Zustände filmisch aufgreifen kann, näher eingegangen. 1924 geschah dies hauptsächlich durch Überblendungen, Mehrfachbilder und eine schwankende, rotierende Kameraführung. Zu dieser Zeit war es hauptsächlich Alkohol, der für diese Rauschzustände verantwortlich war. Erst Jahre später in den 1950ern wurden auch Kokain oder andere Drogen filmisch aufgegriffen um Rauschzustände oder Wahrnehmungsveränderungen zu induzieren. Einer der Gründe wieso das zu dieser Zeit geschah, war der gesellschaftliche Diskurs in den 1950er Jahren, da zu dieser Zeit Drogen nicht nur im Film sondern auch in der Gesellschaft präsenter wurden. Zeitgleich entstand nämlich auch das Genre des psychedelischen Films. Zu psychedelischen Drogen zählen Substanzen wie LSD, Psilocybin, Kokain oder Meskalin, wobei in psychedelischen Filmen zu dieser Zeit hauptsächlich LSD thematisiert wurde.[1]

Nur ein geringer Teil der Filmemacher und Regisseure arbeitete mit diesem Genre. Zuerst wurden Rauschzustände hauptsächlich von Experimentalfilmern thematisiert. 1963 entstand der erste Mandala Film, der von John und James Whitney gemacht wurde. Mandala Filme stellten oft eine Mischung aus Rausch und Meditation dar. Später folgten auch unabhängige Dokumentar-, Animations- und Experimentalfilmer diesem Trend und versuchten „Zustände erhöhter Sensibilität für sensorische Reize, begleitet von Euphorie, dem Gefühl von Bewusstseinserweiterung, sowie Halluzinationen oder Sinnestäuschungen, aber auch psychotische Erlebnisse mit filmischen Mitteln darzustellen.“^[2] Eines der Hauptziele dessen war, solche Zustände zu thematisieren und auch zu informieren, wie sich das anfühlen könnte, selbst einen Zustand der Wahrnehmungsveränderung zu erreichen. Ariane Beyn schrieb, dass es sogar scheint als wäre es möglich, dass psychedelische Filme „euphorische Stimmung direkt im Kinosaal“ erzeugen können.[3]

In diesen Experimentalfilmen wurde oft mit Mandalas und spiritueller Farbsymbolik gearbeitet, „Figuren verlieren ihre Objektkonstanz, sie schwellen an, verändern die Form, transformieren zu anderen Figuren; Räume verlieren die Kontinuität, werden liquide oder nehmen andere Formen an“. Inspiration wird oft aus der Farb- und Formenwelt anderer Kulturen, vor allem dem chinesischen Ying und Yang oder den indischen Mandalas gezogen. Meist fand man sich in einer abstrakten Formenwelt wieder.[4]

Als dann Ende der 1960er Jahre die Drogenkultur mehr Popularität in der Gesellschaft erlangte, schaffte dieses Genre den Sprung vom Experimentalfilm zum Spielfilm. Filmen wie „Easy Rider“ (1969) von Dennis Hopper oder „Altered States“ (1980) von Ken Russell gelang der Aufstieg ins Mainstreamkino. Die Spielfilme unterschieden sich jedoch in einigen Aspekten von den Experimentalfilmen da sie nur einen Teil der filmischen Stilmittel, die schon davor verwendet wurden, übernahmen. Der Grundstein war aber gelegt und der Weiterentwicklung dieses Filmgenres sowie der Erlangung eines höheren Bekanntheitsgrads stand nichts mehr im Weg.

[1] Kruse, Patrick/ Wulff, Hans J.: Psychonauten im Kino: Rausch und Rauschdarstellung im Film. In: Kino im Kopf. Psychologie und Film seit Sigmund Freud. Berlin: Bertz + Fischer 2006, S.108

[2] Ebda. S.109

[3] Beyn, Ariane: Psych-Out. In: Starship, 5. S. 77ff

[4] Kruse, Patrick/ Wulff, Hans J.: Psychonauten im Kino: Rausch und Rauschdarstellung im Film. In: Kino im Kopf. Psychologie und Film seit Sigmund Freud. Berlin: Bertz + Fischer 2006, S.110

Binaurale Ansätze für räumliche Sounddarstellung basieren auf der Idee, dass die beste Reproduktion von natürlichem räumlichem Hören dadurch erreicht wird, dass die Ohren der HörerInnen mit denselben Signalen versorgt werden, welche im ursprünglichen Aufnahmeort während des natürlichen Hörens auftreten würden.

Im besten Falle zielt die binaurale Technik dahingehend, alle räumlichen Marker im Sound wiederzugeben die benötigt werden um ein räumliches Wahrnehmungserlebnis bei HörerInnen zu erschaffen.
Verschiedenste Faktoren wie die Position und Form der Ohren, Form des Torsos und Ausrichtung des Kopfes spielen hier eine unmittelbare Rolle. Ohne spezielle aukustische und psychoakustische Effekte ist die Wiedergabe vorerst nur über Kopfhörer möglich, da bei ihnen pro Ohr jeweils ein Channel übertragen wird.
Diese Separation der beiden Channel ist sehr günstig für die Wiedergabe von binauralen Stereoaufnahmen da sich die Kanäle in Timing und Amplitude, ähnlich dem Abschirmungseffekt des Kopfes, unterscheiden können.

Die Idee, Sound genauso darzustellen wie er normalerweise gehört wird lokalisiert sich historisch unmittelbar am Beginn des Audio-Universums:

Im Jahr 1881 installierte der französische Radio- Luftfahrtpionier Clement Ader, zum ersten Mal in der Geschichte zwei Mikrofone an der Bühnenkante der Opera Graniere und leitete das Signal über Telefonkabel zu HörerInnen, welche in einer Telefonkabine zwei Kilometer entfernt warteten. Das sogenannte „Theatrophon“ zog rasch die Aufmerksamkeit europaweiter Theater auf sich und so wurde auch Menschen außerhalb des Theaters die Möglichkeit der Unterhaltung geboten. Da es sich um 2 getrennte Mikrofone handelt, welche jeweils die Signale diskret an jeweils ein Ohr weiterleiten, spricht man hier von der ersten binauralen Erfindung.¹

Etwa 50 Jahre später wurde “Oscar” zum ersten Mal der Öffentlichkeit vorgestellt. “Oscar” ist ein Dummykopf dem auf auf jeder Wangenseite ein Mikrofon eingebaut wurde. Für das Projekt war Harvey Fletcher verantwortlich. Fletcher wird wegen seiner Experimente mit räumlichem Hören in der 1930ern auch oft als der „Vater der Stereofonie“ ² bezeichnet.

Es dauerte beinahe weitere 40 Jahre bis das Konzept der binauralen Mikrofonierung den Weg in die Kommerzialisierung fand. Mit KU-80 brachte die Firma Neumann das erste binauralen Kunstkopfmikrofon für die breite Öffentlichkeit auf den Markt.

Lou Reed nahm 1978 mit “Street Hassle” das erste binaurale Album der Geschichte auf.