Category: Sound Design

Granular Synthesis on Audio Files

The goal is to create a patch that loads an audio file from which are taken tiny grains from random positions. The controllable parameters should be:

• Grain density: how many grains per second we expect to listen.
• Grain starting time: position of the loaded file that the grain starts.
• Grain length: how long the grains will be.
• Playback speed: how quickly will the grain be played, affecting the pitch of the grain as well.

Simple grain Generator

In the following example you can see a grain being generated in its simplest form. The source audio isn’t coming yet from an audio file, but from an oscillator that generates a sine wave at 100 Hz. The audio segment on the left side is then modulated by the envelope and generates a single grain that has a duration of 100 ms. (Kaliakatsos-Papakostas, 2016)

Karlax!

Karlax is a type of MIDI controller ideated by the french music instruments company Da Fact, designed to “re-establish the artist’s body at the heart of the performance.”

Elected as the most bizarre instrument of the year 2010, it has been designed to offer artists a large and diverse range of controls.

It captures all the gestures, combining expressivity and intuitiveness. Fingers, wrists, elbows, forearms, torso and whole body are captured, analysed and sent to the computer, where they will control parameters of virtual instruments/patches.

Its sensors are embed to precision mechanics components. Pistons, keys, switches, benders, triggers, a rotation axis and an inertial unit can be activated separately or simultaneously.

It divides in two parts linked together by a rotary axis: the top part for the left hand and the bottom part for the right hand. It also features a screen for displaying and editing settings, thus it is possible to leave the computer off-stage.

On the front of both parts there are 4 velocity sensitive pistons, 5 continuous keys and 4 switches.

On the back of the top there are 5 switches to manipulated by the thumb and a five positions mini-joystick to browse through the user interface that is displayed on the screen.

4 additional switches are accessible on the back of the bottom part. A thumb rest is placed on both top and bottom parts.

It has a wide range of continuous sensors featuring, such as a 12 bits native sampling at 1 kHz, velocity definition, 4 types of response curves (one user-editable), adaptive latency (from 1 to 20 ms).

Regarding the motion sensor, it has:

Accelerometer = 3 axes with simultaneous attack detection on each axis. Sensitivity + – 3g.

Gyroscope = 3 axes at 2000°/ second.

Inertial sensors processing for high level output data for motion processing and recognition.

“Karlax pushes the boundaries of language,” says Nils Aziosmanoff, Chairman of LE CUBE, a creative centre devoted entirely to the digital arts.

Karlax uses a wireless network to communicate with his receiver, which is connected to the computer through USB, MIDI or OSC.

It is manufactured in plain aluminium for hardware precision parts. This aluminium is anodized black for a better protection of the surface.

It is PC & Mac compatible, enables the management and organization of

scenes in Karlax bank, allows output monitoring of the instrument and flexible MIDI assignation, sensor behaviour control, and MIDI re-mapping.

Karlax can simply be used as an interface for your audio software, yet Da Fact provides also some software to control the instruments such as Karlax-Bridge, Karlax-View.


There is another software, Karl/Max, a complete composition and live performance software specially designed for Karlax.

Here some comments from artists:

“I follow closely the innovations in music and Karlax seems to be a new instrument very well designed and adapted to new expressions of digital arts.

Jean-François ZYGEL (Pianist, improviser, composer, professor at the Conservatory of Paris, producer of “La boîte à musique” on French TV and many other creative activities.)

“Karlax is an incredible link between music and visual arts, this magic wand redefines our expressivity. Gestures become sounds, and sounds connect with images. It is such a fun experience to feel the sounds spinning around the audience following your gestures and to see images come alive from your fingertips. For the first time, the artist can master in realtime the development of a movie! And this is just a start, my imagination alreday feeds numerous projects that will soon be achieved thanks to Karlax. It is an amazing dream machine…” Philippe GEISS (Saxophonist, composer, professor to the Academy of Strasbourg in France.)

“Karlax: and the dance becomes the master of musical work. Controller where the movement is king. A playing partner with who dance leads and projects music and sound worlds at will.” Hervé DIASNAS (Choreographer, dancer, musician)

Resources

Da Fact – Karlax. www.dafact.com

Synthopia – Da Fact Karlax Is The Most Bizarre New Instrument Of The Year. (2010)

by Kyle Anderson

The Mandalorian quickly rose in our collective fan hearts with its look, its action, and its tiniest bounty. It just right away felt like Star Wars, and a lot of that was down to how gorgeous and seamless the settings looked. We believed Mando was on a desert planet fighting Jawas, or collecting a bounty on a bleak, barren tundra. But those planets don’t exist, not really. However, they almost do. As a new video from Industrial Light & Magic discloses, the “sets” for The Mandalorian were about as real as they could get. Without actually heading to a galaxy some indeterminate distance away.

As creator Jon Favreau explains, The Mandalorian wasn’t just real to us at home; the locations were there for the actors and crew, too. ILM worked with Epic Games on this project. Using “game engine, real-time render, and video wall technology” they projected whatever backdrop they wanted in a 360-degree, virtual set. LED screens right the way ’round. The set moved when the actors or camera moved so it always appeared in the proper dimensions. It all came together in a massive room on a soundstage, but it looked like a million locations.

Unlike most CGI or bluescreen-heavy productions, which add in the effects and cool knickknacks after the fact, Favreau and ILM made the environments “live” and basically interactable. The camera picks up the actors in physical space and the virtual, real-time background at the same time. And the backgrounds can be ready for projection 24 hours after finalization. That makes something like a television series go so much faster, and it’s why we can have a second season of the effects-heavy show ready by the end of this year.

Lucasfilm/ILM

It’s truly mind-boggling, the scale of it all. They’d use the virtual environment to light the actors and props, and if the shot didn’t look right, they’d just pivot the environment. Werner Herzog‘s office was a virtual set! It looked perfectly seamless. Eventually, Favreau explained, they would start designing environments that would look best with the engine. For example, the interior of the space station from “Chapter 6: The Prisoner,” in which they built part of Mando’s ship but everything else was virtual. Ming-Na Wen sitting on a rock in the desert an episode prior? Yep, virtual. They didn’t go to the desert at all.

This is a true game-changer for sci-fi and fantasy storytelling. While there’s absolutely something magical about a real location, moving production to remote places on Earth is very tough. So instead, why not take full 360-degree shots of those locations, like Iceland for example, so they’re “real” but then project them when it comes time to actually film? It’s a very controlled way to make things, but it also ensures the director gets the exact shot they want while the actors have real things to act against.

AudioMulch is, somehow, a forgotten, yet incredibly powerful, music software/sound design tool developed by Ross Bencina in Melbourne.

“It is software for live performance, audio processing,
sound design and music composition.”

It brings together elements of tradition analogue routing with effects and control options only possible within the computer.

It has a Patcher Interface similar to PureData/MaxMSP, which allows you to think and compose your music in a non-linear way, thanks to his improvisational signal flow approach.

A great feature of this software is the MetaSurface, a powerful tool for gestural control that turns AudioMulch into an expressive musical instrument. This surface has no virtual knobs and fader, it’s designed specifically for performing music with a computer. Instead of having to turn one knob at a time with the mouse, the Metasurface lets you blend smoothly between dozens of parameter settings on a two dimensional plane. (You can even automate and loop your Metasurface gestures.)

It also has multichannel input and output (up to 256). So you can use it as a multi track recorder, live mixer, to spatialize and diffuse music for surround sound and so on.

(An amazing granulator is also featured!)

Many artists have used it, such as Nine Inch Nails, Four Tet and Girl Talk.

There is just one problem, the last update for AudioMulch was in July 2013, this means that no 64-bit plugins can work. Some rumors say there should be a 64-bit beta for Mac and Windows soon, we’ll see

Reference

www.audiomulch.com

Trill-Touch Sensoren

The Trill Sensors are made to interact with the world by using your hands. It tracks the finger movement very precisely by using capacitive touch sensors. Different types of these sensors are available for example a Bar, Ring or a Square which I am using on my Kalimba. The sensors are compatible with a wide range of different microcontrollers that support the so called I2C communication protocol.

I2C Communication

This protocol provides a convenient method of passing messages to, and getting data from, a network of sensors and devices. It allows you to not only connect one sensor per input, but instead you can connect multiple devices to one controller and requires only two wires for the communication.

Every device must have a unique I2C address, especially when more devices are connected to the same bus. To initialize a trill sensor in Pure data there has to be given a sensor ID, the i2c bus that the sensor is connected, which device, the mode and the address of the sensor. (Bela, 2021)

After successful initializing the sensor we can read from it through r bela_trill object. By using the square sensor the incoming data is formatted as a list with the following items: number of touches, x axes, y axes, size.

Die Einbindung von digitalen Recording-Programmen oder die Arbeit mit Digital Audio Workstation’s (DAW) ist in dem musikalischen Schaffensprozess von Künstlern in diesem Gebiet ein zentraler Faktor. Sie lässt laut Grimmer (1991, S. 129f.) eine Identifikation mit dem selbst geschaffenen Material stattfinden und verleiht der Musik „Selbstausdruck“. Menzel (2005) erforschte dafür 22 PC-Musiker über längere Zeit, um deren Arbeitsweise zu erforschen. Die Künstler können sich seiner Meinung nach, trotz Fehler und Qualitätsmängel, mit ihrer Musik identifizieren und an dieser Qualitätsmerkmale feststellen. Trotz eventuell mangelnder Qualitätsstandards (vergleichend mit dem Industriestandart und der professionellen Arbeiten zum Vergleich), die auch vom Künstler erkannt werden, kann sich positiv dazu eingestellt werden (Menzel, 2005, S. 155). Vor allem die dabei entstehenden Lernprozesse mit der Arbeit am Computer können als bedeutsam erlebt werden, da sie Bestandteil zukünftiger musikalischer Entwicklung sind (Menzel, 2005, S. 154).

Bei einer Betrachtung des Zusammenhangs zwischen professionellem, teurem Equipment und dem Schaffensprozess beim Musikmachen, wurde bei Menzels Untersuchungen kein Unterschied erkennbar. Sowohl teure als auch billige Software ließen keine unterschiedlichen Bewertungen zu. Eine größere Erschwernis seien in diesem Fall die technischen Probleme auf die die Musiker treffen. Vielmehr ging es seinen Teilnehmern um die Bereitschaft, sich mit technischen Details zu beschäftigen, um die Probleme zu überwinden (Menzel, 2005). Jedoch kann die Arbeit am Computer mit aufwendigen Programmen den „Kreativitätsflow“ auch bremsen. Sind nach Menzel (2005) die Programme zu kompliziert, und dauert das Lösen der Probleme zu lange, tritt auch der kreative Schaffensprozess neuer Musik in den Hintergrund. Daher versuchen viele Produzenten ihr Equipment so „einfach“ wie möglich zu gestalten, um die musikalischen Ideen möglichst schnell in eine Struktur zu bekommen. Denn Probleme bei dem Umgang der Technik wirken sich dann eher demotivierend aus (Menzel, 2005, S.159).

Beim Schaffensprozess am PC gibt es nach Menzel (2005) außerdem sehr unterschiedliche Motivationen bei verschiedenen Personen. Diese können entweder durch die Selbstverwirklichung und öffentliche Präsentation von Musik angeregt werden, aber auch durch das Auseinandersetzen mit komplizierten Programmen. Dies trifft auch auf die Musikproduktion für den Eigengebrauch zu. Es kann als Hilfe und Unterstützung für die Arbeit mit analogen Instrumenten, sowie zum Modifizieren von schon vorhandenen MIDI- Sequenzen (Musical Interface Digital Interface) genutzt werden und dient deshalb jedem Produzenten ein wenig anders, seine Kreativität in die Tat umzusetzen (Menzel, 2005). Manche Programme können jedoch für einen gewissen Zeitraum, vor allem bezogen auf den letzten Punkt, das Potential vorweisen, eine gewisse Art von Kreativität vorzutäuschen (Menzel, 2005, S. 163). Davon, dass die Technik durch voreingestellte Sequenzen und Programme nun jeden zum „Kreativen Genie“ macht, ist nach Menzel‘s (2005) Ansicht abzusehen. Neben Personen, die eine bestimmte Vorstellung haben, wie das Stück zu klingen hat, ist es aber auch die Technik, die Ideen verwirklicht (Menzel, 2005, S. 163).

„Die Personen können für die Komposition, das Arrangement, die Interpretation, die Tontechnik oder die Produktion verantwortlich sein, aber die Letztverantwortung für die Beschaffenheit des endgültigen Produkts verlagerte sich mit fortschreitender Verbesserung der Aufnahmetechnik immer mehr in die Richtung der Produktion, also der Überwachung und Gestaltung des gesamten Aufnahmeprozesses.“ – (Alfred Smudits; in: von Appen, 2003, S. 67)

Somit muss der Ton selbst nicht mehr erzeugt werden, sondern die Vergleichbarkeit von Sounds und deren Arrangement wird zu einem größer werdenden Bestandteil des musikalischen Schaffens (Menzel, 2005, S. 152ff.).

Quellen:

Grimmer, F. (1991). Wege und Umwege zur Musik: Klavierausbildung und Lebensgeschichte. Kassel [u.a.]: Bärenreiter. S. 129f

Menzel, K. H. (2005). PC-Musiker: Der Einsatz computergestützter Recording-Systeme im Amateursektor. Osnabrück: Electronic Publ.

Smudits, A. (2003). A Journey into Sound. Zur Geschichte der Musikproduktion, der Produzenten und der Sounds. In: von Appen, R. (2003). Pop sounds: Klangtexturen in der Pop- und Rockmusik ; basics – stories – tracks. Bielefeld: Transcript-Verl

Erfahrene Künstler an einem Instrument, oder in diesem Fall an elektronischen Instrumenten, haben laut Folkestadt, Lindström & Hargreaves (1997, S. 7) deutlich andere Herangehensweisen an das Schaffen eines Stückes. Dies hängt nach ihnen hauptsächlich damit zusammen, dass sie das Instrument unterschiedlich nutzen. Nach Folkestadt et al. (1997) scheint die Erfahrung der musikalischen Ausbildung zu festeren Ideen über die Schaffung von Musik zu führen, was darauf hindeutet, dass die Instrumentalausbildung zwar ein Gewinn bei der Verwirklichung musikalischer Ideen sein kann, aber auch zu einem Hindernis bei der Erforschung der Möglichkeiten des Materials wird. Demnach sind Künstler ohne diese Ausbildung zwar nicht so sehr an die etablierten Schaffensprozesse gebunden und können freier neue Möglichkeiten austesten, befinden sich jedoch in einem gewissen Rahmen und sind auf das technische Wissen angewiesen, um überhaupt mit dem Schaffen oder Auftreten zu beginnen (Folkestadt et al., 1997, S. 7). Dieses Ergebnis entspricht auch den Erkenntnissen von Scripp, Meyaard und Davidson (1988), die eine Studie durchführten, in der Kinder und Erwachsene mit Hilfe ihrer Computer Musik komponierten. Ihre Ergebnisse zeigten, dass, je mehr der Computerkomponist musikalisch ausgebildet war, desto weniger nutzte er die Möglichkeiten des Computers im Kompositionsprozess (Scripp et al. (1988). in: Folkestadt et al. (1997) S. 8).
Folkestadt et al. (1997) vermuten außerdem, dass beim Hören von Musik, auch elektronischer, ein Bild oder eine Assoziation im Kopf entsteht, wie diese Musik erzeugt wurde. Das könnte dem Ergebnis Folkestadt’s et al. (1997) Studie nach bedeuten, dass auch Menschen ohne musikalisches Training durch diese Eigenschaft eine Vorstellung haben, wie die elektronische Musik zu klingen hat und hergestellt wird, und dadurch in der Lage sind, sich auch selbst zu verwirklichen. Dies eliminiert demnach die Erfahrung, die sonst für das Spielen eines Instrumentes benötigt wurde, für das Produzieren, da jeder sich nun zum Ausdruck bringen kann. Nach Folkestadt et al. (1997, S. 9) seien Anfänger eher am Ausprobieren und Versuchen gekennzeichnet, als an dem geordneten Denken und Reflektieren.

Quellen:

Folkestadt, G.; Lindström, B. & Hargreaves, D. (1997). Young people’s Music in Digital Age.

Scripp, L., Meyaard, J., & Davidson, L. (1988). Discerning musical development. Journal of Aesthetic Education, 22(1))

Im letzten Blogeintrag habe ich einen kleinen Einblick gewährt in die Geschichte des sogenannten Loudness Wars. Dieser basiert aus technischer Sicht auf der dynamischen Einschränkung von Musikstücken mithilfe extremer Kompression, womit hohe Lautsheitswerte erzielt werden können. Klassischerweise werden für diese Aufgabe Kompressoren und vor allem Limiter verwendet. Es gibt allerdings auch noch eine weitere Möglichkeit, um den Dynamikumfang eines Musikstücks einzuschränken – das Clipping. Bei jedem Toningenieur läuten jetzt die Alarmglocken, weil normalerweise gilt, jegliche Form von Clipping im Signalweg zu vermeiden, indem der Pegel in der digitalen Domäne unter der 0 dBFS-Grenze gehalten wird [1]. Das ist auch korrekt und sollte in der Regel so eingehalten werden. Allerdings werden bei Musikrichtungen, wie Metal, Hip-Hop und diversen elektronischen Genres, die für den Club produziert werden, extreme Lautheitswerte erwartet, die klanglich transparenter durch den Einsatz von bewusstem Clipping statt Limiting erzielt werden. Während Limiter Pegelspitzen absenken, indem sie, idealerweise vorausschauend, das Signal analysieren und dann mit den vom Ingenieur eingestellten Attack und Release-Zeiten arbeiten, werden beim Clipping ganz einfach Pegelspitzen ohne Attack- und Release-Wartezeiten abgeschnitten. Dadurch entstehen innerhalb des Zeitraums, in welchem der Pegel die 0 dBFS-Grenze übersteigt Verzerrungen. [2]

Während beim starken Limiting oft Transienten ihre Präsenz verlieren oder ungewolltes Pumpen (anheben und absenken des Gesamtpegels auf Basis der Attack- und Release-Zeiten) entsteht, klingt Clipping oft natürlicher bzw. transparenter und kann sogar Transienten mithilfe der entstehenden Verzerrungen hervorheben.

Bei einer Untersuchung wurde die Hörbarkeit von digitalen Clipping-Verzerrungen ermittelt und man ist zu dem Ergebnis gekommen, dass die Hörbarkeit stark vom Audiomaterial und auch individuell vom Hörer abhängig ist. Daraus kann man schließen, dass für die Anwendung von Clipping ein geschultes Ohr voraussetzend ist und auch das Ausgangsmaterial ausschlaggebend ist, ob und wie schnell Artefakte hörbar werden. [3]

In den 2000er-Jahren kamen für das Clipping hochwertige A/D-Wandler zum Einsatz. Diese wurden mit einem Signal angesteuert, bei welchem die analogen Pegelspitzen bei der Wandlung ins digitale theoretisch 0 dbFS überschreiten würden und deshalb an dieser Stelle geclipped wurden. Die daraus resultierenden Verzerrungen waren entweder kaum hörbar, was auch zu keinen klanglichen Einbußen der Audioqualität geführt hat, oder haben im besten Fall den Klang sogar aufgewertet. [4, 5, 6, 7]

Auf virtueller Ebene gibt es für das Clipping spezielle Plugins, die mit Oversampling-Funktionen ausgestattet sind, um Aliasing-Artefakte so gering wie möglich zu halten. Außerdem bieten viele Clipper verschiedene Steigungskurven an, die aus einem Hard-Clipper einen Soft-Clipper machen, bei welchem leichte Verzerrungungen bereits unterhalb des eingestellten Thresholds auftreten und das Ausmaß der Verzerrung graduell bis zum Threshold ansteigt. [8, 9, 10, 11]

Wie man sieht, sollte Clipping per se nicht als „Fehler“ abgestempelt, sondern vielmehr als Werkzeug des Toningenieurs gesehen werden, das eine Alternative zum klassischen Limiting darstellt. Wenn Clipping bewusst und mit Vorsicht in einer Produktion genutzt wird, kann es sogar in gewissen Musikgenres als stilistisches Element dienen, welches den Klang sogar aufwerten kann. Letzten Endes sollte das Ohr entscheiden, ob der Einsatz eines Clippers sinnvoll ist und besser klingt als ein Limiter.

Zusätzliche Videos:

Quellen:

[1] https://www.delamar.de/faq/dezibel-db-dbfs-dba-30138/

[2] https://integraudio.com/clipper-vs-limiter/

[3] https://docplayer.org/30304861-Zur-hoerbarkeit-von-digitalen-clipping-verzerrungen-the-audibility-of-digital-clipping-artefacts.html

[4] https://www.submissionaudio.com/products/flatline

[5] https://audient.com/tutorial/mastering-for-digital/

[6] https://www.izotope.com/en/learn/audio-clipping-and-creative-uses-of-limiting.html

[7] https://joeysturgistones.com/blogs/learn/the-beginner-s-guide-to-clipping-correctly

[8] https://www.siraudiotools.com/StandardCLIP.php

[9] https://www.voxengo.com/product/ovc128/

[10] https://kazrog.com/products/kclip-3

[11] https://vennaudio.com/free-clip