by Esma Kurbegovic -

HOW MUSEUMS USE MUSIC TO DRAW IN NEW AUDIENCES

In a previous article I talked about businesses bringing in new audiences by creating impressionable soundscapes in their offices, but what is going on when it comes to museums? Soundscapes and sound installations are being used more and more to present important and relevant topics/exhibitions in museums.

Giles Martin- the son of Sir George Martin, Beatles’ notorious producer, created an experience with a new Dolby Atmos mix that brought back into the world that was created in Abbey Road studios. This event showed visitors a new angle of Beatles’ greatest hits. The succeed of this event definitely lead to an increase of popularity in immersive sound experiences, with which we can explore both art and history in a fascinating new way. These experiences can offer a unique and interesting way to learn about the past. 

The Grammy Museum in LA opened up a new exhibition  called “Mono to Immersive Experience Room” in which visitors can relive the most famous performances of the Grammys. This audio-visual experience takes visitors on a journey from the 19th century phonographs to the immersive sound of Today. One can explore the most important parts of music history and experience how technology progressed with time.

One of the most innovative experiences was done by the London Design Museum that went on from April to July 2020. It was designed to “transport” visitors into the Nightclubs of cities with a famous rave culture (e.g. Berlin, Detroit, Paris). It used a combination of music, strobe and flashing lights in order to create a club atmosphere.The experience called “Electronic” was using all these techniques to allow visitors to explore the art, design and photography that captured and shared the electronic music atmosphere. 

The exhibit features works from some of the most famous techno artists like Jeff Mills and Ellen Alien, along with BBC’s radiophonic workshop. It also features photography from a famous german event photographer Andreas Gursky, as well as the work of French DJ Laurent Garnier. The following video  gives a bit more detail from interviews and insight on the projects mentioned here.

Resources

https://www.soundoflife.com/blogs/design/how-museums-use-music-draw-new-audiences

by Isabel Witting -

EUKLIDISCHER RHYTHMUS – Part II – Praxis

In diesem zweiten Teil zum euklidischen Rhythmus möchte ich den Music Pattern Generator und XronoMorph kurz vorstellen.

Music Pattern Generator

Der Music Pattern Generator ist eine kostenlose Webanwendung zur Erstellung musikalischer Rhythmusmuster, welche von Wouter Hisschemöller programmiert wurde. Die Patterns werden durch animierte Grafiken dargestellt, die es einfach machen, komplexe Polyrhythmen zu erstellen und zu verstehen.

Der Music Pattern Generator überträgt seine Patterns als MIDI-Daten, so kann man die App leicht in andere Musiksoftware und -hardware integrieren. Es gibt ihn als Webanwendung, als auch als Installationsprogramm, um die App auch als reguläre Desktop-Anwendung zu verwenden.

Auf dem Github des Programmieres findet man alle nötigen Informationen zum Download und zur Anwendung.

Hier eine kurze Einführung zum Music Pattern Generator

Der MPG in Verbindung mit externer Hardware

Download:

Online Application

Download

User Guide

XronoMorph

XronoMorph ist eine kostenlose macOS- und Windows-App zur Erstellung mehrschichtiger rhythmischer und melodischer Loops (Hockets). Jede rhythmische Schicht wird als ein in einen Kreis eingeschriebenes Polygon visualisiert, und jedes Polygon kann nach zwei verschiedenen mathematischen Prinzipien konstruiert werden: perfekte Balance und Wohlgeformtheit (auch bekannt als MOS). Diese Prinzipien verallgemeinern Polyrhythmen, additive und euklidische Rhythmen. Darüber hinaus können die Rhythmen nahtlos ineinander übergehen, und auch irrationale Rhythmen ohne regelmäßigen Puls können leicht konstruiert werden. Die Patterns lassen sich sowohl als Midi als auch Audio-Datei exportieren.

Einführung in XronoMorph:

XronoMorph: An Introduction

Perfectly Balanced Rhythms

“Ein Rhythmus oder eine Skala kann als Punkte auf einem Kreis dargestellt werden. Der Rhythmus ist perfekt ausbalanciert, wenn die mittlere Position (Schwerpunkt) dieser Punkte in der Mitte des Kreises liegt.

Komplexe, perfekt ausbalancierte Rhythmen können durch die Addition einer beliebigen Anzahl von einfacheren, perfekt ausbalancierten “Elementar”-Rhythmen erzeugt werden. XronoMorph enthält eine Vielzahl dieser elementaren, perfekt ausbalancierten Muster.”

perfectly balanced rhythms

Well-formed Rhythms

„Well-formed Rhythms (auch MOS genannt) enthalten zwei Schlaggrößen, die so angeordnet sind, dass der Rhythmus so gleichmäßig wie möglich ist. Jeder dieser Rhythmen hat einen übergeordneten Rhythmus, der die ursprünglichen Beats in zwei neue Größen aufteilt. Auf diese Weise lässt sich eine komplexe, verschachtelte Hierarchie von Rhythmen erstellen.

Well-formed Rhythms sind eine Obermenge der euklidischen Rhythmen. Sie umfassen zum Beispiel auch Rhythmen ohne regelmäßigen Puls.“

Well-formed rhythms

Quellen:

Hischemöller, Wouter. „Wouter Hisschemöller Music Pattern Generator v2.1“. Zugegriffen 15. Dezember 2021. https://www.hisschemoller.com/blog/2019/music-pattern-generator-v2-1/.

Hisschemöller, Wouter. „Music Pattern Generator“. Zugegriffen 15. Dezember 2021. https://www.hisschemoller.com/mpg/.

Hisschemöller, Wouter. Music Pattern Generator. JavaScript, 2021. https://github.com/hisschemoller/music-pattern-generator.

Milne, Andy. „XronoMorph: Loop generator“. dynamic tonality, o. J. https://www.dynamictonality.com/xronomorph.htm.

Milne, Andrew, Steffen Herff, David Bulger, William Sethares, und Roger Dean. „XronoMorph: Algorithmic generation of perfectly balanced and well-formed rhythms“, 2016. https://www.researchgate.net/publication/302345911_XronoMorph_Algorithmic_generation_of_perfectly_balanced_and_well-formed_rhythms.

by Isabel Witting -

SOUNDS OF

Sounds of ist ein Format in dem verschiedenste Künstler*innen, Foley Sounds an besonderen Plätzen sammeln und danach ins Studio gehen und daraus einen neuen Song machen.

Sounds of Trailer

Über Sounds of:

Ursprünglich ist das Format von Fynn Kliemann und dem Kliemannsland initiiert und auch moderiert worden. Die ersten Videos wurden noch im alten Studio des Kliemannsland aufgenommen. Mittlerweile wird das Format von Nisse Ingwersen moderiert und gehört zu Funk dem Content-Netzwerk der öffentlich rechtlichen Sender ARD und ZDF, wird jedoch immer noch vom Kliemannsland produziert.

Die Folgen laufen immer so ab, dass die Künstler*innen an einen von ihnen ausgewählten, besonderen Ort gehen und dort die Atmosphäre mittels Recorder als Foley Sounds aufnehmen. Danach bekommt man einen Einblick in die Produktion der neuen Songs und kann auch persönlichen Geschichten lauschen. Die Zuschauer bekommen auch immer wieder Tipps für eigene Produktionen.

Community:

Das tolle an dem Format ist, dass man sich auch als Zuschauer alle Sounds downloaden kann. So bekommt man zum Beispiel aus der Folge mit Severin Kantereit einzigartige Aufnahmen aus Äthiopien.

Die Zuschauer werden selbst dazu aufgefordert, nur mit den Sounds aus den Folgen neue Tracks zu produzieren. Diese können an das Kliemannsland geschickt werden und werden dann auf der SoundCloud Playlist veröffentlicht.

Sounds of Äthiopien

In einer Folge, war Nisse mit Deichkind sogar in der Hamburger Elbphilharmonie:

Sounds of Elbphilharmonie Hamburg

Quellen:

Funk. „soundsof“. funk. Zugegriffen 8. Januar 2022. https://www.funk.net/channel/soundsof-12144.

Kliemannsland GmbH. „Sounds of“. kliemannsland. Zugegriffen 8. Januar 2022. https://www.kliemannsland.de/blogs/soundsof?page=3.

soundsof. „soundsof – YouTube“. Zugegriffen 8. Januar 2022. https://www.youtube.com/.

by Isabel Witting -

EUKLIDISCHER RHYTHMUS – Part I – Theorie

Der euklidische Rhythmus bzw. Algorithmus gehört zu den Polyrhythmen. Er basiert auf einem Konzept des Mathematikers Euklid von Alexandria. Prinzipiell geht es dabei darum, den größten gemeinsamen Teiler zu finden. Hierzu gleich ein Klangbeispiel: 

Wouter Hisschemöller – Music Pattern Generator v2.1

Kurze Geschichte:

Schon vor 2300 Jahren hat der Mathematiker Euklid von Alexandria sein wichtigstes Werk „Elemente“ verfasst. In diesem beschreibt er auch das Konzept zur Findung des größten gemeinsamen Teilers zweier Zahlen. Dieses Konzept ist als Euklidischer Algorithmus bekannt.

Rhythmik und Mathematik:

Er ist im Jahr 2004 entdeckte der kanadische Informatiker Godfried T. Toussaint die Beziehung zwischen dem Euklidischen Algorithmus und Rhythmen in der Musik. Mit diesem lassen sich viele bekannte Rhythmen zum Beispiel aus dem Rock’n’Roll, der afrikanischen und der südamerikanischen Musik berechnen.

Was ist ein ‚guter‘ Rhythmus? Ein Algorithmus, der die Schläge in einem bestimmten Zeitintervall so gleichmäßig wie möglich verteilt.

Das interessante an euklidischen Rhythmen ist, dass es nicht ewig gleichbleibende Rhythmen sind, sondern abwechslungsreiche und so auch spannendere für die Zuhörer. Er bietet eine gute Balance zwischen eintönig und zu komplex und verteilt alle Schläge gleichmäßig.

Wie funktioniert der Euklidische Rhythmus?

Gegeben sind immer zwei Zahlen, z.b. 13 und 5. Dann wird immer die kleinere von er größeren Zahl abgezogen, bis kein Rest mehr bleibt.

Tipp: Der Euklidische Algorithmus funktioniert besonders gut, wenn man Primzahlen benutzt.

Für den Eukldischen Rhythmus ist sozusagen der Weg das Ziel. Aus den Zahlen können wir die Schläge (geschrieben als 1) und die Pausen (geschrieben als 0) herauslesen. Das funktioniert so:

13 – 5 = 8  [1 1 1 1 1]  [0 0 0 0 0 0 0 0]

8 – 5 = 3  [1 0]  [1 0]  [1 0]  [1 0]  [1 0]  [0 0 0] 5 Nullen werden nach vorne hinter die 1en gestellt, 3 bleiben hinten stehen

5 – 3 = 2  [1 0 0]  [1 0 0]  [1 0 0]  [1 0]  [1 0] 3 Nullen werden nach vorne hinter die 10 Sequenzen gesetzt

3 – 2 = 1  [1 0 0 1 0]  [1 0 0 1 0]  [1 00] 2x 10 Frequenz wird nach vorne hinter die 100 Frequenzen gesetzt. Nun haben wir den fertigen Ryhthmus

2 – 1 = 1 Da ein Rhythmus zyklisch ist würde es ab hier keinen Sinn mehr machen, nach vorne zu verschieben

1 – 1 = 0

Zum einfacheren Verständnis kann man auf dieser Seite visuell sehen und ausprobieren, wie die Schläge und Pausen verteilt werden: https://dbkaplun.github.io/euclidean-rhythm/

Zudem gibt es hier eine Liste mit Zahlenkombinationen und ihrem Rhythmusmuster: http://www.iniitu.net/Euclidian_Erd%C3%B6s_Deep_Aksak_rhythms.html

Abschließend noch zwei Beispiele zum reinhören:

Quellen:

Ableton AG. „Don’t DJ über polymetrische, polyrhythmische, zirkuläre Musik | Ableton“. Zugegriffen 15. Dezember 2021. https://www.ableton.com/de/blog/dont-dj-moving-in-circles/.

bettermarks. „Euklid von Alexandria“. Zugegriffen 15. Dezember 2021. https://de.bettermarks.com/mathe/euklid-von-alexandria/.

Toussaint, Godfried. „The Euclidean algorithm generates traditional musical rhythms“. In In Proceedings of BRIDGES: Mathematical Connections in Art, Music and Science, 47–56, 2005. https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.72.1340&rep=rep1&type=pdf.

W., Bernd. „Euklidische Rhythmen – Ist die Mathematik ein guter Percussionist?“ Tropone Sounds (blog), 18. Oktober 2018. http://tropone.de/2018/10/18/euklidische-rhythmen-ist-die-mathematik-ein-guter-percussionist/.

by Esma Kurbegovic -

The effect of an artificial sonic ambiance in office buildings

Have you ever thought about the sounds inside office spaces in different buildings? Hows does a concrete space feel in comparison to a glass and wood one? What if the sounds you heard were actually not generated by the space itself?

I’m on the 20th floor of an office building on Wall Street. One of the offices inside is equipped with about a dozen speakers, some sitting on plinths, others mounted on the ceiling. Aric Marshall, of audio software company Spatial, is leading a demonstration of a new soundscape designed for the workplace. Holding his phone, he says “Just listen,” and touches the screen. I ready myself to hear the soundscape come out through the speakers, but just the opposite happens. The sound I hadn’t processed turns off, plunging the room in a cold, uncomfortable, almost metallic silence. Without me realizing it, a soundscape had been playing all along—in this case, a muted, almost imperceptible pitter-patter of rain falling on the roof of a wooden cabin—coating the concrete office with a sort of soft, sonic balm.

Nowadays, our senses are bombarded from every side. Companies are competing for our attention any way they can, and now lots of them have started using sound as a marketing strategy. Companies like Ambercrombie and Fitch and Mastercard started using their own signature soundscapes in stores in order to stick in consumers’ minds.

The article author goes on: “This week, I experienced what an office could sound like if someone intentionally designed it that way. Here, that someone is in fact two companies: sonic-branding studio Made Music Studio and Spatial, an immersive audio-software platform. As companies continue with their quest to lure tenants back into the office, both are betting that bespoke soundscapes can provide a resounding advantage.”

Made Music studio has been experimenting with implementing different soundscapes in companies that invoke an emotional response and increase the immersion for customers. Imagine how it would be to walk into a hotel where you have “welcoming ambience,” “focusing ambience” and “energising ambience`.

Resources

https://www.spatialinc.com/news/fast-company-i-got-to-hear-what-an-office-can-sound-like-with-the-help-of-sonic-ambiance

by Esma Kurbegovic -

GameJam – Impressions

The Serious Game Jam was the first event of its kind that I attended. It opened a whole new world for me, making me more excited about all the possibilities of this competition format. I wanted to talk about my experience during the event and put in some final thoughs. At the beginning the energy was both good and bad- we were excited but also stressed/worried about being on time with the deadline. 3 people gave up from Friday night to Saturday morning, so it was only the 3 of us working and we knew we had to seriously step it up in order to be able to finish. Impressively enough, all 3 of us were crazy productive and even managed to sleep enough! We were impressed with each other’s skills and the outcome of this GameJam is that we will most probably be working together on future projects. In the end, we managed to score the best sound design award. I went in with no expectations and came out of the event positively surprised. If it hadn’t been for the Game Jam, I wouldn’t have discovered a conference called Game Development Session. This event enabled “blind speed dating” with companies and it resulted in one very interested future employer in a great company.


Game Tile: Confusion Quest

Premise

This is a logic puzzle game that is supposed to illustrate how it feels to have ADHD. Even the smallest everyday task can seem like an epic medieval quest when a person with ADHD is having a bad mental health day. This is why we decided to go with a medieval aesthetic for the art/design.

Team

FH | Esma Kurbegovic | Character, Animation, Sound 

bibibi | Bibi (Artwork, level design, mechanics)

grizeldi | Luka (Development)

Presentation: https://docs.google.com/presentation/d/1BE4n3kT-cCeYDADyyrwmSB5jF6dVyemub62Gzr27DPc

Game Link: https://grizeldi.itch.io/gaming-gets-serious

Gameplay Video:   

by Esma Kurbegovic -

Disney’s Imagineering – Sound

Disney is very well-known for the immersive experiences they are able to offer in their parks. Every little aspect has to tie in with the rest in order to form one amazing whole that is Disneyland/Disneyworld. Since I am a sound designer, I was interested in how do the Imagineers approach the problem of sound design specifically. It turns out that the parks offer a lot of unique challenges, as well as opportunities. There is a whole team of people working on the sound alone. A few music researchers look up different music online, determine the mood of each park attraction and come up with a bunch of ideas and a mood-board that is then given to the sound lead to create a piece. The pieces are made used different online music resources, as well as Disney’s own sound libraries and new sounds created specifically for the parks. In order to sonify the whole park, a lot of big and small speakers are hidden everywhere around the park. They all play at different times and volumes in order to simulate different effects. It is also very important to think about the difference between times of day within a sound composition. The style of the sound piece must perfectly match the theme of each park attraction. There are also different styles of speakers, from very directional, to ones that are more wide. There are also tons of materials with different levels of absorption around the park. The sound has to attract visitors to explore sections that appeal to them. The environment has to feel like a whole different realm. The sounds include anything from dinosaur roars, birds, fictional monsters, cicadas, wind, water, rainforest, and many, many others. As one approached to each ride, the sounds become less and less audible. Then a more robotic sound design is used to put focus on the rides themselves. As rides progress and take you into the centre of the action, all the incredible sounds come gushing back, hitting the visitors in. the face and leaving them in awe. The following video showcases all these principles and goes in depth on the topics i mentioned in this article:

by Isabel Witting -

Master Thesis Evaluierung – Chancen und Herausforderungen der binauralen Audiotechnik für auditive Medien. Eine technische und gestalterische Perspektive.

Autor: Bastian Kilper

Veröffentlichung: 30.10.2020

Universität: Hochschule der Medien Stuttgart

Studiengang: Audiovisuelle Medien

Titel: Chancen und Herausforderungen der binauralen Audiotechnik für auditive Medien. – Eine technische und gestalterische Perspektive

Prüfer: Prof. Dr Frank Melchior, Prof. Oliver Curdt

Die besprochene Masterarbeit „Chancen und Herausforderungen der binauralen Audiotechnik für auditive Medien. Eine technische und gestalterische Perspektive“ wurde von Bastian Kilper verfasst und an der Hochschule der Medien Stuttgart am 30.10.2020 veröffentlicht. Die Arbeit beschäftigt sich mit der Fragestellung, wie binaurales Audio aktuell (zum Zeitpunkt der Verfassung) in den Einsatz kommt, sowie damit, warum binaurale Produktionen noch nicht weiterverbreitet sind und welche Möglichkeiten es diesbezüglich für die Zukunft gibt.

Das Ziel der Arbeit ist es zum einen die Herausforderungen einer Binaural Mischung im Vergleich zu einer Stereomischung aufzuzeigen, zum anderen soll der Mehrwert von binauralem Audio aufgezeigt werden, sowie hinterfragt werden, in welchen Bereichen dies wirklich zu einer Aufwertung führt.

Gestaltungshöhe

Die Gestaltung der Arbeit ist im visuellen Sinne leider nicht vorhanden, es wurde ein Standard-Format gewählt, welches meist bei technischeren Themengebieten zum Einsatz kommt.

Innovationsgrad

Im Hinblick auf die Ergebnisse der Arbeit, ist der Innovationsgrad meiner Meinung nach nicht riesig. Durch die Untersuchungen entstand eher eine Darlegung der bereits vorhandenen gestalterischen Möglichkeiten (was ja auch Ziel der Arbeit war), allerdings wurden keine neuen Methoden entwickelt. Es wird aber eine gute Vorlage geboten, mit den resultierenden Ergebnissen, selbst weiterzuarbeiten und daraus neue Methodiken zu entwickeln.

Selbstständigkeit

Da es sich um eine reine Theoriearbeit handelt, ist (soweit erkennbar) die selbstständige Erarbeitung der Ergebnisse, mittels Recherche, gegeben.

Gliederung und Struktur

Die Arbeit ist in sieben Kapitel unterteilt. Neben der Einleitung und dem Fazit gibt es fünf große Themengebiete: Psychoakustik, Binauraltechnik, Binauralsynthese, Binaurale Inhalte und Konsum binauraler Inhalte. Diese bauen gut aufeinander auf und die Übergänge in die nächsten Kapitel sind gut durchdacht. Im Kapitel 1 Einleitung, wird eine grobe Übersicht über die einzelnen Kapitel und deren Inhalte gegeben. Dies fand ich sehr hilfreich für die Orientierung in der Arbeit.

Kommunikationsgrad

Der Autor kommuniziert über die ganze Arbeit hinweg stehts, um was es in den gewissen Teilbereichen der Arbeit gehen soll und führt somit gut durch die Arbeit. Man bekommt das Gefühl, das man schnell eine gute Übersicht über die Arbeit hat.

Umfang der Arbeit

Die Arbeit versucht alle relevanten Themen miteinzubeziehen, so ist der Umfang diesbezüglich recht groß. Allerdings werden dadurch einige Themen nur kurz angeschnitten, welche eventuell noch mehr Aufmerksamkeit benötigt hätten.

Orthografie, sowie Sorgfalt und Genauigkeit

Die Arbeit macht den Eindruck, dass Wert daraufgelegt wurde, alles sorgfältig zu gliedern und abzuarbeiten. Auch in Hinblick auf Rechtschreibung/Grammatik lassen sich so gut wie keine Fehler finden. Es wird zum Beispiel auch beschrieben, dass die zitierten Publikationen peer-reviewed wurden.

Literatur

Der Autor verwendet eine Vielzahl an Quellen, etwa 130-150. Wobei ca. 3/4 Internetquellen und ca. 1/4 Buchquellen sind. Im Hinblick auf die hohe Anzahl der Quellen, ist diese Gewichtung meiner Meinung nach in Ordnung. Es wurde je nach Themengebiet, aktuelle, als auch ältere Literatur verwendet. Es scheint im Allgemeinen so, dass der Verfasser eine umfassende Recherche betrieben hat, mehrere Meinungen eingeholt und diese verglichen hat.

Quelle: https://curdt.home.hdm-stuttgart.de/PDF/Kilper_Masterthesis.pdf

by Esma Kurbegovic -

Dance Music Culture Pt. 3 – Mental Wellbeing Issues

In 2018 one event shook the electronic music scene- Avicii had committed suicide, shortly after his close friends reported how happy and inspired he seemed. He retired from playing shows and instead of getting better, it looks like he got worse. The event was quite a shock, but it lead to numerous other electronic musicians to take a break from music and focus on their mental health. Last year Eric Morillo (49) and i_o (30, one of my personal favourites) both committed suicide, along with countless others- the list is too long. What is behind these events? The trend is worrying and uncovers a dangerous truth hidden behind the DJ desks…

Mental health has always been a big issue in the music scene, especially after the rise of popularity in drugs. This is especially prevalent in the electronic/dance scene. The deadliest part of the whole story is the lack of sleep. DJs can sometimes play daily shows up to months at a time, leading to dangerous lack of sleep. They take drugs and drink alcohol in order to keep u with the crowd and also stop themselves from crashing. This is a vicious cycle that leads to many dying and those who survive experience total mental depletion. Burnout, depression and anxiety creep up onto touring DJs, especially on comedown from drugs, and this gets worse and worse with prolonged chemical abuse. On top of that, people in the industry do not seem to have proper support from experts, or refuse to listen until it’s too late.

A big problem in the music industry is that it is heavily populated with 2 high-risk groups- young, inexperienced people and people with previous mental health issues. Living such a high-paced life filled with dangerous temptations will quickly exaggerate mental disorders and on the other side overwhelm the young and developing mind, breeding many insecurities and mental struggles.

Having a public life is a very hard thing to deal with. The most notable example of this is Britney Spears’ breakdown. Though she is a pop star and not an electronic musician, this is quite relevant to this article, as Britney is a musician under heavy public scrutiny. She is a prime example how badly negative press can impact someone’s mental health. On top of that, she is still being controlled by her family and management to an extent. DJs are also heavily directed by their management and this often leads to them feeling powerless, even miserable.

i_o once mentioned in his Tweets how during the times of the pandemic, we can truly see how many people care for us. Those who do will check in on us daily and offer help in any form they can. Unfortunately, one of his last posts on instagram, with a caption “do u ever question ur life” wasn’t taken as a warning sign that he needs checking up on.

This documentary gives an insight behind the scenes and showcases interviews with iconic DJs, like Carl Cox, Pete Tong, Eric Morillo, Seth Troxler, Luciano and other, giving us an insight in how they feel being part of the business:

This second documentary is about the world’s “craziest” DJ, Fat Tony, who claims he had spent over a million pounds on drugs, during his 28 years of using. He clearly shows us how much problems drugs cause to DJs and multiply their mental health struggles:

This article is a reminder to frequently check on your loved ones and make action, don’t just leave them with a few empty words.

by Esma Kurbegovic -

Turn any Sound Into an instrument With AI!

Using our voice or even any other random sound as an instrument is not really a new thing. Music producers often make synths by sampling their own voice, which is a fun approach to sound design. Moreover, beatboxers are capable of creating quite realistic drum sounds with their voice. But, have you ever wondered if it is possible to turn any sound into an actual instrument- like a trumpet, violin or such? Well, now you can!

Two teams within Google Research- Magenta and AIUX collaborated on creating Tone Transfer, which took over a year to develop. This little software allows you to transform everyday sounds into instruments, like the trumpet, violin or flute. The way the algorithm works is by transferring the formants of the selected instrument onto the sound recording that is fed into the software. The results vary, but are sometimes very accurate. However, even if they give a weird result, most of the time the newly synthesised sounds are quite cool for integration into electronic music.

The project is based on Magenta’s Differentiable Digital Signal Processing  (DDSP) technology. AIUX helped make it user-friendly, so that it can be used by a wider audience, not just experienced developers. Their current online web app has a limited array of 4 instruments, with the possibility to upload your own and train the algorithm yourself. The algorithm was trained with 10-minute long samples for each of the instruments that are currently available.

There is still a long way to go and the research teams state that this is just the beginning of their plans. Tone transfer is not perfect yet, as it struggles with volume/dynamics of samples it is fed with. It also cannot superimpose attenuations of each specific instrument on the input sound, so it may not always sound realistic. The trumpet sounds the best with vocals. I presume it is because pushing out air into trumpets and while signing produce similar dynamics and volume changes.

This project is a great example of how useful machine learning can be in a multitude of situations. Software like the Tone Transfer could open up possibilities of unique live performances with generated instrument sounds that cannot be achieved with traditional instruments. Below you can watch a demonstration of how this software looks and works:

Sources:

https://www.inputmag.com/culture/google-tone-transfer-turns-every-noise-into-an-instrument

https://magenta.tensorflow.org/tone-transfer