Permanent exhibition : the brain , intelligence, consciousness, emotion
I was particularly impressed by this exhibition. The space is really big and allow you to explore freely like you enter a curiosity cabinet. Each area of the exhibition focus on a topic related to the brain. This exhibition deals with everything related to brain. Visitors can explore the organ through all perspectives : anatomy, personality, learning, perception, consciousness and sleep. There are several hands-on exhibits where visitors can try games and play with their memory.
Entrance of the permanent exhibition
On the opposite of the first BPE we described in the COSA center, I found the graphics in this museum much more comprehensible and visible as you can see in the picture below :
Graphics used to show some history around the brain and big thinkers
When entering the exhibition I was surprised to see this little robot in the middle of the path. Its aim is to guide the visitor through the exhibition. It can talk and guide you through the stations while providing explainations. A lot of childs were playing with it. I find the idea interesting since of the coronavirus situation it allows you to have explaination without any guide. I was impressed that it attracted so much childs either.
Pictures of the KIM AI robot
This picture shows the setup of the EEG sampling (electro- encephalography). This is something that could be complex to explain, but that is quite easy to show. It work by placing electrodes on the head and the inputs are recolted and processed by a computer.
Picture of the EEG setup
The exhibition uses a lot of tactile devices as this one. On this screen, you can learn about anatomy and functions of the brain by simply clicking on the area where you want to have information about. The brain is represented in 3D and you can look at it through different angles.
The next part deals with the topic of drugs and intoxication. I really liked how it was depict and the little windows which allow you to see how it looks like. Since those products are usually prohibben it’s not easy to see how they look. I found the pictures on the wall really clear.
Graphics showing the effect of drugs on your body
This part of the museum was more showing than hands-on, but we can find a lot of hands-on experiments in the science center part. The success of this first exhibition for me resides in the clear graphics, and 3D representations of complex topics around neuroscience, which help to understand it without too much difficulty.
Hands-on experiments in the Science Center
This science center is really focus on children hands-on approaches experiments. It presents the themas : energy and lifting, acoustics and music, physics and technology, body and fitness. Every setup and activity is really simple to allow young children to interact with.
Energy and Lifting
On the bottom floor of the Science Center, everything revolves around the theme of energy and lifting. Hands-on experiments make it easier to understand the law of the lever, hydraulic lift and power transmission and the generation of electricty from water power and solar energy.
The question that must rise into everyone’s mind are : How do turbines work? How can we produce electricity from generators? Different solar energy experiments offer insight into the technology of photovoltaics. And the water experiment area invites us to get our hands wet, raise and dam water, and discover the incredible power that lies hidden in water.
Acoustics and Music
The first floor of the Science Center is devoted to the phenomena of acoustics. From the wave nature of sound to the exploration sounds and noises and the transfer of sound to the human ear, here visitors can explore everything relating to the theme of sound.
A special highlight is the “Feel Mozart” area: with a violin you can actually walk on, the vibrations of music can be not only heard, but also felt.
In the Target Singing area, you can check if you’ve hit all the right notes. And finally, in the screaming cabin you can test out the volume of your own voice.
One of the devices visible in the center. You can click and play any song and see the frequency/recording waves
Physics and Technology
The second floor of the Science Center offers a myriad of experiments in physics, technology, and mathematics. Simple experiments provide confirmation of great natural laws: build a bridge and then test it out right away, launch a rocket using compressed air, make a ball float as if by magic, feel the aerodynamic lift with your own body. . . here you’ll learn what forces are capable of doing!
Questions come up and are answered by doing experiments. How do the fastest and slowest gears work? Why is fine powder used for cement and coffee? Nothing compares to experiencing it for yourself!
Body and Fitness
Also on the second floor, a large area of the Science Center is devoted to the dexterity, movement, and health of the human body. Our own body is the focus here with simple experiments and athletic contests.
Those devices help to get the concept of forces and physical activity. What a better way to understand how it works than trying it ? By looking at the skeleton behind the glass, you can see which parts of your body are activated when you are practicing a physical activity.Physical device showing the process of teeth cleaning
Conclusion :
These two examples highlight the importance of good graphics and the of haptics in science centers. Good graphics help to categorize sometimes complex information and have the “big picture” around a subject, while haptic supports, whether highly technological or not, help to apprehend concepts, test them to understand them, and facilitate memorization.
In the next article I will try to answer to the question around the learning strategies :
Which strategies are the best for public implication and a better learning ?
How to create funny but educational experiences ?
Why is multisense particularly interesting for exhibition design and learning ?
The choice of color is a powerful practice, if we want to evoke specific emotions. Colors are rich in symbolic and cultural meanings and the expectations and emotions created by colors highly affect consumers experiences and therefore choices.
In addition to cultural specific meanings, color can also trigger responses that deeply come from our human psyche—color creates a sensory impression that reflects mood and emotion. Such as the experience of color climates can differ from clean and bright to muted and dark. The experience of color can be described as a combination of cultural context, narrative context and psychological effects. [1]
Psychological Effect Example: Wine Tasting In a wine tasting study, participants used to describe the aromas of white wine by referring to pale or yellowish objects—lemon, grapefruit, melon, butter, pear… But, if the exactly same wine was colored red, participants described it mostly with terms referring to dark or red objects—hickory, cherry, tobacco, musk… [2] This example perfectly states, how color can directly manipulate our perception.
Cultural Context Example: Red [3] Western Fairy Tales: Love, Sexual, Maturity; Greek Mythology: Mars, God of War; China and Japan: Love, Luck, Happiness; Shinto Religion: Life; Revolutionary Russia: Socialist State; United States: Republican Party; China, India, Nepal: Bridal Wear; National Flags: Blood; Germany, Poland, Russia: Fear, Jealousy; Korea: Love, Adventure, Good Taste; Worldwide Connotations: Fire, Coca Cola, Stop—do not enter (ISO Standards)
Colors can affect us regardless of their cultural connotations—however, if we want to design cultural universal we have to keep in mind that different colors can evoke different connotations/emotions and cultural background is one factor to consider.
The color of Joy
Due to this graphic, the color of joy, could be described as yellow [4]
The color of Happiness
However, the connotation of the feeling of happiness in regard to colors slightly differs between different cultural backgrounds. Western/American: Yellow; Hindu: Green; Asian/Chinese: Red; Native American: White
Even if color has different cultural meaning, scientific research suggests that in the absence of other cues, many responses are universal or widely shared amongst people.
As example: Orange, yellow and red make us feel alive and alert. Blue calms us down—this reactions may be rooted in our species quest for survive (this knowledge in turn connects to our joyful experience of rural landscapes—landscapes that where livable and therefore crucial environments for our survival). Also, we instinctively experience yellow as a happy or joyful color, because it is the color of sunshine and waking life. Whereas blue is connected with peacefulness and rest. [5]
Color Palettes
In a study where music, color and emotions where linked, researches provided different color palettes for the participants. The participants had to link whole palletes of color hues to different emotions and passages of music. The findings: Participants tended to link happy music and upbeat emotions with lighter, brighter, warmer colors, while linking sadder music and lower emotions with duller, darker, cooler tones. [6]
Sources:
[1] Lupton, Ellen: Design is Storytelling. New York: Cooper Hewitt 2017, p. 104
[2] Lupton, Ellen: Design is Storytelling. New York: Cooper Hewitt 2017, p. 151
[3] Finlay, Victoria: Color: A Natural History of the Palette. New York: Random House 2002
Apple hat 2019 in seinen Apple stores zu AR- Workshops eingeladen. Dabei konnte mithilfe der Programmiersprache Swift Playgrounds die Grundlagen für eigene AR-Anwendungen erlernt werden.
Auf sogenannten AR Safaris konnten Teilnehmer auf Touren durch Städte wie New York und London, Werke führender New Yorker Künstler bestaunen. Darunter Nick Cave, Nathalie Djurberg und Hans Berg, Cao Fei, John Giorno, Carsten Höller und Pipilotti Rist.
Nick Cave, for APPLE [AR]T WalkPipilotti Rist, for APPLE [AR]T WalkNick Cave, for APPLE
Nick Cave’s “Amass”
Dieses AR Kunstwerk kann direkt im Apple Store bestaunt werden. Die Apple Store App bietet den sogenannten AR Viewer an der sich öffnet sobald man sich in deren Netzwerk befindet.
Nick Caves Installation lassen dich 5 verschieden metallische Objekte entdecken die im Store versteckt sind. Basierend auf AR Kit startet die AR Erfahrung ohne flache Oberflächen tracken oder scannen zu müssen. Eine simple Kamerafunktion lässt Screenshots machen und 5 Punkte visualisieren die bereits gefundenen Objekte.
Nick Cave, for APPLE
Zusätzlich zu den metallischen Objekte die an Kaleidoskopen erinnern, schwirren unzählige andere 3D Objekte herum. Soundeffekte beim einsammeln erweitern das Erlebnis. Deshalb ist es ratsam Kopfhörer zu verwenden. Wenn alle Objekte gefunden wurden lässt sich eine Animation mit diesen starten.
Das einzige Manko ist, dass man sein eigenes Iphone braucht, da Ipads oder Iphones aus dem Applestore, dies nicht unterstützen.
Videotiefenberechnung für AR
Der Bereich der 3D Szenenrekontruktion aus Bildsequenezen wird schon seit Jahren erforscht. Die Weiterentwicklung von neuralen Netzwerken und Algorithmen lassen neue lernbasierte Techniken zu, die immer genauere Tiefenbilder berechnen, um beispielsweise realistische 3D Effekte in den Bereichen AR, VR oder in der Vfx umzusetzen.
Graphic Recording is an american invention from the 70s. It is used at congresses, meetings, conventions, workshops and seminars to visually document the most important talking points and findings. It is done live at the event. The person recording is mostly using a big piece of paper and markers. Sometimes they can alternatively use a digital device that is streamed on a screen. Graphic recording has to be clear and conclusive, but can also be humorous.
This visualization technique is supposed to summarize long, complicated or boring talks as well as lectures and captures the most important information visually. This is done by using keywords, metaphors and pictures. It also includes the audience in the creative process and thus amplifies concentration and motivation. Another important factor of graphic recording is that our brain loves visual information and tends to remember it easier. It also has a more long lasting effect on us, because we think about an event longer than we normally would if we have a visual connection in our mind.
In this article we are going to talk about curiosity, this faculty that allows us to be interested in the environment that surrounds us and that could prove to be a key element in our way of apprehending the latter and thus in the understanding of clumsy interactions.
What is curiosity?
Curiosity is described as a “tendency to learn, to know new and hidden things” by the Robert dictionary. It is a faculty that we exercise in different ways and that can be stimulated, these are its first characteristics that we are going to study.
First of all, we can establish that curiosity is an innate quality that we all possess and have had since birth. Indeed when we are babies it is this faculty that makes us want to experiment and interact with the objects that surround us through our touch and our taste. When we observe a baby with a toy he is most of the time testing it either by shaking it or by putting it in his mouth, by doing this he explores the object. This phase of experimentation and study of the object, the actions it can perform with it and its effects are called “the stage of active experimentation” by Jean Piaget. It is very important to understand that curiosity is an innate faculty that develops over time and that depending on the context we will not all have the same level of curiosity. One of the key elements in its development comes from the presence or not of a “secure base”, it is its presence that will, for example, reassure a child and give him the confidence to go exploring. During childhood, this secure base often corresponds to the parents, if they are not there the child will not try to venture into a new environment because he will consider it potentially dangerous. The relationship with our parents can also influence the development of curiosity, if this secure base is not stable then the child will be only slightly curious. We can also note that this secure base evolves over time and can become a group of friends, a spouse, co-workers, etc …
The second source of the development of curiosity will have an important role in awkward interactions, it is the result of interactions with the environment. Through the environment, curiosity is awakened and reinforced in the child through positive emotions that follow successes in his explorations. Indeed, when a child begins to interact with what surrounds him, he discovers that among the multiple interactions he experiences, some generate positive sensations and emotions. For example, by putting a pacifier in his mouth he will realize that this contact generates a sensation of pleasure, he will want to find or reproduce this sensation by bringing other objects to his lips. As Jean Piaget has shown, we can only evolve thanks to and through exchanges with our environment. If curiosity is essential to the discovery of our environment, the latter is essential to the development of our capacities. Let’s take the example of language, we are pre-programmed to develop it yet without an environment requiring communication it is tough to acquire it.
Let us recall the important elements of the development of curiosity:
the secure base gives the human being confidence to explore his environment for the first time.
Interactions with the environment are a source of emotions, when the emotion generated is positive it makes one want to start again.
What is the place of curiosity in the awkward interactions of everyday life?
We have seen that curiosity is both an innate and learned capacity, we have explained its development in childhood but what about its place in our adult life and in our daily life. We will therefore study this curiosity in our daily life through 2 aspects, the first corresponds to the appearance of a novelty, and the second to a habit.
Facing something new
In our lives, we have all the time the opportunity to experience new things, new activities, to use new objects. Curiosity is a key element that allows us to progress, invent and innovate. However, when we are faced with something new, the behavior we adopt is not always that of someone who is curious. On the contrary, we can be rather refractory for various reasons. The first one is due to our brain which likes to save itself and therefore does not necessarily appreciate the novelty that will require it to use cognitive resources for understanding. For example, I will persuade myself to buy the same model of the coffee maker because the others are full of new functions that will be useless to me, but the real reason is that I don’t want to waste energy learning how to use a new coffee maker. The second is negative anticipation of what might happen, in which case we prefer not to change anything for fear that this novelty might trigger negative emotions or sensations. This negative anticipation blocks curiosity. For example, a new printer has just arrived in our company, we have received like all the other employees its instructions and have read them. If we anticipate a bad manipulation on our part when we first use this printer, we can remain blocked until one of our colleagues has shown us how to do so. We see here that negative anticipation abolishes all confidence, we anticipate a clumsy interaction that does not yet exist.
Curiosity in our daily life
In our everyday life we use a lot of objects but why? Primitive man developed an “interested” curiosity, his objective was to acquire a knowledge of the environment sufficiently important to be able to use it afterward by bending it to his requirements. That’s how objects were born and since then we have been progressing year after year to create more and more sophisticated ones. This curiosity that pushes us to invent allows us to feel a feeling of pleasure when we manage to build the object and then to make it work. It is this same pleasure, this same pride that we feel when we find an answer to a question or a problem. We have learned through curiosity to create and master new objects, but nowadays, with the number of objects that populate our lives, we do not necessarily feel this pleasure towards all the objects we possess. Here is an example, my parents have a washing machine, my mother learned to use it quite quickly while my father has not developed any interest in it. Today, he doesn’t master it and systematically asks my mother which button he has to press to start the washing machine. As he has no feeling of satisfaction when he interacts with this washing machine he has no curiosity about how it works, unlike my mother who, when she turns on a machine, feels satisfaction in mocking a line on her to-do list. That’s how we all work, we don’t master all the everyday objects by choice, but only what interests us. This is a clumsy interaction due to a lack of voluntary curiosity.
Conclusion
In this article, we have seen that our level of curiosity is related to the emotions generated by our interactions with our environment. It is interesting to deepen the link between emotion and object.
Definition, in progress
A Clumsy interaction doesn’t happen at the moment we use the object, it was there before and can come from the designer and his personal vision of the use of the object.
A Clumsy interaction can depend on the conception of an object and more specifically on the design of the experience related to this object when trying to manipulate it, activate it, make it work, and understand it.
A Clumsy interaction has several causes, one of which is mostly conceptual. When the origin of the awkward interaction is inappropriate and deliberate behavior, it is then a human error of the user.
A Clumsy interaction can be the result of a lack of curiosity.
Sources : Book: Les Pouvoirs de la curiosité, Flavia Mannocci, 2016 Article: Jean Piaget, Wikipedia
Videospiele sind ein interaktive Medien, die einen interaktiven bzw. adaptiven Soundtrack erfordern. Tatsächlich muss aber zwischen interaktiver und adaptiver Musik unterschieden werden. Diese werden zwar oft in einen Topf geworfen, aber sie sollten dennoch unterschieden werden, weil sie genau genommen zwei unterschiedliche Dinge meinen. Der Komponist Michael Sweet spricht von interaktiver Musik, wenn der Spieler mit spielerischen Handlungen direkt die Musik beeinflussen kann, wie beispielsweise in Spielen wie Guitar Hero [1]. Adaptive Musik hingegen umfasst Musik, bei welchen der Spieler eine indirekte Kontrolle über die Musik hat. Diese reagiert, statt auf Tastenbefehle und anderen Eingaben des Spielers, auf Faktoren der Spielwelt wie Tageszeit, Wetter, Grad der Bedrohung, Spannungsintensität usw. David Vink schreibt, dass Musik adaptiv ist, wenn sie sich an Umweltbedingungen im Spiel anpasst [2]. Interaktive Musik hingegen wird durch den Spieler direkt ausgelöst. In diesem Artikel beziehe ich mich auf Methoden der adaptiven Musikgestaltung.
Adaptive Soundtracks werden, wenn sie mit Filmsoundtracks verglichen werden, auch als nicht-lineare Soundtracks bezeichnet. Filmmusik hingegen ist linear, da die Abfolge auf einer linearen Zeitachse stattfindet. In Videospielen ist die Abfolge der Handlung abhängig davon, wie und wann ein Spieler Aktionen durchführt. Dementsprechend muss der Sound auch die Fähigkeit besitzen sich an die Aktionen des Spielers anzupassen. [3, 4]
Wieso soll ein Soundtrack adaptiv sein?
Adaptive Soundtracks sind also Musikstücke, die auf verschiedene Umstände im Spiel reagieren. Nun stellt sich die Frage, wieso sollte ein Soundtrack überhaupt adaptiv sein? David Vink spricht davon, dass adaptiver Sound eine größere Wirkung auf den Spieler hat und gleichzeitig als Kommunikationsmittel dient. Beispielsweise, kann der Wechsel zu einem sehr rhythmischen Stück symbolisieren, dass der Spieler sich in der Nähe eines Gegner befindet. Das Musikstück trägt in dem Fall die Information der Bedrohung durch einen Gegner.
Wieso ein adaptiver Soundtrack eine größere Wirkung auf den Spieler hat, hat mehrere Gründe:
In emotionalen Momenten ist die menschliche Wahrnehmung empfindlicher auf die Umgebung, zu welcher auch die auditive Ebene gehört. Wenn z.B. also im Spiel gerade ein intensivere Herausforderung vom Spieler gemeistert wurde, erwartet der Spieler einen Moment der Erleichterung. Da der Spieler in solchen Momenten besonders auf die klangliche und visuelle Umgebung achtet, muss die Musik auch als passend empfunden werden.
Als weiteren Grund nennt er die willentliche Aussetzung der Ungläubigkeit. Diese ist notwendig um fiktive Videospiele als glaubwürdig und logisch zu sehen bzw. zu akzeptieren. Ein Soundtrack, der für die Umstände im Spiel nicht passend wäre, würde die willentliche Aussetzung der Ungläubigkeit hindern und das Spiel unglaubwürdig wirken lassen. Ein Soundtrack der hingegen adaptiv ist und zu jeder Situation als passend empfunden wird, erhöht stattdessen die Glaubwürdigkeit der Spiels und wird als Teil der Spielwelt angenommen. [2]
Was als passend und glaubwürdig empfunden wird, ist abhängig von der Erwartungshaltung des Spielers, die sich wiederum aus subjektiven Präferenzen bildet [5]. Dazu kommt auch noch, dass der Grad der Immersion des Spiels eine Rolle spielt. Immersion bezeichnet in dem Fall die Involviertheit des Spielers in ein Spiel und die Ausblendung der realen Welt. Dieses Thema werde ich allerdings erst in einem meiner nächsten Blogposts behandeln, da es den Rahmen dieses Artikels sprengen würde.
Methoden zur Umsetzung adaptiver Soundtracks
In den letzten 20 Jahren haben sich einige Standardmethoden zur adaptiven Soundtrack-Gestaltung etabliert. Diese haben unterschiedliche Vor- und Nachteile und werden für verschiedene Funktionen genutzt. Die Umsetzung dieser Methoden geschieht in der Regel über Middleware-Software, wie FMOD oder Wwise. In vereinfachter Form kann sie aber auch direkt in der Spiel-Engine implementiert werden.
Die zwei Grundprinzipien, auf welchen adaptive Soundtracks basieren, heißen Horizontal Resequencing und Vertical Remixing. Zur Beschreibung dieser Methoden, beziehe ich mich auf die Ausführungen Micheal Sweets in seinem Buch “Writing Interactive Music for Video Games: A Composer’s Guide” und auf die Erläuterungen aus dem offiziellen Wwise-Zertifizierungskurs von Audiokinect. [6, 7, 8]
Horizontal Resequencing
Horizontal Resequencing beschreibt eine Methode, bei welchem die Musik von einer Sektion entweder zu einer anderen Sektion oder zurück zum Anfang (Looping) springt. Es ist auch möglich, dass das aktuell laufende Musikstück durch ein komplett anderes Musikstück ersetzt wird. Der Begriff „Horizontal“ beschreibt in dieser Methode den zeitlichen Ablauf einer Komposition, der traditionellerweise auf der horizontalen Achse notiert wird. Für diese Methode gibt es mehrere Möglichkeiten, wie Übergänge realisiert werden. Diese Möglichkeiten umfassen Crossfades, Transitional Scores und Branching Scores.
Abbildung 1: Cubase-Projekt mit mehreren Sektionen, die voneinander getrennt sind
Crossfading
Bei dieser Art von Übergängen wird der Pegel des aktuell laufenden Musikstücks verringert, während simultan der Pegel des nächsten Musikstücks erhöht wird. Vorteil hierbei ist, dass ein Crossfade jederzeit realisierbar ist und somit schnell auf das Spielgeschehen reagieren kann. Klanglich kann jedoch ein Crossfade in vielen Fällen nicht zufriedenstellend klingen, weil es an das Umschalten von Radiosendern erinnert und nicht sehr musikalisch wirkt.
Um den entgegenzuwirken können die Musikstücke im Tempo aneinander angepasst werden, sodass die Übergänge in sich stimmiger klingen. Bei dem Spiel Witcher 3 haben die Musikstücke, die potentiell oft abwechselnd hintereinander abgespielt werden, wie die Erkundungs- und die Kampfmusik, das selbe Tempo und die selbe Taktart. Zusätzlich ist der überwiegende Teil des Soundtracks in der Tonart D-Moll, was die Übergänge leichter gestaltet.
Transitional Scores
Dieser Übergang verbindet Sektionen oder Musikstücke mithilfe eines musikalischen Elements oder eines Soundeffekts. Bei einer guten Umsetzung eines solchen Übergangs können Musikstücke mit verschiedenen Tempi, Taktarten und Tonarten miteinander verbunden werden und dabei in einen musikalischen Kontext gesetzt werden. Für solche Übergänge eignen sich beispielsweise Crescendi, Glissandi oder auch Soundeffekte wie umgekehrt abgespielte Crashbecken, die aus der elektronischen Tanzmusik oder auch der Popmusik bekannt sind.
Branching Scores
Bei dieser Übergangsmethode gibt es keinen eigentlichen Übergang. Das laufende Musikstück wird vom nächsten Stück ohne einem Crossfade abrupt abgelöst. Damit der Übergang als fließend und passend wahrgenommen wird, geschieht der Wechsel des Musikstücks immer am Ende einer musikalischen Phrase. Bei längeren Phrasen kann das Problem auftreten, dass im Spiel bereits eine neue Handlung einsetzt, während noch die Musik der letzten Handlung läuft, weil die Phrase zu Ende gespielt werden muss. Für diese Methode eignen sich stattdessen kurze musikalische Phrasen, da sie schneller auf das Geschehen reagieren können. Diese Methode kann außerdem genutzt werden, um ein Musikstück in mehrere kleine Segmente aufzuteilen, die in zufälliger Reihenfolge abgespielt werden. Das umgeht die Monotonie, die entsteht, wenn ein Musikstück ständig wiederholt wird und sorgt für eine klangliche Abwechslung.
Vertical Remixing
Vertical Remixing basiert auf dem Prinzip des Layerings von Musikstücken. Dabei werden verschiedene Instrumentengruppen in verschiedene Layer aufgeteilt, die je nach Bedarf (Spannungsgrad, Bedrohungsgrad usw.) hinzugefügt werden können. Die Bezeichnung „Vertical“ ist damit begründet, dass Instrumentengruppen in einer Partitur oder in einer Digital Audio Workstation vertikal angeordnet werden. Im Gegensatz zum Horizontal Resequencing arbeitet Vertical Remixing nur mit einem Musikstück, das eine lineare Zeitachse hat. Das hat zur Folge, dass Tonart, Tempo, Taktart und Abfolge vorherbestimmt sind und bei jeder Wiederholung unverändert bleiben. Das sorgt einerseits für eine Kontinuität des Soundtracks, mit welcher die Immersion nicht gestört wird, gleichzeitig ist die Bandbreite an kompositorischen Möglichkeiten hinsichtlich der harmonischen und rhythmischen Abwechslung überschaubar. Grundsätzlich gibt es zwei Möglichkeiten, wie Layer implementiert werden: additiv und individuell kontrolliert.
Additive Layer
Beim additiven Layering wird durchgehend ein Grund-Layer abgespielt und, je nach Bedarf, werden weitere Layer hinzugefügt, sobald Trigger ausgelöst werden. Trigger sind bedingt durch Zustände der Charaktere oder der Spielwelt. Sie beschreiben häufig die Position und die Umgebung, in welcher sich der Charakter des Spielers befindet. Oft gibt es die sogenannte Exploration Music, die das Grund-Layer bildet und die musikalische Untermalung zur Erkundung der Spielwelt darstellt. Je nach Bedarf kommen weitere Layer hinzu. Im Spiel Fallout: New Vegas symbolisiert z.B. die Intensität, die durch das addieren von Layern erzeugt wird, die Nähe zur nächsten Stadt. Je näher der Spieler am Stadtzentrum ist, desto mehr Layer kommen hinzu. In Mass Effect 2 aktiviert das Beginnen eines Kampfes ein Layer bestehend aus Percussion-Instrumenten.
Individuell kontrollierte Layer
Bei dieser Art ist jeder Layer alleinstehend und hat jeweils einen eigenen Trigger. Damit lassen sich verschiedene Situationen im Spiel musikalisch abbilden, die nicht, wie beim additiven Layering aufeinander aufbauen, sondern sich auch gegenseitig ablösen können. Außerdem gibt es auch keinen Grund-Layer, der konstant abgespielt wird. Einige mögliche Layer sehen wie folgt aus: Es gibt einen Layer, der signalisiert, dass der Charakter nur noch wenig Lebenspunkte hat, einen Layer der aktiviert wird, wenn der Spieler geht, und einen Layer, der zu hören ist, wenn der Spieler schwimmt. Dieser Layer wechselt sich mit dem vorherigen ab und kann nicht simultan erklingen, da die beiden Layer zwei verschiedene Zustände darstellen. Allgemein lassen sich mit individuell kontrollierbaren Layern komplexere adaptive Systeme gestalten, die auf verschiedene Zustände reagieren können. Oft wird eine Kombination aus additiven und individuell kontrollierten Layer-Methoden genutzt.
In der Regel werden die Layer mit Lautstärkeautomationen bzw. Fades klanglich ein- und ausgeblendet. Wie lang die Fades dauern, entscheidet das technische Audio-Team oder die Entwickler selbst. Lange Fades fallen weniger auf als kurze oder abrupte Fades. Die Länge variiert nach Michael Sweets Erfahrung zwischen 3000 und 5000 Millisekunden und ist abhängig vom Stil und Tempo der Musik.
Vor- und Nachteile
Die verschiedenen Arten von adaptiven Techniken in der Soundtrack-Gestaltung haben jeweils eigene Vor- und Nachteile. Meistens wird eine Kombination aus mehreren Methoden benutzt, die spezielle Einsatzgebiete haben, in welchen die Methoden von ihren Stärken profitieren. In der folgenden Tabelle von Michael Sweet werden zusammenfassend alle Vor- und Nachteile aufgelistet.
Abbildung 2: Übersicht der Vor- und Nachteile der verschiedenen Methoden
Zusammenfassung
Es gibt also verschiedene Möglichkeiten, die zur adaptiven Soundtrack-Gestaltung eingesetzt werden können. Welche Methoden verwendet werden, ist abhängig von der benötigten Funktion bzw. dem zu erzielenden Effekt. Für einen eindrucksvollen adaptiven Soundtrack wird eine gute Kommunikation zwischen dem Komponisten und dem Audio-Team bzw. den Entwicklern des Spiels erfordert. Nur, wenn der Komponist die Vision des Spiels und die Idee hinter den vorgesehenen Anwendungszwecken versteht, kann dieser gezielt einen Soundtrack erstellen, der die verschiedenen Situationen im Spiel und der Spielwelt abdeckt.
Wie man in den vorherigen Blogposts schon lesen konnte, sind Berauschung und Rauschzustände Themen in aldlen Kulturräumen und Gesellschaftsgruppen. Es handelt sich um ein universelles Phänomen, das als Suchmittel, zu medizinischen Zwecken aber auch zur künstlerischen Anregung oder als Inspirationsquelle genutzt wird. Wenn ein Rauschzustand in einem Film thematisiert wird, spielt auch die musikalische Untermalung eine wichtige Rolle.
„The interpenetration of music with trancing is ancient and universal. I suspect that most, if not all, societies have some form of institutionalized, religious trance ceremonies that also include music. […] Musical immersion stimulates emotion and faciliates their [trancers] special attentiveness, their special consciousness.”[1]
Musik nimmt auch eine zentrale Rolle in Disneyfilmen ein. Deshalb wird in diesem Blogpost der Zusammenhang von Rauscherfahrungen im Film und der zugehörigen Filmmusik am Beispiel einer Rauschszene eines Disneyfilms näher erläutert. Die aktuelle Zeichentrickfilmmusikforschung beschäftigt sich auch mit diesem Thema und ist zu dem Entschluss gekommen, dass Musik in vielerlei Hinsicht im Zusammenhang mit Drogenerfahrungen steht. Unter Drogeneinfluss kommt es zu einer Sensibilisierung verschiedener Sinne wie dem Hörsinn, Sehsinn, Geruchssinn oder auch der allgemeinen Gefühlslage. Deshalb erlebt man Musik im Rauschzustand ganz anders als wenn man nüchtern ist. Alles wirkt intensiver, man nimmt es oft mit einer ekstatischen Begeisterung wahr und sieht eine tiefere Bedeutung dahinter. Musik wird in veränderten Bewusstseinszuständen deshalb auch genutzt um neue, noch nicht erschlossene Bewusstseinsregionen zu entdecken.[2]
Mit diesem Vorwissen soll dieser Blogpost eine Erweiterung des Posts „Warum Walt Disney immer schon als Vorreiter im Bereich psychedelischer Szenen im Animationsfilm galt.“ darstellen und die Szene Pink Elephants on Parade aus dem Film Dumbo, der erstmals 1941 erschien, analysieren. Dumbo war der vierte ausgedehnte Zeichentrickspielfilm von Disney und handelt von einem Elefanten mit riesigen Ohren, der sein Leben lang immer ausgegrenzt und als Außenseiter behandelt wurde und dann nach einer psychedelischen Erfahrung, induziert durch die unbeabsichtigte Einnahme von Alkohol, an einen Wendepunkt geriet. Er erlitt im Laufe seines Lebens immer wieder verschiedene Traumata und brauchte einen Mentor, in dem Fall seinen Freund Timothy Mouse, der an ihn glaubt und einen Katalysator, in dem Fall den Rausch, um diese zu verarbeiten und etwas Positives daraus ziehen zu können. Während seines Rauschzustandes sieht er pinke, tanzende Elefanten am Nachthimmel. Bildhafte Fantasien und die dazugehörigen Gefühlszustände helfen ihm in diesem Fall in sein Inneres vorzudringen und seine inneren Konflikte bzw. seine alten Traumata zu bewältigen.
Elefantenherolde
Der LSD Forscher Stanislav Grof entwickelte das Konzept der perinatalen Erfahrung unter Drogeneinfluss. „Unter der Voraussetzung, „daß [sic!] diese Substanz ein unspezifischer Verstärker psychischer Prozesse ist, der aus der Tiefe des Unbewußten [sic!] Elemente der verschiedensten Art an die Oberfläche bringt“[3] setzte er sich in den 70er Jahren für den therapeutischen Einsatz von LSD ein. Er und auch andere Drogenforscher würden in Dumbos Fall von einer Rauscherkenntnis, die außerhalb des rational-sinnlichen Wachbewusstseins gemacht wurde und so Einsichten vermittelt, die das herkömmliche Erkenntnisvermögen übertreffen, sprechen.[4] In Dumbos Vision der pinken Elefanten, konnte er fliegen und als er nach dieser psychedelischen Erfahrung wieder erwachte fand er sich auf einem Baum wieder, den er nur erreichen konnte, weil er tatsächlich hinaufgeflogen ist. Somit wurde er in seinem Rausch dazu inspiriert zu fliegen, was ihm half seine Traumata zu überwinden. Um das Thema Musik wieder aufzugreifen kann man auch die akustischen sowie die musikalischen Merkmale dieser Schlüsselszene analysieren. Denn Musik nimmt Einfluss auf die Stimmung und kann genauso wie die aktuelle Stimmungslage Einfluss auf den Verlauf des Rausches oder Trips nehmen. Da Dumbo sehr traumatisiert ist, fängt sein Trip eher wie ein Horrortrip an. Aus einer großen Sektblase aus seinem Rüssel bilden sich vier pinke Elefanten, deren Rüssel sich zu Trompeten formen. Diese vier Elefanten stehen für Herolde, die in der Geschichte wichtige Ereignisse mit Trompeten ankündigten. In Dumbos Fall markierten die Elefantenherolde nicht den Beginn einer Euphorie, sondern den einer Schreckensvision. „Die Musik ist hierbei Anzeichen und Auslöser zugleich“[5] Nach den Elefantenherolden ist eine Parade zu sehen, die von einem Marsch in Moll von Edward H. Plumbs begleitet wird. Schepperndes Blech, Xylophone und Glockentöne sind zu hören. Zeitgleich sind beängstigende Bilder von Elefanten zu sehen. Danach folgt der Song Pink Elephants on Parade, der vom Volksensemble The Sportsman intoniert ist. Der Horrortrip, der mit Elefantenherolden startet und dann Grimassen und Masken abbildet wandelt sich langsam zu bunten, bewegten Formen. Die Dysphorie wandelt sich zu Euphorie und die marschierenden Elefanten werden zu tanzenden Elefanten. Der Tanz erinnert an einen lateinamerikanischen Mambo und vermittelt eine sehr sorglose, positive und befreite Stimmung.
Die langen instrumentalen Passagen, das Verwenden verschiedener exotischer Instrumente und die Vereinigung unterschiedlicher Musikstile und Stimmungen, fanden sich auch im späteren psychedelischen Rock wieder.[6] Was Pink Elephants on Parade zu einer wichtigen Inspirationsquelle macht und Einfluss auf viele nachfolgende Rauschszenen aber auch musikalische Werke hat.
[1] Becker, Judith: Deep Listeners Music, Emotion and Trancing, Bloomington 2004, S. 1
[2] Herzfeld, Gregor: Disney psychedelisch. Musik und Rausch im Zeichentrickfilm, Acta Musilogica 214, Vol 86/1, S. 131
[3] Grof, Stanislav: Topographie des Unbewussten.LSD im Dienst der tiefenpsychologischen Forschung, G.H. Müller, Stuttgard 1978, S. 14
[4] Herzfeld, Gregor: Disney psychedelisch. Musik und Rausch im Zeichentrickfilm, Acta Musilogica 214, Vol 86/1, S. 134
There are different laws that are put in place to mandate web accessibility. Accessibility standards across softwares and certain web pages are set. Different governments, universities, industries, etc. have their own methods and ways of accessibility implementation. There’s not a common language that covers all.
Adoption or acceptance of technology? Adoption is more of a process of embracing and experiencing through time while acceptance is just the attitude. Full acceptance brings adoption and full acceptance can only be achieved by full usage ability, hence accessibility.
Benefits of using a technology must outweigh the effort of learning to use it for most elderly this is why usability is so important for user interfaces that seeks inclusion.
The Web Accessibility Directive
Directive (EU) 2016/2102, in force since 22 December 2016, will provide people with disabilities with better access to the websites and mobile apps of public services.[1]
The European Commission states that approximately 10–15% of the population of Europe suffers from some disability, and it acknowledges that “[t]here is a strong correlation between disability and ageing” ( EC, 2014 ).[2]
“Web Accessibility for Older Adults: A Comparative Analysis of Disability Laws”
Some examples for digital accessibility:
Screen readers that parse a website for a user with visual impairments
Videos on websites are closed-captioned for individuals with hearing impairments
Images include “alt text” for individuals with visual impairments
Websites must be navigable by keyboard for users who may not be able to operate a mouse (i.e., navigating using the “Tab” on a keyboard)
71% of web users with a disability will simply leave a website that is not accessible, users without disabilities find accessibility features help them navigate your site more effectively. When you maintain an accessible digital presence, all your visitors benefit.
Vigouroux, Nadine, Campo, Eric, Vella, Frédéric, Caroux, Loïc, Sacher, Mathilde, Istrate, Dan, Lompré, Nicole, Gorce, Philippe, Jacquier-Bret, Julien, Pinède, Nathalie, Serpa, Antonio, and Van Den Bossche, Adrien. “Multimodal Observation Method of Digital Accessibility for Elderly People.” Ingénierie Et Recherche Biomédicale (2020): Ingénierie Et Recherche Biomédicale, 2020-04. Web.
Adriano, Adrian. “Digital Accessibility for All.” Design Cost Data 63.3 (2019): 51-52. Web.
Ferreira, Simone, Sacramento, Carolina, Da Silva Alves, Aline, Leitão, Carla, Maciel, Denise, Matos, Simone, and Britto, Talita. “Accessibility and Digital Inclusion.” Proceedings of the XVI Brazilian Symposium on Human Factors in Computing Systems (2017): 1-6. Web.
Abascal, Julio, Abascal, Julio, Barbosa, Simone D. J, Barbosa, Simone D. J, Nicolle, Colette, Nicolle, Colette, Zaphiris, Panayiotis, and Zaphiris, Panayiotis. “Rethinking Universal Accessibility: A Broader Approach considering the Digital Gap.” Universal Access in the Information Society 15.2 (2016): 179-82. Web.
Duplaga, Mariusz. “Digital Divide among People with Disabilities: Analysis of Data from a Nationwide Study for Determinants of Internet Use and Activities Performed Online.” PloS One 12.6 (2017): E0179825. Web.
Da Silva, Viviane, Silva De Souza, Ranniéry, Oliveira, Mafalda, and Medeiros, Rafael. “Web Accessibility for Elderly.” Proceedings of the 9th International Conference on Theory and Practice of Electronic Governance (2016): 367-68. Web.
[2] Y. Tony Yang, LLM, LLCM, ScD, MPH, Brian Chen, JD, PhD, Web Accessibility for Older Adults: A Comparative Analysis of Disability Laws, The Gerontologist, Volume 55, Issue 5, October 2015, Pages 854–864, https://doi.org/10.1093/geront/gnv057
Jeffrey Heer ist Informatiker und durch für Informations-Visualisierungen und interaktive Datenanalyse bekannt.
“David McCandless turns complex data sets, like worldwide military spending, media buzz, and Facebook status updates, into beautiful, simple diagrams that tease out unseen patterns and connections. Good design, he suggests, is the best way to navigate information glut — and it may just change the way we see the world.” TEDEd
I have devoted all my previous articles to research, it is time to see if my conclusions are in line with the reality of everyday life. I have therefore decided to analyze all the interactions of my daily life in order to unearth those that are awkward, to study them, and to understand them.
Let’s take one of my typical days and start my analysis in the kitchen. This is the first space where I start my day and the one where I think I am most likely to find awkward interactions. My first action in the morning is to grab a bottle of milk from the fridge. A clumsy action and interaction that appears.
Refrigerator
The first awkward interaction of my day comes from my fridge and more specifically from the way I can open it. My fridge doesn’t have a handle, I’ve known that since I’ve had it, and yet I never tried to find out if there was a hidden handle and where it could be. I finally realized that the handle that had been created by the designers was a recess at the bottom, just above the freezer opening. I tried to open the door with this handle and soon realized that the location of the handle required a lot more effort. So the awkwardness comes from two things, first finding the handle was not easy because there was no indication and no meaning. Second, the location of the handle does not make it easy to open the door, which makes the interaction even more awkward.
hdrpl
Oven
Right next to the fridge I can find the oven, connected to the hob. Its use is simple and the pictograms are all understandable. The problem I find with this oven comes from the indicator lights. One is accompanied by a pictogram related to the hob and the other to the oven. However, when the oven is activated the indicator light of the baking trays lights up, the one concerning the oven is even stranger, it lights up when I change the temperature, seeming to indicate when the oven has reached the temperature but never goes out. With this oven, it is therefore very complicated for me to establish when the oven is turned on and especially when it has reached the requested temperature, this is where the awkward interaction is.
Washing Machine
My next clumsy interaction concerns my washing machine, it is composed of 4 buttons offering the following commands: fragile, color, cotton, normal. At first glance, the use seems simple, but as I don’t have the manual, I don’t know what each button corresponds to in terms of temperature and spin power. It is this lack of information that generates awkward interaction because every time I choose a program it seems to me to be a random choice. Here there is an object with buttons, therefore affordances, and annotations or signifiers, the problem lies in the understanding of these signifiers.
Earring
Another of the awkward interactions I may have had come from one of my earrings. I recently bought myself an earring, the saleswoman put it on without me looking at how the mechanism was made. When I got home I tried to take it off and realized that it didn’t work when I was pulling, so I figured it was an earring specific to the piercing store and I would have to go back and get it removed. It wasn’t until two days later that I realized that it was a screw earring and so I had to turn it around to get it removed. This awkward interaction is peculiar because its source comes from the fact that I didn’t see the person putting the earring on me, so I couldn’t have a conceptual model to understand how to remove it but also from my own knowledge because until then I didn’t know this type of clasp and therefore I hadn’t tried to turn the earring because I didn’t see the need for it.
Piles
One of the awkward interactions of my day was with a simple object that we all know: batteries. They come in all shapes and sizes, and the ones I’m interested in are the smallest ones that are round. The awkward interaction with batteries is quite obvious, it knows which way we’re going to put them, where is the least, and where are the most. What I find particularly complex with batteries is that it’s an object that needs a lot of meaning. You need both 2 signifiers on the stacks to understand where is the least and where is the most, and you also need these same signifiers on the object that will contain the stacks in order to understand in which direction to put them. The peculiarity of small batteries is that the sign is complicated to read, it is only indicated on one side, and moreover when handling them if we touch both sides at the same time, with our fingers, we risk to discharge them. And all this information is not easy to find.
The tramway
Finally, let’s leave my apartment and take the streetcar. Being used to Parisian public transportation, I didn’t expect to be confronted with a clumsy interaction in the Graz streetcar. Indeed, Parisian transports have a wide variety of door openings ranging from the manipulation of a handle to an automatic opening, with no action to perform. I must confess that I did not understand what triggers the opening of the Graz streetcar door between the automatic opening and the action of pressing the door button. Here I may not have had the codes to understand what triggers this opening.
I have just described 6 clumsy interactions that populate my daily life but I am sure that there are still others that I have not yet spotted.
This intensive research on the objects that surround me, has allowed me to reflect on my way of perceiving them, and the importance that awkward interactions have in my daily life. It made me realize one thing, these clumsinesses have been there for a long time but I only started to notice them when I looked for them. Why wasn’t I curious about these objects earlier?
