Ab wann spricht man von abstrakter Daten-Visualisierung?
Um Daten-Visualisierungen, Diagramme, Infografiken etc. „lesen“ zu können, ist es wichtig, dass diese leicht verständlich aufgebaut und visualisiert sind. Hierbei spielt der informative Wert die Hauptrolle, der visuelle Anspruch rückt dabei in den Hintergrund und soll nur die Informationsaufnahme unterstreichen.
Onformative, ein Berliner Studio für digital art and design, zeigt (meiner Interpretation zufolge) ein sehr schönes Projekt für abstrakte Daten-Visualisierung mit dem „4010 Facebook Tree“. Für dieses Projekt wurden Facebook-Beiträge, des Auftraggebers Telekom flagship store, über vier Jahre verarbeitet und mittels Processing visualisiert. Der 4010 Facebook Tree verarbeitet Interaktionen eines Facebook-Posts, wie Like-Anzahl, Type des Posts, Comment-Anzahl etc. und illustriert diese als organischen Baum/Farn.
From onformative | 4010 Facebook TreeFrom onformative | 4010 Facebook TreeFrom onformative | 4010 Facebook Tree
Ohne Kontext wirkt diese Illustration sehr komplex und detailreich. Erfährt man die generativen/algorithmischen Regeln dahinter, so ist man in der Lage, diesen Baum auf weitere Ebenen zu entschlüsseln und zu entdecken. Damit unterscheidet sich der Anspruch dieser „data illustration“ von jenem der klassischen Daten-Visualisierung insofern, dass hier der visuelle Teil eine viel höhere Wertigkeit besitzt als die Informationsaufnahme.
Mittels angebrachten QR Codes können LeserInnen den Spalt zwischen Information und Grafik schließen und können die dahinter verarbeiteten Daten eruieren und werden direkt zum Facebook-Post geleitet.
Sign language is mainly used by the Deaf and Hard-of-Hearing community. But it is beneficial for the communication of people with disabilities including Autism, Apraxia of speech, Cerebral Palsy, and Down Syndrome as well.
History
Today it is assumed that the communication through signs was developed even before the vocal communication. Native Americans communicated with tribes and Europeans using hand guestures. Benedictine monks were known to sign during the daily periods of silence.
The Spanish Benedictine monk Juan Pablo Bonet is named to be the first creator of a formal sign language for the hearing impaired. In the 16th-century he was teaching deaf to communicate with gestures. After that he started exploring and developed an education method for deaf where they should shape letters with the hand in association with the phonetic sounds by their oral voice. In 1755 the French Catholic Priest Charles-Michel de l’Épée founded the first public school for deaf children. He added the signs of the pupils to a manual alphabet creating a complex system with all relevant grammatical elements. His system became the first sign language and spread across Europe and to the United States of America. Establishing new schools for deaf throughout the countries, new signs from different households where brought to the schools and new alphabets and sign languages developed. Today modern signing systems differ through pronunciation, word order and even express regional accents.
picture from https://kidcourses.com/asl-alphabet-handout/picture from http://fakoo.de/
Fingerspelling
The use of hands to represent the letters of the alphabet is called “fingerspelling”. It helps signers to name people, specific places and words which have no established sign within the language. For example signers would spell out the word “oak” by fingerspelling while there is a specific sign for “tree”. There are different sign language alphabets around the world and due to little modifications each manual alphabet has its uniqueness. These are carried out either with the use of one hand (like American Sign Language(ASL)) or with two hands (like British Sign Language(BSL) and Australian Sign Language (Auslan)).
Signs
There are between 138 and 300 different types of sign languages around the world. Due to the visual nature and grammar of the sign languages the wordorder differs from spoken languages. This is why it can be difficult to some signers to speak the words while they are signing. As well as speaking must be trained regularly because they have to get used to speaking while focusing on breathing, volume and pausing their voice they can not hear.
To grasp the understanding and usage of “digital” among elderly a research will be conducted. Firstly a secondary research will portray what literature and globally collected data say about this matter. Secondly interviews will be held with senior citizens to understand their point of view. Then these interviews will be supported by the netnography data that is collected from social media. And finally insights on the research will be given.
Secondary Research
When sufficient amount of data collected, the result is that seniors have adjustability, memory and motor related problems when it comes to digital usage. Furthermore, there is an increase in the number of seniors who go online and own smart phones. Which drives the question of how this usage is shaped among elderly.
40% of older adults do not have basic digital literacy skills, and of those, more than half do not use the internet at all.
Fields, Jessica. “We Are Leaving Older Adults out of the Digital World.” TechCrunch, TechCrunch, 5 May 2019, techcrunch.com/2019/05/05/we-are-leaving-older-adults-out-of-the-digital-world/?guccounter=1&guce_referrer=aHR0cHM6Ly93d3cuZ29vZ2xlLmNvbS8&guce_referrer_sig=AQAAAKydI8Dx9DnE-RD-LmTngMdSBnWdW-OJm8GdSazDJ5zcRkyw3mnIvbUHgWJxpJdNmS3PieoR0FlZj2lfr-hBitUmExFx6DsJNv1EIF0dwjLSFwWks-H_9VVBrEtnY1T_gsOe5-7PGS1i25mosqYTDZW72U4tMBsaoeo8qZFp_pjO.
Comparison of occasional internet usage in Germany
Why seniors use social media?
Interview Questions
What does digital mean to you?
When did digital get into your life?
What can you name in your home which are digital?
Do you have internet connection in your home? If so, for what purposes do you use it?
What kind of devices do you use to use internet?
How adapted do you feel yourself in this digital world?
Do you use any assistive solutions while using your digital devices? (accessibility settings like bigger letters or louder audio etc.)
How do you manage your daily work? (grocery shopping, banking)
Are you aware of the services the digital world offers to deal with these types of works? If so, do you use them?
What services do you use?
Netnography
According to the netnography results majority of the elderly users in social media use it to contact close ones and relatives. They use it as a tool to recall old memories and keep track of birthdays and close ones.
Image processing and generating using machine learning has been significantly enhanced by using deep neural networks. And even pictures of human faces can now be artificially created as shown on thispersondoesnotexist.com. Images however are not that difficult to analyse. A 1024px-by-1024px image, as shown on thispersondoesnotexist, has “only” 1,048,576 pixels; split into three channels that is 3,145,728 pixels. Now, comparing this to a two-second-long audio file. Keep in mind that two seconds really can not contain much audio – certainly not a whole song but even drum samples can be cut down with only two seconds of playtime. An audio file has usually a sample rate of 44.1 kHz. This means that one second audio contains 44,100 slices, two seconds therefor 88,200. CD quality audio wav files have a bit depth of 16bit (which today is the bare minimum in digital audio workstations). So, a two second audio file has 216 * 88,200 samples which results in 22,579,200 samples. That is a lot. But even though music or in general audio generation is a very human process and audio data can get very big very fast, machine learning can already provide convincing results.
Midi
Before talking about analysing audio files, we have to talk about the number one workaround: midi. Midi files only store note data such as pitch, velocity, and duration, but not actual audio. The difference in file size is not even comparable which makes midi a very useful file type to be used in machine learning.
FlowMachines is one of the more popular projects that work with midi. It is a plugin for DAWs that can help musicians generate scores. Users can choose from different styles to sound like for example the Beatles. These styles correspond to different trained models. FlowMachine works so well that there is already commercial music produced by it. Here is an example of what it can do:
Audio
Midi generation is a very useful helper, but it will not replace musicians. Generating audio on the other hand could potentially do that. Right now, generating short samples is the only viable way to go and it is just in its early stages but still, that could replace sample subscription services one day. One very recently developed architecture that seems to deliver very promising results is the GAN.
Generative Adversarial Networks
A generative adversarial network (GAN) simultaneously trains two models rather than one: A generator which trains with random values and captures the data distribution, and a discriminator which estimates the probability that a sample came from the training data rather than the generator. Through backpropagation both networks continuously enhance each other which leads to the generator getting better at generating fake data and the discriminator getting better at finding out whether the data came from the training data or the generator.
An already very sophisticated generative adversarial network for audio generation is WaveGAN. It can train on audio examples with up to 4 seconds in length at 16kHz. The demo includes a simple drum machine with very clearly synthesized sounds but shows how GANs might be the right direction to go. But what GANs really have to offer is the parallel processing shown in GANSynth. Instead of predicting a single sample at a time which autoregressive models are pretty good at, GANSynth can process multiple sequences in parallel making it about 50,000 times faster than WaveNet.
Illustration als eine der visuellen Sprachen im Grafikdesign
Der Begriff der visuellen Sprache wurde schon im Blogpost „Visual Language“ thematisiert. Wie dort bereits erwähnt, verwendet eine visuelle Sprache visuelle Elemente, um Bedeutung auszudrücken. Je nachdem welches Medium bzw. welche visuelle Sprache in einer Gestaltung verwendet und was genau dargestellt wird, kann eine bestimmte Aussage getroffen werden.
Das heißt, dass Illustration auf Grundlage ihrer Charakteristiken und Eigenschaften eine andere Sprache spricht als beispielsweise Fotografie oder Typografie. In diesem Beitrag geht es um Illustration und ihre Charakteristiken.
Um zu erklären was man genau unter Illustration versteht, ist auch die Herkunft des Wortes an sich interessant. Das Wort „Illustration“ kommt vom lateinischen Wort „illustrare“und bedeutet „erleuchten, erklären, preisen“, „das einem Text erläuternd beigegebene Bild“, weswegen es auch „Schaubild“genannt wird.
Grundsätzlich muss hier jedoch zwischen Illustration und grafischer Illustration unterschieden werden.
Illustration
Hier gilt: Illustration an sich zählt dabei zur bildenden Kunst. Illustrationen haben dabei die einzigartige Freiheit, ohne Worte zu existieren, aber dennoch die Kraft, Ideen durch lebendiges Geschichtenerzählen zu kommunizieren. Illustration wird auch als die zeichnerische Visualisierung der Welt verstanden. Illustrationen sind visuelle Wege, um geschriebenen Text darzustellen oder zu illustrieren. Sie können dabei helfen, eine Idee oder Geschichte zu erklären, oder rein zur Dekoration dienen. Man findet Illustrationen überall, besonders in Medien wie Magazinen, Büchern, Postern, Lehrmaterialien und Flyern. In Webseiten und Apps findet man häufig sowohl handgefertigte Illustrationen als auch Vektorgrafiken, welche Farbe und Formen nutzen, um einen illustrativen Stil nachzuahmen.
Grafische Illustration im Vergleich mit traditioneller Illustration
Grafische Illustration
Grafische Illustration im Gegensatz bedient sich sowohl der Eigenschaften des Grafikdesigns als auch der klassischen Illustration und kombiniert sie miteinander. Während Grafikdesign mehr Wert auf Kommunikation legt und Illustration eher Richtung bildende Kunst neigt, ist grafische Illustration das Ergebnis, wenn man beides miteinander mischt.
Grafische Illustration verwendet die klassischen Designprinzipien von Farbe, Form und Layouts, um Kunstwerke zu gestalten und darzustellen.
stark reduzierte grafische Illustration als Buchcover
So wie Grafikdesign und Illustration dies jeweils einzeln tun, helfen grafische Illustrationen, um Ideen bildlich auszudrücken, Konzepte zu verdeutlichen, Produkte zu verkaufen, zu informieren und zu werben. Man findet sie überall: Flyer, Stoffe, Bücher, Anzeigen, Verpackungen, Poster und Webseiten. Sie können jede Technik nutzen, von Druckgrafiken und Zeichnungen bis hin zu grafischen Darstellungen von Daten und Statistiken.
Grafischen Illustrationen halten sich an eine Marketingstrategie und Designelemente und haben das Ziel die Ideen anderer Menschen mithilfe klassischer Designelemente zu vermitteln.
Sie bieten eine tolle Gelegenheit, zwischen Nutzern und Produkten oder Ideen eine tiefere Bindung aufzubauen. Dies ist von großem Vorteil, da immer mehr kommerzielle Projekte häufig emotionale und unverwechselbare Bilder erfordern.
Wii Remote, or Wiimote, is the controller of Nintendo’s Wii console, which has occupied an important place in the gaming industry since 2006.
It’s a wireless controller with motion sensing and traditional controls.
The Wii Remote only uses an accelerometer to detect movement. Other functions, such as using it as a pointer, rely on an infrared sensor that tracks the position of a “sensor bar” above or below the television.
The accelerometer is an Analog Devices ADXL 330 and has three times the sensitivity of gravity.
It not only detects motion, but also reports the angle at which the Wiimote is held when it is not in motion – and not just one angle, but three: vertical, horizontal and rotational.
There are obviously many accessories, among them, we can find Wii MotionPlus, an accessory that uses a more precise and sensitive gyroscope, a device that measures orientation and angular velocity.
But now… can we use to as a controller for our virtual instrument?
Well, yes.
It is normally paired via Bluetooth, so this allows us to easily connect it to our computer.
Of course, we have to convert the Wiimote data streams into a module that our software can control, and we have several options for this.
On the Windows platform we can find GlovePIE, a free scripting language from Australian programmer Carl Kenner. It is fascinating for musicians because it includes a set of MIDI commands that work via the Windows MIDI Mapper and also commands for Open Sound Control (OSC), the communication protocol for sound and media processing.
Or we can access the data with Pure Data (Pd), an open source visual programming language. We just need to download the external like WiiSense and wiimote.
Here are some cool examples:
Resources:
E. Wong, W. Youe, C. Choy: Designing Wii controller: a powerful musical instrument in an interactive music performance system. 2008.
Wikipedia: Nintendo Wii
Sound on sound: Nintendo’s Wii Remote As A MIDI Controller
In diesem Blogeintrag möchte ich auf die Möglichkeiten und Klangeigenschaften von Flat Panel Speakers hinweisen und diese vorstellen. Inspiriert wurde ich von dem Youtube Channel Tech Ingrediens, auf dem viele Experimente bezüglich der Lautsprecher und deren Eigenschaften getestet wurden und eine Anleitung zum Bauen gegeben wird.
Das Prinzip dieser Lautsprecher basiert auf der Plattenschwingung. Diese Platten lassen sich infolge ihrer Biegungsfestigkeit zu Schwingungen anregen. Diese Plattenschwingungen stellen das zweidimensionale Analogon zu den Stabschwingungen dar. Die Frequenz ist proportional zur Plattendicke und von der Dichte, dem Elastizitätsmodul und dem Koeffizienten der Querkontraktion des Plattenmaterials abhängig. Diese Art von Schwingungsberechnungen sind vor allem auch in der Musikwissenschaft gängig um die Oberfächenschwingungen von Musikinstrumenten zu untersuchen.
Wird die Platte in Schwingung versetzt, bei Musikinstrumenten z.B durch Anschlagen der Saiten oder durch einen Frequenzgenerator, entstehen bei Moden auf der Oberfläche. Diese kommen durch die Eigenfrequenz der Platte und sind be unterschiedlichen Frequenzen unterschiedlich auf der Platte ausgeprägt. Wird auf eine Waagerechte Platte Sand gestreut, können diese Moden sichtbar gemacht werden. Dieses Experiment wird dann Chladnische Klangfigur genannt. Im folgenden sind beispielhaft verschiedene Moden zu sehen.
Bei der Herstellung eine Lautsprechers jedoch gilt es genau diese Eigenfrequenzen zu vermeiden, da dies ein flaches Klangspektrum verhindert. Daher empfiehlt der Youtube Tech Ingrediens, die Frequenzgeneratoren beim Bau seiner Lautsprecher nicht in der Mitte anzubringen, sondern in einem 2/5 3/5 Verhältnis. Dadurch entstehen anscheinend mehrere verschiedene Moden, die die Stärke der Eigenfrequenzen verringert. Er misst außerdem verschiedene Materialien und Formen mit eine Frequenzanalyse und versucht die Lautsprecher mit einem möglichst flachen Klangbild zu bauen. Alle Analysen und Materialien zum DIY Bau sind dafür in seiner Beschreibung zu finden.
Interviewing is a fundamental methodology for both quantitative and qualitative social research and evaluation. Due to the Covid-19 restrictions it was not possible to conduct face to face interviews, which is why I did an online survey. The survey results can be found at the following link:
To summarize the outcome of the survey almost all of the 22 participant have encountered misinformation at some point and only a few are not sure about it, but when it comes to labeled content there are different opinions. Some of the participants feel like these labels are helpful and others do not trust them. They are not transparent enough and some of them also do not trust the correctness of the labelling.
However, when asked what additional information should be presented, some just answered: “Author and Date”. Only a few of them said that sources and other things like the domain ending and an SSL certificate should be included or present as well. When asked about the influence of the design of information on the trustworthiness 14 out of 18 answers stated that design does make a difference. Surprisingly one person said that when the design of information is too bold or striking it seems less trustworthy. Another answer was that it does not matter because false information can be designed properly as well.
To conclude this survey it seems that a lot of people have encountered false or misleading information and some of them do not trust online available information at all. Even if there is additional information given about a posting or if there is an independent factchecking site linked there still occurs major mistrust because it is not transparent enough.
Mein Ziel ist es, ein spielbares akustisches Instrument zu bauen, das wie ein Game Boy in der Hand liegt und in dem man den Klang interaktiv verändern kann. Effekte wie ein kurzer Loop, ein Pitch Control Knob und ein simpler Delay sollen vorhanden sein und mit den Knöpfen, die wie bei einem kleinen Game Controller angeordnet sind, bedienbar sein. Nach ausgiebiger Recherche bin ich auf den Schluss gekommen als Instrument eine Kalimba zu verwenden, da es vergleichbar einfach selbst zu bauen ist und es sich mit den beiden Daumen, (aus diesem Grund auch Daumenklavier genannt) ohne viele Vorkenntnisse von jedermann bedienen lässt. Der Korpus der Kalimba soll aus Holz gebaut sein, in dem auch die Elektronik Platz finden wird.
Nun zu dem Thema, mit dem ich mich in diesem Semester am meisten beschäftigt habe: Die Wahl des Micro Controller Boards, auf dem die Effekte und die Signalkette programmiert werden sollen. Ich werde auf die einzeln getesteten Boards später eingehen. Ich habe mich schlau gemacht vom Raspberry Pi über das Axoloti Board bis hin zum Arduino. Schlussendlich viel meine Wahl aber auf ein Teensy Board mit dessen kompatiblen Audio Adapter.
The preliminary stage of Augmented Reality started already in 1968 at Harvard when Ivan Sutherland, computer scientist, created an AR head-mounted display syste. In the following years multiple universities and companies further developed the AR technologie first for digital displays and later also for warables.
While 2018 Augmented Reality was deep into the Valley of Tears, it disapeared on the Gartner Hype Cycle in 2020.
The Gartner Hype Cycle The Gartner Hype Cycle is a methode for Executives but also interested person can navigate themselfs during this fast moving time no a days through the current hypes and new technologies. This helps to estimate risks and chances of upcoming technologies.
2005 was the first time that AR appeared on Gartner’s Hype Cycle. In 2018 Gartner still predicted it will take 5 to 10 years until it reaches the plateau of productivity.
So why did it disappear in 2020? Augmented Reality did not lose it’s potential, it just developed so fast that it is not an emerging technologie any more. This means that AR has matured and ready to become an industry-proven technology in which executives can safely invest in to improve and innovate their businesses. Gartner predicts that in the end of 2021 AR will be used by more than a third of all companies.
