Nature does not hurry, yet everything is accomplished. —Lao Tzu
“Jungle night” ist ein Sideproject bei dem ich weitere Erfahrungen beim Mappen von 2D Inhalten auf ein Gemälde gewinnen wollte. Speziell ging es darum den Inhalt des sonst statischen, planaren Gemälde mithilfe von Lichteffekten eine gewisse Tiefe und Lebendigkeit zu verleihen.
Ein vorläufiger Zusammenschnitt des Projekts finden sich unter folgendem Link:
https://drive.google.com/file/d/1ZhBRJ6HKt-uz67qhzYCa04Mrk_9u0uUQ/view?usp=sharing
Installation als Kunstwerk
Der Begriff Installation wird in der Kunstpraxis oft als breitgefächerter Ausdruck verwendet und ist definiert durch eine Ansammlung bzw. Konfiguration von Objekten in einem definiertem Raum, wobei sowohl der Raum als auch die Objekte, die sich in diesen Raum zusammenschließen, eine Installation als Kunstwerk definieren. Eine Installation kann alle erdenklichen Medien beinhalten, jedoch unterscheidet sie sich vor allem durch die Art wie der oder die Betrachter diese Medien wahrnimmt. Oft ist auch die explizite Eingliederung des Standortes in die Installation eine wichtige Charakterisierung. Je nach Grad der Eingliederung kann ein Standortwechsel zur Zerstörung oder Verfälschung des eigentlichen Kunstwerkes führen. Installationen regen den Betrachter meist dazu an, aktiv mit der Installation zu interagieren. Die Interaktion kann aus einer reinen Änderung des Betrachtungswinkels bestehen oder, je nach Art der Installation, eine tatsächliche Interaktion oder Reaktion mit bzw. seitens der Installation sein.
Joan Soler-Adillon Definition für interaktive Installationen:
[…] have defined interactivity as “a series of related actions between two or more agents where (1) at least one of them is an artificial system that (2) processes its responses according to a behavior specified by design and (3) takes into account some of the previous actions executed by them”.
Aufgrund dieser Definition sind viele von Künstlern als interaktiv bezeichnete Systeme/Installationen tatsächlich als reaktiv zu bezeichnen sind da sie Punkt (3) der Definition nicht vollkommen erfüllen. Bei vielen scheinbar interaktiven PM-Installationen ist die Eingabe-Ausgabe-Funktionalität meist statisch und nicht vom System selbst veränderbar und somit reaktiv. Als interaktiv sind Systeme zu bezeichnen, bei denen die ausgelösten Inhalte während der Laufzeit neu berechnet werden.
Somit stellt die Reaktion von Dateneingaben in Echtzeit den Unterschied zwischen interaktiven und reaktiven Systemen dar.
Vor allem bei interaktiven PM-Installationen ist dies von erhöhter Relevanz, da der Betrachter gleichzeitig den Benutzer des Systems darstellt und durch etwaige Verzögerungen der Reaktion das Empfinden der Interaktion/Reaktion gestört wird .
CAVE von Cruz-Neira et al.
Eine der bekanntesten und hervorragendsten interaktiven PM-Installationen ist Cave Automated Virtual Environment (CAVE). CAVE wurde 1992 von Carolina Cruz-Neira und einem Team von Wissenschaftlern an der Universität von Illinois’s Electronic Visualization Lab als ein universelles Visualisierungswerkzeug, basierend auf großen Projektionsflächen entwickelt. CAVE wird seit 1992 laufend weiterentwickelt und findet an einigen Universitäten und öffentlichen bzw. privaten Institutionen Verwendung. Auch wenn CAVE neben PM viele andere medientechnische Bereiche streift und einige Alleinstellungsmerkmale besitzt, bezeichne ich CAVE in diesem Blogeintrag als interaktive PM-Installation.
CAVE ist ein quadratischer Subraum mit mindestens drei und maximal sechs Projektionsflächen mit einer Seitenlänge von üblicherweise drei bis vier Metern und befindet in einem größeren dunkleren Raum der ihn umschließt. Die drei Seitenwände dienen als Rückprojektionsflächen und der Boden meist als normale Frontprojektionsfläche.
Um den Benutzer ein freies Bewegen zu ermöglichen und dennoch eine dreidimensionale Immersion zu schaffen, griff man bei CAVE auf ein Trackingsystem und stereoskopisches Darstellen des Inhalts zurück. Die 3D-Brille dient dabei gleichzeitig als Tracker der Bewegungen des Benutzers und der Inhalt der Projektion wird in Echtzeit daran angepasst. Durch die breiten Anwendungsmöglichkeiten der PM-Installation wie z. B. Visualisierung für Museen, Medizin, Architektur und Archäologie, hebt sich CAVE von vielen anderen Installationen ab. Einzig der benötigte Platz, die technologische Herausforderung des Setups und der damit verbundene hohe Kostenaufwand stellen Negativpunkte dar. Dennoch sind die resultierenden Möglichkeiten und Applikationen mit ihrer starken immersiven Wirkung bemerkenswert.
Quellen:
The intangible material of interactive art: agency, behavior
and emergence*: 46a09f2e66eaf372f0c9b700f0cf326ca682.pdf (semanticscholar.org)
what_is_installationbooklet.pdf (imma.ie)
Dubberly – What is interaction – 2014-07-01a.indd
The CAVE: audio visual experience automatic virtual environment | Communications of the ACM
Als Relief Projektion bezeichnet man die Projektion eines Inhaltes, der dieselbe Form und/oder Textur besitzt wie das Trägermedium. Ein gutes Beispiel hierfür ist Displacements von Michael Naimark. Dabei wird häufig ein Bild aus der Perspektive des Projektors oder den Projektoren aufgenommen und anschließend passgenau an das Trägermedium angepasst. Eine Besonderheit bei Displacements ist, dass das Trägermedium nach der digitalen Aufnahme der Textur von eben dieser bereinigt wurde.
Eine sehr interessante und immer häufiger zu sehende Anwendung dieser Methode ist jedoch das Aufwerten bzw. Erweitern der physischen Textur von gemalten oder gedruckten zweidimensionalen Bildern. Durch spezielle Verzerrungen der Textur oder gezieltes Herausheben von einzelnen Teilbereichen eines Bildes bzw. der Textur, kann eine ausgesprochene wirksame Illusion erschaffen werden.
Eine bemerkenswerte Herangehensweise an diese Technik stellt HenGenTou dar. Anstatt ein farbiges Abbild eines Bildes auf sich selbst zu projizieren und zu animieren, wird ein animiertes Graustufenbild verwendet. Diese Methode hat den Vorteil, dass die Projektion auf das Trägermedium kaum merkbar ist und dadurch eine gesteigerte illusorische Wirkung erzielt. Außerdem stellt HenGenTou eine der wenigen PM-Installationen dar, deren Voraussetzung eine relativ gut belichtete Umgebung ist. Obwohl das Projizieren eines bewegten Graustufenbildes auf ein statisches, farbiges Bild viele theoretische Inkonsistenzen mit sich bringt, wirkt dies für unser Auge beinahe wie ein reales bewegtes Bild.
Quellen:
Projektionsmapping (PM) ist eine relativ junge Form der Lichtkunst, die mithilfe von computergenerierten Grafiken und Animationen die Wahrnehmung unserer physikalischen Umwelt manipuliert. Meist werden PM-Projekte bzw.-Installationen von einem großen Publikum betrachtet und sind in ihrer immersiven, sowie illusorischen Wirkung stark vom Betrachtungswinkel der anwesenden Personen abhängig. Vor allem dann, wenn die Projektion nicht nur aus zweidimensionalen Inhalten besteht sondern auch dreidimensionale Illusionen erschaffen werden.
Anders als bei klassischen Projektionen werden bei PM alle erdenklichen Oberflächen als Projektionsfläche genutzt. Denn die Erschaffung von (dreidimensionalen) Illusionen, starker Immersion und gleichzeitiges Einbinden des Trägermediums durch kombinieren von audio-visuellen Inhalten, stellt die Schöpfer von PM-Projekten vor große Herausforderungen. Durch den Fortschritt und die (relativ) kostengünstige Verfügbarkeit der dafür benötigten Technologien, ergeben sich immer innovativere Anwendungsmöglichkeiten von PM. Die meisten PM-Installationen finden ihren Anwendungsbereich in Fashion-Shows, Unternehmensveranstaltungen, auf Konzerten und Musik-Festivals, bei Theateraufführungen und als Klassiker auf Architektur in öffentlichen Räumen – aber auch in der Medienkunstszene, abseits von kommerziellen Anwendungsgebieten.
Eine PM-Installation der Superlative kreierten die ungarischen Künstler von Limelight mit Unterstützung durch Global Illumination. Das Projekt Interconnection entstand 2016 im Rahmen des jährlich stattfindenden iMapp in Bukarest, Rumänien, und hat international für Aufsehen gesorgt.
Quellen:
Paddy Baker. Limelight wins awards for projection mapping Romanian Parliament https://www.installation-international.com/technology/limelight-wins-awards-for-projection-mapping-romanian-parliament-video
A VIDEO PROJECTION MAPPING CONCEPTUAL DESIGN
AND APPLICATION: YEKPARE. 2011. http://dergipark.ulakbim.gov.tr/t
ojdac/article/view/5000047052/5000044345
There were numerous AR Festivals in 2020. In this post I want to present two examples hostet by AcuteArt – an digital marketplace for Augmented reality artworks.
Unreal City, London´s biggest AR festival in 2020 was extended until February 2021. It consists of 36 AR works from artists all over the globe including never before seen pieces from KAWS, Tomás Saraceno and many more. Initally the virtual sculptures were placed at specific positions in London, due to the COVID pandemic they can bee seen all over the world – even in your living room!
The AR pieces can been seen through Acute Art app.
“When I realized the quality that could be achieved and experienced in AR, I was immediately drawn to its potential (…) ” – KAWS
The AR exhibition “Expanded Holiday” opened in March 2020 and could be seen with the Acute Art App across eleven locations—Doha, Hong Kong, London, Melbourne, Paris, Sao Paulo, Seoul, Taipei, Serengeti National Park, Tokyo, and New York City.
Londoner Mastaba
For three months in 2018, the monumental sculpture was installed on top of the Serpentine Lake in London’s Hyde Park by artist Christo. Since the sculpture is gone it can be seen with via the Acute Art app. The London Mastaba AR offers art enthusiasts the opportunity to discover an exact virtual replica of the installation through their mobile phones when they visit the Serpentine Lake.
https://www.instagram.com/p/CCbQAWslXqE/?utm_source=ig_embed&utm_campaign=embed_video_watch_again
While Acute Art CEO Jacob De Geer said that his company “was founded on the vision of democratising art and bringing it to places where it could not be before,” there is huge potential for the commercialisation of AR artworks.
New Jersey-born street artist KAWS put this theory to the test in March 2020 with an ambitious AR project, which encompassed a public exhibition and the drop of two AR sculpture editions of his trademark “Companion” that are available for purchase on Acute Art’s app.
As for the editions, the first installment is comprised of 25 AR sculptures (1.8m) that will be available to acquire exclusively though the Acute Art website for $10,000 USD each. Users will be able to place, capture and document the ubiquitous KAWS subject at varying locations using the app. They can also make their documentation private or public with the option to resell the edition too. The second rollout is an open edition consisting of AR sculptures in three unique colorways that will release in various timeframes. Users will only be able to keep the works for 24 hours or 10 days and share their experience on social media. Prices start at $6.99 USD for one sculpture for 24 hours.
Owners are able to place, capture, and document these AR works, collectively named “COMPANION (EXPANDED),” at different locations using the Acute Art app. More surprisingly, they can keep the AR sculptures private, or make them publicly available for anyone who has downloaded the app.
Sources:
https://www.nowness.com/story/unreal-city-acute-art
https://www.archpaper.com/2020/03/kaws-worldwide-ar-exhibition/
https://hypebeast.com/2020/3/kaws-expanded-holiday-companion-augmented-reality-acute-art-app-info
Apple hat 2019 in seinen Apple stores zu AR- Workshops eingeladen. Dabei konnte mithilfe der Programmiersprache Swift Playgrounds die Grundlagen für eigene AR-Anwendungen erlernt werden.
Auf sogenannten AR Safaris konnten Teilnehmer auf Touren durch Städte wie New York und London, Werke führender New Yorker Künstler bestaunen. Darunter Nick Cave, Nathalie Djurberg und Hans Berg, Cao Fei, John Giorno, Carsten Höller und Pipilotti Rist.
Nick Cave’s “Amass”
Dieses AR Kunstwerk kann direkt im Apple Store bestaunt werden. Die Apple Store App bietet den sogenannten AR Viewer an der sich öffnet sobald man sich in deren Netzwerk befindet.
Nick Caves Installation lassen dich 5 verschieden metallische Objekte entdecken die im Store versteckt sind. Basierend auf AR Kit startet die AR Erfahrung ohne flache Oberflächen tracken oder scannen zu müssen. Eine simple Kamerafunktion lässt Screenshots machen und 5 Punkte visualisieren die bereits gefundenen Objekte.
Zusätzlich zu den metallischen Objekte die an Kaleidoskopen erinnern, schwirren unzählige andere 3D Objekte herum. Soundeffekte beim einsammeln erweitern das Erlebnis. Deshalb ist es ratsam Kopfhörer zu verwenden. Wenn alle Objekte gefunden wurden lässt sich eine Animation mit diesen starten.
Das einzige Manko ist, dass man sein eigenes Iphone braucht, da Ipads oder Iphones aus dem Applestore, dies nicht unterstützen.
Videotiefenberechnung für AR
Der Bereich der 3D Szenenrekontruktion aus Bildsequenezen wird schon seit Jahren erforscht. Die Weiterentwicklung von neuralen Netzwerken und Algorithmen lassen neue lernbasierte Techniken zu, die immer genauere Tiefenbilder berechnen, um beispielsweise realistische 3D Effekte in den Bereichen AR, VR oder in der Vfx umzusetzen.
Quellen:
https://www.wallpaper.com/art/apple-augmented-reality-art-walk-new-museum
https://roxanneluo.github.io/Consistent-Video-Depth-Estimation/
https://www.apple.com/at/newsroom/2019/07/apple-offers-new-augmented-reality-art-sessions/
Arbibook
Arbibooks are children coloring-books that bring their pages to life with the help of AR. An AR application is generating 3D models of the 2D illustration and colors them in the painted style.
ARBI is a company, specialized in the development of educational projects such books and platforms based on Augmented Reality(AR) and Virtual Reality (VR). Their goal is to make learning fun again through the use of new technologies AR and VR.
The company “GiveVision” is developing wearable vision aid. Inspired by the latest developments in augmented and virtual reality technology, “GiveVision” set out to create a device which would allow people with sight loss to regain much of their sight.
The british girl Maisy lost most of her vision six years ago due to a brain tumour. What vision she has, is limited to a tiny blurry circle in her right eye.
Sources:
https://www.givevision.net/en/about
https://www.bbc.com/news/av/technology-48501600
Arbibooks:
In den letzten Jahren fanden zahlreiche Festivals statt die sich mit dem Thema VR und AR auseinandersetzten. In diesem Beitrag möchte ich einige interessante Projekte vorstellen.
urbana AReal
Das Places _ VR Festival ging im Sommer 2020 hauptsächlich virtuell über die Bühne. Neben spannenden Vorträgen konnte man im Rahmen dieses Festivals das urbanana-AReal bestaunen. Hierbei haben fünf Augmented-Reality-Kunstwerke, die bereits existierende Street-Art-Werke (Graffiti, Murals, Bildtafeln) um eine neue Form der Kunst erweitert. Dabei ergänzen und überlagern so kunstvolle 3D-Animationen, Videos oder Bilder die Realität.
Das Projekt bringt Kreative und Entdecker/innen zusammen und entwirft mit urbanana-AReal einen Stadtrundgang, der auch unter den Bedingungen sozialer Distanz realitätserweiternd wirkt.
Die Geschichte der Cordillera Blanca als VR/AR-Erlebnis
Alexander Lunas transmediales Projekt ”Yuraq Janka – Cordillera Blanca” befasst sich mit der durch die Erderwärmung bedingten Transformation des peruanischen Gletschergebiets Cordillera Blanca. Außerdem will er auf die Klimaklage gegen den deutschen Energieversorgungskonzern RWE aufmerksam machen.
Direkte Erfahrungen, unterschiedliche Perspektiven und Wissen über die Region und die Auswirkungen des Klimawandels sollen den BesucherInnen der Ausstellungen vermittelt werden. Es wird unter anderem eine AR Karte der Cordillera Blanca erstellt, welche sich aus einem zweidimensionalen, grafischen Kartenwerk, einem 3D-gedrucktem Relief und AR-animierten Inhalten zusammensetzt. Der Künstler selbst ist dabei vor Ort, um als Erzähler und Ansprechperson stets zur Verfügung zu stehen. Die Konsequenzen des weltweiten Gletscherrückgangs sollen so für die BetrachterInnen, in einer für sie berührenden Form, greifbar gemacht werden.
Das Projekt hat zwei klare Ziele. Zum einen will Alexander Luna einem internationalen breiteren Publikum, vor allem aber den Menschen in Peru und Deutschland, die Hintergründe der Klimaklage näherbringen. Zum anderen will er die Erstellung eines physischen und digitalen Zentralarchivs der Cordillera Blanca initiieren – einen sicheren Raum für die Erinnerungen an diesen Ort.
Unter dem Motto “re:imagine Street ARt” fand im Sommer 2019 derzeit in Berlin eine innovative Ausstellung von Samsung und unterschiedlichsten Künstlern statt. Mit diesem Projekt wollte der koreanische Hersteller Kunstwerke durch die Augmented Reality erweitern und ihnen eine zusätzliche Ebene verpassen.
Das Künstlerkollektiv Tape That verwandelte einen Raum in eine optische Illusion, die die Grenzen und Strukturen der Wirklichkeit aufbricht. Passend dazu können Besucher mit dem Galaxy S9 die beeindruckende Installation zum Leben erwecken und interaktiv mit farbigen Würfeln anreichern, um den Raum kreativ zu erweitern und umzugestalten.
https://www.instagram.com/p/BnHVGmGgQ8R/?taken-by=vrnerds
Quellen:
The current situation puts museums in a tough position. With missing tourists, museums have to find a way to reconnect with local communities. The easiest and cheapest way is through technology.
Back in 2010 the natural history musem in London was one of the first developed an interactiv AR experience for their visitors.
Natural History Museum in London
As the Natural History Museum wanted to bring its collections to life with a stand-alone interactive film experience. Goal was to capture general public attention and educate science students. A media Team should emerge the complex story of evolution with a cutting-edge interactive technology and a strong narrative, into a new and innovative user experience.
To ensure that visitors would experience a realtime 3D experience that was appropriate to their location within the facility, the production team considered numerous technologies, including stereoscopic 3D projections and Pepper’s ghost presentations that give the illusion of floating objects, but ultimately deemed AR to be the best fit with the proposed content, existing layout, and budget.
HARDWARE
Nothing was available in the gaming, consumer, or medical handheld markets that was robust enough to handle 100 of vistors each day. A custom developed handheld device became the only realistic option.
AR and museums today
10 years later AR software and hardware has developed tremendously. Almost everyone walks around with the technology that is necessary. Manny AR apps have evolved over the last couple of years.
Artvive
10 years later Artvive was founded in Vienna in 2017. It provides an easy to use AR toolkit that is used by artist, museums and exhibitions around the world.
AR as a new gate to museums
For manny people there is a wall between them and the artwork. It feels distant, dry and dead. While there are audio guides in almost every art museum, they are an outdated solution almost 70 years old. All they can do is rattle off information. It’s hard to believe we’re stuck with audio guides when our smartphones let us interact with the entire knowledge of humankind.
Augmented reality can bring a painting to life, allow it to tell its own story and allow you to join the conversation. It can help museums, artists, and art lovers, all at the same time. If we merge augmented reality with art, we transform the experience of creating, presenting, and enjoying it.
The Albertina Museum in Vienna uses AR to explain the biographies of the artists, the history of their artworks, and the process of their painting. Visitors are now able to go inside the paintings.
At Austrian Belvedere Museum, AR reveals the paintings underneath the painting you see before you. The hidden world of do-overs is brought to life in a kind of real-time, sci-fi archaeology of the artwork.
Almost everyone walking in the door brings the equipment with them in their pocket. All the museum needs to do is direct visitors to download the appropriate AR app. Visitors will be more engaged with the exhibition, spend more time in the museum and money in the museum’s gift shop. They will be able to take home augmented reality posters and postcards with the artworks and amaze friends and family. This way, the content created will not only offer a new experience in the museum, but will also function as effective marketing tools for new visitors.
The content is easy to expand and update with new information, or adapt to make connections to a traveling exhibit on display on the other side of the museum.
Need for a Mobile Application
So far, augmented reality works mostly through special AR mobile applications. And that’s the problem: to immerse themselves in the world of AR, customers need to find a mobile app in the App Store or the Play Store and install it. Doing so takes time and, moreover, most people would probably need to keep several AR apps on their smartphones to access different AR experiences. But technology is already adapting:
Blippar, a prominent AR provider, is working on a totally new media format called augmented reality digital placement (ARDP). ARDP doesn’t require a separate AR application. Instead, advertisers can use ARDP to create AR ads by using only smartphone or desktop cameras. Thanks to ARDP, users can tap on a rich media ad (a banner, for example) and activate AR.
Takeaways
An increasing number of museums are using augmented reality to add a new dimension of experinece and to layer additional information. AR keeps art approachable and relevant for all generations and communities. Integrating local artists and communities in content creation that can bridge traditional art and digital art. A Museum visit is still essential, it cannot be experienced without.
The real key to successful implementation will be how effectively AR is woven into the narrative, integrating the virtual with the physical. As with any good storytelling device, this will be the most effective way to ensure that the viewing interface becomes a transparent layer between the object and the visitor’s imagination.
Sources:
Why augmented reality-will save museums worldwide https://artivive.com/why-augmented-reality-will-save-museums-worldwide/
How Augmented Reality Makes Advertising Interactive https://rubygarage.org/blog/augmented-reality-in-advertising
Augmented Reality in a Public Space: The Natural History Museum, London https://ieeexplore.ieee.org/abstract/document/6165244
Öffentliche Kunst ist ein Mittel um Gemeinschaften zusammenzubringen und Menschen direkt mit dem physischen Raum um sie herum zu verbinden. In der Regel wird Kunst im öffentlichen Raum in Form von Wandgemälden, Skulpturen und Architektur präsentiert. Öffentliche Kunstwerke können als Identitätsmarker für bestimmte Orte, oder auch als Mittel zur Anregung persönlicher und sozialer Veränderungen dienen.
Durch neue Technologien und Werkzeuge bekommen visuelle Kunstformen neue Möglichkeiten sich darzustellen. Die weiterentwicklung von AR (Augmented reality) lässt diese Technologie immer weiter in den Konsumerbereich vordringen. Social Media Plattformen wie Snapchat und Instagram zeigten bereits in den letzten Jahren zahlreiche Anwendungsbeispiele in Form von Filtern. Mithilfe deren können virtuelle Elemente in die reale Welt projiziert werden.
Es finden sich aber auch Beispiele bei denen reale Objekte, virtuelle Elemente mithlife von AR generiert werden können. Die Multimedia Agentur Heavy gestaltete eine Wandmalerei die mithilfe von AR, Animationen durch Interaktion auf einem Smartphone zulässt. Der Benutzer kann mithilfe einer App die Flächen des Gemäldes auswählen und diese im physischen Raum transformieren und skalieren.
Quellen: Augmented reality, art, and public space https://dl.acm.org/doi/10.1145/3214745.3214747