Eigentlich ist es recht naheliegend, dass man in Zeiten des VR Hypes auch intensiver über die Tonebene nachdenkt, denn schließlich gehört die akustische Ebene zwingend zu einer realistischen Rundumerfahrung dazu. Es scheint auf den ersten Blick, als haben praktisch alle führenden Entwickler für VR Equipment diesen nicht ganz unwichtigen Aspekt schlichtweg ignoriert oder verschlafen.
Nun könnte man hergehen,- und das tun diverse Anbieter, und die Grundidee der Bilderfassung, nämlich aus den Aufnahmen mehrerer Kameras ein 360 Grad Bild zu erstellen, auch auf den Ton übertragen und mit Hilfe einer gewissen Anzahl von Mikrofonen ebenfalls rundum Tonereignisse zu erfassen.
Dann kann sich der Ton,- eine entsprechende Software vorausgesetzt, bei Kopfbewegungen analog zum Bild mitbewegen. Soweit die Theorie. Die menschliche Wahrnehmung besteht aus vielen Sinnen, hier nur einen zu bedienen, ist ignorant und kurzsichtig. Doch wer geglaubt hat, das wäre einfach zu lösen, der irrt.
Immersion bedeutet eben auch die Tonebene realistisch einzufangen und später wiederzugeben.
Es gibt verschiedene Ansätze, die aber alle nicht ganz befriedigend sind. Dysonics 360 Grad „RondoMic" etwa, welches man unter die Kamera schrauben kann und welches mit X Mikrofonen rundum Ton aufnimmt.
Grundsätzlich wird es wichtig sein, funktionable Metadaten und Positionsinformationen zu den Tonaufnahmen hinzuzufügen. Noch existieren keine technischen Normen, keine Festlegungen für VR. Es gibt Systeme wie DTS oder Dolby Atmos, die gewisse Grundlagen beisteuern könnten und sicherlich längst an Lösungen arbeiten.
Montage
Aus der Erfahrung mit 5.1 oder 7.1 Location-Sound weiß man, dass man die einzelnen Tonspuren an den Bild,- und Tonschnitten jeweils überblenden muss, damit der akustische Raum nicht in sich zusammenfällt...
Noch gibt es sie nicht, die Software, welche die gleichzeitige Bearbeitung und Raumsimulation für etwa acht bis zehn Tonspuren bzw. entsprechende koordinaten-gestützte Systeme anbietet. So, wie es möglich ist, bei Profimischern eine MS Matrix zum Abhören zuzuschalten, so müsste man bereits bei der Aufnahme die 360 Grad Abhöre einrichten können.
Für die Hörerfahrung mit VR müsste die Wiedergabe der aufgenommen Tonereignisse vollautomatisch durch die Positionsinformationen gesteuert werden. Das ist deutlich mehr, als etwa das bekannte 5.1 oder 7.1 Surround-Verfahren.
Speziell im Spielebereich wo die Tonereignisse ähnlich synthetisch zusammengesetzt werden können, wie die visuellen Ereignisse, steckt großes Potential, die Spieleerfahrung noch einmal zu intensivieren.
Rechenaufgaben
So fein die Aufnahmen auch sind, die man für die 360 Grad Erfahrung aufnimmt, sie müssen präzise und schnell genug von der zugehörigen Hardware bereitgestellt werden. Die Tonereignisse über Kopfhörer so zu berechnen und anzubieten, dass wir realistisch hören, ist hochkomplex. Die wenigsten Rechner können diese Aufgaben in Echtzeit bewältigen.
Vorläufer
Tatsächlich gab es in der Vergangenheit bereits Systeme, die sich mit der Rundum-Hörerfahrung beschäftigt haben. Allen voran der Kunstkopf der 70er Jahre, aber auch die späteren Ambisonic und Wakefield-Synthesis (WFS) Systemen konnte diese Rundum-Erfahrung realisiert werden.
Kunstkopf (Dummy-Head)
Kunstkopf-Stereofonie war „The next big thing" in der Audiotechnik der 70er Jahre. Die Idee, den menschlichen Kopf samt Gehörgang und Ohrmuschel nachzubilden, und dort wo das Trommelfell sitzt, Mikrofonkapseln einzubauen, war bestechend (und bereits Anfang der 50er Jahre in Deutschland diskutiert worden). Die Schallabschattung bzw. Reflektion war wie beim Menschen und erlaubte so die räumliche Ortung. Wenn man entsprechende Stereo-Aufnahmen (genau gesagt spricht man von binauralen Aufnahmen) über Kopfhörer abhörte, konnte man nicht nur Linke und Rechts, sondern auch oben, unten und hinten orten.
Eine unglaubliche Hörerfahrung,- lediglich bei der Vorne-Ortung schwächelten die Systeme. Außerdem klangen die Aufnahmen leicht dumpfer als die Realität und irgendwie entstand der Ton mitten im Kopf, was man aber angesichts des damals neuen Hörerlebnisses gerne verzieh. Deshalb wurde der Kunstkopf selbst bei Musikproduktionen wie etwa die „Tales of Mystery and Imagination" des Alan Parsons Project, nur für Geräuschkollagen, nicht aber für die Musikinstrumente verwendet. Schuld an der mangelnden Vorne-Ortung war möglicherweise das Phänomen, dass man den Ton an der Stelle aufnahm, wo das Trommelfell sitzt, die Wiedergabekapseln der Kopfhörer aber außerhalb des Gehörgangs, eben in den Kopfhörer lagen. Neuere Systeme, etwa das Originalkopfmikrofon (OKM) von der Firma Soundman, setzten deshalb die Kapseln weiter nach Außen, also an den Beginn des Gehörgangs. Das verbessert die Vorne-Ortung.
Algorithmen ersetzen den Kunstkopf
Für die Rundum-Aufnahme benötigt man nicht zwingend einen Kunstkopf. Man kann 5.1 oder 7.1 Aufnahmen nicht nur über entsprechende Rundum-Lautsprecher wiedergeben sondern auch virtuell in Kopfhörer-Raumsimulationen (binaural) umrechnen.
Es gibt also bereits genug Erfahrungen und Systeme auf der Aufnahmeseite. Wo allerdings noch Lücken in der Umsetzung bestehen, das ist die Wiedergabeseite. Denn die Berechnung der jeweiligen Toninformationen, den individuellen Kopfbewegungen entsprechend, ist sehr rechenintensiv. Das ist nicht unwichtig, weil bereits die Berechnung der Bildseite ist so anspruchsvoll, dass man davon ausgeht, dass im Jahre 2016 nur ca. 16 Millionen Geräte weltweit überhaupt in der Lage wären, dies in Echtzeit durchzuführen und die gehören längst nicht alle irgendwelchen VR-Fans. Wenn der Ton noch mehr Rechenpower benötigt, könnte sich diese Zahl nochmals verringern.
Und als hätte man es gerade erst neu erfunden, hat die Technik-Welt auch einen neuen Begriff entwickelt, die so genannte HRTF, oder Head-Releated Transfer Function, die nichts anderes meint als 360 Grad Hören.
Soundfield Systeme, das neue Sennheiser Ambeo Verfahren und Eigenmic sind Beispiele für entsprechende Verfahren, die den 3D Raum akustisch besser abbilden können. Während die Soundfield-Systeme quasi Klassiker sind, stellen Ambeo und Eigenmic Neuentwicklungen dar, die natürlich auf den Vorerfahrungen basieren.
Alle Verfahren bemühen sich, im Markt die Vorherrschaft zu erringen. Es kommen also spannende Zeiten auf die VR Gemeinde zu, vielleicht ähnlich spannend, wie damals in den 70ern, als der Kunstkopf die analoge Hörwelt durcheinanderwirbelte.
Mehr über VR im Movie-College:
