Kuppelkino
Matthias Heyde/ Fraunhofer FOKUS

Alles im Blick: 360-Grad-Filmerlebnis dank echtzeitfähiger Algorithmen

Meldung vom Di., 26. April 2016

Fraunhofer FOKUS zeigt am 2. und 3. Mai 2016 auf der Media Convention in Kooperation mit ARTE 360-Grad-Technologien. Mit diesen werden hoch aufgelöste Filme aus der ARTE360-App in einer Kuppel sowie auf einem Fernsehgerät gezeigt. Besucher des Berliner Medienkongresses können mit einer Fernbedienung frei den Blickwinkel verändern und sich so realitätsnah in den Filmen umschauen.
Die Besucher können mehrere Filme aus der ARTE360-App ausprobieren: Sie können mit dem Hubschrauber über den verschneiten Gipfel des Mont Blanc fliegen. Sie können einem Opernsänger lauschen und die einzelnen Musiker der Mailänder Scala beim Konzert betrachten sowie abschließend mit einem Ballon in die Stratosphäre auf 42 Kilometer Höhe aufsteigen. Die individuellen Spaziergänge in den virtuellen Welten sind mit riesigen Datenmengen verbunden, die in Echtzeit verarbeitet werden müssen, damit der Betrachter die von ihm gewählte Filmperspektive in hoher Qualität und flüssig betrachten kann. Das gilt sowohl für die Darstellung in einer Kuppel als auch für die Anzeige auf einem Fernseher oder Smartphone mit begrenztem Speicher und eingeschränkter Internetverbindung.

Fraunhofer FOKUS bietet hierfür verschiedene Softwarelösungen an und stellt diese während der Media Convention in Kooperation mit ARTE auf dem Stand des Senders in Halle 5 vor:

Mit der 360-Grad-Video-Cloud-Streaming-Lösung können Zuschauer ein hoch aufgelöstes 360-Grad-Video auf einem HbbTV (Hybrid Broadcast Broadband TV)-Fernseher oder mobilen Endgerät betrachten, auch wenn das Gerät über geringe Speicherkapazität und begrenzte Netzwerkverbindung verfügt. Gängige Video-Webseitenanbieter wie YouTube und Facebook führen die Zusammenstellung der Videoinhalte auf dem Gerät des Betrachters durch. Das führt zu großen Datenmengen auf dem Endgerät, dessen Rechenkapazitäten schnell erreicht sind. Hinzu kommt, dass einige Geräte, wie HbbTV-Fernseher, die notwendigen Bildbearbeitungen nicht selbst durchführen können. Bei der Lösung des Geschäftsbereichs FAME  (Future Applications and Media) von Fraunhofer FOKUS wird nur der Videoausschnitt, der gerade betrachtet wird, in Echtzeit berechnet und zwar auf einem Server in einer Cloud-Infrastruktur. Lediglich diese Videodaten werden dann zum Endgerät gestreamt. Neben dem Server und Player beinhaltet die Lösung auch eine App, mit der das Video gesteuert und der Blickwinkel verändert werden kann. »VR-Brillen haben einen Hype rund um Virtual Reality-Anwendungen ausgelöst. Wir zeigen in Kooperation mit ARTE, wie ein immersives 360-Grad-Filmerlebnis auch ohne solch eine Brille möglich ist. Der Vorteil dabei ist, dass ich meine Erfahrung mit anderen teilen kann und nicht allein in virtuellen Welten umherlaufe«, erklärt Dr. Stephan Steglich, Leiter des Geschäftsbereichs Future Applications and Media.

360-Grad-Videos werden mit einem Kameracluster aufgenommen. Die Kameras sind dabei kugelförmig angeordnet, so dass alle Richtungen erfasst werden. Die Forscher des Geschäftsbereichs VISCOM (Visual Computing) bei Fraunhofer FOKUS haben eine Software für die Produktion von 360-Grad-Videos entwickelt. Sie setzt die Einzelbilder des Kameraclusters zu einem nahtlosen Rundumbild zusammen. Im Gegensatz zu anderen Lösungen erfolgt dieses Video-Stitching in Echtzeit, so dass auch 360-Grad-Videos live übertragen werden können.

Für die Wiedergabe der Videos in Form einer Kuppel-Projektion haben die VISCOM-Forscher in enger Kooperation mit Carl Zeiss einen Medienserver für die Steuerung von Multi-Projektorsystemen entwickelt. Er sorgt für eine autokalibrierende Projektion auf beliebig geformte Flächen und besteht aus dem Showplayer, Screen-Configurator und dem Showmanager. Der Player stellt das 360-Grad-Video dar und versorgt jeden Projektor mit seinem (Teil-)Bild. Die Bildberechnungen erfolgen auf gewöhnlichen PCs, so dass keine Spezialhardware notwendig ist. Der Screen-Configurator ist das Planungstool. Mit ihm definiert man im Voraus die Projektionsgeometrie und erstellt ein geeignetes Projektor-Setting, das den jeweiligen Projektortyp berücksichtigt und die Projektorenanzahl, -position und -orientierung festlegt. Er ist für die Projektor-Autokalibrierung verantwortlich und berechnet die Verzerrungsvorschriften, die der Player benötigt, um ein nahtloses Gesamtbild hinsichtlich Geometrie, Helligkeit und Farbe aus den Projektorteilbildern zusammenzusetzen. Mit dem Showplayer werden die Videos in Echtzeit mit einer Auflösung von bis zu 8k x 8k abgespielt. Auch Live-Input kann eingebunden werden. Für die Media Convention haben die Forscher ein Gamepad zur Steuerung des Blickwinkels in das System integriert.

Veranstaltungsort:
STATION-Berlin
Halle 5, Stand von ARTE
Luckenwalder Str. 4-6
10963 Berlin