Multiview Video Coding

Nach den bereits im Jahre 2005 patentierten Entwicklungen, stereoskopische Videoaufnahmen mit MPEG-2-Kodierungen zu realisieren,^[1] wurde von der Moving Picture Experts Group und dem Joint Video Team gemeinsam der Multiview-Video-Coding-Standard entwickelt, um auch Signale von mehreren simultan aufgenommenen Videokameras in einem Codec abspeichern zu können. Im Juli 2008 hat die Moving Picture Experts Group offiziell die Ergänzung des Standards Advanced Video Coding (AVC) zum Multiview Video Coding verabschiedet.^[2]

Anwendungen sind insbesondere das 3D-Fernsehen und das stereoskopische Betrachten von Spiel- und Trickfilmen.^[3] Auch für Anwendungen der virtuellen Realität, wie das sogenannte Free Viewpoint Video (FVV) beziehungsweise das Free Viewpoint Television (FTV), bei dem der Betrachter seinen Standpunkt und die Betrachtungsrichtung selber bestimmen kann, kann der Standard angewendet werden.

Das Multiview Video Coding ist dabei unabhängig vom Wiedergabeverfahren, kann also zum Beispiel mit digitalen Bildschirmen oder Projektoren wiedergegeben werden. Um die Bilder zu betrachten, werden meist Shutterbrillen verwendet, die die Bilder mit Hilfe von elektronisch steuerbaren Flüssigkristallschichten abwechselnd auf die beiden Augen des Betrachters lenken. Die Wechselfrequenz ist dabei so hoch, dass sie vom Betrachter nicht bemerkt wird.

Alternativ gibt es Verfahren, die die beiden stereoskopischen Bilder zum Beispiel mit zwei Projektoren gleichzeitig mit senkrechten Polarisationsrichtungen erzeugen, so dass diese mit Polarisationsbrillen betrachtet werden können, die mit zwei senkrecht zueinander ausgerichteten Polarisationsfiltern und demzufolge ohne elektronische Hilfsmittel ausgestattet sind.

Auch für mobile Wiedergabegeräte sind entsprechende Entwicklungen in Arbeit.^[4]

Weiterhin kann MVC auch für die Betrachtung von dreidimensionalen Bildern ohne Hilfsmittel verwendet werden. Hierbei wird der Tiefeneindruck durch Autostereoskopie erzeugt.

Seit 2011 hat die Verbreitung von MVC-kodiertem Videomaterial durch die Blu-ray Disc 3D sowie durch 3D-Camcorder der Firma Sony zugenommen.

Wegen der Patente auf den MVC Codec gab es zunächst nur kommerzielle Software, die das Dekodieren bzw. Erstellen von MVC-Videos ermöglicht. Seit Ende 2013 gibt es ein Kommandozeilen-Programm mit Namen FRIM^[5], geschrieben von einem Software-Entwickler namens "videohelp3d"^[6]. Damit können MVC-Videos in ein anderes Format und in Clips für jeweils das linke und rechte Auge umgewandelt werden.

Populäre Open-Source-H.264- und HEVC (H.265)-Dekoder, wie sie in den FFmpeg- und Libav-Bibliotheken vorkommen, ignorieren einfach die zusätzliche Information für den zweiten (rechtsäugigen) View und stellen ihn für stereoskopische Views nicht dar. In den meisten Fällen wurde in der Software-Designphase für die Kernfunktionalität von H.264- und HEVC-Dekodern eine mögliche Erweiterung auf MVC nicht genügend berücksichtigt. Dies zieht nachträgliche aufwendige Umstellungen des Programm-Codes (Refactoring) und große Änderungen an der vorliegenden Software-Architektur nach sich. Hierbei sind Aktivitäten, wie Entwirren und Neuanordnung von gewachsenem Quellcode, ebenso durchzuführen wie das Aufspalten verschiedener Funktionen in vorhandenem Dekoder-Quellcode in kleinere Einheiten, um Software-Erweiterungen wie die MVC-Unterstützung einfacher hinzufügen zu können.^[7]

Im Rahmen von Forschungsarbeiten wurden bestehende Dekoder zwar um MVC-Unterstützung erweitert, jedoch flossen deren Ergebnisse bisher nicht in den Haupt-Entwicklungszweig für offizielle Releases von FFmpeg oder Libav ein.^[8][9]

Mit der Veröffentlichung der Version 0.98 der DirectShow Media Splitter and Decoders Collection LAV Filters^[10] am 8. März 2016 durch den Autor "Nevcairiel" – der auch an dem Media Player Classic – Home Cinema (MPC-HC) arbeitet – verbesserte sich die Situation. Denn diese Version unterstützt das Demultiplexen und Dekodieren von H.264 MVC 3D. Mit Hilfe dieser Version und FRIM ist es möglich, ein AviSynth-Skript zu schreiben, welches einen H.264-MVC-3D-Videoclip beim Öffnen in eine Nebeneinander-Ansicht umwandelt. Diese kann dadurch von dem freien 3D-Video-Player Bino^[11] geöffnet und dann als beispielsweise als Rot-Cyan-Anaglyph-3D-Video dargestellt werden.

Die Verwendung des AviSynth-Plug-in (FRIMSource) ist auf der "videohelp3d"-Homepage beschrieben. LAV Filters kann verwendet werden, um den Ton des Original-MVC-Videoclips zu verwenden. Dessen Entwickler^[12] bekräftigte seine Absicht, in einem zukünftigen Release eine direkte Umwandlung eines MVC-Videoclips (d. h. ohne den Umweg über AviSynth) in eine Nebeneinander-Ansicht zur Verfügung zu stellen.

• Skalierbare Multi-View Videocodierung – Lehrstuhl für Multimediakommunikation und Signalverarbeitung der Universität Erlangen-Nürnberg
• Technologies – Introduction to Multiview Video Coding
• Visions – 3D Video Vision

1. ↑ Patentanmeldung WO2005083636A1: Method and System for Digital Coding 3D Stereoscopic Video Images. Angemeldet am 27. Februar 2004, veröffentlicht am 9. September 2005, Anmelder: TD Vision Corp S.A. de C.V., Erfinder: Manuel Rafael Gutièrrez Novelo.‌
2. ↑ Mitsubishi Electric Research Laboratories – Multiview Video Coding project (Memento des Originals vom 3. März 2016 im Internet Archive)   Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.merl.com
3. ↑ Technologies – Introduction to 3D Video
4. ↑ NOKIA – Mobile 3D Video (Memento des Originals vom 30. Mai 2009 im Internet Archive)   Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/research.nokia.com
5. ↑ http://www.videohelp.com/software/FRIM Videohelp download page Abgerufen am 30. März 2016
6. ↑ http://forum.doom9.org/showthread.php?t=169651 developers page of "videohelp3d" Abgerufen am 30. März 2016
7. ↑ blogs.gentoo.org/lu_zero/2014/04/04/the-road-to-mvc/ The road to MVC
8. ↑ Archivierte Kopie (Memento des Originals vom 4. März 2016 im Internet Archive)   Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.nt.uni-saarland.de Jochen Britz – Optimized implementation of an MVC decoder – Master’s Thesis in Computer and Communication Technology
9. ↑ https://github.com/Britz/FFmpeg Britz – In terms of my master thesis, I work on a H.264 MVC implementation in libvacodec based on H.264 Annex H.
10. ↑ https://github.com/Nevcairiel/LAVFilters GitHub repository des Projekts LAV Filters Abgerufen am 30. März 2016
11. ↑ http://bino3d.org/index.html Home page of Bino - a free 3D video player Abgerufen am 30. März 2016
12. ↑ http://forum.doom9.org/showthread.php?t=156191&page=1029 Entwickler-Homepage von "Nevcairiel" (am Seitenende) Abgerufen am 30. März 2016