Bitmovin ermöglicht Live-Übersetzung in Echtzeit

Das österreichische Unternehmen Bitmovin hat eine neue Funktion für seinen Live-Encoder vorgestellt. Die Technologie verbindet sich direkt mit dem Übersetzungsdienst Syncwords und erzeugt dabei automatisch mehrsprachige Audiospuren sowie Untertitel in Echtzeit. Ein einzelner Live-Input wird so zu einem mehrsprachigen Stream mit verschiedenen Audio- und Untertitelspuren.

Aktuell werden sechs Sprachen in der Produktion unterstützt: Deutsch, Englisch, Französisch, Italienisch, Portugiesisch und Spanisch. Die Untertitel werden als WebVTT-Spuren ausgegeben, DVB-Untertitel sind ebenfalls verfügbar.

Von der Hackathon-Idee zum Produktfeature

Was als Hackathon-Projekt begann, ist mittlerweile fixer Bestandteil des Live-Encoding-Produkts von Bitmovin. Die Integration ermöglicht es, Live-Events ohne Übersetzungsteam oder Untertitel-Operatoren in mehreren Sprachen auszustrahlen. Zuschauer können die Sprache ihrer Wahl auswählen und erhalten synchron dazu passende Untertitel.

Die technische Umsetzung erfolgt über eine SRT-Verbindung zwischen dem Bitmovin Live-Encoder und Syncwords. Die Übersetzung, das Dubbing und die Untertitelung laufen parallel zum Live-Stream, die Ergebnisse werden als zusätzliche Audio- und Untertitelströme zurückgeliefert.

Sprachbarrieren bei Live-Inhalten

Laut Bitmovin stellen Live-Inhalte eine besondere Herausforderung dar, wenn es um Sprachbarrieren geht. Während Untertitel in derselben Sprache in den USA und der EU oft gesetzlich vorgeschrieben sind, gebe es für mehrsprachige Live-Übertragungen kaum rechtliche Vorgaben. Zuschauer, die die Hauptsprache nicht sprechen, müssten oft auf nachträgliche Übersetzungen warten oder ganz auf das Verständnis verzichten.

Die neue Lösung soll diese Lücke schließen, indem sie mehrsprachige Abdeckung ohne zusätzliches Personal ermöglicht. Die Manifeste für HLS und DASH enthalten alle Sprachen in einem einzigen Live-Output.

Technische Details und Einschränkungen

Die Auswahl der Audio- und Untertitelströme erfolgt über Sprachattribute statt über feste Positionen, was die Konfiguration robuster macht. Jede Sprache erhält ein eigenes DASH-Adaptionsset mit Sprach-Tag und Label.

Bei den DVB-Untertiteln handelt es sich um bildbasierte Formate, die mittels OCR-Software Tesseract in Text umgewandelt werden. Die Genauigkeit hängt von der Bildqualität und Schriftart ab. Derzeit sind Sprachmodelle nur für die genannten sechs Sprachen installiert, was die aktuelle Begrenzung darstellt.

Syncwords bietet laut Bitmovin eine Option namens „Cloned Voice“, die die Stimme des Originalsprechers imitiert statt eine generische Synchronstimme zu verwenden. Offiziell wird ein SRT-Pull-Client unterstützt, tatsächlich seien aber bis zu zehn Clients möglich.

Ausblick

Bitmovin plant weitere Verbesserungen: Die Unterstützung zusätzlicher Tesseract-Sprachmodelle soll erweitert werden, um mehr als die aktuellen sechs Sprachen abzudecken. Auch automatische Auswahl und Durchleitung von Audio- und Untertitelströmen sowie DVB-TTML als zusätzliches Untertitelformat stehen auf der Agenda.

Das Unternehmen bietet eine Testversion des Live-Encoders an und stellt eine Demo mit Live-Player zur Verfügung, bei der zwischen verschiedenen Audio- und Untertitelspuren gewechselt werden kann.

Quelle: https://bitmovin.com/blog/live-translation-live-encoder