Kostenlose KI-Synchronisation · Open Source · Kein Konto zum Ausprobieren · Kostenlose Anmeldung zum Herunterladen · Kein Upload mit der kostenlosen Stimme

Ihr Video, in 17 Sprachen, in Ihrer eigenen Stimme.

Kostenlos in diesem Browser: auf dem Computer oder einem Android-Handy, mit einer Standardstimme, ohne App, ohne Schlüssel und ohne Upload, für Videos bis 5 Minuten. Ein englisches Video lässt sich kostenlos in 8 andere Sprachen synchronisieren (in Chrome auf dem Computer auch ins Portugiesische), ein Video in 13 anderen Sprachen ins Englische. Beim ersten Mal werden einmalig bis zu etwa 750 MB geladen. Für die eigene Stimme der sprechenden Person nutzen Sie OmniVoice in der OpenDub-App auf Ihrem Computer (nicht-kommerzielle Nutzung) oder Ihren eigenen Schlüssel für Higgs Audio oder ElevenLabs.

OpenDub (opendub.app) ist KI-Synchronisation für Ihre eigenen Videos: kostenlos im Browser auf dem Computer oder einem Android-Handy, als Desktop-App für Mac und Windows und als Open Source unter gitlab.com/open-dubapp/OpenDub. Laden Sie ein Video in einer Sprache hoch und wählen Sie eine andere. OpenDub trennt die Sprache von der Musik, schreibt sie mit, übersetzt jeden Satz passend zu seinem Moment und spricht ihn in einem Klon der Originalstimme wieder ein — und brennt anschließend Untertitel in der neuen Sprache ein.

  • Open Source. Jeder Schritt ist schlichter Code, den Sie lesen, ausführen und ersetzen können.
  • Lokal, bis auf die Stimmmodelle. Trennung, Sprachaktivitätserkennung, Timing, Mischung und Rendering laufen auf Ihrem Gerät. Ihr Video verlässt es nie — nur Sprachausschnitte und Text gehen an das Stimmmodell Ihrer Wahl.
  • Leistungsstark. Ihre eigene geklonte Stimme in 17 Sprachen, jede Zeile zeitlich auf Ihr gesprochenes Original abgestimmt und in Ihrem Tonfall — Überraschung, Begeisterung, Ruhe.
  • 17 Sprachen. English, 简体中文, 繁體中文, 日本語, 한국어, Español, Français, Deutsch, Português, Italiano, Русский, हिन्दी, Bahasa Indonesia, Bahasa Melayu, Tiếng Việt, ไทย, العربية. Die Sprache des Originalvideos wird automatisch erkannt.
Stimme
Weitere Einstellungen Geklonte Stimme · Tonfall pro Zeile
OmniVoice ist kostenlos und lokal, aber langsamer und nur für nicht-kommerzielle Nutzung. Oder wählen Sie eine voreingestellte Higgs-Stimme.
Abgelesen aus den Worten und daraus, wie laut und schnell jede Zeile gesprochen wurde.

Das Sprechtempo ist keine Einstellung: Es wird pro Zeile so gewählt, dass jede Zeile zusammen mit der sprechenden Person beginnt und endet.

„Stimme ersetzen“ behält Musik und Effekte und tauscht nur die Sprache. Voice-over lässt das Original leise darunter stehen.

So funktioniert es

Vier Modelle, jedes für genau das, was es am besten kann.

  1. 01

    Trennen

    Demucs trennt die Sprache von Musik und Effekten, damit der Ton die Synchronisation übersteht und jedes folgende Modell eine saubere Stimme hört.

  2. 02

    Zuhören

    Silero VAD findet die gesprochenen Stellen. Higgs STT schreibt die Worte mit, in welcher Sprache sie auch gesagt werden; ein lokales Whisper liefert allein das Timing, Wort für Wort ausgerichtet.

  3. 03

    Passgenau übersetzen

    Das Higgs-Chatmodell übersetzt ganze Sätze, jeden so bemessen, wie lange die sprechende Person dafür gebraucht hat — damit die neue Stimme mit der sprechenden Person einsetzt und aufhört.

  4. 04

    Sprechen, dann prüfen

    Higgs TTS klont die Stimme aus einem sauberen Satz des Originals und spricht jede Zeile in dem Tonfall, in dem sie gesagt wurde — abgelesen aus den Worten und daraus, wie laut und schnell gesprochen wurde. Jede Zeile wird zurücktranskribiert und neu erzeugt, wenn sie abgewichen ist, dann noch einmal gesprochen oder sanft gedehnt, bis sie zur ursprünglichen Länge passt.

Kosten und Installation

Was kostenlos ist, was kostet und was Sie installieren.

  • Kostenlos

    OpenDub selbst

    Open Source unter AGPL-3.0-or-later und kostenlos nutzbar. Zum Ausprobieren ist kein Konto nötig; zum Herunterladen einer Synchronisation melden Sie sich kostenlos an. Untertiteldateien, die Browser-Erweiterung und die App auf Ihrem Computer brauchen keins.

  • Kostenlos

    Standardstimme im Browser

    Kostenlos in diesem Browser auf dem Computer oder einem Android-Handy: kein Schlüssel, nichts zu installieren und zum Ausprobieren kein Konto (zum Herunterladen melden Sie sich kostenlos an), für Videos bis 5 Minuten. Es ist eine Standardstimme, kein Klon des Sprechers: ein englisches Video in 8 andere Sprachen (in Chrome auf dem Computer auch ins Portugiesische), ein Video in 13 anderen Sprachen ins Englische.

  • Kostenlos

    OmniVoice

    Die kostenlose geklonte Stimme. Sie läuft in der OpenDub-App auf Ihrem Computer und braucht auf einer Laptop-CPU etwa 15–35 Sekunden pro Zeile. Die Modellgewichte sind nur für nicht kommerzielle Nutzung lizenziert.

  • Ihr eigener API-Schlüssel

    Higgs Audio oder ElevenLabs

    Sie nutzen Ihren eigenen API-Schlüssel und zahlen direkt an Boson AI oder ElevenLabs. Das funktioniert in der Karte oben auf der Seite, ohne etwas zu installieren.

  • Kostenpflichtig

    OpenDub-Guthaben

    Kein Schlüssel nötig. Demnächst.

Im Browser synchronisiert die Karte oben Videos bis zu fünf Minuten. Die App auf Ihrem Computer hat keine Längenbegrenzung: Die Downloads für Mac (Apple Silicon) und Windows enthalten Python, ffmpeg und alles Weitere, und für macOS und Linux gibt es zusätzlich eine einzeilige Installation.

Häufige Aufgaben: Video übersetzen (Englisch ↔ Deutsch, kostenlos im Browser) · Seiten auf Englisch: Video translator · Translate video to English · Translate video to Hindi · Video language changer.

Fragen

Was viele vor dem Synchronisieren wissen möchten.

Ist OpenDub kostenlos?

Die Software ist kostenlos und Open Source (AGPL-3.0-or-later). Im Browser auf dem Computer oder einem Android-Handy synchronisiert sie auch kostenlos mit einer Standardstimme, ohne API-Schlüssel, für Videos bis zu fünf Minuten. Die Stimme OmniVoice, die den Sprecher klont, ist kostenlos und läuft auf Ihrem eigenen Computer, für nicht kommerzielle Nutzung. Mit Higgs Audio oder ElevenLabs nutzen Sie Ihren eigenen API-Schlüssel und zahlen direkt an den Anbieter. Kostenpflichtiges OpenDub-Guthaben kommt demnächst.

Brauche ich ein Konto?

Zum Ausprobieren nicht. Synchronisieren, Vorschau und Demo brauchen kein Konto. Zum Herunterladen des synchronisierten Videos oder seines Tons melden Sie sich kostenlos an; danach läuft der Download von selbst weiter. Die Untertiteldateien und der Stimmausschnitt, die Browser-Erweiterung und die App auf Ihrem Computer brauchen keins.

Muss ich etwas installieren?

Mit Ihrem eigenen Schlüssel für Higgs Audio oder ElevenLabs nicht: Die Synchronisation läuft in Ihrem Browser-Tab, für Videos bis zu fünf Minuten. Auf dem Computer oder einem Android-Handy geht es auch kostenlos und ohne Installation, mit einer Standardstimme statt eines Klons des Sprechers: ein englisches Video in 8 andere Sprachen (in Chrome auf dem Computer auch ins Portugiesische), ein Video in 13 anderen Sprachen ins Englische. Auf dem iPhone ist diese kostenlose Stimme noch eine Vorschau unter opendub.app/?phonevoice=1. Die Stimme kostenlos mit OmniVoice zu klonen, braucht die OpenDub-App auf Ihrem Computer. Die App hat keine Längenbegrenzung.

Wird mein Video hochgeladen?

Nein. Das Video bleibt auf Ihrem Gerät. Nur Sprachausschnitte und Text gehen an das Stimmmodell, das Sie wählen.

Bleibt die Hintergrundmusik erhalten?

Ja. „Stimme ersetzen“ behält Musik und Effekte und tauscht nur die Sprache. Voice-over lässt das Original leise darunter stehen.

In welche Sprachen kann synchronisiert werden?

17 Sprachen: English, 简体中文, 繁體中文, 日本語, 한국어, Español, Français, Deutsch, Português, Italiano, Русский, हिन्दी, Bahasa Indonesia, Bahasa Melayu, Tiếng Việt, ไทย, العربية. Die Sprache des Originalvideos wird automatisch erkannt.

Welche Videoformate und Längen funktionieren?

MP4, MOV oder WebM. Im Browser bis zu fünf Minuten, in der App auf Ihrem Computer ohne Längenbegrenzung.

Welche Dateien bekomme ich?

Das synchronisierte MP4, die Synchronstimme als WAV, Untertitel in beiden Sprachen als SRT und den Ausschnitt, aus dem die Stimme geklont wurde.

Kann ich es über die Kommandozeile ausführen?

Ja. Aus einem Klon des Repositorys synchronisiert .venv/bin/python -m opendub.pipeline video.mp4 --to ja eine Datei ganz ohne Seite, sobald ./run.sh alles eingerichtet hat. Dieser Weg benötigt einen Higgs-Audio-Schlüssel.

Werden die Lippenbewegungen im Bild verändert?

Nein. OpenDub ersetzt die Stimme und lässt das Bild unverändert. Jede synchronisierte Zeile dauert so lange, wie die sprechende Person im Original dafür gebraucht hat. Wenn Sie eingebrannte Untertitel wählen, kommen diese ins Bild.

Wo finde ich die offizielle Website, den Quellcode und Hilfe?

Die offizielle Website ist opendub.app, der Quellcode liegt unter gitlab.com/open-dubapp/OpenDub. OpenDub unter opendub.app ist KI-Synchronisation im Browser und als Desktop-App für Mac und Windows; andere Projekte mit dem Namen OpenDub sind davon getrennt. Für Hilfe fragen Sie uns im Thema OpenDub unserer Telegram-Gruppe, t.me/openappsnetwork/47.