無料の AI 吹き替え · オープンソース · 試すだけならアカウント不要 · ダウンロードは無料のログインで · 無料の音声はアップロードなし

あなたの動画を、17 言語で、あなたの声のままで。

このブラウザで無料:パソコンでも Android のスマートフォンでも、標準の音声で吹き替えられます。アプリもキーも不要で、何もアップロードしません。5 分までの動画に対応。英語の動画はほかの 8 の言語に(パソコンの Chrome ではポルトガル語にも)、ほかの 13 の言語の動画は英語に無料で吹き替えられます。初回だけ最大約 750 MB をダウンロードします。話者本人の声を残すには、パソコンの OpenDub アプリの OmniVoice(非商用)か、ご自身の Higgs Audio・ElevenLabs のキーを使います。

OpenDub(opendub.app)は、自分の動画のための AI 吹き替えです。パソコンや Android のスマートフォンのブラウザで無料で使え、Mac と Windows 向けのデスクトップアプリもあり、ソースコードは gitlab.com/open-dubapp/OpenDub で公開しています。動画をアップロードして、吹き替え先の言語を選ぶだけです。OpenDub は話し声を音楽から分離して書き起こし、その場の尺に収まる長さに一文ずつ翻訳して、元の声をクローンした声で読み上げます。最後に新しい言語の字幕を焼き込みます。

  • オープンソース。どの工程も、読んで、動かして、差し替えられるただのコードです。
  • 音声モデル以外はローカル。分離、発話検出、タイミング、ミックス、書き出しはすべて端末上で動きます。動画が端末から出ることはなく、選んだ音声モデルに届くのは話し声のクリップとテキストだけです。
  • 強力。クローンしたあなたの声が 17 言語に。各行は元の発話のタイミングに合わせ、驚き、熱意、落ち着きといった口調まで運びます。
  • 17 言語。English, 简体中文, 繁體中文, 日本語, 한국어, Español, Français, Deutsch, Português, Italiano, Русский, हिन्दी, Bahasa Indonesia, Bahasa Melayu, Tiếng Việt, ไทย, العربية。元の動画の言語は自動で検出されます。
声
その他の設定 クローン音声 · 行ごとに口調を合わせる
OmniVoice は無料でローカル動作ですが低速で、非商用利用向けです。Higgs のプリセット音声を選ぶこともできます。
言葉の内容と、各行がどれくらいの大きさ・速さで話されたかから読み取ります。

話す速さは設定項目ではありません。各行が話者と同時に始まり、同時に終わるよう行ごとに決まります。

「声を差し替える」は音楽と効果音を残して話し声だけを入れ替えます。「ボイスオーバー」は元の声をうっすら下に残します。

仕組み

4 つのモデルが、それぞれ最も得意なことだけを担います。

  1. 01

    分離する

    Demucs が話し声を音楽や効果音から切り離します。だから吹き替え後もサウンドトラックは生き残り、以降のモデルはきれいな声だけを聞けます。

  2. 02

    聞き取る

    Silero VAD が発話区間を見つけます。Higgs STT はどの言語で話されていても言葉を書き起こし、ローカルの Whisper は単語単位で揃えたタイミングだけを受け持ちます。

  3. 03

    尺に合わせて訳す

    Higgs のチャットモデルが文ごとに翻訳し、それぞれを話者が話した長さに合う分量へ整えます。だから新しい声は、話者と同時に始まり同時に終わります。

  4. 04

    話し、確かめる

    Higgs TTS が元音声のきれいな一文から声をクローンし、言葉の内容と話者の声の大きさ・速さから読み取った口調で各行を読み上げます。各行は書き起こして照合し、ずれていれば作り直したうえで、元の長さに合うよう言い直すか、わずかに伸縮させます。

料金とインストール

無料のもの、有料のもの、インストールするもの。

  • 無料

    OpenDub 本体

    AGPL-3.0-or-later のオープンソースで、無料で使えます。試すだけならアカウントは不要で、吹き替えのダウンロードには無料のログインが必要です。字幕ファイル、ブラウザ拡張機能、パソコン版アプリにはアカウントは要りません。

  • 無料

    ブラウザの標準の音声

    パソコンや Android のスマートフォンなら、このブラウザで無料です。キーもインストールも不要、試すだけならアカウントも不要で(ダウンロードには無料のログインが必要です)、5 分までの動画に対応します。話者のクローンではなく標準の音声です。英語の動画はほかの 8 の言語に(パソコンの Chrome ではポルトガル語にも)、ほかの 13 の言語の動画は英語に吹き替えられます。

  • 無料

    OmniVoice

    話者の声をクローンする無料の音声です。パソコンに入れた OpenDub アプリの中で動き、ノートパソコンの CPU では 1 行あたり 15〜35 秒ほどかかります。モデルの重みは非商用利用に限ってライセンスされています。

  • 自分の API キー

    Higgs Audio または ElevenLabs

    ご自身の API キーを使い、料金は Boson AI または ElevenLabs に直接お支払いいただきます。ページ上部のカードでそのまま使え、インストールは不要です。

  • 有料

    OpenDub クレジット

    キーは不要です。近日公開。

ブラウザでは、上部のカードで 5 分までの動画を吹き替えられます。パソコン版アプリには長さの制限がありません。Mac(Apple Silicon)版と Windows 版のダウンロードには Python や ffmpeg など必要なものがすべて入っており、macOS と Linux では1 行インストールも使えます。

よく使われる作業:動画翻訳(日本語)· 英語のページ:Video translator · Translate video to English · Translate video to Hindi · Video language changer。

よくある質問

吹き替える前によく聞かれること。

OpenDub は無料ですか?

ソフトウェアは無料のオープンソース(AGPL-3.0-or-later)です。パソコンや Android のスマートフォンのブラウザでは、標準の音声でなら API キーなしで無料で吹き替えられます(5 分までの動画)。話者の声をクローンする OmniVoice の音声は無料で、ご自身のパソコンで動き、非商用利用に限られます。Higgs Audio や ElevenLabs はご自身の API キーで使い、料金はその提供元に直接お支払いいただきます。有料の OpenDub クレジットは近日公開です。

アカウントは必要ですか?

試すだけなら不要です。吹き替え、プレビュー、デモにはアカウントは要りません。吹き替えた動画や音声をダウンロードするときは無料でログインします。ログインするとダウンロードはそのまま続きます。字幕ファイルと声のクリップ、ブラウザ拡張機能、パソコン版アプリにはアカウントは要りません。

何かインストールする必要がありますか?

ご自身の Higgs Audio または ElevenLabs のキーを使う場合は不要です。吹き替えはブラウザのタブの中で行われ、動画は 5 分までです。パソコンや Android のスマートフォンでは何もインストールせずに無料で吹き替えられます。話し手のクローンではなく標準の音声で、英語の動画はほかの 8 の言語に(パソコンの Chrome ではポルトガル語にも)、ほかの 13 の言語の動画は英語に吹き替えます。iPhone の無料音声はまだプレビュー版で、opendub.app/?phonevoice=1 を開くと使えます。OmniVoice で声を無料でクローンするには、パソコンに OpenDub アプリが必要です。アプリには長さの制限がありません。

動画はアップロードされますか?

いいえ。動画はお使いの端末に残ります。選んだ音声モデルに送られるのは、音声の断片とテキストだけです。

BGM は残りますか?

はい。「声を差し替える」は音楽と効果音を残して話し声だけを入れ替えます。「ボイスオーバー」は元の声をうっすら下に残します。

どの言語に吹き替えられますか?

17 言語です:English, 简体中文, 繁體中文, 日本語, 한국어, Español, Français, Deutsch, Português, Italiano, Русский, हिन्दी, Bahasa Indonesia, Bahasa Melayu, Tiếng Việt, ไทย, العربية。元の動画の言語は自動で判別されます。

対応する動画形式と長さは?

MP4、MOV、WebM です。ブラウザでは 5 分まで、パソコン版アプリには長さの制限がありません。

どんなファイルが得られますか?

吹き替え済みの MP4、吹き替え音声の WAV、両言語の SRT 字幕、そして声のクローン元になったクリップです。

コマンドラインで実行できますか?

はい。リポジトリをクローンして ./run.sh でセットアップしたあと、.venv/bin/python -m opendub.pipeline video.mp4 --to ja でページを開かずにファイルを吹き替えられます。この方法には Higgs Audio のキーが必要です。

映像の口の動きは変わりますか?

いいえ。OpenDub は声だけを差し替え、映像はそのままです。吹き替えの各行は、話者が元のセリフにかけた時間に長さを合わせます。字幕の焼き込みを選ぶと、字幕が映像に加わります。

公式サイト、ソースコード、サポートはどこですか?

公式サイトは opendub.app、ソースコードは gitlab.com/open-dubapp/OpenDub にあります。opendub.app の OpenDub は、ブラウザと Mac・Windows 向けデスクトップアプリで使う AI 吹き替えです。OpenDub という名前のほかのプロジェクトとは別のものです。お困りのときは、Telegram グループの OpenDub トピック(t.me/openappsnetwork/47)でお問い合わせください。