無料の AI 吹き替え · オープンソース · 試すだけならアカウント不要 · ダウンロードは無料のログインで · 無料の音声はアップロードなし
あなたの動画を、17 言語で、あなたの声のままで。
このブラウザで無料:パソコンでも Android のスマートフォンでも、標準の音声で吹き替えられます。アプリもキーも不要で、何もアップロードしません。5 分までの動画に対応。英語の動画はほかの 8 の言語に(パソコンの Chrome ではポルトガル語にも)、ほかの 13 の言語の動画は英語に無料で吹き替えられます。初回だけ最大約 750 MB をダウンロードします。話者本人の声を残すには、パソコンの OpenDub アプリの OmniVoice(非商用)か、ご自身の Higgs Audio・ElevenLabs のキーを使います。
OpenDub(opendub.app)は、自分の動画のための AI 吹き替えです。パソコンや Android のスマートフォンのブラウザで無料で使え、Mac と Windows 向けのデスクトップアプリもあり、ソースコードは gitlab.com/open-dubapp/OpenDub で公開しています。動画をアップロードして、吹き替え先の言語を選ぶだけです。OpenDub は話し声を音楽から分離して書き起こし、その場の尺に収まる長さに一文ずつ翻訳して、元の声をクローンした声で読み上げます。最後に新しい言語の字幕を焼き込みます。
- オープンソース。どの工程も、読んで、動かして、差し替えられるただのコードです。
- 音声モデル以外はローカル。分離、発話検出、タイミング、ミックス、書き出しはすべて端末上で動きます。動画が端末から出ることはなく、選んだ音声モデルに届くのは話し声のクリップとテキストだけです。
- 強力。クローンしたあなたの声が 17 言語に。各行は元の発話のタイミングに合わせ、驚き、熱意、落ち着きといった口調まで運びます。
- 17 言語。English, 简体中文, 繁體中文, 日本語, 한국어, Español, Français, Deutsch, Português, Italiano, Русский, हिन्दी, Bahasa Indonesia, Bahasa Melayu, Tiếng Việt, ไทย, العربية。元の動画の言語は自動で検出されます。
その他の設定 クローン音声 · 行ごとに口調を合わせる
話す速さは設定項目ではありません。各行が話者と同時に始まり、同時に終わるよう行ごとに決まります。
「声を差し替える」は音楽と効果音を残して話し声だけを入れ替えます。「ボイスオーバー」は元の声をうっすら下に残します。
吹き替え中
—
いま行っていること
完了
—
ブロックをタップすると、そこから再生します。
各行
聞き取った原文と吹き替えた訳文を1行ずつ表示します。時刻をタップするとその行を再生します。「長さに合わせて 0.84× に減速」などの表示は、話者の長さに合わせて自動で調整したもので、ボタンではありません。
自分の動画を吹き替える
あるいは、OpenDub を自分のマシンで動かす。
上のカードなら、このタブのまま 5 分までの動画を吹き替えられます。パソコン版アプリには長さの制限がなく、声の除去も速く、どの行でも編集・口調変更・ドラッグして 10 秒ほどで吹き替え直せます。
Higgs の STT と翻訳、口調タグ付きのクローン音声。品質は最高で、上の吹き替えもこれで作りました。
Boson AI の従量料金
OmniVoice には Higgs Materials が含まれています。 Built with Higgs Materials licensed from Boson AI USA, Inc., Copyright Boson AI USA, Inc., All Rights Reserved and Meta Llama 3 licensed under the Meta Llama 3 Community License, Copyright Meta Platforms, Inc., All Rights Reserved. Boson Higgs Audio 2 Community License · Meta Llama 3 Community License
Whisper、ローカルの言語モデル、OmniVoice を使います。パソコンから何も出ず、料金もかかりません。
すでに使えます。OpenDub アプリをパソコンで起動したまま、上のカードで OmniVoice を選んでください。
Microsoft Store 版は Microsoft が署名しているので、「不明な発行元」の警告なしでインストールできます。単体のインストーラーを使う場合は .exe をダウンロードしてください。まだコード署名されていないため、SmartScreen に発行元が不明と表示されることがあります。
ダウンロードに含まれるサードパーティのライセンス。現在の Mac 版と Windows 版インストーラーの GPL の部分と、そのソースの入手方法:ライセンス(英語)。
Chrome、Edge、Firefox のブラウザ拡張機能もあります。5 分までの動画をブラウザ内で吹き替えでき。ローカルの OmniVoice か、ご自身の Higgs Audio キーを使います。
開いてインストールを押すだけです。Python、ffmpeg、アプリが動かすものはすべて中に入っています。ターミナルも、ほかに入れるものも、探すキーもありません。Mac 版は Apple Silicon 用です。
1 行で入れることもできますcurl -fsSL https://opendub.app/install.sh | bash
macOS と Linux。Mac で約 3.6 GB、Linux で約 6.5 GB、一度だけ。うち 3.3 GB は音声モデルで、最初の吹き替えのときにダウンロードされます。無料の音声を入れて起動するので、上のカードがそれで吹き替えられます。あなたの動画はこのパソコンから出ません。
すべてオープンソース、AGPL-3.0-or-later です:gitlab.com/open-dubapp/OpenDub。
仕組み
4 つのモデルが、それぞれ最も得意なことだけを担います。
- 01
分離する
Demucs が話し声を音楽や効果音から切り離します。だから吹き替え後もサウンドトラックは生き残り、以降のモデルはきれいな声だけを聞けます。
- 02
聞き取る
Silero VAD が発話区間を見つけます。Higgs STT はどの言語で話されていても言葉を書き起こし、ローカルの Whisper は単語単位で揃えたタイミングだけを受け持ちます。
- 03
尺に合わせて訳す
Higgs のチャットモデルが文ごとに翻訳し、それぞれを話者が話した長さに合う分量へ整えます。だから新しい声は、話者と同時に始まり同時に終わります。
- 04
話し、確かめる
Higgs TTS が元音声のきれいな一文から声をクローンし、言葉の内容と話者の声の大きさ・速さから読み取った口調で各行を読み上げます。各行は書き起こして照合し、ずれていれば作り直したうえで、元の長さに合うよう言い直すか、わずかに伸縮させます。
料金とインストール
無料のもの、有料のもの、インストールするもの。
- 無料
OpenDub 本体
AGPL-3.0-or-later のオープンソースで、無料で使えます。試すだけならアカウントは不要で、吹き替えのダウンロードには無料のログインが必要です。字幕ファイル、ブラウザ拡張機能、パソコン版アプリにはアカウントは要りません。
- 無料
ブラウザの標準の音声
パソコンや Android のスマートフォンなら、このブラウザで無料です。キーもインストールも不要、試すだけならアカウントも不要で(ダウンロードには無料のログインが必要です)、5 分までの動画に対応します。話者のクローンではなく標準の音声です。英語の動画はほかの 8 の言語に(パソコンの Chrome ではポルトガル語にも)、ほかの 13 の言語の動画は英語に吹き替えられます。
- 無料
OmniVoice
話者の声をクローンする無料の音声です。パソコンに入れた OpenDub アプリの中で動き、ノートパソコンの CPU では 1 行あたり 15〜35 秒ほどかかります。モデルの重みは非商用利用に限ってライセンスされています。
- 自分の API キー
Higgs Audio または ElevenLabs
ご自身の API キーを使い、料金は Boson AI または ElevenLabs に直接お支払いいただきます。ページ上部のカードでそのまま使え、インストールは不要です。
- 有料
OpenDub クレジット
キーは不要です。近日公開。
ブラウザでは、上部のカードで 5 分までの動画を吹き替えられます。パソコン版アプリには長さの制限がありません。Mac(Apple Silicon)版と Windows 版のダウンロードには Python や ffmpeg など必要なものがすべて入っており、macOS と Linux では1 行インストールも使えます。
よく使われる作業:動画翻訳(日本語)· 英語のページ:Video translator · Translate video to English · Translate video to Hindi · Video language changer。
よくある質問
吹き替える前によく聞かれること。
OpenDub は無料ですか?
ソフトウェアは無料のオープンソース(AGPL-3.0-or-later)です。パソコンや Android のスマートフォンのブラウザでは、標準の音声でなら API キーなしで無料で吹き替えられます(5 分までの動画)。話者の声をクローンする OmniVoice の音声は無料で、ご自身のパソコンで動き、非商用利用に限られます。Higgs Audio や ElevenLabs はご自身の API キーで使い、料金はその提供元に直接お支払いいただきます。有料の OpenDub クレジットは近日公開です。
アカウントは必要ですか?
試すだけなら不要です。吹き替え、プレビュー、デモにはアカウントは要りません。吹き替えた動画や音声をダウンロードするときは無料でログインします。ログインするとダウンロードはそのまま続きます。字幕ファイルと声のクリップ、ブラウザ拡張機能、パソコン版アプリにはアカウントは要りません。
何かインストールする必要がありますか?
ご自身の Higgs Audio または ElevenLabs のキーを使う場合は不要です。吹き替えはブラウザのタブの中で行われ、動画は 5 分までです。パソコンや Android のスマートフォンでは何もインストールせずに無料で吹き替えられます。話し手のクローンではなく標準の音声で、英語の動画はほかの 8 の言語に(パソコンの Chrome ではポルトガル語にも)、ほかの 13 の言語の動画は英語に吹き替えます。iPhone の無料音声はまだプレビュー版で、opendub.app/?phonevoice=1 を開くと使えます。OmniVoice で声を無料でクローンするには、パソコンに OpenDub アプリが必要です。アプリには長さの制限がありません。
動画はアップロードされますか?
いいえ。動画はお使いの端末に残ります。選んだ音声モデルに送られるのは、音声の断片とテキストだけです。
BGM は残りますか?
はい。「声を差し替える」は音楽と効果音を残して話し声だけを入れ替えます。「ボイスオーバー」は元の声をうっすら下に残します。
どの言語に吹き替えられますか?
17 言語です:English, 简体中文, 繁體中文, 日本語, 한국어, Español, Français, Deutsch, Português, Italiano, Русский, हिन्दी, Bahasa Indonesia, Bahasa Melayu, Tiếng Việt, ไทย, العربية。元の動画の言語は自動で判別されます。
対応する動画形式と長さは?
MP4、MOV、WebM です。ブラウザでは 5 分まで、パソコン版アプリには長さの制限がありません。
どんなファイルが得られますか?
吹き替え済みの MP4、吹き替え音声の WAV、両言語の SRT 字幕、そして声のクローン元になったクリップです。
コマンドラインで実行できますか?
はい。リポジトリをクローンして ./run.sh でセットアップしたあと、.venv/bin/python -m opendub.pipeline video.mp4 --to ja でページを開かずにファイルを吹き替えられます。この方法には Higgs Audio のキーが必要です。
映像の口の動きは変わりますか?
いいえ。OpenDub は声だけを差し替え、映像はそのままです。吹き替えの各行は、話者が元のセリフにかけた時間に長さを合わせます。字幕の焼き込みを選ぶと、字幕が映像に加わります。
公式サイト、ソースコード、サポートはどこですか?
公式サイトは opendub.app、ソースコードは gitlab.com/open-dubapp/OpenDub にあります。opendub.app の OpenDub は、ブラウザと Mac・Windows 向けデスクトップアプリで使う AI 吹き替えです。OpenDub という名前のほかのプロジェクトとは別のものです。お困りのときは、Telegram グループの OpenDub トピック(t.me/openappsnetwork/47)でお問い合わせください。