免費 AI 配音 · 開源 · 試用不需要帳號 · 免費登入即可下載 · 免費聲音不上傳
你的影片,17 種語言,你自己的聲音。
在這個瀏覽器裡免費:電腦或 Android 手機都可以,用通用聲音配音,不用裝應用程式、不用金鑰、什麼都不上傳,影片最長 5 分鐘。英語影片可以免費配成另外 8 個語種(電腦上的 Chrome 還能配成葡萄牙語),另外 13 個語種的影片可以免費配成英語。第一次使用會下載最多約 750 MB,只下載一次。想保留說話者自己的聲音,可以用電腦上 OpenDub 應用程式裡的 OmniVoice(僅限非商業用途),或者用你自己的 Higgs Audio、ElevenLabs 金鑰。
OpenDub(opendub.app)是幫你自己的影片做 AI 配音的工具:在電腦或 Android 手機的瀏覽器裡免費可用,也有 Mac 和 Windows 桌面應用程式,原始碼開源在 gitlab.com/open-dubapp/OpenDub。上傳一段某種語言的影片,再選另一種語言。OpenDub 會把人聲從配樂中分離、寫成逐字稿、把每一句翻譯成剛好塞得進那個時間點的長度,再用複製出來的原聲說回來 —— 最後把新語言的字幕燒進畫面。
- 開源。每一個步驟都是你看得懂、跑得動、也換得掉的程式碼。
- 除了語音模型,全都在本機。分離、語音偵測、對時、混音與算圖都在你的裝置上執行。影片不會離開它 —— 只有語音片段和文字會送到你選的語音模型。
- 夠強。用複製出來的你的聲音說 17 種語言,每一句都對上你原話的時間、帶著你的語氣 —— 驚訝、熱切、平靜。
- 17 種語言。English, 简体中文, 繁體中文, 日本語, 한국어, Español, Français, Deutsch, Português, Italiano, Русский, हिन्दी, Bahasa Indonesia, Bahasa Melayu, Tiếng Việt, ไทย, العربية。原片的語言會自動偵測。
其他設定 複製聲音 · 逐句對應語氣
語速不是設定項目:它由每一句各自決定,好讓每一句都跟著說話者一起開始、一起結束。
取代原聲會保留配樂與音效,只換掉人聲。疊聲配音則讓原本的聲音輕輕留在底下。
配音中
—
正在做什麼
完成
—
點一下色塊,就從那裡開始播放。
逐句
逐句列出聽到的原話和配好的譯文,點時間就能聽這一句。「放慢到 0.84× 以貼合長度」這類標示是為了貼合原句長度而自動調整的,不是按鈕。
配你自己的影片
或者,在你自己的機器上執行 OpenDub。
上面那張卡片可以直接在這個分頁裡,替五分鐘以內的影片配音。電腦上的應用程式沒有長度限制、移除人聲更快,還能讓你編輯、改語氣或拖動任何一句,大約十秒就重新配好。
Higgs STT、翻譯,以及帶語氣標記的複製聲音。品質最好,上面那段配音就是它做的。
依 Boson AI 的用量計價
OmniVoice 使用了 Higgs Materials。 Built with Higgs Materials licensed from Boson AI USA, Inc., Copyright Boson AI USA, Inc., All Rights Reserved and Meta Llama 3 licensed under the Meta Llama 3 Community License, Copyright Meta Platforms, Inc., All Rights Reserved. Boson Higgs Audio 2 Community License · Meta Llama 3 Community License
Whisper、一個本機語言模型,加上 OmniVoice。什麼都不會離開你的電腦,也不收任何費用。
現在就能用:在電腦上執行 OpenDub 應用程式,然後在上方的卡片裡選 OmniVoice。
Microsoft Store 版本由微軟簽署,安裝時不會出現「未知的發行者」提示。需要獨立安裝程式的話,可以下載 .exe:它尚未進行程式碼簽署,SmartScreen 可能會顯示發行者不明。
下載檔中的第三方授權,包括目前 Mac 和 Windows 安裝檔中的 GPL 元件及其原始碼的取得方式:授權說明(英文)。
也有 Chrome、Edge、Firefox 瀏覽器擴充功能:在瀏覽器裡為 5 分鐘以內的影片配音,可用本地 OmniVoice 或你自己的 Higgs Audio 金鑰。
開啟後按「安裝」。Python、ffmpeg,以及這個應用程式要跑的一切都已經裝在裡面了——不用終端機,不用再裝別的,也不用去找金鑰。Mac 版為 Apple Silicon。
或者用一行指令裝curl -fsSL https://opendub.app/install.sh | bash
macOS 與 Linux。Mac 上約 3.6 GB,Linux 上約 6.5 GB,只下載一次,其中 3.3 GB 是語音模型,第一次配音時下載。它會裝好免費語音並啟動,上方的卡片就能用它配音。你的影片始終留在你的電腦上。
全部開源,採用 AGPL-3.0-or-later:gitlab.com/open-dubapp/OpenDub。
運作方式
四個模型,各自只做它最擅長的那件事。
- 01
分離
Demucs 把人聲從配樂與音效中分開,讓原本的音軌在配音後仍然完整,也讓後面每一個模型都聽到乾淨的人聲。
- 02
聆聽
Silero VAD 找出有語音的段落。Higgs STT 不管說的是哪種語言,都把內容寫成文字;本機的 Whisper 只負責提供時間點,逐字對齊。
- 03
翻得剛剛好
Higgs 對話模型以整句為單位翻譯,每一句的長度都配合說話者原本花掉的時間 —— 新的聲音就會跟著說話者一起開始、一起停下。
- 04
說出來,再檢查
Higgs TTS 從原片中一句乾淨的話複製出聲音,再依字句內容以及說話者當時的音量與語速,用原本的語氣說出每一句。每一句都會轉錄回文字核對,跑掉就重新生成,然後重說一次或輕輕拉伸,讓長度對回原句。
費用與安裝
哪些免費、哪些收費、要裝什麼。
- 免費
OpenDub 本身
開源,採用 AGPL-3.0-or-later 授權,免費使用。試用不需要帳號;下載配音需要免費登入。字幕檔、瀏覽器擴充功能和電腦上的應用程式都不需要帳號。
- 免費
瀏覽器裡的通用聲音
在電腦或 Android 手機的這個瀏覽器裡免費:不用金鑰、不用安裝,試用不需要帳號(下載配音需要免費登入),影片最長 5 分鐘。它是通用聲音,不是複製說話者的聲音:英語影片可以配成另外 8 個語種(電腦上的 Chrome 還能配成葡萄牙語),另外 13 個語種的影片可以配成英語。
- 免費
OmniVoice
免費的語音,能複製說話者自己的聲音。它在你電腦上的 OpenDub 應用程式裡執行,筆電 CPU 上每句大約 15–35 秒。它的模型權重只授權非商業使用。
- 你自己的 API 金鑰
Higgs Audio 或 ElevenLabs
用你自己的 API 金鑰,費用直接付給 Boson AI 或 ElevenLabs。在頁面上方那張卡片裡就能用,不用安裝任何東西。
- 付費
OpenDub 點數
不需要金鑰。即將推出。
在瀏覽器裡,上方那張卡片可以替五分鐘以內的影片配音。電腦上的應用程式沒有長度限制:Mac(Apple Silicon)和 Windows 安裝檔已經內含 Python、ffmpeg 和其餘一切,macOS 和 Linux 也可以用一行指令安裝。
常用任務:影片翻譯(繁體中文)· 英文頁面:Video translator · Translate video to English · Translate video to Hindi · Video language changer。
常見問題
配音之前,大家常問的事。
OpenDub 免費嗎?
軟體本身免費且開源(AGPL-3.0-or-later)。在電腦或 Android 手機的瀏覽器裡,用通用聲音配音也免費,不需要 API 金鑰,影片最長五分鐘。能複製說話者聲音的 OmniVoice 語音免費,在你自己的電腦上執行,限非商業使用。用 Higgs Audio 或 ElevenLabs 時,用的是你自己的 API 金鑰,費用直接付給對方。付費的 OpenDub 點數即將推出。
需要註冊帳號嗎?
試用不需要。配音、預覽和示範都不需要帳號;下載配好音的影片或音訊時需要免費登入,登入後下載會自動繼續。字幕檔和參考音訊、瀏覽器擴充功能、電腦上的應用程式都不需要帳號。
一定要安裝什麼嗎?
用你自己的 Higgs Audio 或 ElevenLabs 金鑰時不用:配音就在瀏覽器分頁裡完成,影片最長五分鐘。在電腦或 Android 手機上也能免費配音,什麼都不用安裝:用的是通用聲音,不是說話者的複製聲音,英語影片可以配成另外 8 個語種(電腦上的 Chrome 還能配成葡萄牙語),另外 13 個語種的影片可以配成英語。iPhone 上的免費聲音還是預覽版,開啟 opendub.app/?phonevoice=1 才有。用 OmniVoice 免費複製聲音需要在電腦上安裝 OpenDub 應用程式。應用程式沒有長度限制。
我的影片會被上傳嗎?
不會。影片留在你的裝置上,只有人聲片段和文字會送到你選的語音模型。
會保留背景音樂嗎?
會。取代原聲會保留配樂與音效,只換掉人聲。疊聲配音則讓原本的聲音輕輕留在底下。
可以配成哪些語言?
17 種語言:English, 简体中文, 繁體中文, 日本語, 한국어, Español, Français, Deutsch, Português, Italiano, Русский, हिन्दी, Bahasa Indonesia, Bahasa Melayu, Tiếng Việt, ไทย, العربية。原影片的語言會自動偵測。
支援哪些影片格式和長度?
MP4、MOV 或 WebM。瀏覽器裡最長五分鐘,電腦上的應用程式沒有長度限制。
可以拿到哪些檔案?
配好音的 MP4、WAV 格式的配音音訊、兩種語言的 SRT 字幕,以及複製聲音時用的那段參考音訊。
可以用命令列執行嗎?
可以。複製儲存庫並用 ./run.sh 安裝好之後,.venv/bin/python -m opendub.pipeline video.mp4 --to ja 不用開任何頁面就能替一個檔案配音。這條路線需要 Higgs Audio 金鑰。
會修改畫面裡的嘴形嗎?
不會。OpenDub 只取代聲音,畫面維持原樣。每句配音的長度會對齊說話者原本說這句話所用的時間。如果你選擇燒錄字幕,字幕會加到畫面上。
官方網站、原始碼和支援在哪裡?
官方網站是 opendub.app,原始碼在 gitlab.com/open-dubapp/OpenDub。opendub.app 上的 OpenDub 是在瀏覽器和 Mac、Windows 桌面應用程式裡使用的 AI 配音;其他同名的 OpenDub 專案是另外的專案,不是它。需要協助請到我們 Telegram 群組的 OpenDub 話題提問:t.me/openappsnetwork/47。