免费 AI 配音 · 开源 · 试用无需账号 · 免费登录即可下载 · 免费声音不上传
你的视频,17 种语言,你自己的声音。
在这个浏览器里免费:电脑或安卓手机都可以,用通用声音配音,不用装应用、不用密钥、什么都不上传,视频最长 5 分钟。英语视频可以免费配成另外 8 个语种(电脑上的 Chrome 还能配成葡萄牙语),另外 13 个语种的视频可以免费配成英语。第一次使用会下载最多约 750 MB,只下载一次。想保留说话人自己的声音,可以用电脑上 OpenDub 应用里的 OmniVoice(仅限非商业用途),或者用你自己的 Higgs Audio、ElevenLabs 密钥。
OpenDub(opendub.app)是给你自己的视频做 AI 配音的工具:在电脑或安卓手机的浏览器里免费可用,也有 Mac 和 Windows 桌面应用,源代码开源在 gitlab.com/open-dubapp/OpenDub。上传一段某种语言的视频,再选一种目标语言。OpenDub 会把人声从音乐里分出来、转写成文字,把每句话译成刚好贴合那一刻的长度,再用克隆的原声说出来 —— 最后把新语言的字幕压进画面。
- 开源。每一步都是你能读、能跑、能换掉的普通代码。
- 除语音模型外,全在本地。分离、人声检测、对时、混音和渲染都在你的设备上跑。视频从不离开设备 —— 只有人声片段和文字会发给你选的语音模型。
- 够强。用你自己的克隆声音说 17 种语言,每句都对上你原话的时间,也带着你的语气 —— 惊讶、热情、平静。
- 17 种语言。English, 简体中文, 繁體中文, 日本語, 한국어, Español, Français, Deutsch, Português, Italiano, Русский, हिन्दी, Bahasa Indonesia, Bahasa Melayu, Tiếng Việt, ไทย, العربية。原片的语言会自动检测。
其他设置 克隆声音 · 逐句匹配语气
语速不是一个设置:它按句决定,好让每句和说话人同时开口、同时收尾。
替换原声会保留音乐和音效,只换掉说话声。叠加配音则让原声在底下轻轻留着。
配音中
—
正在做什么
完成
—
点一下色块,就从那里开始播放。
逐句
逐句列出听到的原话和配好的译文,点时间可以听这一句。「放慢到 0.84× 以贴合时长」这类标注是为贴合原句时长自动调整的,不是按钮。
给自己的视频配音
也可以在自己的机器上跑 OpenDub。
顶部那张卡片能直接在这个标签页里给五分钟以内的视频配音。装在电脑上的应用没有时长限制,去人声更快,还能改词、改语气或拖动任意一句,十秒左右就重配好。
Higgs 的语音识别、翻译,以及带语气标记的克隆声音。质量最好,上面那段配音就是它做的。
按 Boson AI 的用量价格计费
OmniVoice 使用了 Higgs Materials。 Built with Higgs Materials licensed from Boson AI USA, Inc., Copyright Boson AI USA, Inc., All Rights Reserved and Meta Llama 3 licensed under the Meta Llama 3 Community License, Copyright Meta Platforms, Inc., All Rights Reserved. Boson Higgs Audio 2 Community License · Meta Llama 3 Community License
Whisper、一个本地语言模型和 OmniVoice。没有任何东西离开你的电脑,也不收一分钱。
现在就能用:在电脑上运行 OpenDub 应用,然后在顶部的卡片里选 OmniVoice。
Microsoft Store 版本由微软签名,安装时不会出现“未知发布者”提示。需要独立安装包的话,可以下载 .exe:它还没有代码签名,SmartScreen 可能会显示发布者未知。
下载包中的第三方许可,包括当前 Mac 和 Windows 安装包中的 GPL 组件及其源代码的获取方式:许可说明(英文)。
也有 Chrome、Edge、Firefox 浏览器扩展:在浏览器里给 5 分钟以内的视频配音,可用本地 OmniVoice 或你自己的 Higgs Audio 密钥。
打开后点「安装」。Python、ffmpeg,以及这个应用要跑的一切都已经装在里面了——不用终端,不用再装别的,也不用去找密钥。Mac 版为 Apple Silicon。
或者用一行命令装curl -fsSL https://opendub.app/install.sh | bash
macOS 与 Linux。Mac 上约 3.6 GB,Linux 上约 6.5 GB,只下载一次,其中 3.3 GB 是语音模型,第一次配音时下载。它会装好免费语音并启动,顶部的卡片就能用它配音。你的视频始终留在你的电脑上。
全部开源,AGPL-3.0-or-later:gitlab.com/open-dubapp/OpenDub。
工作原理
四个模型,各做各最拿手的那一件事。
- 01
分离
Demucs 把人声从音乐和音效里分开,这样原来的声轨在配音后仍然完好,后面每个模型听到的也都是干净的人声。
- 02
听
Silero VAD 找出有人声的地方。Higgs STT 按原来的语言把话记成文字;本地的 Whisper 只负责时间,逐词对齐。
- 03
按时长翻译
Higgs 对话模型整句整句地翻译,每句的长短都照说话人当时用了多久来定 —— 新的声音因此能和说话人同起同落。
- 04
说出来,再核对
Higgs TTS 从原片里一句干净的话中克隆出声音,再用当时的语气说出每一句 —— 语气取自用词,也取自说话人当时有多响、多快。每句都会被回转写一遍,偏了就重新生成,然后重说或轻轻拉伸,让长度和原句对上。
费用与安装
哪些免费,哪些收费,要装什么。
- 免费
OpenDub 本身
开源,采用 AGPL-3.0-or-later 许可,免费使用。试用不需要账号;下载配音需要免费登录。字幕文件、浏览器扩展和电脑上的应用都不需要账号。
- 免费
浏览器里的通用声音
在电脑或安卓手机的这个浏览器里免费:不用密钥、不用安装,试用不需要账号(下载配音需要免费登录),视频最长 5 分钟。它是通用声音,不是说话人声音的克隆:英语视频可以配成另外 8 个语种(电脑上的 Chrome 还能配成葡萄牙语),另外 13 个语种的视频可以配成英语。
- 免费
OmniVoice
免费的克隆语音,能克隆说话人自己的声音。它在装在你电脑上的 OpenDub 应用里运行,笔记本 CPU 上每句大约 15–35 秒。它的模型权重只许可非商业使用。
- 自备 API 密钥
Higgs Audio 或 ElevenLabs
用你自己的 API 密钥,费用直接付给 Boson AI 或 ElevenLabs。在页面顶部那张卡片里就能用,不用安装任何东西。
- 付费
OpenDub 点数
不需要密钥。即将推出。
在浏览器里,顶部那张卡片可以给五分钟以内的视频配音。装在电脑上的应用没有时长限制:Mac(Apple Silicon)和 Windows 安装包里已经带好 Python、ffmpeg 和其余一切,macOS 和 Linux 还可以用一行命令安装。
常用任务:视频翻译(简体中文)· 英文页面:Video translator · Translate video to English · Translate video to Hindi · Video language changer。
常见问题
配音之前,大家常问的事。
OpenDub 免费吗?
软件本身免费且开源(AGPL-3.0-or-later)。在电脑或安卓手机的浏览器里,用通用声音配音也免费,不需要 API 密钥,视频最长五分钟。能克隆说话人声音的 OmniVoice 语音免费,在你自己的电脑上运行,限非商业使用。用 Higgs Audio 或 ElevenLabs 时,用的是你自己的 API 密钥,费用直接付给对方。付费的 OpenDub 点数即将推出。
需要注册账号吗?
试用不需要。配音、预览和演示都不需要账号;下载配好音的视频或音频时需要免费登录,登录后下载会自动继续。字幕文件和参考音频、浏览器扩展、电脑上的应用都不需要账号。
一定要安装什么吗?
用你自己的 Higgs Audio 或 ElevenLabs 密钥时不用:配音就在浏览器标签页里完成,视频最长五分钟。在电脑或安卓手机上也能免费配音,什么都不用装:用的是通用声音,不是说话人的克隆声音,英语视频可以配成另外 8 个语种(电脑上的 Chrome 还能配成葡萄牙语),另外 13 个语种的视频可以配成英语。iPhone 上的免费声音还是预览版,打开 opendub.app/?phonevoice=1 才有。用 OmniVoice 免费克隆声音需要在电脑上装 OpenDub 应用。应用没有时长限制。
我的视频会被上传吗?
不会。视频留在你的设备上,只有人声片段和文字会发给你选的语音模型。
会保留背景音乐吗?
会。替换原声会保留音乐和音效,只换掉说话声。叠加配音则让原声在底下轻轻留着。
可以配成哪些语言?
17 种语言:English, 简体中文, 繁體中文, 日本語, 한국어, Español, Français, Deutsch, Português, Italiano, Русский, हिन्दी, Bahasa Indonesia, Bahasa Melayu, Tiếng Việt, ไทย, العربية。原视频的语言会自动识别。
支持哪些视频格式和时长?
MP4、MOV 或 WebM。浏览器里最长五分钟,装在电脑上的应用没有时长限制。
能拿到哪些文件?
配好音的 MP4、WAV 格式的配音音频、两种语言的 SRT 字幕,以及克隆声音时用的那段参考音频。
能用命令行运行吗?
可以。克隆仓库并用 ./run.sh 装好之后,.venv/bin/python -m opendub.pipeline video.mp4 --to ja 不用打开任何页面就能给一个文件配音。这条路线需要 Higgs Audio 密钥。
会修改画面里的口型吗?
不会。OpenDub 只替换声音,画面保持原样。每句配音的长度会对齐说话人原来说这句话所用的时间。如果你选择烧录字幕,字幕会加到画面上。
官方网站、源代码和支持在哪里?
官方网站是 opendub.app,源代码在 gitlab.com/open-dubapp/OpenDub。opendub.app 上的 OpenDub 是在浏览器和 Mac、Windows 桌面应用里使用的 AI 配音;其他同名的 OpenDub 项目是另外的项目,不是它。需要帮助请到我们 Telegram 群组的 OpenDub 话题提问:t.me/openappsnetwork/47。