Overview
产品概述
Linly-Dubbing 是一个开源的智能多语言 AI 配音与翻译工具，灵感源自 YouDub-webui 并进一步扩展优化。它集成自动视频下载、人声/伴奏分离、AI语音识别、大语言模型翻译、AI语音合成/克隆以及数字人口型同步等能力，支持中文及多种语言的配音和字幕翻译，适用于国际教育、全球内容本地化等场景。项目提供 WebUI 与 Colab 在线体验，并持续引入最新模型以保持技术领先。
Capabilities
核心能力
多语言配音与字幕翻译
支持中文及多种语言的配音和字幕翻译，帮助满足全球用户在内容本地化方面的需求。
AI语音识别
集成 WhisperX、FunASR 等 AI 语音识别算法，实现精确的语音转文本和说话人识别，并对中文进行了优化。
大语言模型翻译
使用 OpenAI API、Qwen、Google Translate 等大模型或翻译服务，实现快速、专业质量的多语言翻译。
AI语音克隆与合成
利用 CosyVoice、Edge TTS、XTTS、GPT-SoVITS 等语音技术，生成尽可能贴近原视频语气与情感的配音，并支持通过 GPT-SoVITS 微调提升自然度。
数字人口型同步
集成 Linly-Talker 的数字人口型同步技术，使配音与视频画面同步，增强真实感与交互性。
Use Cases
适用场景
-
01
国际教育
通过高质量多语言配音与字幕翻译，让教育内容能够跨越语言障碍，适用于国际教育场景。
-
02
全球内容传播
帮助内容创作者和团队将高质量视频内容推向全球市场，扩大受众范围。
Integrations
集成能力
CosyVoice
用于AI语音克隆与高质量音频翻译。
WhisperX
用于AI语音识别，实现语音转文字。
FunASR
用于AI语音识别，优化中文支持。
OpenAI API
用于大语言模型翻译。
Qwen
用于多语言翻译的大语言模型。
Edge TTS
用于AI语音合成。
XTTS
用于AI语音合成。
GPT-SoVITS
用于语音克隆微调，提升自然度。
UVR5
用于人声/伴奏分离与去混响。
Linly-Talker
用于数字人口型同步。
