README

VoxCPM2：基于连续表征的多语言语音合成、创意音色设计与高保真声音克隆


  English | 中文



  
  
  
  
  
  
  



  
  
  





  👋 欢迎加入社区，参与讨论与交流！
  
  
     飞书群
  
   | 
  
     Discord
  
   | 
  
    📚 MiniCPM 知识库
  


VoxCPM 是一个无离散音频分词器（Tokenizer-Free）的语音合成系统，通过端到端的扩散自回归架构直接生成连续语音表征，绕过对音频的离散编码步骤，实现高度自然且富有表现力的语音合成。

VoxCPM2 是最新的版本 — 基于 MiniCPM-4 基座构建，总计 20亿 参数，在超过 200万小时 的多语种音频数据上训练，支持 30种全球语言+9种中文方言、音色设计、可控声音克隆，原生输出 48kHz 高质量音频。

 ✨ 核心特性

- 🌍 30种语言语音合成 — 直接输入原始文本即可合成（支持语言详见下文），无需额外语言标签
- 🎨 音色设计 — 用自然语言描述（性别、年龄、音色、情绪、语速……）凭空创建全新音色，无需参考音频
- 🎛️ 可控声音克隆 — 从参考音频片段克隆任意声音，可叠加风格指令控制情绪、语速和表现力，同时保持原始音色
- 🎙️ 极致克隆 — 提供参考音频及其文本内容，模型接着参考音频进行无缝续写，从而精准还原声音细节特征（与 VoxCPM1.5 一致）
- 🔊 48kHz 高质量音频 — 输入 16kHz 参考音频，通过 AudioVAE V2 的非对称编解码设计直接输出 48kHz 高质量音频，内置超分能力
- 🧠 语境感知合成 — 根据文本内容自动推断合适的韵律和表现力
- ⚡ 实时流式合成 — 在 NVIDIA RTX 4090 上 RTF 低至 ~0.3，通过 Nano-vLLM 或 vLLM-Omni（官方 vLLM 全模态服务，原生支持 VoxCPM2，提供 PagedAttention 与 OpenAI 兼容 API）加速后可达 ~0.13
- 📜 完全开源，商用就绪 — 权重和代码基于 Apache-2.0 协议发布，免费商用

🌍 支持的语言（30种）

阿拉伯语、缅甸语、中文、丹麦语、荷兰语、英语、芬兰语、法语、德语、希腊语、希伯来语、印地语、印尼语、意大利语、日语、高棉语、韩语、老挝语、马来语、挪威语、波兰语、葡萄牙语、俄语、西班牙语、斯瓦希里语、瑞典语、菲律宾语、泰语、土耳其语、越南语

中国方言：四川话、粤语、吴语、东北话、河南话、陕西话、山东话、天津话、闽南话


 最新动态

 [2026.04] 🔥 发布 VoxCPM2 — 20亿参数，30种语言，音色设计与可控声音克隆，48kHz 音频输出！模型权重 | 使用文档 | 在线体验 | 官网体验 (适用国内访问) | 技术报告
 [2025.12] 🎉 开源 VoxCPM1.5 模型权重，支持 SFT 和 LoRA 微调。(🏆 GitHub Trending 1)
 [2025.09] 🔥 发布 VoxCPM 技术报告。
 [2025.09] 🎉 开源 VoxCPM-0.5B 模型权重 (🏆 HuggingFace Trending 1)

---

 目录

- 快速开始
  - 安装
  - Python API
  - 命令行使用
  - Web Demo
  - 生产部署
  - 端侧推理（llama.cpp-omni）
- 模型与版本
- 性能评测
- 微调
- 文档
- 生态与社区
- 风险与局限性
- 引用

---

 🚀 快速开始

 安装

sh
pip install voxcpm


 环境要求： Python ≥ 3.10 (
🔄 流式 API

python
import numpy as np

chunks = []
for chunk in model.generate_streaming(
    text="使用VoxCPM进行流式语音合成非常简单！",
):
    chunks.append(chunk)
wav = np.concatenate(chunks)
sf.write("streaming.wav", wav, model.tts_model.sample_rate)



 命令行使用

bash
 音色设计（无需参考音频）
voxcpm design \
  --text "VoxCPM2带来全新语音合成体验。" \
  --output out.wav

 可控声音克隆（带风格控制）
voxcpm design \
  --text "VoxCPM2带来全新语音合成体验。" \
  --control "年轻女声，温暖温柔，略带微笑" \
  --seed 42 \
  --output out.wav

 声音克隆（参考音频）
voxcpm clone \
  --text "这是一个声音克隆的演示。" \
  --reference-audio path/to/voice.wav \
  --output out.wav

 极致克隆（提示音频 + 转录文本）
voxcpm clone \
  --text "这是一个声音克隆的演示。" \
  --prompt-audio path/to/voice.wav \
  --prompt-text "参考音频转录文本" \
  --reference-audio path/to/voice.wav \
  --output out.wav

 批量处理
voxcpm batch --input examples/input.txt --output-dir outs

 可选的生成后时间戳对齐（基于 stable-ts）
pip install "voxcpm[timestamps]"
voxcpm design \
  --text "VoxCPM2带来全新语音合成体验。" \
  --output out.wav \
  --timestamps \
  --timestamp-level word \
  --timestamp-language zh

 字级时间戳是 best-effort，会基于词级对齐结果拆分
voxcpm design \
  --text "欢迎使用 VoxCPM2。" \
  --output out.wav \
  --timestamps \
  --timestamp-level char \
  --timestamp-language zh

 帮助
voxcpm --help


 Web Demo

bash
python app.py --port 8808   然后在浏览器打开 http://localhost:8808


使用 --device 选择运行设备：

bash
python app.py --device auto


支持的取值包括 auto、cpu、mps、cuda 和 cud

Top issues

Latest release

VoxCPM v2.0.3

This release focuses on fine-tuning usability, runtime stability, safer LoRA loading, and faster streaming inference.

 Highlights

- Added voxcpm validate for pre-flight JSONL training manifest validation.
- Added optional ref_audio support in the fine-tuning data pipeline.
- Improved runtime device handling with explicit --device support and safer MPS dtype behavior.
- Improved VoxCPM2 streaming VAE decoding by avoiding redundant overlap decoding.
- Hardened legacy LoRA checkpoint loading with weights_only=True.
- Fixed LoRA rank mismatch handling in lora_ft_webui.py.

 New Fe