feat: save current work to dev branch

docs/zh-cn/appendix/audio-intro.md

@@ -0,0 +1,202 @@
+# AI 音频模型入门 (Audio Model Intro)
+
+> 💡 **学习指南**：声音是空气的振动，也是情感的载体。本章节将带你了解 AI 如何"听懂"声音，又是如何像人一样"开口说话"甚至"作曲"的。从语音识别到音乐生成，探索音频 AI 的完整技术栈。
+
+## 0. 快速上手：如何让 AI 说话？
+
+### 0.1 常见的 AI 音频工具
+
+**☁️ 在线服务 (简单易用)**
+1.  **ElevenLabs**: 目前最顶尖的语音合成，支持克隆任何声音。
+2.  **Sunno AI**: 文本生成音乐，几秒钟内创作完整歌曲。
+
+**💻 本地部署 (硬核玩家)**
+1.  **Coqui TTS**: 开源语音合成工具包。
+2.  **Bark**: Meta 开源的零样本 TTS。
+3.  **RVC (Retrieval-based Voice Conversion)**: 基于检索的语音变声。
+
+### 0.2 为什么要学习 AI 音频？(Why Audio AI?)
+
+你可能会问：*"文字交流已经很方便了，为什么还需要语音？"* 或者 *"我是程序员，为什么要懂音频处理？"*
+
+这并非为了替代文字交互，而是因为 **语音是最高效的信息传递方式之一**：
+
+#### 1. 传递效率：秒级理解
+*   **文字**：阅读一段话需要数秒到数分钟。
+*   **语音**：人类说话速度约 150-200 词/分钟，且可以同时传递情感。
+
+#### 2. 情感载体：超越文字
+*   **文字**：只能通过标点符号和表情符号表达有限的情感。
+*   **语音**：语调、停顿、语速、笑声都能传递丰富的情感信息。
+
+#### 3. 解放双手：自然交互
+*   **场景**：开车、做饭、运动时，打字不方便，但说话很容易。
+*   **未来**：AI 助手将通过语音成为我们的自然伙伴。
+
+## 1. 概念界定：音频的数字化 (Definition)
+
+*很多人以为 AI 直接处理"声音"，但实际上 AI 处理的是**数字化的音频信号**。*
+
+在物理世界，声音是连续的波（Wave）。在数字世界，我们通常用**采样率**（比如 44.1kHz）把波形记录下来。
+
+但对于 AI 来说，直接处理每秒 44100 个数字太累了，而且这些数字本身没有明显的语义含义。
+
+*   **传统信号处理**：处理原始波形（WAV 文件）。
+*   **AI 音频模型**：处理更有意义的"中间表示"。
+
+<AudioWaveformDemo />
+
+本质上，音频 AI 是一个**从物理信号到语义表示**的转换过程：
+-   **物理层**：声波振动（模拟信号）
+-   **数字层**：采样点序列（PCM 数据）
+-   **表示层**：频谱图、Token、Embeddings（AI 能理解的形式）
+
+## 2. 核心架构：两种主流范式 (The Big Picture)
+
+要让 AI 处理音频，科学家们设计了两种完全不同的范式。理解它们的差异是掌握音频 AI 的关键。
+
+### 2.1 范式一：离散化 (Tokenization) — 把声音当文字
+
+如果把声音也变成 Token（就像 GPT 处理文本那样），是不是就能用语言模型来生成声音了？
+
+**核心思想**：
+1.  **切碎**：把连续的音频波形切成小段（每段 20-40ms）。
+2.  **量化**：在预训练的"声音字典"里找到最像的那段声音的代号（Code）。
+3.  **序列化**：一段音频变成了一串数字序列：`[1024, 2048, 55, ...]`
+4.  **语言建模**：用 GPT 生成下一个 Token，就像预测下一个词。
+
+<AudioTokenizationDemo />
+
+**代表模型**：AudioLM, VALL-E, MusicLM
+
+**优点**：
+- 能学到非常自然的韵律和情感
+- 可以用同一个模型做语音合成、音乐生成、音效生成
+
+**缺点**：
+- 容易"胡言乱语"（重复、漏词）
+- 生成速度慢（必须逐个 Token 生成）
+
+### 2.2 范式二：频谱生成 (Spectrogram-based) — 把声音当图像
+
+声音本质上是波，而波的频谱（频率成分随时间变化）看起来像一张图像。
+
+**核心思想**：
+1.  **变换**：通过傅里叶变换（FFT）将波形转换为**梅尔频谱图 (Mel-Spectrogram)**。
+2.  **生成**：用图像生成模型（如 CNN、Diffusion）生成频谱图。
+3.  **还原**：通过**声码器 (Vocoder)** 将频谱图还原为音频波形。
+
+<SpectrogramViz />
+
+**代表模型**：Tacotron 2, FastSpeech, F5-TTS
+
+**优点**：
+- 生成速度快（可以并行生成整段频谱）
+- 鲁棒性强（不容易漏词）
+
+**缺点**：
+- 频谱图丢弃了相位信息，需要声码器重建
+- 情感和韵律的表达不如 Tokenization 自然
+
+## 3. 梅尔频谱详解 (Mel-Spectrogram Deep Dive)
+
+梅尔频谱是音频 AI 中最核心的表示之一。理解它需要一点点物理和信号处理知识。
+
+### 3.1 什么是频谱图？
+
+想象你听到一段音乐，有高音（小提琴）、低音（大提琴）、鼓点。**频谱图**就是把这些成分可视化：
+-   **横轴**：时间
+-   **纵轴**：频率（音高）
+-   **颜色深浅**：响度（音量）
+
+### 3.2 为什么是"梅尔"频谱？
+
+人耳对频率的感知不是线性的。我们能区分 100Hz 和 200Hz，但很难区分 10000Hz 和 10100Hz。
+
+**梅尔刻度 (Mel Scale)** 模拟了人耳的感知特性：
+-   低频区域：分辨率高（区分细微音高变化）
+-   高频区域：分辨率低（人耳听不出来）
+
+这让 AI 更关注人耳敏感的部分，忽略不重要的细节。
+
+## 4. 生成机制：从 GPT 到 Flow (Generation Methods)
+
+音频生成模型经历了从模仿人类到直接建模的演进。
+
+### 4.1 Audio Language Model (如 VALL-E, AudioLM)
+
+这一派的思想是：**把声音当语言学**。
+
+*   **原理**：使用 GPT 架构（Decoder-only Transformer）。
+*   **输入**：文本 Token + 音频 Token
+*   **预测**：像成语接龙一样，根据前面的声音，预测下一个声音 Token。
+
+<AutoregressiveAudioDemo />
+
+**优点**：
+- 能学到非常自然的韵律、停顿和情感
+- 可以通过"上下文学习"快速适应新声音
+
+**缺点**：
+- 容易"胡言乱语"（重复、漏词）
+- 生成速度慢（必须逐个 Token 生成）
+
+### 4.2 Flow Matching TTS (如 F5-TTS, CosyVoice, Matcha-TTS)
+
+这是目前最前沿的流派，结合了生成模型的最新进展。
+
+*   **原理**：不预测 Token，而是直接在**频谱层面**进行流匹配（Flow Matching）。
+*   **过程**：
+    1.  输入：文本 + 带有噪声的频谱
+    2.  模型：预测一个"向量场"，指导噪声如何一步步"流"动变成清晰的语音频谱
+    3.  声码器：把生成的频谱还原成波形
+
+**优点**：
+-   **速度快**：不需要像 GPT 那样逐个 Token 蹦，可以并行生成
+-   **鲁棒性强**：不容易丢字漏字
+-   **零样本克隆**：给一段几秒钟的参考音频，立马就能模仿它的音色和语调
+
+## 5. 声音克隆：零样本能力的魔法 (Zero-Shot Voice Cloning)
+
+早期的 TTS 需要几十小时的数据来训练一个声音。现在，我们只需要几秒钟。
+
+### 5.1 声音编码器 (Speaker Encoder)
+
+声音编码器是一个神经网络，它的任务是：**把一段音频压缩成一个固定长度的向量（Embedding）**。
+
+这个向量捕捉了声音的"身份"：
+-   音色（低沉 vs 清脆）
+-   声道特征（男声 vs 女声）
+-   说话风格（语速、停顿习惯）
+
+### 5.2 零样本合成流程
+
+有了声音编码器，我们就能实现"一句话克隆"：
+
+1.  **提取声音特征**：参考音频 → 声音编码器 → 声音向量（如 256 维）
+2.  **条件生成**：文本 + 声音向量 → TTS 模型 → 音频
+
+这就是 ElevenLabs、CosyVoice 等工具的核心技术。
+
+## 6. 总结 (Summary)
+
+音频 AI 的进化，正在从"信号处理"走向"语义理解"。
+
+*   **Tokenization** 把声音变成了语言，让 GPT 能"开口说话"。
+*   **Flow Matching** 把生成速度提升了数十倍，让实时语音合成成为可能。
+*   **Speaker Encoder** 让声音克隆像换皮肤一样简单。
+
+未来的 AI（如 GPT-4o），将不再需要把声音转成文字再转回去，而是**直接在统一的多模态空间里理解声音的笑声、语气和情绪**。
+
+## 附录：常用术语表 (Vocabulary)
+
+| 术语 | 英文 | 解释 |
+| :--- | :--- | :--- |
+| **采样率** | Sample Rate | 每秒采集的音频样本数（如 44.1kHz）。 |
+| **梅尔频谱** | Mel-Spectrogram | 模拟人耳感知的频谱表示，音频 AI 的核心输入。 |
+| **声码器** | Vocoder | 将频谱图还原为音频波形的模型。 |
+| **TTS** | Text-to-Speech | 文本转语音，让 AI 说话的技术。 |
+| **ASR** | Automatic Speech Recognition | 自动语音识别，让 AI 听懂的技术。 |
+| **零样本克隆** | Zero-Shot Cloning | 只需几秒参考音频就能模仿任何声音。 |
+| **流匹配** | Flow Matching | 一种高效的生成方法，用于最新的 TTS 模型。 |
+| **声音编码器** | Speaker Encoder | 提取声音身份特征的神经网络。 |