feat(appendix): 重构工程实践章节，添加交互式演示组件
## 新增组件 (14个) - CodeSmellDemo.vue: 代码异味识别演示 - DecisionMatrixDemo.vue: 决策矩阵工具 - DesignPatternCatalogDemo.vue: 设计模式目录 - DocStructureDemo.vue: 文档结构示例 - LicenseComparisonDemo.vue: 开源许可证对比 - OpenSourceWorkflowDemo.vue: 开源协作流程 - PatternPlaygroundDemo.vue: 设计模式演练场 - RefactoringDemo.vue: 重构实战演示 - SecurityChecklistDemo.vue: 安全检查清单 - TDDCycleDemo.vue: TDD 循环演示 - TechRadarDemo.vue: 技术雷达图 - TechWritingPracticeDemo.vue: 技术写作实践 - TestPyramidDemo.vue: 测试金字塔 - WebSecurityDemo.vue: Web 安全演示 ## 文档更新 (7篇) - code-quality-refactoring.md: 代码质量与重构 - design-patterns.md: 设计模式 - open-source-collaboration.md: 开源协作 - security-thinking.md: 安全思维 - technical-writing.md: 技术写作 - technology-selection.md: 技术选型 - testing-strategies.md: 测试策略 ## 其他变更 - 将 browser-as-os.md 内容合并到 computer-networks.md - 更新 .gitignore 和 theme/index.js
This commit is contained in:
sanbuphy
@@ -1,288 +1,120 @@
|
||||
# 语音合成与识别
|
||||
> 💡 **学习指南**：声音是空气的振动，也是情感的载体。本章节将带你了解 AI 如何"听懂"声音，又是如何像人一样"开口说话"甚至"作曲"的。从语音识别到音乐生成，探索音频 AI 的完整技术栈。
|
||||
|
||||
## 0. 快速上手：如何让 AI 说话？
|
||||
|
||||
### 0.1 常见的 AI 音频工具
|
||||
|
||||
**☁️ 在线服务 (简单易用)**
|
||||
|
||||
1. **ElevenLabs**: 目前最顶尖的语音合成，支持克隆任何声音。
|
||||
2. **Sunno AI**: 文本生成音乐，几秒钟内创作完整歌曲。
|
||||
|
||||
**💻 本地部署 (硬核玩家)**
|
||||
|
||||
1. **Coqui TTS**: 开源语音合成工具包。
|
||||
2. **Bark**: Meta 开源的零样本 TTS。
|
||||
3. **RVC (Retrieval-based Voice Conversion)**: 基于检索的语音变声。
|
||||
|
||||
### 0.2 为什么要学习 AI 音频？(Why Audio AI?)
|
||||
|
||||
你可能会问：_"文字交流已经很方便了，为什么还需要语音？"_ 或者 _"我是程序员，为什么要懂音频处理？"_
|
||||
|
||||
这并非为了替代文字交互，而是因为 **语音是最高效的信息传递方式之一**：
|
||||
|
||||
#### 1. 传递效率：秒级理解
|
||||
|
||||
- **文字**：阅读一段话需要数秒到数分钟。
|
||||
- **语音**：人类说话速度约 150-200 词/分钟，且可以同时传递情感。
|
||||
|
||||
#### 2. 情感载体：超越文字
|
||||
|
||||
- **文字**：只能通过标点符号和表情符号表达有限的情感。
|
||||
- **语音**：语调、停顿、语速、笑声都能传递丰富的情感信息。
|
||||
|
||||
#### 3. 解放双手：自然交互
|
||||
|
||||
- **场景**：开车、做饭、运动时，打字不方便，但说话很容易。
|
||||
- **未来**：AI 助手将通过语音成为我们的自然伙伴。
|
||||
# 语音合成与识别原理
|
||||
> 💡 **学习指南**：本章节将带你深入了解 AI 音频底层原理。我们不仅会探讨“生涩”的声学专业术语（如 STFT、流匹配、音色嵌入），还会通过通俗的比喻和直观的交互演示，让你彻底明白 AI 是如何“听懂人话”并“开口说话”的。即使你是零基础读者，也能轻松掌握！
|
||||
|
||||
<AudioQuickStartDemo />
|
||||
|
||||
## 1. 概念界定：音频的数字化 (Definition)
|
||||
## 0. 引言：物理声波的“数字化翻译”
|
||||
|
||||
_很多人以为 AI 直接处理"声音"，但实际上 AI 处理的是**数字化的音频信号**。_
|
||||
人类的语音和世界上的各种声音，本质上是空气振动产生的**连续物理声波**。但计算机的脑子里只有 `0` 和 `1`，它听不见声音。因此，让 AI 处理声音的第一步，就是跨越“物理世界”与“数字世界”的鸿沟。
|
||||
|
||||
在物理世界，声音是连续的波（Wave）。在数字世界，我们通常用**采样率**（比如 44.1kHz）把波形记录下来。
|
||||
这个过程叫做**声数转换 (A/D 转换)**，其核心输出就是 **脉冲编码调制 (PCM)** 波形，也就是我们常见的音频数据。它由两个核心指标决定：
|
||||
1. **采样率 (Sample Rate)**：一秒钟内给声波拍多少次“照片”。比如 16kHz 就是一秒钟记录 16,000 个振幅数字。
|
||||
2. **位深度 (Bit Depth)**：每次拍照的“标尺”有多精细。16-bit 意味着振幅有 65,536 个层级的区分度。
|
||||
|
||||
但对于 AI 来说，直接处理每秒 44100 个数字太累了，而且这些数字本身没有明显的语义含义。
|
||||
但这带来了一个问题：一秒钟 16,000 个数字，一句话几十万个数字，信息量大且冗杂。如果直接把这长长的一维波形丢给神经网络去处理，这就好比**让一个人通过凑近看毛衣上的一根根毛线结构，去判断这件毛衣的图案好不好看**——这显然是极其困难的计算挑战。
|
||||
|
||||
- **传统信号处理**：处理原始波形（WAV 文件）。
|
||||
- **AI 音频模型**：处理更有意义的"中间表示"。
|
||||
---
|
||||
|
||||
本质上，音频 AI 是一个**从物理信号到语义表示**的转换过程：
|
||||
## 1. 特征工程：给 AI 戴上“人类的耳朵”
|
||||
|
||||
- **物理层**：声波振动（模拟信号）
|
||||
- **数字层**：采样点序列（PCM 数据）
|
||||
- **表示层**：频谱图、Token、Embeddings（AI 能理解的形式）
|
||||
既然直接看“一维波形 (Time-Domain)”行不通，科学家们便想到了一个降维打击的办法：**把一维的声音，变成二维的频率图谱 (Frequency-Domain)。**
|
||||
|
||||
## 2. 核心架构：两种主流范式 (The Big Picture)
|
||||
### 1.1 从一条线到一张图：短时傅里叶变换 (STFT)
|
||||
想象一下，听一首交响乐时，我们很少去在意某个瞬间空气振动的位移总量，我们更在意的是这段时间里**有哪些乐器（不同频率）、声音有多大（能量）**。
|
||||
|
||||
要让 AI 处理音频，科学家们设计了两种完全不同的范式。理解它们的差异是掌握音频 AI 的关键。
|
||||
通过**短时傅里叶变换 (STFT)** 这个数学魔法，我们可以把平铺直叙的声波，拆解成一张包含“时间、频率、能量（颜色深浅）”的二维矩阵图片，这被称为 **频谱图 (Spectrogram)**。至此，处理声音的问题，被巧妙地转化为了 AI 更擅长处理的“看图”问题。
|
||||
|
||||
### 2.1 范式一：离散化 (Tokenization) — 把声音当文字
|
||||
### 1.2 迎合听觉习惯：梅尔刻度 (Mel Scale)
|
||||
物理学上的频率分布是线性的（0-100Hz 的跨度和 10000-10100Hz 一样长）。但**人类的耳朵是非常“双标”的**：我们对低沉的声音（低频）变化极其敏感，却对尖锐的高保真声音（高频）的细微差别迟钝不已。
|
||||
|
||||
如果把声音也变成 Token（就像 GPT 处理文本那样），是不是就能用语言模型来生成声音了？
|
||||
为了让 AI 能像人类一样，“把有限的注意力放在更重要的地方”，研究者引入了非线性的 **梅尔滤波器组 (Mel Filterbanks)**。它在低频区域划分极细，高频区域则粗略包裹。
|
||||
经过对数转换后，我们得到了当代音频 AI 的灵魂基石——**梅尔频谱 (Mel-Spectrogram)**。
|
||||
|
||||
**核心思想**：
|
||||
👇 **动手点点看**：在下方观察一维的机器波形如何被转化为符合人类感知的二维色彩图谱。
|
||||
<MelSpectrogramDemo />
|
||||
|
||||
1. **切碎**：把连续的音频波形切成小段（每段 20-40ms）。
|
||||
2. **量化**：在预训练的"声音字典"里找到最像的那段声音的代号（Code）。
|
||||
3. **序列化**：一段音频变成了一串数字序列：`[1024, 2048, 55, ...]`
|
||||
4. **语言建模**：用 GPT 生成下一个 Token，就像预测下一个词。
|
||||
---
|
||||
|
||||
## 2. 让大模型学会“外语”：两种主流生成范式
|
||||
|
||||
当提取完特征后，我们该如何教 AI 生成声音？目前学术界和工业界有两大并行的“魔法阵”。
|
||||
|
||||
### 2.1 范式一：把声音当文字 (Audio Tokenization)
|
||||
伴随 ChatGPT 的火爆，科学家们思考：如果把声音也变成一个接一个的“汉字（Token）”，大语言模型（LLM）是不是就能直接唱歌说话了？
|
||||
- **压缩与量化**：依靠强大的 **神经编解码器 (Neural Codec，如 EnCodec)** 和 VQ-VAE 架构，一段几兆大小的音频会被极限压缩，最终变成一本字典里的一个个离散代号（比如序列：`[82, 105, 33...]`）。
|
||||
- **生成接龙**：AI 模型只需像做文字接龙一样，预测下一个声音 Token 是什么。这极大地统一了多模态学习的底层架构！
|
||||
|
||||
<AudioTokenizationDemo />
|
||||
|
||||
**代表模型**：AudioLM, VALL-E, MusicLM
|
||||
### 2.2 范式二：把声音当画作 (Spectrogram Generation)
|
||||
这是目前大量成熟语音软件的基石方案，可控性极佳。
|
||||
- **谱图生成**：AI 模型并不输出最终的音频波形，而是直接学习“文本”到“二维梅尔频谱图”的映射，像画家一样画出一张声学特征图。
|
||||
- **还原波形 (Vocoder)**：由于频谱图丢失了相位等细节信息无法直接播放，我们需要一个**声码器 (Vocoder，如 HiFi-GAN)** 充当翻译官，将这张图完好无损地等效还原回能推动喇叭振动的一维波形。
|
||||
|
||||
**优点**：
|
||||
---
|
||||
|
||||
- 能学到非常自然的韵律和情感
|
||||
- 可以用同一个模型做语音合成、音乐生成、音效生成
|
||||
## 3. 双端互逆：ASR 与 TTS 的协同翻译
|
||||
|
||||
**缺点**：
|
||||
让机器拥有“耳朵”和“嘴巴”，其实是在做两场南辕北辙的翻译：
|
||||
|
||||
- 容易"胡言乱语"（重复、漏词）
|
||||
- 生成速度慢（必须逐个 Token 生成）
|
||||
|
||||
### 2.2 范式二：频谱生成 (Spectrogram-based) — 把声音当图像
|
||||
|
||||
声音本质上是波，而波的频谱（频率成分随时间变化）看起来像一张图像。
|
||||
|
||||
**核心思想**：
|
||||
|
||||
1. **变换**：通过傅里叶变换（FFT）将波形转换为**梅尔频谱图 (Mel-Spectrogram)**。
|
||||
2. **生成**：用图像生成模型（如 CNN、Diffusion）生成频谱图。
|
||||
3. **还原**：通过**声码器 (Vocoder)** 将频谱图还原为音频波形。
|
||||
|
||||
<MelSpectrogramDemo />
|
||||
|
||||
**代表模型**：Tacotron 2, FastSpeech, F5-TTS
|
||||
|
||||
**优点**：
|
||||
|
||||
- 生成速度快（可以并行生成整段频谱）
|
||||
- 鲁棒性强（不容易漏词）
|
||||
|
||||
**缺点**：
|
||||
|
||||
- 频谱图丢弃了相位信息，需要声码器重建
|
||||
- 情感和韵律的表达不如 Tokenization 自然
|
||||
|
||||
## 3. 梅尔频谱详解 (Mel-Spectrogram Deep Dive)
|
||||
|
||||
梅尔频谱是音频 AI 中最核心的表示之一。理解它需要一点点物理和信号处理知识。
|
||||
|
||||
### 3.1 什么是频谱图？
|
||||
|
||||
想象你听到一段音乐，有高音（小提琴）、低音（大提琴）、鼓点。**频谱图**就是把这些成分可视化：
|
||||
|
||||
- **横轴**：时间
|
||||
- **纵轴**：频率（音高）
|
||||
- **颜色深浅**：响度（音量）
|
||||
|
||||
### 3.2 为什么是"梅尔"频谱？
|
||||
|
||||
人耳对频率的感知不是线性的。我们能区分 100Hz 和 200Hz，但很难区分 10000Hz 和 10100Hz。
|
||||
|
||||
**梅尔刻度 (Mel Scale)** 模拟了人耳的感知特性：
|
||||
|
||||
- 低频区域：分辨率高（区分细微音高变化）
|
||||
- 高频区域：分辨率低（人耳听不出来）
|
||||
|
||||
这让 AI 更关注人耳敏感的部分，忽略不重要的细节。
|
||||
|
||||
## 4. TTS 流程全景 (TTS Pipeline)
|
||||
|
||||
文本转语音（TTS）是音频 AI 最核心的应用之一。让我们深入了解其完整流程。
|
||||
|
||||
<TTSPipelineDemo />
|
||||
|
||||
### 4.1 自回归 vs 非自回归
|
||||
|
||||
| 特性 | 自回归 (AR) | 非自回归 (NAR) | 流匹配 (Flow) |
|
||||
| -------- | ----------- | -------------- | ------------- |
|
||||
| 生成方式 | 逐个时间步 | 一次性生成 | 流匹配路径 |
|
||||
| 速度 | 慢 | 快 | 很快 |
|
||||
| 音质 | 高 | 中高 | 高 |
|
||||
| 代表模型 | Tacotron 2 | FastSpeech 2 | F5-TTS |
|
||||
|
||||
### 4.2 关键组件
|
||||
|
||||
1. **文本前端 (Text Frontend)**：将文本转换为音素序列，处理多音字、数字、缩写等。
|
||||
2. **声学模型 (Acoustic Model)**：将音素转换为声学特征（梅尔频谱）。
|
||||
3. **声码器 (Vocoder)**：将声学特征还原为音频波形。
|
||||
|
||||
## 5. ASR 与 TTS：语音的双向转换 (ASR vs TTS)
|
||||
|
||||
语音识别（ASR）和语音合成（TTS）是音频 AI 的两个核心方向，它们互为逆过程。
|
||||
- **自动语音识别 (ASR)**：将声音翻译为文字。这是一道**多对一的收敛选择题**。模型（如 Whisper）必须在充满嘈杂环境噪音、口音变化、同音字干扰（“期中”与“期终”）的海量音频中，提炼锁定出唯一正确的语义文字。
|
||||
- **文本转语音 (TTS)**：将文字翻译为声音。这是一道**一对多的发散创作题**。同样一句干瘪的“你好”，它可以带着一万种不同的语速、情绪、停顿和嗓音。模型必须有能力脑补出这些缺失的参数。
|
||||
|
||||
<ASRvsTTSDemo />
|
||||
|
||||
### 5.1 ASR：音频 → 文本
|
||||
---
|
||||
|
||||
- **输入**：音频波形
|
||||
- **输出**：文本/Token
|
||||
- **核心任务**：模式识别、分类
|
||||
- **代表模型**：Whisper, Conformer
|
||||
## 4. 从“挤牙膏”到“直通车”：TTS 核心架构换代
|
||||
|
||||
### 5.2 TTS：文本 → 音频
|
||||
在了解了基础流程后，我们看看 TTS 引擎是如何追求极致速度和连贯性的。
|
||||
|
||||
- **输入**：文本序列
|
||||
- **输出**：音频波形
|
||||
- **核心任务**：序列生成、回归
|
||||
- **代表模型**：F5-TTS, CosyVoice
|
||||
- **串行笨方法 (自回归 AR)**：老一代模型必须遵循时间先后，生成完上一毫秒，才能以此为基准预测下一毫秒。这种方法虽然稳妥，但**极易卡壳且速度缓慢**。
|
||||
- **神级预判 (非自回归 NAR)**：后续的模型引入了**时长预测器 (Duration Predictor)**，不再排队生成，而是一次性为每个声素“算命”出它该有的时长，接着兵分多路**瞬间并行输出整句音频**。
|
||||
- **常微分快车道 (流匹配 Flow Matching)**：这是当下的**终极前沿方案**（如 F5-TTS）。它运用连续正规化流和常微分方程 (ODE) 等复杂数学原理，摒弃了传统的生硬搭建。模型学习的是一条从“纯白噪声”到“完美频谱”的最优直达运动轨迹（概率流）。不仅计算效率呈指数级上升，其声音的平滑与自然度也达到了巅峰。
|
||||
|
||||
### 5.3 联合应用
|
||||
<TTSPipelineDemo />
|
||||
|
||||
- **语音助手**：ASR → LLM → TTS
|
||||
- **实时翻译**：ASR → 翻译 → TTS
|
||||
- **字幕生成**：视频 → ASR → 字幕
|
||||
---
|
||||
|
||||
## 6. 声音克隆：零样本能力的魔法 (Zero-Shot Voice Cloning)
|
||||
## 5. 零样本声音克隆 (Zero-Shot Voice Cloning)
|
||||
|
||||
早期的 TTS 需要几十小时的数据来训练一个声音。现在，我们只需要几秒钟。
|
||||
仅仅在几年前，要想用 AI 模仿某人的声音，还得让他在极其安静的录音棚录上几万句话并花费数天训练模型。而今天，仅需 **3 秒钟的语音条**，AI 就能以假乱真。
|
||||
|
||||
这背后依赖一项核心技术：**说话人特征编码器 (Speaker Encoder)** 和度量学习。
|
||||
- 这不仅是一个监听器，更是一个**“基因提取仪”**。它的任务是剥离掉音频里的背景噪音和具体说了什么话（Text），强行且唯一地抓取出关于你的生理恒定特征：声带有多宽？共鸣音腔有多大？咬字有什么习惯？
|
||||
- 这些特征最终会被压扁成一个几百维的**说话人嵌入向量 (Speaker Embeddings, 如 x-vector)**。这串如同条形码般的数字完全表征了你的声音身份。随后的 TTS 模型只要“带上这串向量”进行条件生成，吐出的任何语言都会带上你的嗓音特色。
|
||||
|
||||
<VoiceCloningDemo />
|
||||
|
||||
### 6.1 声音编码器 (Speaker Encoder)
|
||||
---
|
||||
|
||||
声音编码器是一个神经网络，它的任务是：**把一段音频压缩成一个固定长度的向量（Embedding）**。
|
||||
## 6. 赋予灵魂：情感节奏与细粒度风格控制
|
||||
|
||||
这个向量捕捉了声音的"身份"：
|
||||
一句“真的吗”，既可以是惊喜，也可以是愤怒质疑。商业级的高阶 AI 不仅要“读对字”，更要“带有感情”。
|
||||
|
||||
- 音色（低沉 vs 清脆）
|
||||
- 声道特征（男声 vs 女声）
|
||||
- 说话风格（语速、停顿习惯）
|
||||
|
||||
### 6.2 零样本合成流程
|
||||
|
||||
有了声音编码器，我们就能实现"一句话克隆"：
|
||||
|
||||
1. **提取声音特征**：参考音频 → 声音编码器 → 声音向量（如 256 维）
|
||||
2. **条件生成**：文本 + 声音向量 → TTS 模型 → 音频
|
||||
|
||||
这就是 ElevenLabs、CosyVoice 等工具的核心技术。
|
||||
|
||||
## 7. 情感与风格控制 (Emotion & Style Control)
|
||||
|
||||
现代 TTS 系统不仅能合成自然的语音，还能精确控制情感、语速、语调等风格特征。
|
||||
学术界提出了 **全局风格 Token (GST)** 以及特征瓶颈机制。大模型可以从海量的人类演绎录音中聚类提取出对应的“伤心”、“激动”、“慵懒”等抽象的软向量。
|
||||
在工程落地时，我们还引入了基频 (F0，掌控音调升降)、能量 (Energy，掌控音量爆破音) 等直观的适配器调节参数，赋予了创作者像捏游戏人物脸型一样，精细捏合“语音情绪”的能力。
|
||||
|
||||
<EmotionControlDemo />
|
||||
|
||||
### 7.1 全局风格 Token (GST)
|
||||
---
|
||||
|
||||
GST (Global Style Token) 是一种从参考音频中提取风格特征的方法。模型学习将情感、语速、语调等风格信息编码成一组 Token，在推理时可以通过选择或插值这些 Token 来控制合成风格。
|
||||
## 7. 结语
|
||||
|
||||
### 7.2 细粒度控制
|
||||
从基础的数字信号转换（PCM），到降维提纯（Mel-Spectrogram），直至时下大火的基于“流匹配算法（Flow Matching）”和“神经编解码（Neural Codec）”的多模态大基座，音频 AI 正在上演一场从机械仿真向原生理解的跃升。
|
||||
|
||||
现代 TTS 模型支持细粒度的风格控制：
|
||||
未来的人工智能代理（AI Agent），将彻底打通人类视、听、说的高维链路，像拥有真人直觉一般应对每一次交流！
|
||||
|
||||
- **速度控制**：调整音频播放速度而不改变音调
|
||||
- **音调控制**：改变基频 (F0) 曲线
|
||||
- **能量控制**：调整音量包络
|
||||
- **停顿控制**：调整句间和短语间的停顿长度
|
||||
---
|
||||
|
||||
## 8. 生成机制演进 (Generation Evolution)
|
||||
## 8. 核心术语速查表 (Glossary)
|
||||
|
||||
音频生成模型经历了从模仿人类到直接建模的演进。
|
||||
|
||||
### 8.1 Audio Language Model (如 VALL-E, AudioLM)
|
||||
|
||||
这一派的思想是：**把声音当语言学**。
|
||||
|
||||
- **原理**：使用 GPT 架构（Decoder-only Transformer）。
|
||||
- **输入**：文本 Token + 音频 Token
|
||||
- **预测**：像成语接龙一样，根据前面的声音，预测下一个声音 Token。
|
||||
|
||||
**优点**：
|
||||
|
||||
- 能学到非常自然的韵律、停顿和情感
|
||||
- 可以通过"上下文学习"快速适应新声音
|
||||
|
||||
**缺点**：
|
||||
|
||||
- 容易"胡言乱语"（重复、漏词）
|
||||
- 生成速度慢（必须逐个 Token 生成）
|
||||
|
||||
### 8.2 Flow Matching TTS (如 F5-TTS, CosyVoice, Matcha-TTS)
|
||||
|
||||
这是目前最前沿的流派，结合了生成模型的最新进展。
|
||||
|
||||
- **原理**：不预测 Token，而是直接在**频谱层面**进行流匹配（Flow Matching）。
|
||||
- **过程**：
|
||||
1. 输入：文本 + 带有噪声的频谱
|
||||
2. 模型：预测一个"向量场"，指导噪声如何一步步"流"动变成清晰的语音频谱
|
||||
3. 声码器：把生成的频谱还原成波形
|
||||
|
||||
**优点**：
|
||||
|
||||
- **速度快**：不需要像 GPT 那样逐个 Token 蹦，可以并行生成
|
||||
- **鲁棒性强**：不容易丢字漏字
|
||||
- **零样本克隆**：给一段几秒钟的参考音频，立马就能模仿它的音色和语调
|
||||
|
||||
## 9. 总结 (Summary)
|
||||
|
||||
音频 AI 的进化，正在从"信号处理"走向"语义理解"。
|
||||
|
||||
- **Tokenization** 把声音变成了语言，让 GPT 能"开口说话"。
|
||||
- **Flow Matching** 把生成速度提升了数十倍，让实时语音合成成为可能。
|
||||
- **Speaker Encoder** 让声音克隆像换皮肤一样简单。
|
||||
- **Emotion Control** 让 AI 语音充满情感，适应各种场景。
|
||||
|
||||
未来的 AI（如 GPT-4o），将不再需要把声音转成文字再转回去，而是**直接在统一的多模态空间里理解声音的笑声、语气和情绪**。
|
||||
|
||||
## 附录：常用术语表 (Vocabulary)
|
||||
|
||||
| 术语 | 英文 | 解释 |
|
||||
| :--------------- | :--------------------------- | :------------------------------------------- |
|
||||
| **采样率** | Sample Rate | 每秒采集的音频样本数（如 44.1kHz）。 |
|
||||
| **梅尔频谱** | Mel-Spectrogram | 模拟人耳感知的频谱表示，音频 AI 的核心输入。 |
|
||||
| **声码器** | Vocoder | 将频谱图还原为音频波形的模型。 |
|
||||
| **TTS** | Text-to-Speech | 文本转语音，让 AI 说话的技术。 |
|
||||
| **ASR** | Automatic Speech Recognition | 自动语音识别，让 AI 听懂的技术。 |
|
||||
| **零样本克隆** | Zero-Shot Cloning | 只需几秒参考音频就能模仿任何声音。 |
|
||||
| **流匹配** | Flow Matching | 一种高效的生成方法，用于最新的 TTS 模型。 |
|
||||
| **声音编码器** | Speaker Encoder | 提取声音身份特征的神经网络。 |
|
||||
| **GST** | Global Style Token | 全局风格 Token，用于情感控制。 |
|
||||
| **神经编解码器** | Neural Codec | 将音频压缩为离散 Token 的模型。 |
|
||||
| 术语 | 英文全称 | 释义 |
|
||||
| :--- | :--- | :--- |
|
||||
| **PCM** | Pulse-Code Modulation | 脉冲编码调制，最原始、最庞大的一维音频波形记录方式。 |
|
||||
| **STFT** | Short-Time Fourier Transform | 短时傅里叶变换，将声音从随时间变化的单一振幅，变为兼具频率与能量的数学分析方法。 |
|
||||
| **梅尔频谱** | Mel-Spectrogram | 大模型处理声音的基础特征：一种经过对数与人类非线性听觉偏好调整后的高价值二维音频图谱。 |
|
||||
| **神经编解码器** | Neural Codec | 依靠极其硬核的变分自编码残差技术，将超大尺寸连续声波高度压缩转化成离散标号（Token）的 AI 组件。 |
|
||||
| **Vocoder** | 声码器 | “逆向翻译官”：负责将二维的梅尔频谱图重新物理渲染回能驱动音响发声的一维音频波形。 |
|
||||
| **Speaking Embeddings** | 说话人特征向量 | 将特定人员的专属嗓音音色固定下来的极高维度且不可变的数学 ID（如 x-vector）。 |
|
||||
| **Flow Matching** | 流匹配 | 将正态分布转化为经验数据分布的一种无需昂贵微分随机计算，而是沿常微分方程建立一条常态直线平滑生成路径的前沿 AI 推断过程。 |
|
||||
|
||||
Reference in New Issue
Block a user