在企业战略研讨会、多方商务会商、项目评审及指挥调度等多人交互场景中，录音文件不仅包含“说了什么”，更关键的是厘清“谁在什么时间说了什么”。若缺乏精确的说话人身份划分，输出的长篇转录文本将杂乱无章，难以用于后续的会议纪要自动提炼和责任事实追溯。
然而在真实的会议室声学环境中，多说话人分离（Speaker Diarization）面临三大技术挑战：与会人员频繁插话导致的“交叠语音（Overlapped Speech）”、空间混响引起的声学畸变，以及短发言片段（如“对”、“好的”、“我同意”）由于特征长度不足导致的声纹聚类漂移。更为重要的是，涉密会议音频必须依托完全隔离的内网算力进行全链路处理，严禁向外部公有云泄露。
一、 离线说话人分离系统的核心流水线
现代企业级离线 Diarization 架构由语音活动检测、重叠语音检测、声纹嵌入提取与在线/离线聚类四大模块构成：
+--------------------------------------------------------------------------+
| 会议室音频输入 (单通道 / 多麦克风阵列 16kHz 原始录音流) |
+------------------------------------+-------------------------------------+
|
v
+--------------------------------------------------------------------------+
| 前置声学检测层： |
| - 自适应深度 VAD：滤除空调底噪与翻页杂音 |
| - 重叠语音检测 (OSD)：精确定位多人同时发言的交叠时间段 (100ms 窗口) |
+------------------------------------+-------------------------------------+
|
v
+--------------------------------------------------------------------------+
| 声纹嵌入特征提取 (ECAPA-TDNN 神经网络)： |
| - 提取 192 维高辨识度声纹向量 (x-vector / embedding) |
| - 结合注意力统计池化 (Attentive Statistics Pooling) 强化短语音表征 |
+------------------------------------+-------------------------------------+
|
v
+--------------------------------------------------------------------------+
| 层次聚类与说话人跟踪 (Agglomerative Hierarchical Clustering / VBx)： |
| - 余弦相似度矩阵打分 + 说话人数量自适应预估 (Speaker Counting) |
| - 实时在线流式聚类 (Online Clustering) 输出带角色标签的时序分段 |
+------------------------------------+-------------------------------------+
|
v (与离线 ASR 解码流字级对齐)
+--------------------------------------------------------------------------+
| 分角色会议文本输出：[00:03:15] 参会人A: ... [00:03:28] 参会人B: ... |
+--------------------------------------------------------------------------+
- 重叠语音消除与双分支解码（OSD）：在激烈讨论阶段，多方同时发声的概率可达 10%-20%。传统流水线遇到交叠音频往往直接归入主声源，导致副声源内容丢失。我们在前置层引入基于 Bi-LSTM 的 OSD 模型，一旦检测到两路重叠声源，自动在时域上切分为两个独立的掩码分支并行送入解码器。
- ECAPA-TDNN 骨干网络优化：相比传统的 x-vector 结构，ECAPA-TDNN 引入了 Squeeze-and-Excitation（SE）通道注意力机制与多层特征融合。即使在仅有 1.2 秒的极短应答片段中，也能提取出具备高度区分度的说话人特征。
二、 复杂声学环境下的聚类性能调优
在长达数小时的大型会议中，声纹聚类的稳定性至关重要。我们在局域网服务器集群上对比了不同聚类算法在真实会议室数据集（平均参会人数 6-12 人）上的说话人错误率（DER）：
| 聚类算法方案 | 说话人错误率 (DER %) | 短语音误归类率 (%) | 2小时音频处理耗时 (s) | 内存开销 (MB) |
|---|---|---|---|---|
| 基础 K-Means (预设人数) | 18.6% | 24.3% | 8.2 | 340 |
| 标准谱聚类 (Spectral) | 11.2% | 15.1% | 24.5 | 1,280 |
| 自适应 AHC + PLDA 打分 | 7.8% | 8.4% | 15.6 | 620 |
| VBx (变分贝叶斯隐马尔可夫) | 5.3% | 4.9% | 18.2 | 780 |
# 示例：离线说话人声纹嵌入提取与余弦相似度计算
import numpy as np
class SpeakerDiarizationPipeline:
def __init__(self, similarity_threshold=0.72):
self.similarity_threshold = similarity_threshold
self.known_speakers = {} # speaker_id -> average embedding
def match_or_register_speaker(self, new_embedding):
"""对比当前音频切片的声纹向量与已注册说话人库"""
best_speaker = None
highest_similarity = -1.0
for spk_id, center_emb in self.known_speakers.items():
# 计算余弦相似度
sim = np.dot(new_embedding, center_emb) / (
np.linalg.norm(new_embedding) * np.linalg.norm(center_emb)
)
if sim > highest_similarity:
highest_similarity = sim
best_speaker = spk_id
if highest_similarity >= self.similarity_threshold:
# 动态平滑更新说话人中心特征 (EMA)
self.known_speakers[best_speaker] = 0.85 * self.known_speakers[best_speaker] + 0.15 * new_embedding
return best_speaker, highest_similarity
else:
# 发现新参会人，自动注册新编号
new_id = f"SPEAKER_{len(self.known_speakers) + 1:02d}"
self.known_speakers[new_id] = new_embedding
return new_id, 1.0
三、 字级时间戳与说话人标签的双向对齐
在输出完整的结构化会议纪要时，ASR 解码器输出的每个汉字时间戳必须与 Diarization 输出的时间区间进行微秒级对齐（Forced Alignment）：
- 时序边界平滑过滤：消除持续时间低于 300ms 的假阳性说话人切换，避免因短暂咳嗽或环境杂音引发频繁换行；
- 前后文语义一致性校验：结合轻量化句法断句模型，在确保语义完整性的同时完成发言人交接断句。
四、 工业级断网部署与并发能力
该套算法已完整封装为纯内网 Docker 镜像，可在单台配置标准 GPU 算力卡的本地私有服务器上流畅运行：
- 实时率表现：单张 GPU 可同时支撑 16 路会议室音频流的实时 Diarization 与并行 ASR 解码；
- 声纹库本地隔离：所有与会人员的声纹模板与特征向量均保存在局域网加密 SQLite/PostgreSQL 数据库中，杜绝任何外部数据交互。
在私有化声学计算与复杂多角色转录领域，灵声智库持续推动多模态声学特征建模与端侧解码优化，助力各领域客户在数据安全前提下实现会议与会商内容的高效管理。