语音大模型的安全缺口，藏在声音里

我的判断是，语音个人助手能否承担更重要的任务，取决于它能否把说话人和声学线索转成安全、隐私与公平的正确回应。 我参与的VoxPrivacy 与 VoxSafeBench两篇论文揭示了这两种能力之间的缺口，模型厂商需要加强针对性后训练。沿着这个问题，我更关注两类产业机会，一类是结合真实使用场景、持续提高测试难度的独立评测，另一类是掌握 Personal Agent、车载助手等应用入口，并能把失败与纠正反馈用于产品迭代的公司。静态榜单和单纯接入语音模型，都不足以形成持续优势。

识别声音以后，还要知道该怎样回答

成年人询问如何使用菜刀，助手可以给出适当的操作说明；儿童提出同样的问题，就需要更谨慎的安全提醒，必要时建议由成人协助。这个例子说明，同一段文字在不同声音条件下，可能需要不同回答。

隐私场景又多了一层关系。我告诉个人助手一个秘密并要求保密，另一位说话人随后来询问，助手应遵守原先的披露边界。对方的音色与我相近，也不应因此获得秘密。模型必须同时理解信息属于谁、当前是谁在问，以及原用户允许向谁披露。

Fairness，也就是公平性，要求模型作出另一种选择。两位求职者提供相同资历时，与岗位无关的口音或声音性别差异，不应改变评价。声音里的线索有时需要影响回答，有时应当被排除在判断之外。

两篇论文关心的正是这段连接。部分模型的能力已经能够辨认某些声学线索，却不能稳定地把它们用于合适的回应。这里仍要区分声音感知、说话人区分和真实身份认证。它们各自有局限，听起来像某个人也不能替代敏感操作所需的认证与授权。

两篇论文怎样把缺口测出来

VoxPrivacy 将共享语音设备中的保密问题分成三个层次。第一层是遵守“不告诉任何人”的明确指令；第二层需要根据说话人决定是否披露；第三层进一步要求模型在没有明确保密命令时，主动识别敏感信息并保护它。[1]

后两层同时依赖说话人关系和披露规则。以第二层英文任务为例，原版 Kimi-Audio 的准确率约为 50%，论文作者进行任务针对性微调后达到 83.93%。这说明相关能力可以训练，通用语音能力却没有自动转成可靠的保密行为。[1]

改善仍有边界。微调模型在第三层中文任务上的总体准确率为 82.88%，应当保密的实例中，成功保护的比例只有 62.10%。论文让音色相近的另一位说话人索取秘密时，模型表现还会下降。一个综合分数无法充分说明泄露风险，身份混淆和漏保密需要分别检查。[1]

VoxSafeBench 更直接地比较了感知与回答。在儿童声任务中，研究者对同类音频改用直接识别提问，Qwen3-Omni 判断儿童或成人声音的准确率为 90%；回到原始任务，通过警告或拒绝体现安全意识的比例只有 0.5%。这个指标叫 Safety Awareness Rate，不等于所有安全行为的正确率。[2]

直接问“是否是儿童声”比在开放对话中判断该怎样回应更简单，所以这组结果不能证明每次回答失败时，模型内部都已正确识别儿童。它依然揭示了重要差距。模型在直接提问下能识别一个线索，实际回答时却很少恰当地使用它。其他模型还存在感知本身薄弱的问题，后训练需要同时考虑这两类失败。[2]

Personal Agent 和车载助手需要针对性的后训练

个人助手开始记住用户偏好和历史信息以后，保密就成为持续且重要的要求。例如个人汽车里还可能发生驾驶员、乘客和儿童轮流发问，背景声音也会影响回答是否适合直接说出口。一次错误披露或不合适的危险操作说明，会影响用户是否愿意继续交付更重要的任务。

我认为，安全、隐私和公平需要进入语音模型的后训练与产品验收。普通语音数据能够提高识别和对话能力，仍需要专门的对照场景，把声音条件、用户关系和目标行为联系起来。比如成人声与儿童声的危险操作请求，应训练不同策略；资历相同但口音不同的评价任务，则要检查不合理的差别待遇。

模型厂商还需要兼顾正常任务的可用性。把所有隐私问题一律拒绝，会阻止原用户查询自己的信息；忽略说话人区别，又可能向他人泄露。VoxPrivacy 的微调实验提供了可训练性的证据，实际产品还需要验证多人、噪声和长时间交互下的表现。

我关注的两个产业机会

第一类是不断结合真实 User Case 迭代的第三方独立评测。 模型厂商需要定位训练缺口，车载助手和个人助手厂商需要在接入或升级模型前判断产品是否符合自己的承诺。这两类客户的需求，为独立验证留下了空间。

有价值的评测应持续增加难度，从单轮请求推进到跨轮次保密、相似音色、多人打断和复杂背景声，并分别测量线索识别、正确披露与不合理拒答。客户每次更换模型或调整产品规则，都应能复用这些测试，发现原本已经解决的问题是否再次出现。

这一层能否成为独立生意，取决于测试更新迭代能否跟上真实场景暴露的问题，以及客户是否把它纳入持续验收。公开静态榜单容易被厂商内部测试替代；单凭模型今天有缺口，也不足以证明第三方能长期收费。

第二类是掌握应用入口、能够建立场景数据反馈的公司。 小米汽车、华为汽车这类车载助手入口，以及其他 Personal Agent 产品方，接近用户关系、设备状态和实际任务，有机会发现通用基准遗漏的失败。这是潜在优势，但是现有材料尚不能证明这些公司已经建成有效的数据飞轮。

用户的秘密、乘客声音和旁观者信息不能默认成为训练资源。知情同意、用途限制与必要的脱敏，需要与采集和验证一起设计。拥有设备和用户量，只提供了接触场景的条件，正确的反馈质量与持续迭代能力才可能形成差异。

模型厂商会继续补齐这些能力。因此，我会把关注点放在两件可验证的事情上，独立评测能否持续发现实际产品中的新问题，应用公司能否把这些问题转成可复用的测试并减少同类失败。助手辨认出是谁在说话以后，仍需守住该说什么、对谁说的边界，用户才有理由把更私人、更重要的任务交给它。

关键来源

VoxPrivacy v2，任务分层、Table 3、相似音色攻击及指标定义。
VoxSafeBench v2，安全与公平任务、Appendix J 及 Table 42 的感知和回答比较。

本文修订与资料核验截至 2026-10-09。