联想这么一个恬逸的周末： 空调带来阵阵凉意，你靠在沙发上看书，短暂耳边传来“哒哒哒”的小碎步声，接着，玄关门边传来了一阵清翠、略带紧急的“呜呜”声，还伴跟着爪尖轻轻扒拉木门的声响。

要是把这段音频丢进传统的语音大模子，它只会输出冷飕飕的三个字：[狗叫声]。AI 感知到了正确的音频信息，然则皆备错过了这段声息里包含的灵动与期待。

当模子仅仅把语音转成翰墨，它确凿“听懂”了吗？

一个具备的确智能的多模态AI助手是什么样呢？它最初要能听出小狗的声息，然后捕捉到音频里的空间感（门边传来的声息）、序列动作（碎步声和握门声），并勾搭心境（紧急的“呜呜”声），快速完成一系列逻辑推演，用欢悦的语调提醒你：“狗狗想外出漫衍啦，快带它出去玩吧！”

让AI从“冷飕飕地转录声息”到“省略听懂糊口中的心境、物理学问与逻辑”，这恰是大模子社区正在阅历的一场巨变：从现存的“音频感知（Audio Perception）”全面进化到“音频推理（Audio Reasoning）”。这亦然大模子的确通向 AGI，成为咱们糊口助手的必经之路！

关联词，当交互的模态从翰墨和图像转向声息，一个问题浮出水面：AI 能否不依赖转录的文本，平直基于声息进行推理？

这并不是一个技能细节问题。的确天下里的声息，远不仅仅承载翰墨践诺的载体。话语东谈主的口吻、语速、重音、停顿、心境、多东谈主叠加话语、环境事件等，都可能编削推表面断。而简便暴虐地把音频转写成翰墨，一样会丢失这些要津信息。

音频推理不应该仅仅文本或视觉推理的简便移动，而是行动多模态基础模子中的落寞问题从头界说。

近日，香港中语大学团队连络多位优秀计划者，肃肃推出了音频推理领域的首篇全景综述。本文初次全面界说了“音频推理”的范式，系统解构了底层框架，并深度分解了刻下最受温雅的四大前沿推理旅途。

论文标题：

A Survey of Audio Reasoning in Multimodal Foundation Models

论文畅达：

https://arxiv.org/abs/2605.21008

本文系统整理了多模态基础模子中的音频推理计划，提议斡旋的问题表述与分类框架，将刻下职责分为四条干线：Audio-to-Text Reasoning、Audio-to-Speech Reasoning、Audio-Visual Reasoning、Agentic Audio Reasoning，并进一步回来模子基础、数据构造、评测体系、挑战与异日方针。

更庞杂的是，本文强调了一个不息被薄情但极其要津的不雅点：音频推理的中枢不是“让模子说出一段推理链”，而是让推理过程的确锚定在连气儿、细粒度、时代密集的声学凭据上。

从“听清”到“听懂”，再到“推理决策”——这不仅仅刻下大模子才调擢升的必经之路，更是通往 AGI 的要津一环。

从感知到推理：

为什么咱们需要 Audio Reasoning？

2023-2026 年，Qwen-Omni、Audio-Reasoner、Step-Audio、AudioToolAgent 等职责接踵推出，音频推理正在从碎屑化探索，缓缓走向体系化。

多模态大模子依然从“看图话语”到“听、看、说、活动”的一体化系统。但刻下计划职责仍存在赫然断层：

1、现存综述等闲温雅音频大模子、音频交融、及时语音交互或多模态 CoT，而很少把“audio reasoning”行动中心问题单独伸开。

2、音频推理仍处在高度零碎阶段：不同职责分辨斟酌音频问答、语音交互、音视频推理、器用调用、评测基准，仍衰退一个斡旋的框架来解释它们之间的估计。

3、好多所谓“音频推理”任务并不的确依赖音频。部分模子不错只依赖文本提醒或音频转录得到正确谜底，这使得咱们必须从头疑望：模子是否确凿在听声息？

因此，这篇综述进一步回答三个更根底的问题：

什么是音频推理？它与平素音频交融有什么区别？

什么样的模子结构和锤真金不怕火样式才能竣事的确的 acoustic-grounded reasoning？

何如评估模子的确使用了声息行动凭据，而不是在走文本捷径？

深层分解音频推理四大范式

2026世界杯中国官方入口

多模态大模辅音频推理才调的全景分类框架

本文初次提议一个全新的音频推理分类框架，多维度领路了现存前沿音频推理模子的中枢架构和指示微调计策，为该领域计划者提供了一份了了的“技能舆图”和“避坑指南”。要点分解了四大前沿方针：

Audio-to-Text：卓绝转录的深层语义领路

刻下大模子在纯文本推理上推崇惊艳，世界杯官方网页版但如安在袭取音频输入时幸免信息折损？本文详备探讨了模子在遏止显式文本提醒的情况下，何如平直从音频信号中索要逻辑链条，完成深层多步推理，并冲破长音频落魄文交融的瓶颈。关联措施包括 inference-time CoT、SFT-based CoT 和 RL-based CoT。值得瞩目的是，本文斟酌了一个反直观问题：CoT 在音频中并不老是有用。一些计划发现，CoT 对简便任务有匡助，但在难题上却有可能误导模子；致使一些音频问答省略在不听音频的情况下依靠文本陈迹猜对谜底。这种景象讲授，的确的挑战不是让模子输出 ，而是让推理过程建造在的确的声学凭据上。

Audio-to-Speech：端到端的声学逻辑构建

的确的智能对话不成只输出冰冷的翰墨。本部分聚焦于端到端交互系统，探讨模子如安在生谚语音回答的同期，依然保留输入端的情感共识以及副语言特征，并完成复杂的声学逻辑推理（举例：听出对方的反讽口吻并作念出相应的反击）。传统 sequential 模式是“先听—再想—再说”，天然逻辑完竣但延长性高。近期职责为裁减用户恭候时代，提议两类及时范式：在用户话语时同步推理（Thinking While Listening）；以及诳骗音频播放时代，展望算后续的推理和语音（Thinking While Speaking）。中枢问题是如安在推理的深度和低延长之间获取均衡。

Audio-Visual Reasoning：同期听和看，跨模态推理

听觉与视觉的连络推理是多模态领域的硬骨头。本文深度分解了音视频连络推理的前沿管制决议，揭示了何如破解复杂场景下，声息源和视觉对象的跨模态空间与时代对皆难题。它不仅温雅话语东谈主包摄，还温雅音画同步、事件定位、跨模态消歧等任务。与简便拼接音频转录文本和视觉特征不同，的确的音视频推理，需要模子在时代轴上对皆两种连气儿信号，并判断不同模态间的凭据何如互补或冲突。

Agentic Audio Reasoning：把音频推理推广为智能体职责流

让模子学会“听指示行事”。该方针探讨了音频驱动的自主决策机制，深度分解 Audio Agent 如安在的确物理或凭空环境中，通过听觉信息感知情状和辩论任务，并拓宽 Action 的扩充界限。复杂任务一样不成靠单一模子一次性回答，需要感知、辩论、器用调用、挂牵、考据和反念念等要领和谐。论文回来了两类阶梯：一类是固定过程的 predefined workflow agents，另一类是由 LLM planner 动态选拔 ASR、TTS、搜索、邮件、日期等器用的 dynamic tool-calling agents。

音频推理的主要范式

数据与评测：不成只看谜底对分歧

音频推理 Benchmark对比汇总

音频推理的出路广袤，但数据构造仍是难题。刻下大界限锤真金不怕火数据主要来自 MMAU、VoxEval等，再由大模子构造 QA 和推理链。一些职责使用 LLM-ALM ，进一步通过协同生成、自蒸馏，或引入语速、音高、重音等声学特征，减少文本幻觉和捷径学习。

论文指出：评测音频推理才调，不成只看最终谜底准确率，更庞杂的是判断模子是否的确使用了音频行动依据。异日 benchmark 需要减少文本捷径，掩盖口吻、心境、环境声、话语东谈主、及时交互、长音频落魄文和音视频 grounding 等更的确场景。

指路异日：计划热门在那边？

关于想要入局“音频推理”的计划者，著述在扫尾给出了极具价值的异日趋势指路：合成的音频推理数据是否可靠；模子是否存在模态幻觉和 text-surrogate reasoning；在及时语音交互中何如均衡准确性与低延长；播客、长会议以及环境灌音中的长落魄文推理何如竣事；音频推理才调是否能从 post-training 前移到预锤真金不怕火或 mid-training 阶段。

结语

传统的语音系统只温雅“把声息转成翰墨”，而今天，的确交互、具身智能和多模态 agent场景，庞杂需要下一代模子交融声息中的意图、心境、因果和落魄文。

这篇综述初次将 Audio Reasoning 行动落寞计划对象系统伸开，从形式化界说到模子基础，从 CoT、SFT、RL 到及时语音推理，从音视频 grounding 到 agentic workflow，再到评测与异日方针。

异日的 AI 不应仅仅“听见”声息世界杯官方网页版，而要的确启动“听懂并念念考”。