AI圈报
论文研究普通

通过推测执行隐藏端侧级联语音智能体中的工具延迟

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Hiding Tool Latency in On-Device Cascaded Voice Agent through Speculative Execution

内容摘要

研究者提出面向端侧级联语音智能体的推测性工具执行方案,通过 Predictor 模块从部分 ASR 假设中预测工具调用,在用户说话时提前执行并缓存结果,再注入 LLM 提示词以加快响应。在完整实现的 Android 语音助手上,该方法将首音频响应中位时间从 5.79s 降至 4.60s,标准差从 3.49s 降至 2.81s。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-f2f656fa0c2248b2ee5980c5