AI圈报
产品发布 / 更新普通

Modal 与 CMU 推出 Quail:联合优化查询规划器与推理引擎,加速 AI-SQL

信息来源:Modal 官方工程博客(RSS)·
原始标题:Quail: Speeding up AI-SQL by jointly optimizing query planner and inference engine

内容摘要

Modal 与 CMU Full Stack Data Lab 联合推出查询感知推理层 Quail,通过联合优化查询规划器与推理引擎加速 AI-SQL 查询。在某个多表连接查询上,Quail 单张 H100 GPU 每分钟处理超 10 亿 token,比同硬件 vLLM 基线快 10 倍以上,Modal 上成本低于每 10 亿 token 6 美分。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Modal 官方工程博客(RSS)
站内情报编号intel-75534088b50de23e3c4c3db1