M5 Ultra Mac Studio 深度评测：本地 AI 智能体的性能实测

Strata 免费开源（MIT 许可），让 Qwen3.8-Flash-Next (125B) 可在 12 GB 以上显存的普通游戏 PC 上运行，RTX 4090 上可达约 100 token/s 生成速度，模型约 70 GB 下载、需 32 GB 以上内存和约 80 GB 磁盘。

ByteShape 为 2026 年 8 月 14 日发布的 Qwen 3.8 27B 推出全量 ShapeLearn 量化模型，五个模型在六种 GPU 实测中全部位于质量速度边界上，GPU-5（IQ4_XS，13.1 GB）达到 BF16 综合基准分数的 99.63%。

Rohan Bansal 通过 off-policy 蒸馏 GPT-6 Astra 轨迹和智能体强化学习，将 Qwen 4B 模型训练为查询优化智能体，在 Join Order Benchmark 113 条 join 密集查询上实现 1.81x 几何平均加速和 44.7% 总延迟下降。

作者用同一台 M4 MacBook Pro（24GB）和 llama.cpp 服务 Qwen 3.8 27B，对 9 套编程线束跑 8 道 Exercism 题目实测。

作者实测 Qwen3.8 27B 各档 Unsloth 量化（GGUF）在 GPQA Diamond、IFBench 和 Terminal-Bench 2.1 上的表现。

恶意 LLM 可能通过向推理引擎（如 vLLM、SGLang）发送特定 token 序列，利用其解析漏洞在宿主机器上执行任意代码。vLLM 曾因 CVE-2025-9141 漏洞，在 Qwen3 Coder 的 XML 工具解析器中对参数执行 eval（），导致任意代码执行。此类漏洞可被持久化利用，且开源权重模型与推理引擎的普及正扩大攻击面。

一位开发者将一项逆向工程任务交给 Qwen 3.8 27B，模型仅用 30 分钟便完成。该案例展示了 Qwen 3.8 27B 在复杂技术任务上的处理效率，相关讨论在 Hacker News 上获得 104 个点赞。

NanoGPT 速通榜单显示，Fable 5 在 2，726 秒内以 81.7% 的通过率位居第一，超越人类基线 2，600 秒。Opus 5 和 Kimi K3 分别以 53.6% 和 52.2% 的通过率位列二、三名。榜单涵盖 GPT-5.6、Grok 4.5、Qwen3.8 Max 等 20 款模型，并开放 41 条完整智能体轨迹供探索。

Hugging Face 工程师 yuvraj sharma 用 HuggingChat 的 ML Intern 模式在几天内做出 7 个模型，包括可在 CPU 运行、99.7% 有效输出的 0.8B 提示词重写器，以及将柑橘病害识别准确率从 14.9% 提升到 52.8% 的 Qwen3.5-2B 微调模型等，全部计算成本约 103 美元。

Baseten 工程师参考 MetaInfer 论文，让 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B（NVFP4，单张 B200）自动构建推理引擎 VibeQwen，单流解码比 vLLM 0.25.1 快 90%，首 token 从 28ms 降至 12ms，并发 32 时吞吐高 71%。