llama.cpp 支持 Qwen3.8-27B DFlash 加速

Qwen 3.6 27B 是一款密集参数本地大语言模型，原生支持 256k 上下文。在 Macbook Max M5 上运行 llama.cpp Q8_0 量化版（含多 token 预测）可达 30 tokens/s；用户反馈在 RTX 5090 上 Q6_K 量化可达 50 tokens/s。它可通过单个提示完成创意诗歌、用 pnpm 生成六边形扫雷游戏等任务，作者称其为首个真正具备通用智能的本地模型。另有一个 MoE 变体 35B A3B，但作者推荐 27B 版本。

Pakistan Notice Helper 是一款安全工具，帮助巴基斯坦用户在点击链接、拨打电话、分享 OTP 或支付前识别可疑消息。它接受文本或截图输入，返回风险等级、简短解释、可见警示标志和安全下一步建议。工具支持英文和乌尔都语，乌尔都模式采用从右向左布局并全界面翻译。最终部署选用 Qwen3.5 4B Q8 模型（通过 llama.cpp + CUDA），在 10 个测试用例中通过了所有高风险诈骗和截图场景。此前曾测试 Qwen3.6 27B（质量高但成本高）和 M…

Hugging Face 发布 Job Searcher，一个基于 AI 的求职搜索工具。用户上传简历并设定偏好后，系统使用教师模型 DeepSeek V4 Pro 生成 LinkedIn 搜索查询，通过 JobSpy 抓取职位，再对学生模型 Qwen3-8B（8B 参数）进行 LoRA 微调，对每个职位从技能匹配、经验相关性、教育背景、行业领域契合度和资历对齐五个维度给出评分和推理。训练在 Modal 平台单张 A100 上完成。推理部署于 Hugging Face Ze…

Reachy Mini 机器人现可通过 `speech-to-speech` 库实现完全本地化的语音交互，无需依赖云端。该方案采用级联流水线架构，对外提供 Realtime API 兼容的 WebSocket 接口。默认组件包括 Silero VAD 用于语音活动检测、Parakeet-TDT 作为语音转文本模型、通义千问（Qwen3-TTS）作为文本转语音模型。大语言模型推荐使用 llama.cpp 运行 Gemma 4。所有数据均在本地处理，保障了隐私且无 API 费用。

作者用同一台 M4 MacBook Pro（24GB）和 llama.cpp 服务 Qwen 3.8 27B，对 9 套编程线束跑 8 道 Exercism 题目实测。

karminski 发布小模型 Agent 能力测试天梯，最推荐 Qwen3.8-27B-UD-Q4_K_XL 版本，Agent 用 reasoning_effort=low，写代码开到 medium/high。测试统一使用单卡 H100 NVL+llama.cpp 最新版，Mac 用户建议优先用 MLX，实测其开 MTP 比 llama.cpp 更快。

karminski 发布小模型 Agent 能力测试天梯，最推荐 Qwen3.8-27B-UD-Q4_K_XL 版本，Agent 用 reasoning_effort=low，写代码开到 medium/high。测试统一使用单卡 H100 NVL+llama.cpp 最新版，Mac 用户建议优先用 MLX，实测其开 MTP 比 llama.cpp 更快。

一项基于50万篇arXiv论文的分析显示，约40%论文提及中国开源LLM，美国开源模型降至25-30%，中国模型已成研究默认选择。通义千问（Qwen）持续增长，如今提及任何LLM的论文中1/3提到Qwen；Llama在2025年4月达30%峰值后持续下滑。

对221个MATS对齐与安全项目的分析显示，2026年72%使用命名模型的项目采用中国开源权重模型，高于美国模型的54%；Qwen占66%，领先Llama（44%）和DeepSeek（32%）。闭源模型仍出现在90%项目中，多作为裁判、监控或前沿基线。中国开源模型正成为对齐研究的实验基底，而美国闭源模型仍是关键评估工具。

Nathan Lambert用Codex分析50万篇arXiv论文发现，中国开源LLM在AI研究中的提及率从2024年的10%升至如今的约40%，而美国开源模型从30%降至25-30%。Qwen被1/3提及LLM的论文引用，DeepSeek在R1发布后明显跃升；Llama于2025年4月达30%峰值后持续下滑。