蚂蚁 inclusionAI 开源 ASpec：面向投机解码 Draft 模型的高吞吐训练框架

蚂蚁集团 Venus 团队与清华大学在 GitHub 开源 Realtime-Venus，一个支持全双工对话与异步任务委托的实时交互系统。系统包含三个组件：Realtime-Venus-Omni（9B，流式音视频对话与主动交互）、Realtime-Venus-Audio（9B，语音交互与音频理解）以及负责后台任务执行并将结果返回同一对话的 Harness 运行时。

蚂蚁集团 inclusionAI 开源 ConceptEdit，一个基于概念缩放与密集监督的图像编辑数据生成管线。该管线通过三阶段流程（VLM 生成指令、FLUX 执行编辑、VQA 评估筛选）构建大规模、基于分类法的图像编辑数据集，并提供单概念与多概念两种变体。项目采用 MIT 许可证，支持断点续跑，需 OpenAI 兼容 VLM 端点与本地 FLUX 检查点。

蚂蚁集团开源 AKernel（Agent Kernel），一个将整个数据中心视为 AI 智能体可编程扩展的分布式内核。它通过统一 Python SDK 实现计算、网络和存储的编程控制，支持单机、私有 K8s 及多云（阿里云、华为云）一键部署，冷启动仅需 40 毫秒。AKernel 代码由 AI 大量贡献，并内置基于 OpenTelemetry 的全栈可观测性。

蚂蚁集团 inclusionAI 在 GitHub 开源 sandboxd，这是 AKernel 使用的 Linux 沙箱生命周期服务，通过 gRPC API 管理沙箱资源，当前基于 gVisor 运行沙箱，并计划近期开源 Kata Containers 支持。

inclusionAI 开源了 Humming，这是一个专为量化推理设计的高性能、轻量级即时编译 GEMM 内核库。它支持在 FP16、BF16、FP8 等多种激活数据类型下进行 8 比特以下任意权重类型的推理，兼容多种量化策略与缩放类型，并同时支持稠密 GEMM 和混合专家 GEMM 运算。该库兼容 SM75+ 及以上的所有 NVIDIA GPU，在多种计算场景下能提供业界领先的吞吐量和效率。其依赖极简，仅需 PyTorch 和 NVCC，软件包大小仅约 100 KB，便…

Flood 是一款面向离线应用的高效大语言模型推理框架。它采用流水线并行降低通信开销，并通过分段式KV缓存管理提升连续性。框架支持连续批处理、分块预填充、FP8/INT8量化及多模态模型推理。性能测试表明，其在多种模型和硬件上的吞吐量最高可达 vLLM 的 2.4 倍。其专用内核 SegmentAttention 在处理长序列时，解码速度较 FlashAttention 最高提升 3.16 倍。该项目于 2025 年 3 月开源并快速迭代，已支持前瞻解码等新特性。

蚂蚁集团开源了AState，这是一个专为强化学习设计的高性能通用状态数据管理系统。它旨在解决RL训练与推理中的I/O效率低下、权重同步性能不足及状态恢复不鲁棒等核心挑战。系统采用三层架构：提供张量原生接口的API层、支持多种部署模式的服务层以及具备高效可扩展传输能力的基础层。其关键特性包括统一的张量级API、高性能权重同步和拓扑感知设计。在万亿参数规模下，AState能在约6秒内完成权重同步，远低于业界常见的分钟级延迟，目前已作为ASystem的关键组件在蚂蚁内部生产环境部…

inclusionAI团队发布了dInfer，一个专为扩散语言模型设计的高效推理框架。该框架旨在解决扩散模型在文本生成领域推理速度慢、资源消耗大的核心挑战。dInfer通过一系列底层优化技术，显著提升了推理效率，能够更快地生成文本，同时降低计算成本，为扩散模型在更广泛的实际应用场景中部署提供了关键技术支持。

蚂蚁 inclusionAI 在 GitHub 开源 TorchTurbo，一个面向 SuperNode 的后训练分布式训练引擎，基于 PyTorch FSDP2 与 Hugging Face Transformers，融合 FSDP、专家并行（EP）和 Ulysses 序列并行（SP）。

蚂蚁 inclusionAI 在 GitHub 发布 Choruz，一个本地优先的协作应用，让人类与 AI 智能体在类 Slack 空间中协作，每个 Agent 在独立工作区运行真实 CLI，可通过消息、线程、任务和文件交接工作。