观点 / 方法精选
Step 3.7 Flash:可运行于桌面级设备的198B视觉模型
原始标题:A 198B vision model, running on a box that sits on a desk. This is what we built Step 3.7 Flash for….
内容摘要
阶跃星辰发布了Step 3.7 Flash,这是一款198B参数的视觉模型,旨在DGX Spark等桌面设备上运行。用户实测表明,128GB统一内存是运行门槛,模型占用约104GB。部署无需官方专用llama.cpp分支,主线版本即可。在上下文长度上存在权衡:启用视觉功能时,基于q8 KV cache的64K为上限;若要使用最高256K上下文,则需禁用视觉并切换至q4 KV cache,此时模型与缓存共占约114GB内存。该模型是推理模型,思考过程可能消耗大量max_tokens,需注意设置。
内容分类AI 观点与方法
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:阶跃星辰 StepFun (@StepFun_ai)
站内情报编号intel-92e81a7712495c6eaf180bc5