观点 / 方法精选
用一个 uv 编译开关为 vLLM 容器启动省下约 18 秒
原始标题:Reducing vLLM startup time with one uv flag
内容摘要
vLLM 博客作者 Nils Matteson 实测在镜像构建时设置 ENV UV_COMPILE_BYTECODE=1 预编译字节码,H100 服务器上 Qwen3-8B 和 Qwen3-32B 的启动到首个正确响应中位节省分别为 17.6 秒(17.6%)和 17.8 秒(13.9%)。
综合分类、实体标签与信息来源匹配