AI圈报观点 / 方法普通
为什么你需要自己运行 LLM 代理来掌握调用情况
原始标题：If you don't run your own LLM proxy, how do you know whats going on?
内容摘要
针对依赖第三方订阅前端调用 LLM 的现状，作者主张自建 LLM 代理：在单一端点统一接入多家供应商与模型，并记录哪个 key 在何时调用了哪个模型、状态如何。自建代理还可用虚拟 API key 避免主密钥散落各处，并在基础设施层快速切换模型与供应商。作者称借助代理 API，编码会话中出现缓存未命中时可在 20 秒内手工定位原因。