ARTICLE · 软件编程
未命名
一语总结本指南解释了 LLM 网关的作用，比较了主要选项，并指出大多数节省成本的宣称仅适用于特定流量模式——因此在投入之前，你应该先测量自己的流量。
这份全面的指南将 LLM 网关定位为 2026 年的标准基础设施，涵盖其六大核心关注点：供应商抽象、路由、故障转移、缓存、可观测性和治理。它比较了主要选项，包括 LiteLLM、OpenRouter、Portkey、Vercel AI Gateway 和 SlashSpend，同时提醒公开的延迟基准测试并不可靠。文章随后批判性地审视了网关实际能节省什么，区分了供应商提示词缓存与响应缓存，并警告语义缓存存在静默误报风险。它重点指出了旋转前缀 bug——在系统提示词中注入时间戳或 ID——这通常是最大的成本驱动因素，而且修复它是免费的。作者建议在投入之前，使用开源 slashspend-audit 命令行工具测量自己的流量，并提供了自建或购买框架及分步选择流程。
- LLM 网关现在是标准基础设施，而非一种优化手段。
它将供应商抽象、路由、故障转移、缓存、可观测性和治理集中在一个单一端点之后，取代了手写的胶水代码。
- 响应缓存是杠杆率最高的机制，但仅适用于重复性流量。
在分类任务、CI 评估和定时任务中，字节级完全相同的重复请求很常见，但在措辞多变的交互式聊天中则很少见。
- 语义缓存存在风险，因为相似并不等于等价。
几乎相同的请求可能得到截然相反的答案，因此它应仅限于那些近似匹配确实意味着答案相同的提示词类别。
- 系统提示词中的旋转前缀可能让所有网关功能加起来都相形见绌。
注入时间戳或请求 ID 会在每次调用时破坏供应商的前缀缓存——而且无需任何网关即可免费修复。
- 在相信任何供应商的节省宣称之前，先测量自己的流量。
供应商案例研究描述的是别人的流量；slashspend-audit 命令行工具会报告在您自己的日志上，路由、缓存和压缩能节省多少。
未命名
这份全面的指南将 LLM 网关定位为 2026 年的标准基础设施，涵盖其六大核心关注点：供应商抽象、路由、故障转移、缓存、可观测性和治理。它比较了主要选项，包括 LiteLLM、OpenRouter、Portkey、Vercel AI Gateway 和 SlashSpend，同时提醒公开的延迟基准测试并不可靠。文章随后批判性地审视了网关实际能节省什么，区分了供应商提示词缓存与响应缓存，并警告语义缓存存在静默误报风险。它重点指出了旋转前缀 bug——在系统提示词中注入时间戳或 ID——这通常是最大的成本驱动因素，而且修复它是免费的。作者建议在投入之前，使用开源 slashspend-audit 命令行工具测量自己的流量，并提供了自建或购买框架及分步选择流程。
文章金句
"LLM 网关是位于你的应用程序与其调用的模型供应商之间的代理。
"相似并不等于等价，而且失败模式是静默的。
"唯一重要的数字，是从你自己的基础设施到你正在考虑的网关之间测得的那个。
"在相信任何人的节省宣称之前先运行它，包括本页上的那些。