OpenRouter 重做路由:低价不再自动拿流量

1. OpenRouter 重做路由:低价不再自动拿流量

OpenRouter 原先主要按输入 token 标价分流,低价供应商容易拿到流量,却也把等待、失败重试和低质量回答的成本留给用户。
新路由把实际价格、吞吐量、首 token 延迟、限流与错误统一折算成路由成本,再实时分配流量;实验显示首 token 延迟、吞吐和容量错误均改善,但成本略有上升。

OpenRouter 官方公告封面图

封面图来自 OpenRouter Announcements(RSS)(官网正文图)

1.1. 一分钟速览

  • 旧路由只看输入 token 标价,忽视等待与失败成本
  • 新路由将价格、等待与失败重试统一折算为 Routing Cost
  • 更慢、限流或失败会抬高成本,损坏答案也会受罚
  • 实测速度与容量表现改善,但实际成本小幅上升

1.2. 厂商披露

本文依据 OpenRouter 官方公告及其自报实验结果;性能变化尚无第三方复测,实验指标仅代表官方测试。

开发者在 OpenRouter 调用一个由多家供应商提供的模型时,页面很快选中了标价最低的一家;可是请求迟迟没有出现第一个 token,超出容量限制后又被转送别处。
低价并没有让这次等待更便宜。
OpenRouter 因此重做路由:把实际价格、响应速度、限流、失败和回答质量放进同一笔账,供应商不再只靠报价低就能自动拿走流量。

这就像选择餐厅:菜单最便宜不代表眼前最划算,座位等位、上菜太慢、漏单后重做,也都属于这次用餐的实际代价。
边界是,OpenRouter 衡量的仍是模型推理服务的请求表现,而不是回答内容本身是否“更聪明”。

1.3. 便宜就能拿流量,问题出在哪

在 OpenRouter 上,低价曾经几乎等于默认流量,因为那套选择方式只看输入 token 的标价。

约 77% 的请求所用的模型由多个供应商同时提供。
同一个模型可以交给不同供应商执行,路由选谁,直接决定价格、速度和稳定性。
旧路由面对大多数没有指定排序或供应商的请求,几乎完全依据输入 token 价格选择供应商;标价越低,获得的流量比例就越大。

这套规则覆盖的场景很大,却把“便宜”压缩成了一个输入数字。
OpenRouter 官方对旧机制的总结很直接:便宜即使表现不好,也可能胜出。
供应商只要报出更低的输入 token 价格,就能拿到更多流量,实际服务是否更快、更稳定,并不会立即成为加分项。

失败后的补救方式同样沿用价格顺序。
请求失败后,系统会改投下一家最便宜的供应商。
它能保证请求继续推进,却无法抹掉失败之前已经发生的等待;改投之后拿到答案,也不代表这次尝试的完整代价只等于最终那家的标价。

更棘手的是,供应商排名不会及时反映其实时性能波动。
一次服务变慢或稳定性下降,不会立刻反映到流量分配中。
供应商可能要先恶化到被彻底降级,排名才会改变;在那段时间里,低价仍能维持它获得的流量。

于是,旧路由奖励的是更低的报价,而不是更划算的一次调用。
等待与失败成本没有被计入,速度改善也得不到回报。

1.4. 一次请求,路由器究竟在算什么账?

一次调用到底该按什么价比较?
OpenRouter 的答案是算总账:实际支付的美元、等待响应的时间,以及失败重试的代价。

OpenRouter 将这笔总账称为 Routing Cost(一次尝试的综合成本)。
它把实际美元价格、等待响应的时间成本,以及供应商失败或返回不可用结果后的重试成本合在一起,不等同于供应商页面上的单价。

一次请求如何形成 Routing Cost

估算本次请求的输入、输出 token 数量
→ 按供应商有效价格计算实际收费
→ 加入响应等待与失败重试成本
→ 比较各供应商的 Routing Cost

路由器先估算请求规模。
它查看该模型近期的请求流量,判断一次请求会消耗多少输入 token 和输出 token(模型处理文本的计量单位)。
这组估算同时决定两件事:调用大概要付多少钱,以及大概要等多久。

这里涉及有效价格(按实际用量算出的收费)。
OpenRouter 会用近期测得的流量校准价格,并纳入供应商真实的缓存命中率(请求命中已缓存内容的比例),以及模型平均的输入、输出 token 组合。

标价低,不等于有效价格低。
供应商若压低输入价格,却在缓存 token 或输出 token 上收取更多费用,Routing Cost 会计入这些实际支出。

时间成本也有明确的计算依据。
路由器用近期流量估计响应等待,再把等待加入 Routing Cost;具体如何折算,取决于每个模型对应的换算规则。

供应商失败或返回不可用结果后,重试成本继续累加。
一次尝试因此包括美元、时间和重试代价。

OpenRouter 官方公告配图一

官方配图 1 · 来源:OpenRouter Announcements(RSS) · 数据口径以原文为准

1.5. 慢一秒,账上就多一笔

最低报价只回答“这次调用标多少钱”,真实成本还要算响应要等多久,以及失败后要重试几次。

速度会通过端到端吞吐量(每秒实际输出多少 token)进入成本。
这个口径不只看模型持续吐字有多快,还包括等首个 token 的时间和完整答案的流式传输时间(内容生成一段就返回一段)。
开头停得久、后面输出再快,也可能拉低整体表现。

首个 token 的等待尤其容易被忽略。
连续工具调用要反复等新一轮响应开始,首 token 延迟因此会被单独加入 Routing Cost(路由计算的一次综合成本)。
单次价格相同的两个供应商,一个立即开始回答,另一个先沉默一会儿,后者已经多付了时间成本。

故障也会暴露隐藏成本。
HTTP 429(服务端因容量不足拒绝请求)表示供应商容量已经耗尽,路由器会把这次等待和相应惩罚计入成本,不会把它当成普通失败继续执行。

重试次数会改写“便宜”的含义。
假设每五次尝试失败一次,得到一个可用答案平均需要 1.25 次尝试;即使失败尝试没有产出完整答案,等待、失败和再次调用也会累积。
一个标价更低却经常限流的供应商,实际获得一个可用结果的成本可能更高——前提是限流频繁到足以触发重试。

OpenRouter 官方公告配图二

官方配图 2 · 来源:OpenRouter Announcements(RSS) · 数据口径以原文为准

1.6. 一次失败,可能比一次成功更贵

供应商错误会直接让这次请求丢失,必须重新发起。
一次成功调用和一个报错调用若采用同样标价,账面支出可能接近,业务结果却完全不同:前者完成任务,后者留下空缺,并把后续重试接在同一次工作后面。

惩罚还会直接改写流量分配。
同一模型的某个供应商错误率明显高于其他供应商时,路由器会停止向它发送请求,直到它恢复。
报价再低也换不回被停掉的流量——一次错误已经把这次机会的成本推高到不值得继续尝试。

不可用的回答同样如此。
当前质量检查主要看工具调用是否格式正确;工具调用损坏的供应商会被降权,只拿到少量测试流量,用于重新验证,而不是继续承接正常请求。
这里的测试流量是系统重新检查供应商的少量真实请求,不是另建一套人工评测。

门槛还不止工具调用。
基准准确率明显低于应有水平的供应商同样被降权,只接收少量测试流量,直到相关标记被解除。

“模型价格低”不等于“这次调用便宜”:前者是供应商的报价,后者还要算上失败、不可用结果以及后续重试或返工留下的成本。

1.7. 贵一点也能拿到流量,凭什么?

OpenRouter 的新路由器不再只挑最低价。
它会在性能接近的供应商之间分流量,让速度更快、可靠性更高的服务即使 Routing Cost 较高,也能继续拿到请求。

缓存会暂时打断重新分配。
OpenRouter 的路由仍感知缓存(复用此前处理内容的中间结果):只要缓存处于温热状态,同一会话就留在原供应商,避免因微小成本变化切走并失去缓存优势。
因此,综合得分更高,不等于每个后续请求都会立刻换端点。

路由器持续更新供应商表现,监测每个端点的实际价格、延迟、吞吐量和错误率,并实时重算 Routing Cost。
如果一家供应商明显更快,或等待与失败带来的代价更低,它就可能以更高价格胜出;几家差距不大时,流量会分给它们,不会全部压到最便宜的一家。

这种分配也为容量留出余地。
单家供应商变慢、报错或吞吐下降后,流量会离开该端点,直到它恢复,不必等它跌出固定排名才行动,临时拥塞的服务也能及时卸掉压力。

对成本敏感或已有明确偏好的用户,OpenRouter 仍保留按价格排序和固定供应商两种选择。
需要最低可用价格时,可以指定排序规则;需要让同一会话始终走既定供应商时,也可以直接固定端点。
默认路由负责综合取舍,显式设置则把控制权交还给开发者。

1.8. OpenRouter 重做后,快了多少,又贵了多少?

OpenRouter 的重做在官方实验中换来更快的响应、更高的吞吐和更少的容量错误,实际调用成本增加了 6.0%。

用户等待第一个 token 的时间缩短了。
官方实验显示,首 token 延迟(TTFT,指请求发出后到首个输出片段出现的时间)改善了 16.9%。
连续工具调用会反复经历这段等待,影响不只限于一次开场响应。

模型输出完整答案的速度也提高了。
吞吐量改善 16.3%,这里衡量的是端到端每秒输出 token,既包括等待首个 token 的时间,也包括完整输出的流式传输时间。
新路由选中的组合能更快开始,整个输出过程也更顺。

容量错误减少了 67%,这是实验中最直接的可用性变化。
供应商承载能力耗尽时,请求会遭遇容量限制;新路由把这类失败计入供应商取得流量的真实成本,流量会转向当时更能接住请求的端点。

账单上的代价是实际成本增加了 6.0%,官方将其描述为小幅增加。
价格更低已不再足以独自换来流量,供应商还要用更短的等待、更高的吞吐和更少的错误证明自己。

这些数字取自供应商尚未针对新算法优化时的实验结果,不能当作优化完成后的上限;公开材料未见第三方复测,实验口径目前仍以官方为准。

当更多供应商学会针对新算法优化后,价格、速度与可靠性之间的流量分配还会如何变化?

信源为 OpenRouter《Announcements》官方公告及其自报实验结果;性能变化尚无第三方复测,相关比例仅代表官方测试口径。

带走一句:低价仍有用,但不再自动等于最优——一次失败、一次限流和一段等待,都会计入供应商获得流量的真实成本。

1.9. 来源

OpenRouter 重做路由:低价不再自动拿流量 · OpenRouter Announcements(RSS)· openrouter.ai · 2026-10-29

1.10. 术语小典 · 本篇出现的人话注解

  • Routing Cost:一次尝试的综合成本
  • token:模型处理文本的计量单位
  • 有效价格:按实际用量算出的收费
  • 缓存命中率:请求命中已缓存内容的比例
  • 吞吐量:每秒实际输出多少 token
  • 流式传输:内容生成一段就返回一段
  • HTTP 429:服务端因容量不足拒绝请求