模型路由

Loading

首页包含“ 模型路由 ”话题的文章

思考预算怎么切：推理模型的资源分配工程取舍

2026/10/26 分类: AI 前沿作者: 戴墨镜的刘备浏览: 82

思考预算成了推理模型 API 的标配参数,但它不是“多花钱就更准”的线性开关。从分层档位、自动评估的不可预测性,到并行采样与奖励信号的取舍,聊聊预算该怎么切。
推理成本下降之后：模型路由、KV Cache 与端侧推理

2026/10/10 分类: AI 工程化作者: 戴墨镜的刘备浏览: 114

上个月一个团队拿着账单来找我：模型单价降了，费用却涨了三倍。看完调用链就明白了，问题不在单价，在用法。单位 token 便宜，不等于每次任务便宜。

本站模版是基于emlog的Beginning-Pro，这是一款自适应的简洁、灵活、响应式的博客模板，非常适合个人自媒体博客、资讯网站、资源分享等多种场景。
冀ICP备2023024430号-1

11011402053654

京公网安备11011402053654
sitemap

预览图