端侧推理

Loading

首页包含“ 端侧推理 ”话题的文章

端侧小模型量化：QAT 该在什么时候开

2026/10/31 分类: AI 前沿作者: 戴墨镜的刘备浏览: 34

端侧量化先用 PTQ 还是直接 QAT？这篇拆开讲判断标准、校准集选择、伪量化节点的代价，以及 INT8 在 CPU 上反量化导致提速归零的坑。
推理成本下降之后：模型路由、KV Cache 与端侧推理

2026/10/10 分类: AI 工程化作者: 戴墨镜的刘备浏览: 114

上个月一个团队拿着账单来找我：模型单价降了，费用却涨了三倍。看完调用链就明白了，问题不在单价，在用法。单位 token 便宜，不等于每次任务便宜。

本站模版是基于emlog的Beginning-Pro，这是一款自适应的简洁、灵活、响应式的博客模板，非常适合个人自媒体博客、资讯网站、资源分享等多种场景。
冀ICP备2023024430号-1

11011402053654

京公网安备11011402053654
sitemap

预览图