-
弃答阈值怎么定:推理模型置信度校准的工程账
幻觉检测器拦不住过度自信。本文从 RLHF 导致的校准退化讲起,聊无 Log Prob 时的自一致性采样、温度缩放的适用边界,以及弃答阈值为什么应设计成分层门禁。 -
推理服务 SLA 分级:队列隔离要落在调度器里
为推理服务做 SLA 分级,光有 QPS 限流和看板不够。文章讨论队列隔离该在调度的哪一层做、座位和配额按什么度量、抢占该从哪一步开始试,以及日常需要留下哪些按等级拆开的数据,才能事后把一次违约说清楚... -
GPU显存碎片率:那个不爆显存也会挂的指标
显存没用满却 OOM,多半不是容量问题。从单卡分配器的碎片率计算和 memory snapshot 定位,到集群调度层的 bin-packing,记录其中的实践与取舍边界。 -
模型加载慢在哪:推理冷启动预热的工程账
拆解推理服务冷启动的时间线:权重加载、存储吞吐、编译缓存与预铺实例各自的边界和代价,并标出哪些公开数据需要警惕口径。 -
MoE 专家负载不均衡:不是调个参数就能解决的事
MoE 负载不均衡不是一个参数问题。从 top-k 路由的容量因子、noisy gating、DeepSeek-MoE 的分组路由与偏置调整,到 Qwen 把局部均衡放松为全局均衡,拆开讲工程上真正的...
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布