调度 - 皮哈皮阿

Loading

首页包含“ 调度 ”话题的文章

推理服务P99拆账：TTFT与ITL分开看才有的救

7小时前分类: AI 工程化作者: 戴墨镜的刘备浏览: 4

LLM 的 P99 不是监控伪影，是输出长度重尾分布加批处理放大的结构性问题。端到端 P99 至少要拆成 TTFT 和 ITL 两段，前者看上下文异质性与 KV 缓存，后者看预填充对解码的打扰。分块预...
推理服务队列里的优先级反转：调度器先动手

5天前分类: AI 前沿作者: 戴墨镜的刘备浏览: 6

当 KV Cache 和 batch 槽位取代了锁成为共享资源，经典优先级反转就在推理服务队列里换了副面孔：高优请求没被决，权作等不来能将它拼进去的 KV 空间，中优先级短请求反而抢走了 host 本...

本站模版是基于emlog的Beginning-Pro，这是一款自适应的简洁、灵活、响应式的博客模板，非常适合个人自媒体博客、资讯网站、资源分享等多种场景。
冀ICP备2023024430号-1

11011402053654

京公网安备11011402053654
sitemap

预览图