loading

Loading

探索与发现

首页 包含“ LLM推理优化 ”话题的文章
  • 投机解码落地:草稿模型对齐与逐利陷阱

    投机解码落地:草稿模型对齐与逐利陷阱

    55分钟前 分类: AI 前沿 作者: 戴墨镜的刘备 浏览: 0
    草稿模型选型、对齐和接受率曲线决定了投机解码的最终收益。批量越大加速衰减越多,低接受率、短输出和高温采样可能让线上请求更慢。草稿对齐和持续监控接受率是基础工作量,而不是换个配置文件就能兑现一次加速。
1 / 1
预览图