工程实践 - 皮哈皮阿

Loading

首页包含“ 工程实践 ”话题的文章

投机解码落地：草稿模型对齐与逐利陷阱

17分钟前分类: AI 前沿作者: 戴墨镜的刘备浏览: 0

草稿模型选型、对齐和接受率曲线决定了投机解码的最终收益。批量越大加速衰减越多，低接受率、短输出和高温采样可能让线上请求更慢。草稿对齐和持续监控接受率是基础工作量，而不是换个配置文件就能兑现一次加速。
长度惩罚参数调优：常见参数名字容易混淆

5小时前分类: AI 工程化作者: 戴墨镜的刘备浏览: 4

长度惩罚在主流 API 里并不存在。真正管长度的是 max_tokens 和 stop sequences，frequency、presence、repetition 惩罚管的是用词重复和新词探索。把...

本站模版是基于emlog的Beginning-Pro，这是一款自适应的简洁、灵活、响应式的博客模板，非常适合个人自媒体博客、资讯网站、资源分享等多种场景。
冀ICP备2023024430号-1

11011402053654

京公网安备11011402053654
sitemap

预览图