# HYPIC:小红书联合北大、上交提出首个混合注意力大模型位置无关缓存系统
- 来源:公众号:小红书技术(dots.llm)
- 作者:小红书技术REDtech
- 发布时间:2026-07-16 18:00
- AIHOT 分数:77
- AIHOT 标记:精选
- AIHOT 链接:https://aihot.virxact.com/items/cmrnclu0101cgbic6rpcgkw8s
- 原文链接:https://mp.weixin.qq.com/s/RWveWvw9yBH6YQINBQ-XjA
## 精选理由
混合注意力模型终于有了可用的位置无关缓存方案,HYPIC 用转移算子缓存和缝合窗口解决了长期兼容难题,对长上下文推理服务的加速意义重大,做推理 infra 的团队可以马上看论文和代码。
## AI 摘要
HYPIC 在混合注意力大模型上实现了位置无关缓存,将首 token 延迟平均降低 3.25 倍。在 4 个生产级模型上,同 SLO 下可持续 QPS 提升 1.66 倍,任务质量与完全重算仅相差 1.71 分。
## 正文
公众号正文需在微信内阅读,站内仅提供摘要。