小红书发布大模型新架构 PIPO

来源：公众号：小红书技术（dots.llm） 2026年7月10日 17:59 AIHOT 评分：70 精选

查看原文 →

摘要：小红书提出 PIPO 架构，通过输入侧压缩器将两个 token 折叠为一个 latent，输出侧 MTP head 将隐藏状态展开为额外 token，实现输入长度减半、每步输出翻倍。基于 Qwen3.5-4B/9B backbone，在 AIME 2025 等基准上最高带来 +7.15 pass@4 提升。部署测评中，TTFT 加速约 1.23×，TPOT 加速约 1.86×。训练采用 SFT 和 On-Policy Distillation 两阶段，将 verifier 校验能力蒸馏进轻量 confidence head。

# 小红书发布大模型新架构 PIPO - 来源：公众号：小红书技术（dots.llm） - 作者：小红书技术REDtech - 发布时间：2026-07-10 17:59 - AIHOT 分数：70 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.virxact.com/items/cmrerlfrs0046ihm87smc2el4 - 原文链接：https://mp.weixin.qq.com/s/1eo7rrCAH-OA0TnXwwqJEg ## 精选理由 PIPO把输入压缩和输出多token预测统一起来，并且用蒸馏把验证成本前置，长推理的场景下这可能是下一代推理引擎的样子，做模型加速的应该认真看看。 ## AI 摘要小红书提出 PIPO 架构，通过输入侧压缩器将两个 token 折叠为一个 latent，输出侧 MTP head 将隐藏状态展开为额外 token，实现输入长度减半、每步输出翻倍。基于 Qwen3.5-4B/9B backbone，在 AIME 2025 等基准上最高带来 +7.15 pass@4 提升。部署测评中，TTFT 加速约 1.23×，TPOT 加速约 1.86×。训练采用 SFT 和 On-Policy Distillation 两阶段，将 verifier 校验能力蒸馏进轻量 confidence head。 ## 正文公众号正文需在微信内阅读，站内仅提供摘要。