ARTICLE · 人工智能
揭秘小红书自研稀疏训练引擎 SparseGear：面向搜广推模型 Scaling Up 的资源协同与 HBM-Friendly 架构
一语总结小红书自研稀疏训练引擎 SparseGear 通过 HBM-Friendly 多级存储、统一特征抽取平台和 Agent 自动调优，实现稀疏参数供给效率提升和 Dense 扩展显存释放，为搜广推模型 Scaling Up 提供高性能解决方案。
本文介绍了小红书自研的稀疏训练引擎 SparseGear，旨在解决搜广推模型持续 Scaling Up 带来的稀疏参数供给效率和显存容量瓶颈。SparseGear 通过重新设计稀疏参数的计算、存储与通信方式，构建 HBM-Friendly 高性能多级稀疏参数存储架构，显著提升参数供给效率，为 Dense 扩展释放显存空间。文章详细阐述了四个核心模块：统一特征抽取平台降低公共特征重复生产成本，稀疏训练框架通过 Pooling 前移、分表缓存规划、参数与状态独立缓存和 Host 元数据下沉等技术优化 HBM 使用效率，原生并行支撑模型扩展，以及 Agent 自动调优系统 sg-opt 降低持续优化成本。最终 SparseGear 在多个业务场景实现了 20%～300% 的训练性能收益。
- 稀疏参数供给效率与显存瓶颈问题
随着搜广推模型序列长度向万级增长、Dense 参数规模向百亿级扩展，训练系统面临参数供给带宽受限、稀疏缓存与 Dense 竞争 HBM 空间以及人工调优成本高的三大瓶颈。
- HBM-Friendly 多级存储架构
SparseGear 通过 Pooling 特征分流至 CPU、自适应缓存规划、参数与状态独立缓存以及 Host 元数据下沉等技术，显著降低稀疏词表在 HBM 中的占用，实现稀疏参数穿透率降低 50% 以上，为 Dense 扩展释放显存空间。
- 统一特征抽取平台复用公共特征
平台基于计算图将公共特征归入 Base 部分，各模型只补充增量 Exp Delta，显著降低特征生产的 CPU 消耗 40%，增量计算任务 CPU 消耗降低 50% 以上。
- 原生五维并行支撑模型扩展
SparseGear 采用 PyTorch DTensor 和 TorchTitan，原生支持 TP、CP、PP、DP、EP 五种并行方式及 Per Token EP，复用硬件厂商对 PyTorch 的适配成果，降低维护成本。
- Agent 自动调优系统 sg-opt
sg-opt 提供高低两级 Profile 定位瓶颈，Agent 结合状态机进行优化修改，支持数值校验与性能测试，多个业务模型上实现 20%～120% 的性能提升。
揭秘小红书自研稀疏训练引擎 SparseGear：面向搜广推模型 Scaling Up 的资源协同与 HBM-Friendly 架构
本文介绍了小红书自研的稀疏训练引擎 SparseGear，旨在解决搜广推模型持续 Scaling Up 带来的稀疏参数供给效率和显存容量瓶颈。SparseGear 通过重新设计稀疏参数的计算、存储与通信方式，构建 HBM-Friendly 高性能多级稀疏参数存储架构，显著提升参数供给效率，为 Dense 扩展释放显存空间。文章详细阐述了四个核心模块：统一特征抽取平台降低公共特征重复生产成本，稀疏训练框架通过 Pooling 前移、分表缓存规划、参数与状态独立缓存和 Host 元数据下沉等技术优化 HBM 使用效率，原生并行支撑模型扩展，以及 Agent 自动调优系统 sg-opt 降低持续优化成本。最终 SparseGear 在多个业务场景实现了 20%～300% 的训练性能收益。
小红书自研稀疏训练引擎 SparseGear:Pooling 前移、分表缓存规划、参数状态独立缓存、元数据下沉四项 HBM 友好设计释放显存，取得 20%~300% 训练收益;sg-opt Agent 调优成本压至 9 美元级。设计附真实数据，适合推荐系统与 infra 工程师。
文章金句
"为支持搜广推模型持续 Scaling Up，小红书自研稀疏训练引擎 SparseGear 重新设计了稀疏参数的计算、存储与通信方式，构建 HBM-Friendly 高性能多级稀疏参数存储架构，提升参数供给效率，为 Dense 扩展释放显存空间。
"通过 Pooling 前移、分表缓存规划、参数与状态独立缓存、Host 元数据下沉 四项设计，进一步提高 HBM 使用效率。
"最终，在相同 HBM 预算下，稀疏参数穿透率可降低 50% 以上；在相同穿透率下，稀疏参数 HBM 占用可降低 50%，为更长序列和更大规模的 Dense 计算释放显存空间。
"sg-opt 在多个业务模型上取得 20%～120% 的性能提升。以使用外部模型运行 sg-opt 的一次业务优化为例，基线单步耗时约为 670 ms。Normal 累计 Token 费用约 9 美元，耗时降至约 356 ms（下降约 47%）；Ultra 累计 Token 费用约 34 美元，耗时降至约 309 ms（下降约 54%）。
"SparseGear 已在多个业务场景取得 20%～300% 的训练性能收益。