TWITTER · 人工智能
2012 年 Dell 服务器跑 5520 亿参数 DeepSeek，达 10 TPS
一语总结用户通过定制 AVX1 插件优化老旧 Dell PowerEdge R820，成功在无 AVX2 支持的硬件上运行 5520 亿参数 DeepSeek V4.1 Flash 模型，实现接近 10 TPS 的推理速度。
AI 总结
一位用户以 $750 AUD 的低价购得 2012 年的 Dell PowerEdge R820 服务器，利用自行编写的 AVX1 优化补丁，实现了 NUMA 内存访问优化、密集权重量化调整，并将部分计算卸载到仅具 5GB VRAM 的 Quadro P2200 显卡，最终成功运行 5520 亿参数的 DeepSeek V4.1 Flash 模型。经过自定义优化后，解码速度从原始 llama.cpp 的 0.43 tps 提升至 9.95 tps，提升超 23 倍；预填 speed 达 101 tps，使用 MTP 编码时约为 12–13 tps。开发者已将所有补丁和脚本发布至 GitHub 并完整记录了优化过程。
2012 年 Dell 服务器跑 5520 亿参数 DeepSeek，达 10 TPS
一位用户以 $750 AUD 的低价购得 2012 年的 Dell PowerEdge R820 服务器，利用自行编写的 AVX1 优化补丁，实现了 NUMA 内存访问优化、密集权重量化调整，并将部分计算卸载到仅具 5GB VRAM 的 Quadro P2200 显卡，最终成功运行 5520 亿参数的 DeepSeek V4.1 Flash 模型。经过自定义优化后，解码速度从原始 llama.cpp 的 0.43 tps 提升至 9.95 tps，提升超 23 倍；预填 speed 达 101 tps，使用 MTP 编码时约为 12–13 tps。开发者已将所有补丁和脚本发布至 GitHub 并完整记录了优化过程。