当DeepSeek具备的是面向全球大模型的生态视野，针对英伟达GPU展示优化能力也是一种必要动作。当DeepSeek具备的是面向全球大模型的生态视野，针对英伟达GPU展示优化能力也是一种必要动作。 界面新闻记者 | 伍洋宇界面新闻编辑 | 文姝琪 2月最后一天，DeepSeek开源周正式收官。连续五天，这家公司刷新自己在大模型开源生态中的技术地位。 五天一共对应五个开源代码库，分别是FlashMLA，DeepEP，DeepGEMM，DualPipe和EPLB对应的优化并行策略，以及推进器3FS和轻量化数据处理工具Smallpond。在Github，这些项目累计获得星星数量接近2.8万颗。 首日的FlashMLA最为重磅。DeepSeek对其核心介绍是，这是一款面向Hopper GPU（英伟达第九代GPU架构）的高效MLA解码内核（MLA decoding kernel ），并针对可变长度序列的服务场景进行了优化。 MLA——Multi-Head Latent Attention（多头潜在注意力机制）是DeepSeek在V2时期的重要创新，也是降本的关键。FlashMLA则是针对MLA在解码阶段的注意力加速器。 用户输入的自然语言数据序列往往长短不一，如果只按照传统注意力机制会造成算力资源浪费。FlashMLA可以针对不同token长度动态调配计算资源。总体上来说，这还是DeepSeek就H800持续压榨其硬件性能利用效率——这也是DeepSeek素来最擅长的能力之一。 次日的DeepEP核心目的仍在于拉升GPU效能。这是一个专为专家混合（MoE）和专家并行（EP）量身定制的通信库。 简单而言，它通过建立一个全对全的中间系统，高效协同专家模型之间的通信，实现高吞吐量和低延迟的兼顾，并且支持FP8等低精度操作以降低计算资源消耗，最终大幅提升了大模型的训练和推理效率。 第三天的DeepGEMM来自DeepSeek-V3，是一个可用于FP8精度的通用矩阵乘法（GEMM）加速库。 通用矩阵乘法是大模型提高训练效率的重要一环，但往往还是会造成巨大的计算量。DeepGEMM的目的是在降低消耗、提升速度的同时，还能保持计算的准确度。它先是利用FP8这一低精度但快速的方式完成计算，再利用英伟达的CUDA核心对其进行精加工。 事实上，英伟达基于CUDA架构打造的CUTLASS也是用于加速这类计算，但更适用于通用且强性能的矩阵加速库。而DeepGEMM不仅在性能上可以与专家调优的库相当，而且更加轻量化，仅用300行代码就实现，且安装时无需编译，通过轻量级JIT模块就可在运行时编译所有内核。 第四天是由DualPipe和EPLB构成的优化并行策略。 DualPipe是一种双向并行算法，简单而言，它以“双向”的调度方式，在参数翻倍的情况下，大幅减少了流水线并行过程中，因为不同“工序”进程快慢而产生浪费效率的“气泡”，也就是计算和通信阶段的等待时间。 EPLB是一种“专家并行负载均衡器”，可对MoE架构中的高负载专家复制为“冗余专家”，以分担同类任务计算量，并利用“启发式分配算法”，将高负载专家分配到低负载显卡上，以优化GPU之间的负载均衡。它还会尽量将需要高度协同的专家放置在同一节点上，以提高通信效率。 最后一天是3FS（Fire-Flyer File System）以及数据处理框架Smallpond。 3FS是一个可实现高速数据访问，提高AI模型训练和推理效率的分布式文件系统。它相当于利用SSD（用于数据存储与加载、实现快速数据交换等）以及RDMA（支持分布式训练通信和高性能网络架构等）建立一个共享存储层，使模型对于资源调取和数据传输，都更为极速、自动化且高吞吐。 在此基础上，Smallpond可以进一步优化3FS的数据管理能力，能够处理PB级别（1PB 数据量大约可以存储20万部5GB大小的高清电影）的数据。 需要指出的是，DeepSeek开源周的所有内容，几乎都是“开箱即用”，团队均提供了相对完整细致的操作指南。 一名AI大模型行业人士对界面新闻记者表示，这五项开源内容的重要意义相当，都是针对训练效率的优化细节。不过他指出，DeepEP可能相对突出，因为对MoE的提升尤为明显。 另一名关注大模型行业技术进展的投资人同样表示，这些内容均可以视为DeepSeek在AI Infra层的优异表现。 他认为，针对AI Infra的优化措施其实存在于任何一家AI大模型公司，而DeepSeek之所以选择开源，除了可以诉诸其技术理想外，一个核心目的还是在于让业界能够更好部署和使用其开源模型，建立其更大的开源生态。“从战略上来说，这也是一个很明确的先后步骤。” 此外，对于DeepSeek开源周的动作，还有一种讨论声音是它看起来与英伟达的硬件生态绑定更深了。 但前述受访者认为这是一条合理路径。他指出，如果是针对国产硬件生态，DeepSeek还可以另起一套代码库来适配，两者不是非此即彼的关系。与此同时，当DeepSeek具备的是面向全球大模型的生态视野，针对英伟达GPU展示优化能力也是一种必要动作。 事实上，在DeepSeek选择开源这一周，海内外大模型发布动作频繁且热闹，其中包括腾讯新一代快思考模型混元Turbo S，阿里通义千问推理模型QwQ-Max预览版，以及Anthropic的Claude 3.7 Sonnet，和OpenAI万众瞩目的GPT-4.5。 出人意料的是，GPT-4.5并未激起巨大水花，甚至落下一众令人失望的评价。除了各方面基准测试超过4o，并在准确度和幻觉率上有了明显优化，GPT-4.5没有像从前新模型发布那样让人“震撼”的表现。 唯一的震撼或许在于定价。GPT-4.5每百万tokens输入为75美元，输出为150美元，价格分别达到了DeepSeek-V3的280倍及150倍。 OpenAI CEO Sam Altman在X平台上表示，GPT-4.5将是其最后一个非链式思维模型，未来发布的GPT-5将是一个包含o3在内的多种技术混合模型。这俨然让GPT-4.5的存在感降到更低。 回到DeepSeek的开源动作上，到目前为止，这家公司在绝大多数的算法和工程细节上都毫无保留。但它仍然将一些难以复制的核心能力牢牢掌握在自己手上，例如对于模型训练深层次的know how，以及训练数据方面的细节，这是达成DeepSeek式创新的核心秘密所在。