全球开发者可基于这些开源项目进行二次开发与改进。全球开发者可基于这些开源项目进行二次开发与改进。 界面新闻记者 | 宋佳楠 2月28日，国内AI明星公司DeepSeek为期五天的 “开源周” 告一段落。其于2月24日正式启动，计划开源5个代码库，旨在以完全透明的方式与全球开发者社区分享其在通用人工智能（AGI）领域的研究进展。 回顾这五日，其最先开源的是FlashMLA，这是专为英伟达Hopper GPU优化的高效MLA解码内核，专为处理可变长度序列设计。 在自然语言处理等任务里，数据序列长度不一，传统处理方式会造成算力浪费。而FlashMLA如同智能交通调度员，能依据序列长度动态调配计算资源。例如在同时处理长文本和短文本时，它可以精准地为不同长度的文本分配恰当的算力，避免 “大马拉小车” 或资源不足的情况。发布6小时内，GitHub上收藏量突破5000次，被认为对国产GPU性能提升意义重大。 第二日开源的是DeepEP。DeepEP是首个用于MoE（混合专家模型）训练和推理的开源EP通信库。MoE模型训练和推理中，不同专家模型需高效协作，这对通信效率要求极高。DeepEP支持优化的全对全通信模式，就像构建了一条顺畅的高速公路，让数据在各个节点间高效传输。 它还原生支持FP8低精度运算调度，降低计算资源消耗，并且在节点内和节点间都支持NVLink和RDMA，拥有用于训练和推理预填充的高吞吐量内核以及用于推理解码的低延迟内核。简单来说，它让MoE模型各部分间沟通更快、消耗更少，提升了整体运行效率 。 第三日是DeepGEMM，矩阵乘法加速库，为V3/R1的训练和推理提供支持。通用矩阵乘法是众多高性能计算任务的核心，其性能优化是大模型降本增效的关键。DeepGEMM采用了DeepSeek-V3中提出的细粒度scaling技术，仅用300行代码就实现了简洁高效的FP8通用矩阵乘法。 它支持普通GEMM以及专家混合（MoE）分组GEMM，在Hopper GPU上最高可达到1350+ FP8 TFLOPS（每秒万亿次浮点运算）的计算性能，在各种矩阵形状上的性能与专家调优的库相当，甚至在某些情况下更优，且安装时无需编译，通过轻量级JIT模块在运行时编译所有内核。 第四日开源优化并行策略（DualPipe和EPLB）。DualPipe是一种用于V3/R1训练中计算与通信重叠的双向管道并行算法。以往的管道并行存在 “气泡” 问题，即计算和通信阶段存在等待时间，造成资源浪费。DualPipe通过实现 “向前” 与 “向后” 计算通信阶段的双向重叠，将硬件资源利用率提升超30%。 EPLB则是一种针对V3/R1的专家并行负载均衡器。基于混合专家（MoE）架构，它通过冗余专家策略复制高负载专家，并结合启发式分配算法优化GPU间的负载分布，减少GPU闲置现象。 在第五日，DeepSeep开源了面向全数据访问的推进器3FS，也就是Fire-Flyer文件系统。它是一个专门为了充分利用现代SSD和RDMA网络带宽而设计的并行文件系统，能实现高速数据访问，提升AI模型训练和推理的效率。 此外，DeepSeek还开源了基于3FS的数据处理框架Smallpond，它可以进一步优化3FS的数据管理能力，让数据处理更加方便、快捷。 全球开发者可基于上述开源项目进行二次开发与改进，有望推动AI技术在更多领域的应用。

当DeepSeek具备的是面向全球大模型的生态视野，针对英伟达GPU展示优化能力也是一种必要动作。当DeepSeek具备的是面向全球大模型的生态视野，针对英伟达GPU展示优化能力也是一种必要动作。 界面新闻记者 | 伍洋宇界面新闻编辑 | 文姝琪 2月最后一天，DeepSeek开源周正式收官。连续五天，这家公司刷新自己在大模型开源生态中的技术地位。 五天一共对应五个开源代码库，分别是FlashMLA，DeepEP，DeepGEMM，DualPipe和EPLB对应的优化并行策略，以及推进器3FS和轻量化数据处理工具Smallpond。在Github，这些项目累计获得星星数量接近2.8万颗。 首日的FlashMLA最为重磅。DeepSeek对其核心介绍是，这是一款面向Hopper GPU（英伟达第九代GPU架构）的高效MLA解码内核（MLA decoding kernel ），并针对可变长度序列的服务场景进行了优化。 MLA——Multi-Head Latent Attention（多头潜在注意力机制）是DeepSeek在V2时期的重要创新，也是降本的关键。FlashMLA则是针对MLA在解码阶段的注意力加速器。 用户输入的自然语言数据序列往往长短不一，如果只按照传统注意力机制会造成算力资源浪费。FlashMLA可以针对不同token长度动态调配计算资源。总体上来说，这还是DeepSeek就H800持续压榨其硬件性能利用效率——这也是DeepSeek素来最擅长的能力之一。 次日的DeepEP核心目的仍在于拉升GPU效能。这是一个专为专家混合（MoE）和专家并行（EP）量身定制的通信库。 简单而言，它通过建立一个全对全的中间系统，高效协同专家模型之间的通信，实现高吞吐量和低延迟的兼顾，并且支持FP8等低精度操作以降低计算资源消耗，最终大幅提升了大模型的训练和推理效率。 第三天的DeepGEMM来自DeepSeek-V3，是一个可用于FP8精度的通用矩阵乘法（GEMM）加速库。 通用矩阵乘法是大模型提高训练效率的重要一环，但往往还是会造成巨大的计算量。DeepGEMM的目的是在降低消耗、提升速度的同时，还能保持计算的准确度。它先是利用FP8这一低精度但快速的方式完成计算，再利用英伟达的CUDA核心对其进行精加工。 事实上，英伟达基于CUDA架构打造的CUTLASS也是用于加速这类计算，但更适用于通用且强性能的矩阵加速库。而DeepGEMM不仅在性能上可以与专家调优的库相当，而且更加轻量化，仅用300行代码就实现，且安装时无需编译，通过轻量级JIT模块就可在运行时编译所有内核。 第四天是由DualPipe和EPLB构成的优化并行策略。 DualPipe是一种双向并行算法，简单而言，它以“双向”的调度方式，在参数翻倍的情况下，大幅减少了流水线并行过程中，因为不同“工序”进程快慢而产生浪费效率的“气泡”，也就是计算和通信阶段的等待时间。 EPLB是一种“专家并行负载均衡器”，可对MoE架构中的高负载专家复制为“冗余专家”，以分担同类任务计算量，并利用“启发式分配算法”，将高负载专家分配到低负载显卡上，以优化GPU之间的负载均衡。它还会尽量将需要高度协同的专家放置在同一节点上，以提高通信效率。 最后一天是3FS（Fire-Flyer File System）以及数据处理框架Smallpond。 3FS是一个可实现高速数据访问，提高AI模型训练和推理效率的分布式文件系统。它相当于利用SSD（用于数据存储与加载、实现快速数据交换等）以及RDMA（支持分布式训练通信和高性能网络架构等）建立一个共享存储层，使模型对于资源调取和数据传输，都更为极速、自动化且高吞吐。 在此基础上，Smallpond可以进一步优化3FS的数据管理能力，能够处理PB级别（1PB 数据量大约可以存储20万部5GB大小的高清电影）的数据。 需要指出的是，DeepSeek开源周的所有内容，几乎都是“开箱即用”，团队均提供了相对完整细致的操作指南。 一名AI大模型行业人士对界面新闻记者表示，这五项开源内容的重要意义相当，都是针对训练效率的优化细节。不过他指出，DeepEP可能相对突出，因为对MoE的提升尤为明显。 另一名关注大模型行业技术进展的投资人同样表示，这些内容均可以视为DeepSeek在AI Infra层的优异表现。 他认为，针对AI Infra的优化措施其实存在于任何一家AI大模型公司，而DeepSeek之所以选择开源，除了可以诉诸其技术理想外，一个核心目的还是在于让业界能够更好部署和使用其开源模型，建立其更大的开源生态。“从战略上来说，这也是一个很明确的先后步骤。” 此外，对于DeepSeek开源周的动作，还有一种讨论声音是它看起来与英伟达的硬件生态绑定更深了。 但前述受访者认为这是一条合理路径。他指出，如果是针对国产硬件生态，DeepSeek还可以另起一套代码库来适配，两者不是非此即彼的关系。与此同时，当DeepSeek具备的是面向全球大模型的生态视野，针对英伟达GPU展示优化能力也是一种必要动作。 事实上，在DeepSeek选择开源这一周，海内外大模型发布动作频繁且热闹，其中包括腾讯新一代快思考模型混元Turbo S，阿里通义千问推理模型QwQ-Max预览版，以及Anthropic的Claude 3.7 Sonnet，和OpenAI万众瞩目的GPT-4.5。 出人意料的是，GPT-4.5并未激起巨大水花，甚至落下一众令人失望的评价。除了各方面基准测试超过4o，并在准确度和幻觉率上有了明显优化，GPT-4.5没有像从前新模型发布那样让人“震撼”的表现。 唯一的震撼或许在于定价。GPT-4.5每百万tokens输入为75美元，输出为150美元，价格分别达到了DeepSeek-V3的280倍及150倍。 OpenAI CEO Sam Altman在X平台上表示，GPT-4.5将是其最后一个非链式思维模型，未来发布的GPT-5将是一个包含o3在内的多种技术混合模型。这俨然让GPT-4.5的存在感降到更低。 回到DeepSeek的开源动作上，到目前为止，这家公司在绝大多数的算法和工程细节上都毫无保留。但它仍然将一些难以复制的核心能力牢牢掌握在自己手上，例如对于模型训练深层次的know how，以及训练数据方面的细节，这是达成DeepSeek式创新的核心秘密所在。