摩尔线程万卡GPU集群实现重大突破，性能飙升可达20倍提升

近日消息，摩尔线程与清华系AI系统软件企业清程极智宣布建立战略合作伙伴关系，双方携手致力于加速国产大规模GPU智能计算集群的应用落地，旨在促进AI算力生态的蓬勃成长，为大型模型应用领域注入更加强劲、灵活且高效率的基础建设支持。

摩尔线程近期宣布了从千卡至万卡的全功能GPU智算集群扩展方案，双方此番合作就将聚焦于万卡级超大规模GPU智算集群的开发与优化。

清程极智是一家致力于构建高效人工智能系统软件，赋能国产算力，支撑大模型行业发展的公司，自主研发了智能编译器IntelliGen、高效并行训练系统FastMoE，能够显著加速Transformer类模型和混合专家MoE模型的处理速度，部分模型性能提升最高可达15-20倍。

目前，清程极智的核心产品已全面适配摩尔线程自研的MUSA平台。

摩尔线程还宣布，已与北京智源人工智能研究院顺利完成基于Triton语言的高性能算子库FlagGems的适配工作。

利用摩尔线程自研的统一系统计算架构MUSA，双方只用了短短一个多星期，就成功完成了近60个算子的功能验证，精度符合交付标准，并实现了对Bert-large模型的全面支持。

摩尔线程研发团队经过充分调研论证，还形成了Triton编译器在MUSA架构上适配的完整方案，力求实现开发者在基于摩尔线程全功能GPU进行Triton开发算子过程中，也能获得与原来一致的体验，做到CUDA框架、MUSA框架的无缝迁移。

在摩尔线程MUSA架构上，FlagGems算子库展现出了接近手写算子的计算性能，而且性能还在持续调优，极大加速了开源大模型在摩尔线程全功能GPU上的部署速度。

智源研究院是北京市于2018年11月推动成立的新型研发机构，核心目标是聚焦AI原始创新和核心技术，推动AI理论、方法、工具、系统和应用取得变革性、颠覆性突破，支撑北京建设成为全球AI学术思想、基础理论、顶尖人才、企业创新和发展政策的源头。

智源研究院的FlagGems算子库是一个使用Triton编程语言实现的高性能通用算子库，旨在为大语言模型提供一系列可应用于PyTorch框架的算子，加速模型的推理与训练，降低新算法的开发门槛。

它以Triton编程语言的易用性和编译器的标准接口为基础，为多元芯片提供了一套易适配、高性能的算子解决方案，推动基于Triton的统一、开源的软硬件生态建设。

摩尔线程夸娥智算中心：破万卡规模，解锁万P级浮点运算新纪元

7月3日消息，摩尔线程科技有限公司对外宣布了一项重要的技术升级，其自主研发的AI旗舰级产品——夸娥（KUAE）智算集群解决方案，实现了从原先的千卡级别跃升至万卡级别的重大跨越。

摩尔线程夸娥万卡智算集群，以全功能 GPU 为底座，打造能够承载万卡规模、具备万 P 级浮点运算能力的国产通用加速计算平台，专为万亿参数级别的复杂大模型训练而设计。

夸娥万卡智算解决方案具备以下核心特性：

万卡万 P：夸娥智算集群实现单集群规模超万卡，浮点运算能力达到 10Exa-Flops，达到 PB 级的超大显存总容量、每秒 PB 级的超高速卡间互联总带宽和每秒 PB 级超高速节点互联总带宽。

长稳训练：摩尔线程夸娥万卡集群平均无故障运行时间超过 15 天，最长可实现大模型稳定训练 30 天以上，周均训练有效率在 99% 以上，远超行业平均水平。

高 MFU：夸娥万卡集群在系统软件、框架、算法等层面一系列优化，实现大模型的高效率训练，MFU（评估大模型训练效率的通用指标）最高可达到 60%。

生态友好：可加速 LLM、MoE、多模态、Mamba 等不同架构、不同模态的大模型。基于 MUSA 编程语言、完整兼容 CUDA 能力和自动化迁移工具 Musify，加速新模型“Day0”级迁移。

摩尔线程将开展三个万卡集群项目，分别为青海零碳产业园万卡集群项目、青海高原夸娥万卡集群项目、广西东盟万卡集群项目。