昇腾A2芯片立功!华为首次公开美团LongCat
LongCat-2.0,昇腾
算法层面,片立
CANN推理团队针对LongCat-2.0的功华MoE超稀疏专家架构与百万级长序列进行了系统级优化。总参数量达1.6万亿,为首测试版本在OpenRouter总调用量已跻身全球前三。开美
LongCat-2.0是昇腾美团继1月发布LongCat-Flash-2601后又一次重磅开源。加速矩阵运算。片立
Prefill阶段融合流水线并行与序列并行双重策略,功华Decode阶段采用128卡超大规模专家并行EP部署。为首超长序列采用DP16CP8+EP128方案,开美
计算流调度上实现计算与通信双流并行,
Decode阶段根据序列长度差异化切分,最终实现TPOT时延仅20ms。为AI算力国产替代提供了可复用的技术范本。原生支持100万Token超长上下文。Prefill阶段采用FlashComm算法降低Vector算力消耗。单机16卡。
此次公开的部署细节显示,此次华为首次公开昇腾A2完整部署方案与技术细节,Prefill阶段采用64张昇腾A2协同调度,压缩MoE通信耗时10倍。标志着国产芯片已具备承载万亿参数大模型推理任务的能力,
7月6日消息,最大限度利用芯片带宽与算力。
昇腾A2单卡内置高速网卡可提供200Gbps传输带宽,该模型是业界首个完全基于国产算力完成训练与推理全流程的万亿参数模型。LongCat-2.0基于昇腾Atlas A2 192卡集群部署,将MoE专家计算与Dense层计算拆分为独立计算流,
业内人士表示,
WEBSITE QR CODE
网站二维码
扫一扫进入网站
微信公众号
扫一扫关注微信公众号
ONLINE MESSAGE
联系方式