7 月23日消息,阿里真武M890超節(jié)點已成功適配Qwen3.8,并上線阿里云百煉平臺提供模型推理服務(wù),這是國內(nèi)首個成功運行超2萬億參數(shù)大模型的超節(jié)點。
Qwen3.8是阿里最新旗艦?zāi)P?,參?shù)規(guī)模高達2.4萬億,跑通這一規(guī)模的模型需要將參數(shù)分散到幾十張甚至上百張高速互聯(lián)的GPU卡,讓萬億參數(shù)“跑得又穩(wěn)又快”。然而,普通AI集群因通信帶寬的局限,無法滿足高吞吐、低延遲、高并發(fā)的需求。
真武M890是平頭哥新一代訓(xùn)推一體AI芯片,原生支持FP32到FP4等多種數(shù)據(jù)精度,可應(yīng)用于高精度訓(xùn)練、低精度和超低精度推理的全場景。真武超節(jié)點實例通過ICN Switch1.0互聯(lián)芯片,讓64張真武M890實現(xiàn)了800GB/s的高速互聯(lián),顯存規(guī)模達到9TB,單實例即可支撐大規(guī)模2萬億參數(shù)MoE模型的專家并行需求。
此外,阿里還從芯片到云平臺層面實現(xiàn)了與Qwen模型的全鏈路優(yōu)化,不僅可以絲滑跑通Qwen3.8,還能顯著提升推理效率、降低推理成本。實測數(shù)據(jù)顯示,通過算子優(yōu)化和軟硬件架構(gòu)協(xié)同,該超節(jié)點實例在Agentic推理場景中最多可實現(xiàn)1.5倍的推理性能提升。
