7月23日,阿里云靈駿真武M890超節(jié)點(diǎn)實(shí)例已成功適配Qwen3.8,并上線阿里云百煉平臺(tái)提供模型推理服務(wù),這是國內(nèi)首個(gè)成功運(yùn)行超2萬億參數(shù)大模型的超節(jié)點(diǎn)。
Qwen3.8是阿里最新旗艦?zāi)P?,參?shù)規(guī)模高達(dá)2.4萬億,跑通這一規(guī)模的模型需要將參數(shù)分散到幾十張甚至上百張高速互聯(lián)的GPU卡,讓萬億參數(shù)“跑得又穩(wěn)又快”。然而,普通AI集群因通信帶寬的局限,無法滿足高吞吐、低延遲、高并發(fā)的需求。
真武M890是平頭哥新一代訓(xùn)推一體AI芯片,原生支持FP32到FP4等多種數(shù)據(jù)精度,可應(yīng)用于高精度訓(xùn)練、低精度和超低精度推理的全場(chǎng)景。靈駿真武M890超節(jié)點(diǎn)實(shí)例通過ICN Switch 1.0互聯(lián)芯片,讓64張真武M890實(shí)現(xiàn)了800GB/s的高速互聯(lián),顯存規(guī)模達(dá)到9TB,單實(shí)例即可支撐大規(guī)模2萬億參數(shù)MoE模型的專家并行需求。
此外,阿里還從芯片到云平臺(tái)層面實(shí)現(xiàn)了與Qwen模型的全鏈路優(yōu)化,不僅可以絲滑跑通Qwen3.8,還能顯著提升推理效率、降低推理成本。實(shí)測(cè)數(shù)據(jù)顯示,通過算子優(yōu)化和軟硬件架構(gòu)協(xié)同,該超節(jié)點(diǎn)實(shí)例在Agentic推理場(chǎng)景中最多可實(shí)現(xiàn)1.5倍的推理性能提升。
