AI突變的挑戰(zhàn),被英特爾(INTC)在芯片內(nèi)的布局輕松拆解。當(dāng)生成式AI邁入目標(biāo)驅(qū)動、自主循環(huán)的Agentic AI時(shí)代,用戶對智能體調(diào)度的需求呈現(xiàn)爆發(fā)式增長。應(yīng)用場景的轉(zhuǎn)移,改變的不僅是用戶的使用體驗(yàn),也是對底層基礎(chǔ)設(shè)施的要求:“省存儲、擠空間”不再是錦上添花的形式,而是企業(yè)在算力部署中必須要做的選擇。
這場變化突如其來,但英特爾(INTC)早已在芯片深處做出了布局。早在智能體浪潮到來之前,英特爾(INTC)便在至強(qiáng)處理器中內(nèi)置了QAT(Intel QuickAssist Technology)與IAA(Intel In-Memory Analytics Accelerator)兩大加速技術(shù)。這展現(xiàn)的是對客戶長遠(yuǎn)TCO的守護(hù):面對未來可能爆發(fā)的業(yè)務(wù)難題和瓶頸,英特爾(INTC)早已為其做好了技術(shù)儲備。
QAT:給海量數(shù)據(jù)“擠干水分”
在LLM與智能體推理過程中,系統(tǒng)采用KV Cache來避免多輪對話重復(fù)計(jì)算歷史詞元。然而,KV Cache的體積會隨上下文長度呈指數(shù)級暴增,當(dāng)下大模型已普遍邁入百萬上下文時(shí)代,未來可能將向百萬級別演進(jìn)。面對如此龐大的上下文數(shù)據(jù),極其珍貴的顯存面臨嚴(yán)重的容量危機(jī)。行業(yè)現(xiàn)在采用層級存儲策略,選擇將顯存中的KV Cache轉(zhuǎn)移到其他單元,當(dāng)然,存儲越貼近計(jì)算端,數(shù)據(jù)訪問時(shí)延越低,系統(tǒng)的綜合性能也越出色。
面對這一難題,英特爾(INTC)至強(qiáng)處理器內(nèi)置的QAT充當(dāng)了空間折疊師的角色。英特爾(INTC)至強(qiáng)處理器內(nèi)置的QAT技術(shù)能幫助用戶更高效地做KV Cache卸載的工作。QAT通過硬件級加速,把數(shù)據(jù)壓縮、加解密這類非常消耗CPU資源的任務(wù)全部卸載。它支持多種壓縮算法,幫助系統(tǒng)在吞吐和壓縮率之間獲得更好的工程平衡。在QAT的幫助下,海量KV Cache的壓縮比至少可達(dá)50%。這意味著原本10GB的存儲開銷能夠削減到5G(885556)B。數(shù)據(jù)變少了,占用的內(nèi)存少了,客戶的花銷也就少了。在硬件開支如此巨大的今天,意義重大。
IAA:存內(nèi)加速,解開內(nèi)存與延遲的束縛
如果說QAT解決了數(shù)據(jù)壓縮的尷尬,那么內(nèi)置于至強(qiáng)處理器的另一大利器IAA,則可以緩解內(nèi)存壓縮與響應(yīng)延遲的平衡問題。
作為內(nèi)置于至強(qiáng)處理器的加速模塊,IAA可以在內(nèi)存中執(zhí)行特定的數(shù)據(jù)處理任務(wù),對內(nèi)存數(shù)據(jù)進(jìn)行實(shí)時(shí)壓縮,在不犧牲性能的前提下帶來可觀的壓縮比,顯著提升內(nèi)存利用率。
同時(shí),IAA大幅加速了內(nèi)存中數(shù)據(jù)的壓縮、解壓和分析處理速度,有效緩解了內(nèi)存帶寬壓力。更小的內(nèi)存占用不僅意味著更短的數(shù)據(jù)搬運(yùn)時(shí)延,也有效降低了系統(tǒng)的吞吐壓力。更關(guān)鍵的是,這一加速器還可以處理壓縮/解壓縮任務(wù),使這些操作無需額外消耗CPU周期(883436)。在Agentic AI爆發(fā)、多智能體并發(fā)對內(nèi)存極度渴求的當(dāng)下,IAA技術(shù)從物理層面大幅精簡了內(nèi)存開銷,為算力基礎(chǔ)設(shè)施的規(guī)?;渴鸬於嘶A(chǔ)。
無論是QAT還是IAA,都印證了英特爾(INTC)在設(shè)計(jì)初期便將復(fù)雜混合工作負(fù)載融入底層的前瞻布局。英特爾(INTC)在CPU上不僅找到了性能與功耗的平衡點(diǎn),更通過內(nèi)置加速技術(shù)打破了通用計(jì)算的邊界。在智能體應(yīng)用全面爆發(fā)的今天,英特爾(INTC)依然是支撐下一代AI基礎(chǔ)設(shè)施不可或缺的算力基石。
英特爾(INTC)公司,英特爾(INTC)、英特爾(INTC)logo及其它英特爾(INTC)標(biāo)識,是英特爾(INTC)公司或其分支機(jī)構(gòu)的商標(biāo)。文中涉及的其它名稱及品牌屬于各自所有者資產(chǎn)。
