姨母的诱惑电影,交换同学会,brandilove新版,新町点烟盘,韩国大全,隐形的亿万富翁电影版,《二十不惑2》电视剧

智能體帶來的新煩惱,英特爾已備好良方

2026-07-27 16:49:12
作者:英特爾
分享
AIME

問財(cái)摘要

1、英特爾至強(qiáng)處理器內(nèi)置的QAT技術(shù)能幫助用戶更高效地做KV Cache卸載的工作。QAT通過硬件級加速,把數(shù)據(jù)壓縮、加解密這類非常消耗CPU資源的任務(wù)全部卸載。它支持多種壓縮算法,幫助系統(tǒng)在吞吐和壓縮率之間獲得更好的工程平衡。在QAT的幫助下,海量KV Cache的壓縮比至少可達(dá)50%。這意味著原本10GB的存儲開銷能夠削減到5GB。數(shù)據(jù)變少了,占用的內(nèi)存少了,客戶的花銷也就少了。在硬件開支如此巨大的今天,意義重大。 2、IAA可以在內(nèi)存中執(zhí)行特定的數(shù)據(jù)處理任務(wù),對內(nèi)存數(shù)據(jù)進(jìn)行實(shí)時(shí)壓縮,在不犧牲性能的前提下帶來可觀的壓縮比,顯著提升內(nèi)存利用率。同時(shí),IAA大幅加速了內(nèi)存中數(shù)據(jù)的壓縮、解壓和分析處理速度,有效緩解了內(nèi)存帶寬壓力。更小的內(nèi)存占用不僅意味著更短的數(shù)據(jù)搬運(yùn)時(shí)延,也有效降低了系統(tǒng)的吞吐壓力。更關(guān)鍵的是,這一加速器還可以處理壓縮/解壓縮任務(wù),使這些操作無需額外消耗CPU周期。
免責(zé)聲明 內(nèi)容由AI生成
文章提及標(biāo)的
英特爾--
海量數(shù)據(jù)--
5G--
周期--
查看股票機(jī)會,下載客戶端

AI突變的挑戰(zhàn),被英特爾(INTC)在芯片內(nèi)的布局輕松拆解。當(dāng)生成式AI邁入目標(biāo)驅(qū)動、自主循環(huán)的Agentic AI時(shí)代,用戶對智能體調(diào)度的需求呈現(xiàn)爆發(fā)式增長。應(yīng)用場景的轉(zhuǎn)移,改變的不僅是用戶的使用體驗(yàn),也是對底層基礎(chǔ)設(shè)施的要求:“省存儲、擠空間”不再是錦上添花的形式,而是企業(yè)在算力部署中必須要做的選擇。

這場變化突如其來,但英特爾(INTC)早已在芯片深處做出了布局。早在智能體浪潮到來之前,英特爾(INTC)便在至強(qiáng)處理器中內(nèi)置了QAT(Intel QuickAssist Technology)與IAA(Intel In-Memory Analytics Accelerator)兩大加速技術(shù)。這展現(xiàn)的是對客戶長遠(yuǎn)TCO的守護(hù):面對未來可能爆發(fā)的業(yè)務(wù)難題和瓶頸,英特爾(INTC)早已為其做好了技術(shù)儲備。

QAT:給海量數(shù)據(jù)“擠干水分”

在LLM與智能體推理過程中,系統(tǒng)采用KV Cache來避免多輪對話重復(fù)計(jì)算歷史詞元。然而,KV Cache的體積會隨上下文長度呈指數(shù)級暴增,當(dāng)下大模型已普遍邁入百萬上下文時(shí)代,未來可能將向百萬級別演進(jìn)。面對如此龐大的上下文數(shù)據(jù),極其珍貴的顯存面臨嚴(yán)重的容量危機(jī)。行業(yè)現(xiàn)在采用層級存儲策略,選擇將顯存中的KV Cache轉(zhuǎn)移到其他單元,當(dāng)然,存儲越貼近計(jì)算端,數(shù)據(jù)訪問時(shí)延越低,系統(tǒng)的綜合性能也越出色。

面對這一難題,英特爾(INTC)至強(qiáng)處理器內(nèi)置的QAT充當(dāng)了空間折疊師的角色。英特爾(INTC)至強(qiáng)處理器內(nèi)置的QAT技術(shù)能幫助用戶更高效地做KV Cache卸載的工作。QAT通過硬件級加速,把數(shù)據(jù)壓縮、加解密這類非常消耗CPU資源的任務(wù)全部卸載。它支持多種壓縮算法,幫助系統(tǒng)在吞吐和壓縮率之間獲得更好的工程平衡。在QAT的幫助下,海量KV Cache的壓縮比至少可達(dá)50%。這意味著原本10GB的存儲開銷能夠削減到5G(885556)B。數(shù)據(jù)變少了,占用的內(nèi)存少了,客戶的花銷也就少了。在硬件開支如此巨大的今天,意義重大。

IAA:存內(nèi)加速,解開內(nèi)存與延遲的束縛

如果說QAT解決了數(shù)據(jù)壓縮的尷尬,那么內(nèi)置于至強(qiáng)處理器的另一大利器IAA,則可以緩解內(nèi)存壓縮與響應(yīng)延遲的平衡問題。

作為內(nèi)置于至強(qiáng)處理器的加速模塊,IAA可以在內(nèi)存中執(zhí)行特定的數(shù)據(jù)處理任務(wù),對內(nèi)存數(shù)據(jù)進(jìn)行實(shí)時(shí)壓縮,在不犧牲性能的前提下帶來可觀的壓縮比,顯著提升內(nèi)存利用率。

同時(shí),IAA大幅加速了內(nèi)存中數(shù)據(jù)的壓縮、解壓和分析處理速度,有效緩解了內(nèi)存帶寬壓力。更小的內(nèi)存占用不僅意味著更短的數(shù)據(jù)搬運(yùn)時(shí)延,也有效降低了系統(tǒng)的吞吐壓力。更關(guān)鍵的是,這一加速器還可以處理壓縮/解壓縮任務(wù),使這些操作無需額外消耗CPU周期(883436)。在Agentic AI爆發(fā)、多智能體并發(fā)對內(nèi)存極度渴求的當(dāng)下,IAA技術(shù)從物理層面大幅精簡了內(nèi)存開銷,為算力基礎(chǔ)設(shè)施的規(guī)?;渴鸬於嘶A(chǔ)。

無論是QAT還是IAA,都印證了英特爾(INTC)在設(shè)計(jì)初期便將復(fù)雜混合工作負(fù)載融入底層的前瞻布局。英特爾(INTC)在CPU上不僅找到了性能與功耗的平衡點(diǎn),更通過內(nèi)置加速技術(shù)打破了通用計(jì)算的邊界。在智能體應(yīng)用全面爆發(fā)的今天,英特爾(INTC)依然是支撐下一代AI基礎(chǔ)設(shè)施不可或缺的算力基石。

英特爾(INTC)公司,英特爾(INTC)英特爾(INTC)logo及其它英特爾(INTC)標(biāo)識,是英特爾(INTC)公司或其分支機(jī)構(gòu)的商標(biāo)。文中涉及的其它名稱及品牌屬于各自所有者資產(chǎn)。

免責(zé)聲明:風(fēng)險(xiǎn)提示:本文內(nèi)容僅供參考,不代表同花順觀點(diǎn)。同花順各類信息服務(wù)基于人工智能算法,如有出入請以證監(jiān)會指定上市公司信息披露平臺為準(zhǔn)。如有投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān),同花順對此不承擔(dān)任何責(zé)任。
homeBack返回首頁
不良信息舉報(bào)與個(gè)人信息保護(hù)咨詢專線:10100571違法和不良信息涉企侵權(quán)舉報(bào)涉算法推薦舉報(bào)專區(qū)涉青少年不良信息舉報(bào)專區(qū)

浙江同花順互聯(lián)信息技術(shù)有限公司版權(quán)所有

網(wǎng)站備案號:浙ICP備18032105號
證券投資咨詢服務(wù)提供:浙江同花順云軟件有限公司 (中國證監(jiān)會核發(fā)證書編號:ZX0050)
AIME