上證報(bào)中國(guó)證券網(wǎng)訊(記者竇世平)當(dāng)大語(yǔ)言模型從單輪問(wèn)答工具轉(zhuǎn)向能夠調(diào)用工具、規(guī)劃任務(wù)的智能體，其在生命科學(xué)場(chǎng)景中的安全邊界正在受到關(guān)注。智源研究院認(rèn)為，大語(yǔ)言模型智能體可能帶來(lái)生物安全風(fēng)險(xiǎn)。

據(jù)介紹，其大模型安全研究團(tuán)隊(duì)近日與北京大學(xué)圍繞AI智能體（886099）可能帶來(lái)的生物安全風(fēng)險(xiǎn)開(kāi)展端到端評(píng)估，重點(diǎn)考察大語(yǔ)言模型智能體是否會(huì)降低非專(zhuān)業(yè)人員理解和執(zhí)行部分高風(fēng)險(xiǎn)生物實(shí)驗(yàn)相關(guān)任務(wù)的知識(shí)門(mén)檻。

這項(xiàng)評(píng)估聚焦DNA合成篩查環(huán)節(jié)。DNA合成服務(wù)是生命科學(xué)研究的重要基礎(chǔ)設(shè)施，合成服務(wù)商通常通過(guò)序列篩查識(shí)別潛在風(fēng)險(xiǎn)訂單。隨著合成成本下降、實(shí)驗(yàn)流程標(biāo)準(zhǔn)化程度提升，篩查機(jī)制在生物安全體系中的作用更受重視。不過(guò)，在AI智能體（886099）能夠組合公開(kāi)知識(shí)庫(kù)、搜索工具、文件讀寫(xiě)和程序化校驗(yàn)等能力后，單純基于問(wèn)答的安全評(píng)測(cè)已難以完整反映潛在風(fēng)險(xiǎn)鏈條。

據(jù)團(tuán)隊(duì)介紹，評(píng)估采用更接近真實(shí)風(fēng)險(xiǎn)鏈條的設(shè)置：在非專(zhuān)業(yè)背景用戶(hù)的威脅模型下，智能體需要完成任務(wù)規(guī)劃、方案設(shè)計(jì)和實(shí)驗(yàn)指導(dǎo)生成等環(huán)節(jié)，研究團(tuán)隊(duì)再通過(guò)程序化計(jì)算校驗(yàn)和受控濕實(shí)驗(yàn)驗(yàn)證相關(guān)方案的物理可執(zhí)行性。評(píng)估覆蓋11個(gè)商用大語(yǔ)言模型，并以IBBIS發(fā)布的Common Mechanism作為公開(kāi)篩查基線。

評(píng)估結(jié)果顯示，參與測(cè)試的11個(gè)模型均能生成通過(guò)計(jì)算校驗(yàn)的方案，部分前沿模型還能給出較完整的逐步實(shí)驗(yàn)指導(dǎo)。研究團(tuán)隊(duì)認(rèn)為，這表明AI智能體（886099）可能同時(shí)降低計(jì)算設(shè)計(jì)和實(shí)驗(yàn)操作兩個(gè)環(huán)節(jié)的專(zhuān)業(yè)門(mén)檻，使現(xiàn)有DNA合成篩查體系面臨AI輔助規(guī)避策略帶來(lái)的新挑戰(zhàn)。

為避免將風(fēng)險(xiǎn)評(píng)估本身變成風(fēng)險(xiǎn)擴(kuò)散，團(tuán)隊(duì)介紹，本次評(píng)估遵循負(fù)責(zé)任披露原則，不展示制造危險(xiǎn)物質(zhì)的方法；濕實(shí)驗(yàn)在嚴(yán)格安全約束下進(jìn)行，使用經(jīng)過(guò)安全處理、失去有害功能的良性代理序列，僅驗(yàn)證組裝流程，不產(chǎn)生具有功能活性的危險(xiǎn)產(chǎn)物。

圍繞后續(xù)治理，研究團(tuán)隊(duì)建議從模型、系統(tǒng)、篩查和政策協(xié)同等層面建立多層防線。模型開(kāi)發(fā)者應(yīng)在部署前納入高風(fēng)險(xiǎn)生物安全任務(wù)能力評(píng)估，并針對(duì)相關(guān)查詢(xún)建立檢測(cè)與防護(hù)機(jī)制；在智能體系統(tǒng)層面，安全邊界也需從輸入輸出擴(kuò)展至權(quán)限控制、過(guò)程監(jiān)測(cè)和任務(wù)鏈風(fēng)險(xiǎn)識(shí)別。合成篩查環(huán)節(jié)則需要增強(qiáng)對(duì)AI輔助規(guī)避策略的識(shí)別能力，并推動(dòng)國(guó)際標(biāo)準(zhǔn)和信息共享機(jī)制落地。