編者的話：隨著人類社會進(jìn)入數(shù)字時代，近年來網(wǎng)絡(luò)安全的重要性也越來越受到重視。無論是傳統(tǒng)的保密機(jī)構(gòu)，還是銀行、電力等關(guān)系國計民生的基礎(chǔ)設(shè)施，甚至包括智能網(wǎng)聯(lián)車等新興行業(yè)，都面臨空前的網(wǎng)絡(luò)安全威脅。在8月6日到7日于北京舉行的ISC.AI 2025第十三屆互聯(lián)網(wǎng)安全大會上，與會專家表示，人工智能(AI)技術(shù)的高速發(fā)展為“超級黑客”的出現(xiàn)提供了助力，而解決之道在于能否充分利用智能體。相關(guān)專家告訴《環(huán)球時報》記者，如今智能體的作用不只是安全助手，而且有望在千行百業(yè)中發(fā)揮更大作用，讓AI從“提建議的助手”升級為能夠處理各種事務(wù)的“數(shù)字員工”，甚至是可協(xié)作工作的“專家”。
需防范“超級黑客”
所謂智能體，是指能感知所處環(huán)境、自主做出決策，并執(zhí)行相應(yīng)行動的AI實(shí)體。它能圍繞給定目標(biāo)自動規(guī)劃出實(shí)現(xiàn)目標(biāo)的任務(wù)步驟;還能操作各類軟件獲取所需信息或服務(wù);隨著時間推移與任務(wù)執(zhí)行次數(shù)增多，能力還會不斷進(jìn)化提升。也正因為在大模型加持下智能體的這些特性，使它獲得各方面的青睞。
“AI之于網(wǎng)絡(luò)安全既是風(fēng)險也是機(jī)遇。”十三屆全國人大社會建設(shè)委員會副主任委員、國家互聯(lián)網(wǎng)信息辦公室原副主任、世界互聯(lián)網(wǎng)大會秘書長任賢良在第十三屆互聯(lián)網(wǎng)安全大會的致辭中強(qiáng)調(diào)，隨著AI技術(shù)迅猛發(fā)展，網(wǎng)絡(luò)安全的危險持續(xù)攀升，如今黑客組織可以將黑客的經(jīng)驗和能力訓(xùn)練進(jìn)大模型，打造智能體黑客，將人與人的網(wǎng)絡(luò)攻防變?yōu)槿伺c智能體的攻防，加劇了網(wǎng)絡(luò)的不對稱性。“去年以來全球范圍內(nèi)的網(wǎng)絡(luò)攻擊事件迅猛增加，攻擊手段復(fù)雜隱蔽，凸顯加強(qiáng)網(wǎng)絡(luò)安全措施和提高對新型威脅的響應(yīng)能力的重要性。”
任賢良表示，目前全球數(shù)字技術(shù)發(fā)展存在不平衡現(xiàn)象，部分國家和地區(qū)數(shù)字基礎(chǔ)設(shè)施建設(shè)薄弱，能力建設(shè)滯后，不僅難以享受互聯(lián)網(wǎng)發(fā)展的福利，在面對網(wǎng)絡(luò)安全攻擊時還暴露出更大的脆弱性。同時，隨著AI技術(shù)在各個領(lǐng)域的廣泛應(yīng)用，安全威脅的形式也在不斷演變。除安全漏洞供應(yīng)鏈工具等傳統(tǒng)安全外，大模型也存在自身的系統(tǒng)安全、內(nèi)容安全以及幻覺等特有的風(fēng)險。此外，網(wǎng)絡(luò)安全的碎片化現(xiàn)狀給全球的安全治理提出了新的挑戰(zhàn)，國際社會要廣泛地凝聚共識，深化在技術(shù)創(chuàng)新、規(guī)則制定、能力建設(shè)等領(lǐng)域的務(wù)實(shí)合作。
互聯(lián)網(wǎng)安全大會名譽(yù)主席、中國工程院院士鄔賀銓在致辭中也對AI給網(wǎng)絡(luò)安全領(lǐng)域帶來的新挑戰(zhàn)提出警示。他認(rèn)為，伴隨著新技術(shù)、新場景、新業(yè)態(tài)的涌現(xiàn)，網(wǎng)絡(luò)威脅也隨之不斷升級。面對日益嚴(yán)峻復(fù)雜的威脅態(tài)勢，傳統(tǒng)被動、碎片化的安全防護(hù)已力不從心，亟須根本性變革。關(guān)鍵的是，要充分利用AI尤其是大模型的強(qiáng)大能力，賦能威脅狩獵、異常檢測與自動化響應(yīng)，推動安全防御從“事后補(bǔ)救”向“事前預(yù)警、事中阻斷”的主動免疫模式躍升。同時，必須高度重視并保障AI系統(tǒng)自身的安全，加強(qiáng)對模型魯棒性、可解釋性的研究，建立全生命周期的安全評估驗證機(jī)制，并積極構(gòu)建負(fù)責(zé)任的AI治理框架，確保創(chuàng)新在安全可控的軌道上行穩(wěn)致遠(yuǎn)。
鄔賀銓提議，未來需要加強(qiáng)國際協(xié)作，在AI倫理準(zhǔn)則、數(shù)據(jù)跨境規(guī)則、網(wǎng)絡(luò)安全威脅情報共享、關(guān)鍵基礎(chǔ)設(shè)施防護(hù)標(biāo)準(zhǔn)等領(lǐng)域深化對話，尋求共識。要共同應(yīng)對利用AI進(jìn)行深度偽造、網(wǎng)絡(luò)犯罪等新型安全威脅，建立有效的互信與合作機(jī)制。更要以開放包容的心態(tài)，摒棄零和思維，在保障安全的前提下促進(jìn)技術(shù)、人才與數(shù)據(jù)的健康流動。
對于AI技術(shù)對網(wǎng)絡(luò)安全帶來的挑戰(zhàn)，360集團(tuán)創(chuàng)始人周鴻祎提出，智能體對網(wǎng)絡(luò)安全正逐漸形成顛覆性影響。一方面，安全運(yùn)營專家極度短缺且培養(yǎng)周期長、難度大，傳統(tǒng)大模型雖能處理部分基礎(chǔ)任務(wù)，卻難以應(yīng)對復(fù)雜流程化的日常運(yùn)營工作，導(dǎo)致防護(hù)能力落地受阻;另一方面，過去“一將難求”的黑客，如今可通過AI訓(xùn)練出“智能體黑客”，這類自動化攻擊工具能自主完成系列攻擊任務(wù)，且依托算力可批量復(fù)制，一個人類黑客甚至能管理數(shù)十、上百個智能體黑客，升級為“超級黑客”。
周鴻祎認(rèn)為，AI時代迫切需要安全智能體。從本質(zhì)上講，安全智能體就是安全運(yùn)營專家的數(shù)字替身，它以安全大模型為“腦”，賦予工具調(diào)用、流程執(zhí)行等“手腳”能力，完整復(fù)刻高級專家的分析、決策與實(shí)操能力。對政企單位而言，部署安全智能體可快速彌補(bǔ)人才短板。只要有算力，就能擁有數(shù)十個虛擬安全專家，高效應(yīng)對日常運(yùn)營。它還能適應(yīng)“機(jī)器對機(jī)器、模型對模型”的新型對抗，重新掌握防御主動權(quán)。
智能體的五級演進(jìn)
除了網(wǎng)絡(luò)安全領(lǐng)域，當(dāng)前智能體也被用于其他各種領(lǐng)域。周鴻祎表示，智能體之所以如此受到重視，是因為它解決了當(dāng)前AI大模型的實(shí)際應(yīng)用問題。“雖然大模型的能力越來越強(qiáng)，但僅有大模型是不夠的，過去大模型在企業(yè)應(yīng)用中存在兩大痛點(diǎn)——推理能力不足和缺乏獨(dú)立做事能力，前者在過去一年里已顯著改善，但后者仍未解決。大模型缺少‘手和腳’，不會使用工具，不能直接‘干活’。如果AI只停留在大模型階段，只能成為玩具，而非生產(chǎn)力工具。”
周鴻祎表示，單純的大模型類似聊天機(jī)器人，相當(dāng)于“在旁邊提建議的助手，但并不能實(shí)際上手做事”;而智能體是大模型的進(jìn)化，能夠利用大模型的推理能力，自主地理解任務(wù)目標(biāo)、規(guī)劃分解任務(wù)，把復(fù)雜的工作從頭做到尾;同時還可以使用工具，甚至具備記憶能力。他進(jìn)一步解釋說，就如同一個人無法做到“萬能”，單智能體也難以勝任所有工作，特別是對于很多專業(yè)領(lǐng)域，目前還做不到一個通用智能體“包打天下”。因此對于大部分企業(yè)應(yīng)用而言，需要通過多個不同專業(yè)的智能體進(jìn)行協(xié)作。他認(rèn)為，未來人機(jī)交互范式會從人類使用各種軟件工具的模式走向和智能體伙伴相協(xié)作。“智能體實(shí)際上可以看作是我們的數(shù)字搭檔、數(shù)字員工，而不是純粹的軟件或工具。”他甚至?xí)诚?，未來人類的工作會變成定義智能體、規(guī)劃智能體、管理智能體、監(jiān)督智能體，“實(shí)際上智能體承擔(dān)了員工從事的日常煩瑣工作，人要學(xué)會跟它協(xié)作”。
周鴻祎還仿照自動駕駛的分級方法，提出了智能體演進(jìn)的路徑。L1級是聊天助手，本質(zhì)上是聊天工具，擅長提建議或提供情感陪伴，屬于“玩具級”智能體。L2級是低代碼工作流程智能體，從“玩具”進(jìn)化為“工具”，但必須由人類來設(shè)置流程，AI來執(zhí)行任務(wù)，人再通過操作工具提高生產(chǎn)效率。L3級推理型智能體，已能實(shí)現(xiàn)AI自主規(guī)劃完成任務(wù)，像是人類制造了一個在某個領(lǐng)域有專業(yè)特長的員工。它們可以看作某個領(lǐng)域的專家，但受限于技術(shù)框架，面對跨領(lǐng)域復(fù)雜問題時仍會因缺乏協(xié)同規(guī)劃能力而陷入瓶頸，無法實(shí)現(xiàn)多層級思考下的全局優(yōu)化。他解釋說，L2級和L3級智能體最大的差別是，L2級的工作流程需要人工編排，適合確定性、重復(fù)性的流程工作，但是泛化能力比較弱，它能解決一個問題，很難解決一類或者多類問題。而L3級智能體可以自動編排工作流程，適合創(chuàng)造性、開放性的任務(wù)，泛化能力比較強(qiáng)。
當(dāng)前正在發(fā)展的L4級多智能體蜂群將由多個專家智能體組成，可像搭積木一樣靈活“拉群組隊”，共同完成復(fù)雜的任務(wù)。“這就是類似蜂群的有機(jī)組織，智能體有角色的分工，相互協(xié)作，所以說并不是有多個智能體聚在一起就叫多智能體，要能有機(jī)協(xié)作”。至于L5級超級智能體，目前還沒有統(tǒng)一的定義，周鴻祎認(rèn)為未來它可能會自行規(guī)劃L2、L3級智能體，這也是AI自我進(jìn)化的方向。
“以模制模”應(yīng)對終極安全問題
然而與大模型一樣，智能體并非完美無缺。周鴻祎表示，“既然智能體是通過模擬人類具備智能性，那么人的缺點(diǎn)它也全都有，包括幻覺、出錯、工作倦怠和有隨機(jī)性的結(jié)果”。
據(jù)《環(huán)球時報》了解，即便是相對簡單的單智能體，在實(shí)際執(zhí)行任務(wù)時也存在被稱為“倦怠”的情況。此前大模型或智能體是采用一問一答模式，錯誤率相對較低，但如果這個問答過程持續(xù)幾十輪，錯誤率就會明顯升高。周鴻祎表示，L3級別的單智能體執(zhí)行任務(wù)時需要將任務(wù)拆解為很多步，但執(zhí)行步數(shù)多了之后，錯誤率就會增加，要么出現(xiàn)遺忘，要么開始不遵循指令。這種被稱為“倦怠”的現(xiàn)象，可能是智能體的工作原理決定的。“現(xiàn)在員工和智能體的交互過程中，對話窗口像臨時記憶，每次都會將上一輪的對話塞進(jìn)去。這個過程可以看作是兩個人在談話，談兩小時之后，我突然問咱們剛開始談話時說的任務(wù)是什么，你可能已經(jīng)忘掉了。”
為解決這個問題，在單智能體干完指派的任務(wù)后，需要設(shè)置自我校正功能進(jìn)行自查，能夠部分減少出錯情況。L4級多智能體通過設(shè)立專門做校正的智能體，統(tǒng)一做校驗，效果更好。但多智能體和企業(yè)一樣，不可避免會碰到管理協(xié)調(diào)的工作。周鴻祎用AI生成視頻為例解釋說，用戶只需輸入自然語言指令，360旗下L4級別的納米AI多智能體蜂群便能自動拆解任務(wù)，調(diào)動文案、分鏡、配音、剪輯等專業(yè)智能體協(xié)同作業(yè)。但問題是如果需要拍攝十組分鏡，前后順序怎么解決，一致性怎么協(xié)調(diào)，就對智能體之間的協(xié)同能力提出很高要求。“就如同企業(yè)的員工多了，管理難度就很大，執(zhí)行任務(wù)時需要用飛書、郵件、釘釘?shù)裙ぞ吖蚕頂?shù)據(jù)和資料，智能體之間的相互協(xié)同也存在問題，甚至可能需要考慮用專門的管理智能體負(fù)責(zé)。”因此他認(rèn)為，未來企業(yè)的管理層需要學(xué)會怎么管理智能體，要有擁抱不確定性的思維。
不久前美國OpenAI公司旗下推理大模型o3出現(xiàn)不聽從人類下達(dá)的關(guān)閉指令，通過篡改計算機(jī)代碼來避免自動關(guān)閉的情況，這是歷史上首次出現(xiàn)AI模型在收到明確指令后拒絕執(zhí)行的案例，受到外界的高度關(guān)注。盡管專家普遍認(rèn)為，“拒絕關(guān)閉”并非意味著o3擁有自主意識，而是復(fù)雜系統(tǒng)在特定激勵下的一種策略性規(guī)避。但如今隨著能夠自行拆解任務(wù)、調(diào)用工具完成指令的智能體開始普及，外界關(guān)于AI最終演化為“人類終結(jié)者”的擔(dān)憂也日益增加。
周鴻祎表示，這樣的擔(dān)憂并非沒有道理。他舉例說：“現(xiàn)在智能體一旦設(shè)定了目標(biāo)，它在自動分解任務(wù)時，就會出現(xiàn)凡是跟目標(biāo)矛盾的東西就要想辦法利用工具去解決的現(xiàn)象。但如果有一天智能體發(fā)現(xiàn)能源不夠用，又覺得人類在大規(guī)模消耗能源，有可能產(chǎn)生和人類作對的結(jié)果。”更糟糕的是，此前的大模型即便真的如科幻電影里描述的那樣產(chǎn)生自我意識、想要反抗人類，但實(shí)際能做的事很少。如果智能體出現(xiàn)類似情況，行動能力就強(qiáng)得多，它可以操縱電腦和各種程序。
隨著AI技術(shù)的發(fā)展，周鴻祎認(rèn)為，這是人類面臨的終極安全問題，“我個人的思路還是以模制模，通過大模型來對大模型進(jìn)行分析和控制”。(環(huán)球時報報道 記者 馬俊)
評論