在人工智能迅猛發(fā)展的今天，Agentic AI系統(tǒng)以其前所未有的自主性、適應性和決策能力，正在重塑企業(yè)的數(shù)字化格局。這些具備"代理能力"的AI系統(tǒng)能夠自主感知環(huán)境、制定決策并采取行動，為企業(yè)帶來效率提升和創(chuàng)新機遇。然而，隨之而來的是全新的安全挑戰(zhàn)與風險維度：當AI擁有了更大的自主權(quán)，我們?nèi)绾未_保它始終在可控、安全、合規(guī)的軌道上運行？

Agentic AI系統(tǒng)的風險主要來源于企業(yè)的網(wǎng)絡(luò)環(huán)境、外部風險環(huán)境及系統(tǒng)脆弱性。為了應對上述風險，企業(yè)在部署Agentic AI系統(tǒng)時，應構(gòu)建一個多層次的安全保障體系。該體系不僅需要技術(shù)層面的防護措施，還需配套完善的管理流程。以下幾個關(guān)鍵維度是構(gòu)建防護體系的基礎(chǔ)：

• 完善的風險管理體系
• 分層的網(wǎng)絡(luò)安全防護
• 嚴格的數(shù)據(jù)安全管控
• 針對AI模型特有攻擊的專項防護
• 模型自身安全增強
• 持續(xù)的安全運營

圖片

建立完善的AI風險管理體系

Agentic AI系統(tǒng)以其高度的自主性、適應性和潛在的復雜交互能力，在帶來巨大機遇的同時，也引入了傳統(tǒng)信息系統(tǒng)未曾面臨的新型風險。這些風險不僅包括技術(shù)層面的漏洞、數(shù)據(jù)安全問題，更延伸至倫理偏見、決策責任、合規(guī)性挑戰(zhàn)等多個維度。因此，僅僅依賴傳統(tǒng)的技術(shù)防護手段已難以保障Agentic AI在預期范圍內(nèi)安全、可靠、負責任地運行。我們必須建立一套全面、有效、適應性強的AI風險管理體系。

1. 在現(xiàn)有安全管理體系基礎(chǔ)上強化AI特有風險管控

許多組織已經(jīng)建立了基于國家或行業(yè)標準的安全管理體系，例如網(wǎng)絡(luò)安全等保體系或基于ISO27001的安全管理體系。比如，等保體系為信息系統(tǒng)提供了基礎(chǔ)的網(wǎng)絡(luò)安全、主機安全、數(shù)據(jù)安全和管理制度要求，這為 Agentic AI 系統(tǒng)的基礎(chǔ)環(huán)境安全奠定了良好基礎(chǔ)。然而，等保體系并未完全覆蓋 Agentic AI 的特有風險，例如：

• 模型自身風險， 如模型偏見、魯棒性不足、可解釋性差等；
• 數(shù)據(jù)依賴風險， 如訓練數(shù)據(jù)投毒、運行時數(shù)據(jù)污染、數(shù)據(jù)隱私合規(guī)等；
• Agent 自主行為風險，如目標沖突、意外交互、越權(quán)操作、責任界定困難等；
• 倫理與合規(guī)風險，如歧視性決策、違反特定行業(yè)法規(guī)（金融、醫(yī)療）等。

因此，需要在遵循等保等基礎(chǔ)安全要求之上，針對 Agentic AI 的特性，進一步完善和增強風險管理措施。

2. 建立健全AI風險治理機制

有效的風險管理始于頂層的治理設(shè)計。針對Agentic AI，需要建立專門的風險治理機制。首先，應成立跨部門的AI風險管理委員會或工作組，或者把AI安全管理職能嵌入到現(xiàn)有安全組織中。AI安全委員會和工作組成員應包括管理層、數(shù)據(jù)科學家、AI工程師、安全專家、法務(wù)合規(guī)人員、倫理專家及相關(guān)業(yè)務(wù)部門代表。該組織負責制定AI風險管理戰(zhàn)略、審批關(guān)鍵AI應用、監(jiān)督風險評估與處置、處理重大AI相關(guān)事件；其次，應制定一套覆蓋Agentic AI全生命周期的政策、標準和流程；再則，加強相關(guān)人員的風險意識和專業(yè)技能也很重要。對AI開發(fā)者、運維人員進行AI安全和倫理培訓；培養(yǎng)既懂AI技術(shù)又懂安全的復合型人才；確保法務(wù)合規(guī)團隊理解AI技術(shù)及其帶來的獨特挑戰(zhàn)。

建議

組織應建立的AI安全制度包括但不限于以下：

• 《AI 倫理準則與審查流程》：明確 AI 應用的倫理紅線和價值導向；
• 《AI 模型開發(fā)與驗證安全規(guī)范》：涵蓋數(shù)據(jù)采集與處理、模型設(shè)計、訓練、測試、部署各環(huán)節(jié)的安全要求，特別是偏見檢測與緩解、魯棒性測試等；
• 《Agentic AI 數(shù)據(jù)安全與隱私保護策略》：細化敏感數(shù)據(jù)處理、匿名化、加密、數(shù)據(jù)最小化、數(shù)據(jù)生命周期管理等要求；
• 《Agentic AI 訪問控制與權(quán)限管理規(guī)定》：明確 Agent的操作權(quán)限、數(shù)據(jù)訪問范圍、交互邊界；
• 《Agentic AI 安全事件應急響應預案》：針對模型失效、數(shù)據(jù)泄露、Agent 行為失控等場景制定響應流程。

3. 權(quán)限管理與訪問控制

權(quán)限管理與訪問控制是信息安全領(lǐng)域的重要組成部分，其目的是確保系統(tǒng)資源只被經(jīng)過授權(quán)的主體訪問和使用。Agentic AI具有自主決策和行動的能力，缺乏有效的權(quán)限控制，可能導致未經(jīng)授權(quán)的操作，甚至引發(fā)安全事故，因此在Agentic AI的應用中，權(quán)限管理與訪問控制顯得尤為重要，是確保Agentic AI行為可控的關(guān)鍵手段。通過建立細粒度的權(quán)限控制體系，采用合適的權(quán)限管理模型和技術(shù)，結(jié)合嚴格的審批流程和監(jiān)控機制，可以有效地防范Agentic AI的安全風險。

建議

? 首先，建立細粒度的權(quán)限控制體系。針對不同的操作、資源和環(huán)境制定具體的權(quán)限規(guī)則。實踐中，需要根據(jù)具體的業(yè)務(wù)需求和風險評估，制定適合的權(quán)限管理策略，并持續(xù)改進和優(yōu)化。相關(guān)管理模型和控制方法可參考安全?！稊?shù)字身份治理》報告。

?其次，通過權(quán)限審批和授權(quán)流程、行為限制和監(jiān)控、應急響應機制保障Agentic AI行為可控。為防止Agentic AI執(zhí)行未經(jīng)授權(quán)的操作，需要建立嚴格的權(quán)限審批和授權(quán)流程。除了權(quán)限控制，還需要對Agentic AI的行為進行限制和監(jiān)控。

? 最后，建立應急響應機制，確保在Agentic AI出現(xiàn)異常行為時，及時發(fā)現(xiàn)并處理。

4. 安全審計與監(jiān)控

安全審計與監(jiān)控是保障信息系統(tǒng)安全的重要手段。對于Agentic AI系統(tǒng)，安全審計與監(jiān)控可以實現(xiàn)其行為的可追溯性，及時發(fā)現(xiàn)和處理安全事件，確保系統(tǒng)的可靠運行。

實際應用中，建議根據(jù)系統(tǒng)的復雜性和風險等級，制定合適的審計策略，持續(xù)提升安全審計與監(jiān)控能力。建立權(quán)限管理與訪問控制，以及安全審計與監(jiān)控，是確保Agentic AI安全運行的重要手段。通過建立細粒度的權(quán)限控制體系，設(shè)計全面的審計追蹤機制，能有效確保Agentic AI的行為可控，實現(xiàn)行為的可追溯性。

建議

? 采用Agentic AI行為可追溯性的技術(shù)手段，如：行為日志記錄、日志存儲與保護、日志分析和審計；

? 設(shè)計全面的審計追蹤機制，如：制定完善的審計策略，明確需要審計的對象、內(nèi)容和頻率；

? 設(shè)計周密的審計策略，明確審計范圍、關(guān)鍵節(jié)點與執(zhí)行頻率，并利用自動化、智能化工具提升審計效率與深度；

? 建立實時的監(jiān)控和報警機制，持續(xù)監(jiān)測 Agent行為、系統(tǒng)狀態(tài)及數(shù)據(jù)流，以便迅速識別異常活動、潛在威脅或策略偏離，并觸發(fā)及時的應急響應，保障系統(tǒng)安全穩(wěn)定運行。

建立分層的AI技術(shù)防護體系

為有效地管控Agentic AI系統(tǒng)的使用風險，用戶需要建立一個分層的技術(shù)防護體系。這一體系建議從模型訓練、系統(tǒng)框架層和應用層三個方面入手，全面加強安全防護措施。

1. 模型訓練的安全防護

模型訓練階段是Agentic AI系統(tǒng)安全的起點和基礎(chǔ)，訓練過程中的安全漏洞可能導致模型永久性的安全缺陷，這些缺陷在部署后難以完全修復。模型訓練安全防護不僅關(guān)注技術(shù)層面的防護措施，還需要考慮組織流程、人員管理和供應鏈安全等多維度因素。模型訓練安全的防護措施包括但不限于以下內(nèi)容：

• 數(shù)據(jù)清洗：數(shù)據(jù)質(zhì)量直接影響著模型的準確性和安全性。數(shù)據(jù)清洗是保證訓練數(shù)據(jù)質(zhì)量的首要步驟，涉及刪除錯誤、重復或無效的數(shù)據(jù)。如：異常值檢測、缺失值處理、數(shù)據(jù)一致性檢查等。
• 投毒檢測：模型投毒（Model Poisoning）是一種針對AI模型的攻擊方式，攻擊者通過篡改訓練數(shù)據(jù)來誘導模型產(chǎn)生錯誤的輸出。為了防范這一風險，需要在訓練過程中實施投毒檢測。如：差異檢測、模型驗證、魯棒性訓練等。
• 對抗樣本防御：對抗樣本（Adversarial Examples）是指經(jīng)過精心設(shè)計的輸入，旨在誘導模型產(chǎn)生錯誤的輸出。為保護Agentic AI模型免受對抗樣本的影響，需要采用對抗樣本防御技術(shù)。如：對抗訓練、輸入正則化處理、建立對輸入數(shù)據(jù)的檢測機制等。
• 輸入驗證：輸入驗證是防止惡意或錯誤輸入導致模型異常的重要手段。通過嚴格的輸入檢查，可以確保模型接收到的都是符合預期的、安全的輸入。輸入驗證的策略包括：格式驗證、范圍合理性驗證、內(nèi)容的合法性驗證等。
• 訪問控制：除了以上技術(shù)手段，實施嚴格的訪問控制也是保護模型訓練安全的重要措施。通過權(quán)限管理，限制對模型的未經(jīng)授權(quán)的訪問，可以防止模型泄露和濫用。如：多因素認證、最小化權(quán)限、審計日志等。

2. 系統(tǒng)框架層安全加固

系統(tǒng)框架層是Agentic AI系統(tǒng)的核心結(jié)構(gòu)和基礎(chǔ)支撐，其安全性直接決定了整個系統(tǒng)的安全上限?？蚣軐影踩庸滩粌H關(guān)乎防御外部攻擊，更是確保AI智能體行為可控、可信和可靠的關(guān)鍵。框架層安全加固可以重點考慮：分布式架構(gòu)安全、內(nèi)存安全保護、接口安全管控三個方面：

• 分布式架構(gòu)安全：在Agentic AI中，分布式架構(gòu)被廣泛應用以提升計算效率和模型性能。然而，這也帶來了新的安全挑戰(zhàn)，如節(jié)點認證、數(shù)據(jù)傳輸安全等問題。對于節(jié)點認證問題，可以基于PKI基礎(chǔ)設(shè)施、OAuth 2.0協(xié)議實施嚴格的認證授權(quán)機制，確保只有經(jīng)過驗證的節(jié)點和用戶才能參與系統(tǒng)。為了防止數(shù)據(jù)在傳輸過程中被竊聽或篡改，可對通信進行加密、采用數(shù)據(jù)完整性校驗等手段；
• 內(nèi)存安全保護：Agentic AI框架通常涉及大量的內(nèi)存操作，內(nèi)存安全問題可能導致系統(tǒng)漏洞和攻擊風險。開發(fā)中進行嚴格的邊界檢查，使用中要進行定期的版本更新、安全審計，并及時修復已知的安全漏洞，有效防止緩沖區(qū)溢出和內(nèi)存泄漏；
• 接口安全控制：Agentic AI框架通常提供豐富的接口供開發(fā)者使用，但不安全的接口可能成為攻擊的入口。采用API密鑰、請求頻率限制對接口的訪問進行嚴格控制，對傳入的參數(shù)進行嚴格的校驗等措施，可以防止未授權(quán)的調(diào)用，防止SQL注入、命令注入等攻擊。

3. 應用層安全措施

應用層是Agentic AI系統(tǒng)與用戶直接交互的界面，也是攻擊者最常嘗試突破的入口。應用層安全措施不僅關(guān)乎防御外部攻擊，更直接影響用戶體驗和信任度。針對應用層安全，一般從Web應用安全、插件安全、數(shù)據(jù)安全三個維度進行安全防護：

• Web應用安全：Web應用是Agentic AI最常見的呈現(xiàn)形式，也是攻擊者的主要目標。對于Web應用風險的主要安全措施，建議：及時修復Web應用中的已知漏洞，防止被利用；部署網(wǎng)絡(luò)防火墻和入侵檢測系統(tǒng)，防御常見攻擊；
• 插件安全：Agentic AI應用通常支持插件擴展，不受控制的插件可能帶來安全風險。針對插件類問題的主要安全措施，包括：對插件進行嚴格的安全審核，防止惡意插件入侵系統(tǒng)。已安裝的插件，可以通過沙箱技術(shù)，將插件的執(zhí)行環(huán)境與主應用隔離，防止安全漏洞的擴散。如使用Docker等容器技術(shù)，隔離插件的運行環(huán)境。采取權(quán)限限制措施，嚴格控制插件的權(quán)限，只允許必要的資源訪問；
• 數(shù)據(jù)安全：Agentic AI應用處理大量敏感數(shù)據(jù)，數(shù)據(jù)的安全性至關(guān)重要。數(shù)據(jù)安全的代表性措施有：對傳輸和存儲過程中的數(shù)據(jù)進行加密，防止竊取和泄露；實施嚴格的數(shù)據(jù)訪問控制，確保只有授權(quán)用戶才能訪問敏感數(shù)據(jù)。

增強模型可解釋性和透明度

Agentic AI系統(tǒng)的自主性和復雜性使其決策過程往往成為“黑箱”，用戶難以理解其決策依據(jù)和邏輯。這種缺乏可解釋性的特性可能導致用戶對系統(tǒng)的不信任，甚至在發(fā)生安全事件時難以定位問題。因此，增強模型的可解釋性和透明度，對于提高Agentic AI的可信度和安全性至關(guān)重要。

1. 可解釋性（Explainability）

是指提供關(guān)于AI系統(tǒng)決策過程和結(jié)果的清晰、易懂的解釋。增強Agentic AI的可解釋性，可以幫助用戶理解其決策依據(jù)，發(fā)現(xiàn)潛在的問題，滿足合規(guī)性要求，提升信任度。包括：可視化、特征重要性分析、LIME（局部可解釋模型）、SHAP等。在實踐中，需要根據(jù)具體的應用場景，選擇合適的可解釋性技術(shù)，并結(jié)合用戶需求，持續(xù)改進模型算法。

2. 模型透明化策略

是指通過開放模型架構(gòu)、記錄日志等方式，增加Agentic AI的透明度，增強用戶和監(jiān)管機構(gòu)的信任。這些策略有助于發(fā)現(xiàn)潛在的問題，促進模型的改進，滿足合規(guī)性要求。提高Agentic AI模型透明度的實踐有：

• 通過公開Agentic AI的模型架構(gòu)、算法原理和設(shè)計思路；
• 詳細的日志記錄有助于跟蹤Agentic AI的行為，發(fā)現(xiàn)問題，提供審計依據(jù)；
• 定期發(fā)布透明度報告，披露系統(tǒng)的性能、安全性和改進情況。

在實踐中，還需要平衡透明化與商業(yè)機密、隱私保護之間的關(guān)系，采用合理的策略，滿足合規(guī)性要求，增強信任，提高安全性。在增強模型可解釋性和透明度方面，可解釋AI技術(shù)的應用，以及模型透明化策略對于提高Agentic AI的可信度和安全性具有重要作用。通過技術(shù)和管理措施的結(jié)合，能有效地防范風險，促進Agentic AI在網(wǎng)絡(luò)安全領(lǐng)域的安全應用。

強化對抗性攻擊防御

隨著Agentic AI在各行各業(yè)的廣泛應用，其安全性和魯棒性成為關(guān)注的焦點。對抗性攻擊利用模型的脆弱性，惡意干擾AI系統(tǒng)的正常運行，可能導致嚴重的安全事故和經(jīng)濟損失。因此，強化對抗性攻擊防御對于保護Agentic AI系統(tǒng)的安全至關(guān)重要。

為防御對抗性攻擊，要加強對抗算法研究，同時也要做好安全測試與驗證機制。

1. 加強對抗算法研究

首先，研發(fā)抵御對抗性攻擊的算法，提高模型的魯棒性。一種常見的方法是增強模型的穩(wěn)定性。這包括設(shè)計更為魯棒的網(wǎng)絡(luò)結(jié)構(gòu)，使用正則化技術(shù)防止過擬合，以及通過數(shù)據(jù)增強來提高模型對未知數(shù)據(jù)的適應性。

• 加入噪聲層或使用噪聲對抗正則化（Noise-Contrastive Regularization）可以有效提升模型對輸入擾動的免疫力；
• 采用隨機平滑（Randomized Smoothing）技術(shù)。它通過對輸入進行隨機噪聲擾動，使得模型輸出在小范圍內(nèi)的輸入變化下保持穩(wěn)定。這種方法已被證明能夠提供可證實的魯棒性保證，是當前對抗攻擊研究的熱點。

其次，對抗訓練（Adversarial Training）。對抗訓練是目前應對對抗性攻擊最有效的防御策略之一。其核心思想是在模型訓練時，加入對抗樣本，使模型學習到對抗性擾動的特征，從而提高抵御能力。對抗訓練可以視為一種數(shù)據(jù)增強技術(shù)，但其計算成本較高，需要在訓練過程中生成大量的對抗樣本。

2. 安全測試與驗證機制

為了全面提升Agentic AI系統(tǒng)的防御能力，除了在算法上進行優(yōu)化外，還需要建立完善的安全測試與驗證機制，模擬真實的攻擊場景，對系統(tǒng)進行全面的安全評估。同時，由于安全威脅是動態(tài)變化的，新的對抗性攻擊方法不斷涌現(xiàn)，Agentic AI系統(tǒng)需要建立持續(xù)的安全驗證與更新機制，保持對新型攻擊的防御能力。

通過對抗算法的研究和安全測試與驗證機制的建立，Agentic AI系統(tǒng)的安全性和魯棒性可以得到顯著提升。然而，面對不斷演變的安全威脅，仍需持續(xù)投入研究和實踐，不斷完善防御策略，保障Agentic AI在各領(lǐng)域的安全應用。

加強數(shù)據(jù)安全和隱私保護

隨著Agentic AI在各行各業(yè)的廣泛應用，數(shù)據(jù)已經(jīng)成為驅(qū)動AI系統(tǒng)持續(xù)學習和優(yōu)化的關(guān)鍵資源。然而，數(shù)據(jù)的開放與共享也帶來了前所未有的安全挑戰(zhàn)。在充分利用數(shù)據(jù)價值的同時，保障數(shù)據(jù)安全和用戶隱私，已成為AI領(lǐng)域亟待解決的重要課題。

1. 數(shù)據(jù)安全策略

在Agentic AI的應用過程中，數(shù)據(jù)安全策略是保障系統(tǒng)穩(wěn)健運行和防范風險的第一道防線。完善的數(shù)據(jù)安全策略需要綜合考慮技術(shù)措施、管理制度和應急預案，以全面保護數(shù)據(jù)的機密性、完整性和可用性。

• 技術(shù)措施：數(shù)據(jù)加密、建立訪問控制機制、實施數(shù)據(jù)分類分級管理、完善數(shù)據(jù)安全管理制度等。
• 管理措施：管理制度的建立對于數(shù)據(jù)安全同樣至關(guān)重要。通過制度明確各項安全措施的執(zhí)行標準、責任人和流程；針對可能發(fā)生的數(shù)據(jù)安全事件，建立快速響應機制，包括事件報告、調(diào)查、處理和風險評估，確保在最短時間內(nèi)控制影響。

數(shù)據(jù)安全策略的有效實施，需要技術(shù)措施與管理制度的有機結(jié)合。技術(shù)支持管理，利用安全技術(shù)手段能確保管理制度的執(zhí)行和違規(guī)行為的檢測。管理指導技術(shù)，引導技術(shù)措施的選型和應用方向。兩者相輔相成，才能構(gòu)建全面的數(shù)據(jù)安全防護體系。

2. 隱私保護技術(shù)

在Agentic AI的發(fā)展中，數(shù)據(jù)驅(qū)動的模型訓練方式使用戶隱私保護面臨了巨大挑戰(zhàn)，特別是各地區(qū)的隱私合規(guī)要求。采用先進的隱私保護技術(shù)，在保護用戶隱私的同時，保證AI系統(tǒng)的性能和效率。

代表性的隱私保護技術(shù)有：差分隱私、聯(lián)邦學習、同態(tài)加密。其中，同態(tài)加密技術(shù)，近年來隨著算法優(yōu)化和硬件加速，性能有了顯著提升，為實際應用奠定了基礎(chǔ)。單一的隱私保護技術(shù)一般無法滿足應用需求。實踐中，建議通過多方技術(shù)融合，打造更加完善的隱私保護方案，比如：

• 在聯(lián)邦學習的模型更新過程中，引入差分隱私，防止從模型參數(shù)中逆向推斷出個體數(shù)據(jù)；
• 在需要多方參與的數(shù)據(jù)計算中，結(jié)合同態(tài)加密和MPC，實現(xiàn)協(xié)同計算而不泄露各自的數(shù)據(jù)等；、
• 在技術(shù)實施的同時，要確保數(shù)據(jù)處理過程符合相關(guān)的隱私法規(guī)。如，收集數(shù)據(jù)時應用數(shù)據(jù)最小化原則；
• 新項目啟動前，評估其隱私影響，并采取適當?shù)臏p緩措施；
• 為用戶建立權(quán)利保障相關(guān)機制，方便用戶行使其數(shù)據(jù)訪問、修改和刪除等權(quán)利。

持續(xù)優(yōu)化機制

在網(wǎng)絡(luò)安全領(lǐng)域，持續(xù)優(yōu)化機制是確保組織在面對不斷演變的網(wǎng)絡(luò)威脅時保持高效防御和響應能力的關(guān)鍵。通過不斷提升安全能力和優(yōu)化應急響應流程，組織可以有效降低安全風險，提升整體安全態(tài)勢。

持續(xù)提升安全能力 提升安全能力的相關(guān)手段，如：威脅情報共享、安全研究創(chuàng)新，以及最佳實踐更新。這些措施確保了組織在技術(shù)和策略層面的領(lǐng)先，及時掌握最新的威脅動態(tài)，優(yōu)化安全策略和技術(shù)，實現(xiàn)全面的安全防護。

優(yōu)化應急響應能力 快速、有效的應急響應可以在網(wǎng)絡(luò)安全事件發(fā)生時將損失降至最低。通過優(yōu)化事件響應流程、定期演練和總結(jié)經(jīng)驗，組織能夠提升應急響應的效率和效果，確保在實戰(zhàn)中高效應對。

持續(xù)優(yōu)化機制是企業(yè)網(wǎng)絡(luò)安全工作的生命線。通過不斷提升安全能力和優(yōu)化應急響應流程，組織能夠動態(tài)適應新的威脅環(huán)境，提升防御和響應能力。