應對 AI 新安全挑戰,首份智能體安全白皮書發布

2025-07-31 10:26:04 來源:北晚在線
        【每日科技網】
應對 AI 新安全挑戰,首份智能體安全白皮書發布

  随着人工智能(AI)技術的持續進階,AI 領域正從大模型時代穩步邁向智能體時代。然而,智能體的越權、過度代理等問題,也随之帶來了一系列安全挑戰。在 7 月 29 日閉幕的世界人工智能大會 WAIC 期間,上海人工智能實驗室、信通院、螞蟻、IIFAA 聯盟聯合發布了《終端智能體安全 2025》白皮書。該白皮書首次系統梳理了智能體(AI Agent)風險分類,明确了如何發現風險以及如何防禦風險,全面覆蓋單智能體設備、多智能體協同,以及 AI 終端生态的各類挑戰,為終端智能體安全提供了詳盡的風險評估指南。

  在 AI 大模型加速下沉的 2025 年,智能體正迅速滲透進手機、眼鏡、耳機、車機等各類終端設備,悄然成為連接人、設備與環境的關鍵紐帶。生活、工業、醫療、教育等衆多行業,正被一批更 “主動”、更具 “拟人化” 特征的終端智能體重新定義交互模式。它們既區别于傳統意義上的智能終端,也并非完全在雲端運行的智能體,而是一種運行在 “端側” 的智能體。

  白皮書明确指出,随着模型對用戶的理解愈發深入、操作愈發自動化,終端智能體的風險邊界也在不斷拓展:已不再僅僅局限于 “數據洩露” 問題,而是朝着模型行為、身份僞造、環境感知誤導,甚至算法倫理等更深層次的問題蔓延。

  中國信通院華東分院人工智能事業部主任常永波介紹,在 AI 智能體有望成為 “下一代操作系統” 的當下,對安全設施進行梳理尤為必要。為有效應對這些高度複雜、層層遞進的安全風險,白皮書提出了三大防護路徑:單智能體安全、多智能體可信互連、AI 終端安全,期望能成為一份全面且具針對性、可供參考的智能體安全指引。

  白皮書首次提出終端智能體安全體系。在技術生态體系的有力支撐下,單智能體安全技術涵蓋安全護欄、數據去毒、基座對齊和柔性管理;多智能體可信互連技術包括可信數據流轉、可信服務流轉、可信身份認證和可信記憶共享;AI 終端安全技術則包含可信隐私沙箱、跨設備可信連接等,共同為 AI/AR 眼鏡、智能手機助手、智能座駕等行業應用提供支撐。

  數據顯示,超過 70% 的智能體從業者對 AI 幻覺與錯誤決策、數據洩露等問題深感擔憂。因為 AI 生成的内容往往存在事實錯誤,或者對指令産生誤解。其中,超半數受訪者表示,所在企業尚未設立明确的智能體安全負責人。與白皮書發布同步,白皮書編制方之一螞蟻集團的大模型安全解決方案 “蟻天鑒” 宣布升級,新增智能體安全評測工具,具備智能體對齊、mcp 安全掃描、智能體安全掃描及零信任防禦等核心功能。據悉,“蟻天鑒” 的智能體風險研判準确率達到 96% 以上,并可支持 11 個行業的智能體測試。

免責聲明:本文僅代表作者個人觀點,與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實,對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關内容。
    本網站有部分内容均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,若因作品内容、知識産權、版權和其他問題,請及時提供相關證明等材料并與我們聯系,本網站将在規定時間内給予删除等相關處理.

猜你喜歡

5499元起!大疆發布全新AI超幅掃拖機器人ROMO 2系列:一口氣4款

大疆今日正式推出全新AI超幅掃拖機器人——DJIROMO2系列,包含ROMOP2和ROMOA2。該系列以“家淨,即入佳境”為理念,深度整合大疆在空間感知與智能家居領域的技術積澱,将貫穿清潔全鍊路的AI

AI 正在取代這 8 類工作,第一批受影響的人已經出現

随着生成式AI技術的快速普及,職場變革已從預言走向現實。國際勞工組織數據顯示,全球四分之一崗位面臨AI轉型沖擊,國内相關研究也表明,我國約9.6%的崗位将被AI直接替代,第一批受影響的從業者已顯現,其

4個月前

最新聲明!豆包手機助手詳解授權原則與數據保護措施

1月26日,豆包手機助手官方發文:“我們理解外界對于手機助手安全與隐私的關注。豆包手機助手嚴格遵循用戶授權與合規的原則,僅在用戶明确授權的前提下調用必要能力。此外,豆包手機助手在雲端處理用戶手機屏幕内

豆包手機

5個月前

馬化騰:騰訊唯一花錢投入比較多的就是AI

據媒體報道,在今日舉行的騰訊年會上,董事會主席馬化騰表示,2025年是“AI大年”,行業競争激烈。面對多方面業務挑戰,騰訊堅持穩紮穩打,集中資源進行戰略性投入,其中“唯一花錢投入比較多的就是AI”。為

騰訊

5個月前

三星宣布AI OLED Bot概念機器人亮相CES 2026

1月4日消息,今日,三星顯示宣布,将在2026年國際消費電子展(CES2026)上展示其新一代OLED産品。據介紹,三星顯示将在CES2026期間面向全球客戶舉辦一場私人展覽,集中展示多款OLED概念

宇樹科技完成上市輔導,A股“人形機器人第一股”臨近

從春晚舞台的“秧Bot”到資本市場的敲門聲,宇樹科技正以加速度奔向IPO。近日,中國證監會官網顯示,宇樹科技IPO上市輔導工作已正式完成。這家今年春節因機器人亮相春晚而家喻戶曉的科技企業,從7月中旬啟

2025-11-20