AIGC日日生新，商湯發布SenseTrust治理平台，護航生成式AI可信發展

(2023年7月17日，上海)生成式AI火爆全球，國内外AI大模型日新月異，人工智能加速走進日常生活。如何在技術“狂飙”的同時，引導技術應用的正向發展?在本年度世界人工智能大會上，商湯科技就此問題給出了答案：着眼現實問題，用可信AI基礎設施“護航”大模型發展。

  繼4月發布自研大模型體系後，商湯迅速升級疊代，重磅推出全面升級的“商湯日日新SenseNova”。與之一起亮相的，還有商湯可信AI基礎設施—SenseTrust。SenseTrust包含一套完整覆蓋數據、模型、應用治理環節的可信AI治理工具，可為商湯自身及行業提供倫理、安全二維一體的檢測與加固解決方案，推動發展安全可信的人工智能産業生态。

  活動上，商湯副總裁、AI倫理與治理委員會主席張望表示：“技術規模化落地有兩點關鍵條件，一是成本低、應用廣的普惠性，二是要可靠、可信的安全性。以大算力為基礎的大模型及通用人工智能為加速了條件一的滿足，同時也帶來了技術濫用風險的規模化升級。如何保障人工智能系統的安全可信已經成為業界乃至全社會面臨的一項緊迫課題。為此，商湯針對新時期人工智能的風險特點，打造覆蓋數據處理、模型開發、應用部署等AI系統全生命周期的可信AI基礎設施SenseTrust，以助力打造可信的大模型。”

  活動期間，商湯也正式發布了人工智能倫理與治理的年度報告——《商湯大模型倫理原則與實踐白皮書》。白皮書由商湯智能産業研究院與上海交通大學計算法學與AI倫理研究中心共同編制。白皮書以大模型的發展為背景，以生成式人工智能的治理為主題，以“商湯日日新SenseNova”大模型體系治理實踐為案例，提出了生成式人工智能治理的核心原則和“三維對齊”科技倫理模式，系統呈現了雙方在AI治理領域的觀點。

  範式變化引發新挑戰 業界亟需新時代下技術治理手段

  大模型時代，“基礎模型+微調”為主要特征的生産範式大大降低了開發成本和應用門檻。AI應用場景更加開放、數據模态更加多元、應用領域更加廣泛;與之對應的，技術濫用、風險來源指數級增長，風險評估标準更加難以界定，潛在影響規模化擴散。在應用層面，諸如“幻覺”現象、數據投毒、混淆攻擊、誘導攻擊等具有現實意義的風險挑戰陸續顯現。無論是未來生命研究所發布的公開信，還是國内外一系列監管政策的推出，都反映出全球各方對人工智能風險挑戰的高度關注。

  大模型時代：生産範式變革引發AI風險範式轉變

  商湯“SenseTrust”構築大模型時代的“壓艙石”

  作為行業的人工智能企業，商湯科技一直以來高度重視人工智能倫理與治理工作，将技術創新與技術治理并重。早在2019年商湯就同步啟動了兩項前瞻性工作，一項是大模型研發，另一項就是AI倫理與治理。此前，商湯已形成較為完善的人工智能倫理與治理組織結構、管理制度、審查機制、工具體系、倫理文化建設體系和外部生态網絡，并收獲行業廣泛認可。

  新時代下，技術加速創新、應用日新月異，傳統運營式的治理手段需相應升級，以适應飛速發展、無限拓展的治理需求。商湯整合長期倫理治理思考及技術能力，針對當下生成式人工智能的風險特點，打造可信AI基礎設施——SenseTrust，包含數據治理、模型治理、應用治理等層面技術工具，可提供數據處理、模型訓練、模型部署、推理服務等全方位、全鍊路的可信AI檢測與加固“工具箱”，為大模型時代構築“壓艙石”。

  “SenseTrust”——商湯可信 AI 基礎設施應用圖景

  · 在數據層面，“SenseTrust” 能夠提供從數據脫敏、數據去毒、數據合規審查及偏見評估等治理工具。例如，在模型訓練數據的預處理環節，“SenseTrust”提供的數據去毒工具能夠檢測數據來源中是否包含帶有後門、擾亂的有毒數據，并提供去毒方案。針對顯式、隐式等不同形式的“毒素”檢測率大于95%，結合數據清洗與對抗防禦等方法，能夠實現有效去毒。目前，“SenseTrust”數據脫敏工具已落地數據标注、城市管理，以及自動駕駛相關業務場景。

  · 在模型層面，“SenseTrust”能夠針對傳統判别式模型和生成式模型的不同特點提供标準化和定制化的模型評測能力。針對判别式模型，可就能夠面向活體識别、圖像分類、目标檢測等商業化需求提供一鍵式評測;針對生成式模型，商湯“SenseTrust”構建了百萬量級的測試數據集，覆蓋三十餘類倫理和安全測評維度，可對對抗安全、魯棒安全、後門安全、可解釋性和公平性評測。為進一步提升模型的風險防禦能力，商湯“SenseTrust”還能夠提供“AI防火牆”，從源頭過濾對抗樣本，綜合檢出率達到98%。

  · 在應用層面，商湯在涉及數據保護、數字取證及僞造檢測等技術領域有着深厚的積累，并逐步開發了基于生成、鑒僞和溯源三位一體的綜合解決方案。例如，針對各方頗為關注的AIGC相關确權溯源和鑒僞問題，“SenseTrust”為此開發了數字水印解決方案，可将特定信息嵌入到數字載體中，不影響載體的使用價值，也不易被人察覺，隻有通過特定的解碼器和專屬密鑰才能提取，能夠支持多模态數據。數字水印技術已服務于“商湯秒畫SenseMirage”、“商湯如影SenseAvatar”等多個産品，以及内容創作、大數據等領域的客戶。

  今年WAIC上，“商湯日日新SenseNova”大模型體系再度升級。針對體系内的一系列應用平台，商湯在傳統“判别式模型”治理經驗的基礎上，結合生成式人工智能的風險特點，利用SenseTrust工具體系進行了一系列測評，并開展持續的跟蹤測試，不斷提升風險防禦能力。

  SenseTrust可進行全方位、全鍊路的可信AI檢測與加固

  與此同時，商湯也積極将大模型和生成式人工智能的治理實踐成果向外輸出。例如，将商湯“SenseTrust”綜合鑒僞解決方案投入到十餘家銀行的安全系統中，實現對各類灰黑産攻擊攔截成功率超行業同類産品20%以上，有效防範了黑灰産身份盜取、支付盜刷等網絡詐騙。此外，包括模型體檢、數字水印，以及主動投毒保護等相關技術，也已通過“商湯AI安全治理開放平台”對外開放。