百度聯合度嶺科技申請雲手機專利：視覺語言模型驅動全流程自動化，重塑雲端操作體驗

2025 年 10 月 8 日，國家知識産權局公開信息顯示，北京百度網訊科技有限公司與廣州度嶺科技有限公司聯合申請了一項名為 “雲手機自動化操作方法和裝置” 的專利(公開号：CN120729980A)。該專利以視覺語言模型為核心技術支撐，構建了全新的雲手機自動化操作框架，标志着雲計算與多模态 AI 技術的深度融合在雲手機領域取得重要突破。

一、專利核心：視覺語言模型賦能 “任務 - 操作” 全閉環

不同于傳統雲手機自動化依賴預設腳本或固定控件識别的模式，該專利提出的技術方案實現了 “理解任務 - 生成指令 - 執行反饋” 的智能化閉環，其核心邏輯可拆解為三大步驟：

1. 任務序列化輸入

系統首先獲取用戶預設的雲手機任務序列，既支持單一操作指令(如 “完成 APP 登錄”)，也可适配多步驟複雜流程(如 “浏覽商品 - 加入購物車 - 提交訂單”)，滿足多樣化場景需求。

2. 多模态推理生成指令

針對序列中的每個當前任務，技術方案的核心創新點 ——視覺語言模型将同時接收兩項關鍵信息：一是自然語言描述的任務目标，二是雲手機實時返回的當前界面圖像數據。通過跨模态推理，模型可精準理解 “任務意圖” 與 “界面狀态” 的對應關系，自動生成适配的操作指令(如點擊特定按鈕、輸入文本、滑動界面等)。這一過程無需人工預設操作坐标或控件參數，解決了傳統自動化工具對界面變動适應性差的痛點。

3. 動态疊代執行

在雲手機上執行操作指令後，系統會實時加載更新後的界面信息，并判斷當前任務是否為序列終點：若已完成全部任務則終止流程，若未完成則自動将下一任務與新界面信息傳入循環，直至整個序列執行完畢。這種動态響應機制确保了操作的連貫性與準确性，即便界面出現彈窗、加載延遲等突發狀況，模型也能基于最新界面信息調整操作策略。

二、技術突破：從 “機械模拟” 到 “智能理解” 的跨越

在雲手機自動化領域，傳統方案多依賴 RPA(機器人流程自動化)工具，通過預設腳本模拟人工點擊、輸入等動作，但其存在明顯局限 —— 需針對不同 APP 界面單獨配置流程，且對界面改版、元素位置變動的适配性極差。

百度與度嶺科技的這項專利則通過視覺語言模型實現了技術升級：

泛化能力更強：依托多模态大模型的語義理解與圖像識别能力，可适配不同類型的 APP 界面，無需為每個應用單獨開發自動化腳本;

魯棒性更高：能動态識别界面元素變化，例如按鈕位置偏移、文案調整等場景下仍可準确執行任務，避免傳統腳本 “一步錯全流程停” 的問題;

交互門檻更低：用戶隻需以自然語言描述任務目标，無需掌握代碼或自動化工具的配置邏輯，極大降低了技術使用門檻。

這一突破與多模态 AI 的發展趨勢高度契合。類似雲從科技在視覺 - 語言跟蹤領域提出的 All-in-One 模型通過統一框架實現跨模态高效交互，該專利也通過視覺與語言信息的深度融合，為雲手機自動化構建了更智能的技術底座。

三、合作背景：巨頭與新銳的技術協同

此次聯合申請專利的兩家企業，在雲計算與 AI 領域形成了優勢互補的協同效應：

北京百度網訊科技有限公司

作為國内互聯網與 AI 領域的龍頭企業，百度不僅擁有 5000 餘項專利構建的技術壁壘，更在大語言模型、計算機視覺等領域積累了深厚實力。其在雲計算領域的布局(如百度智能雲)為雲手機提供了底層基礎設施支撐，而多模态大模型技術則為專利中的核心推理能力提供了算法保障。百度對外投資 76 家企業、參與 3144 次招投标的履曆，也顯示出其通過技術合作拓展生态的戰略意圖。

廣州度嶺科技有限公司

這家成立于 2022 年的新銳科技企業，雖資曆尚淺但技術儲備紮實，已擁有 127 項專利，聚焦軟件和信息技術服務領域。其在雲手機應用場景落地、行業需求洞察等方面的積累，與百度的底層技術形成互補，成為專利技術從 “實驗室” 走向 “産業端” 的重要橋梁。

四、應用前景：賦能多行業雲端自動化場景

該專利技術的落地将為雲手機在多領域的應用打開新空間，尤其在以下場景具備明确價值：

電商與運營：自動完成商品上架、訂單處理、數據采集等重複性工作，降低企業運營成本;

遊戲與測試：批量執行遊戲日常任務、自動化測試 APP 兼容性，提升流程效率;

企業辦公：實現雲端辦公系統的自動化審批、數據彙總，适配遠程協作需求。

随着雲手機在虛拟化資源調度、多設備協同等方面的能力不斷提升，這項智能化自動化技術的加持，将進一步推動雲手機從 “雲端設備” 升級為 “智能生産力工具”，為雲計算産業開辟新的增長路徑。