動微視覺與中科矽紀聯合探索靈巧操作的多模态感知
抓住一枚反光連接器、在動态傳送帶上識别微小零件、在強弱光切換中保持穩定,這些動作對人手自然,對機器人卻同時考驗“看”與“觸”。圍繞動微視覺 DM3 事件視覺模組與中科矽紀 Casia Hand 靈巧手,雙方提出視觸覺融合方案,讓視覺負責捕捉變化、觸覺負責理解接觸,為精細抓取和具身操作提供更連續的感知依據。

動微事件光學模組 DM3:面向嵌入式高速動态感知的緊湊型事件視覺模組。
靈巧操作,為什麼不能隻靠一種傳感
傳統幀式相機能夠提供完整圖像,卻容易在高速運動、複雜光照或反光材質場景中出現運動模糊和信息滞後;觸覺可以感知力、形狀與紋理,但通常要等到接觸發生後才能給出反饋。對于靈巧手而言,單一傳感往往隻能覆蓋操作鍊條中的一部分。
視觸覺融合的價值,在于把“接觸前的判斷”與“接觸後的反饋”連成一條鍊。視覺提前判斷目标位置、運動趨勢與接近狀态,觸覺在接觸後補充受力、滑移和紋理信息,控制系統再依據兩類信号調整動作。
DM3 看見變化,Casia Hand 讀懂接觸
DM3 是面向嵌入式視覺應用的緊湊型事件視覺模組。根據動微視覺最新産品資料,DM3 采用 320×320 事件驅動視覺傳感器,提供等效時間分辨率超過 10,000 FPS 的高速事件數據、行級 1 微秒時間戳、0.05 lux 低照度感知與 140 dB 高動态範圍,并支持 MIPI 或并行數據接口。
Casia Hand 靈巧手側的陣列觸覺可持續記錄接觸過程中的力、形狀與紋理變化。将兩者組合後,事件視覺關注高速變化,陣列觸覺關注真實接觸,形成互補的感知輸入。
·接觸前:事件視覺捕捉目标運動、邊緣變化和接近過程。
·接觸中:陣列觸覺記錄受力分布、接觸位置與滑移趨勢。
·接觸後:視覺、觸覺和關節數據共同支持動作調整與結果判斷。
從兩路信号到一個動作閉環
真正的融合并不是把兩種傳感器裝在一起,而是解決時間對齊、空間标定、特征融合和控制反饋。聯合方案将圍繞視覺與觸覺數據同步、靈巧手運動狀态接入、融合算法和接口适配推進驗證,讓感知、決策與執行在同一條鍊路中協同工作。
DM3 的小型化設計和通用數據接口,适合嵌入靈巧手、腕部或近端視覺單元;配合 Casia Hand 的觸覺與關節信息,可進一步支持多模态算法開發、操作數據記錄和二次功能擴展。

雙方團隊在中科矽紀現場圍繞靈巧手與視覺感知融合方案進行交流。
面向四類典型場景
視觸覺融合首先服務那些“看不清、抓不穩、來不及反應”的任務。雙方将優先圍繞典型機器人操作場景推進方案适配與測試。
·工業精密裝配:微小零件、連接器及反光或透明工件的視覺引導抓取。
·人形與服務機器人:複雜環境中的自适應抓取和安全交互。
·科研與教育:具身智能、多模态感知和控制算法驗證。
·物流與倉儲:不規則物體分揀、動态傳送帶抓取和柔性拆碼垛。
聯合方案,不止是器件疊加
動微視覺提供事件視覺芯片、模組與相關軟件能力,中科矽紀提供靈巧手、陣列觸覺與機器人執行平台。雙方的合作重點,是把高速視覺、接觸反饋和運動執行放進同一個系統中共同設計,并通過真實任務驗證方案價值。
未來,雙方将繼續圍繞接口、同步、算法與場景推進聯合驗證,讓機器人在高速變化和精細接觸中獲得更可靠的感知能力。歡迎圍繞靈巧操作、視觸覺融合和具身智能研究開展方案交流。
說明:具體配置、性能指标與應用效果以雙方最終審核口徑、聯合測試結果及交付方案為準。
免責聲明:本文僅代表作者個人觀點,與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實,對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,若因作品内容、知識産權、版權和其他問題,請及時提供相關證明等材料并與我們聯系,本網站将在規定時間内給予删除等相關處理.

