如今，新基建的浪潮已經席卷了幾乎所有社會經濟領域。各行各業都希望借助新基建普及的東風，搭上數字化經濟的帆船。AI 作為推動社會科技進步的原動力，一直受到社會各界的普遍關注，而機器視覺作為人工智能發展的重要分支，尤其在安防領域發展飛速。兩年前，華為就提出了“軟件定義”的概念，提出了機器視覺前端智能化的幾點優勢，如今，軟件定義攝像機的出現将這一切變成了現實。
8 月 26 日，華為機器視覺與 InfoQ 聯合舉辦的 DevRun 開發者沙龍·華為機器視覺技術開放日 - 杭州專場，在華為杭州研究所成功舉辦。本次沙龍邀請到華為機器視覺多位技術專家對攝像機 App 開發、攝像機 AI 模型轉換與精度分析、攝像機 AI 模型部署與推理等幾個議題做了深度分享，沙龍介紹了 AI 算法實踐以及軟件定義攝像機的特點和功能。華為機器視覺專家們還通過實操環節為與會開發者們進行了演示。
什麼是軟件定義攝像機?
華為機器視覺營銷專家孟杭理就華為軟件定義攝像機(Software-Defined Camera，簡稱 SDC)進行了介紹。面向不同的行業和不同的算法性能要求，華為 X、M、C、D 四大系列軟件定義攝像機提供了開放的接口和強勁的算力，開放者基于軟件定義攝像機開放接口既可直接調用攝像機算法能力進行應用開發，也可以開發自己的算法和應用并加載到攝像機中。HoloSens Store 是華為機器視覺推出的一站式智能視頻算法商城，商城集合了可運行于華為軟件定義攝像機和智能視頻雲平台的第三方算法，滿足金融、能源、教育、園區等諸多行業智能化訴求。HoloSens Store 緻力于讓開發者從“算法”到“應用”不再空中樓閣;讓使用者從“想法”到“算法”，不再遙不可及。
如何玩轉攝像機 App 軟件開發?
機器視覺 SDC OS 首席架構師韓霆軍談到了軟件定義攝像機的軟件架構設計理念。雖然該平台屬于端側産品，但大量引用了微服務設計理念來實現軟硬件之間、軟件和業務特性之間，以及應用之間的解耦。華為軟件定義攝像機的很多特性都能通過微服務來按需加載和任意組合，從而提供多種功能。開發者在攝像機上可以不受任何幹擾地使用底層資源，也可以像手機一樣限制應用的權限，滿足安全性等需求。
華為還提供界面的通用配置功能，幫助開發者方便地自動生成簡單的 web 頁面。開發者隻需簡單地對接通用配置的查詢接口，就可以生成自己的應用。
華為軟件定義攝像機定義了二進制消息頭，可以把它理解為是 HTTP 協議 2.0 版本，軟件定義攝像機對外提供的接口規則和 RESTFUL 裡面定義的很多約定俗成的規則也是類似的。這裡還可定義擴展頭，希望通過擴展頭的機制實現接口的持續演進，保持前向和後向的兼容。為了提升效率，客戶端可以把請求批量一次性發到服務端。每一個使用者可以給自己的每一個請求設置 Transaction-ID，服務端會保證這個請求或響應跟 Transaction-ID 是一緻的，從而實現靈活的編程或業務處理。
韓霆軍就 App 開發後的發布方式做了講解。華為提供的服務接口類似于消息接口，所以并不會給開發者提供任何動态庫。支持文件操作的編程語言都可以和華為的服務交互。韓老師還展示了基礎的安裝操作，演示了 App Demo 在攝像機上運行的畫面。
攝像機 AI 模型轉換與精度分析華為機器視覺智能算法專家馬俊凱博士做了題為《攝像機 AI 模型轉換與精度分析》的分享。華為軟件定義攝像機依托于華為的芯片算力，可以很容易地将算法落地在應用場景中。馬俊凱詳細介紹了開發者如何将自身開發的深度學習算法模型跑在軟件定義攝像機上。
軟件定義攝像機有很好的算法移植能力，以 Caffe 模型為例，将 Caffe 模型通過模型轉換工具轉化為可在軟件定義攝像機上加載的 NNIE 模型，該文件模型以 wk 為後綴，開發者可以在軟件定義攝像機上調用 NNIE 接口做模型推理。
馬俊凱還解答了開發者關心的精度損失問題。
RuyiStudio 模型轉換工具同時也提供了精度損失分析的功能。該工具讀入模型文件(prototxt、caffemodel 文件)，選定一個測試集，利用測試集做前向推理，得到 GPU 模型每一層 Feature Map 的輸出，再用同樣一張測試圖片和 WK 模型做前向推理，得到轉化完成之後 WK 每一層的 Feature Map 輸出，用兩層 Feature Map 的輸出，就可以計算出每一層 Feature Map 的相似度水平。如果量化誤差很小，那麼相似度就會很高。
馬俊凱還分析了掉點問題，對于模型的優化問題，也提出了一些建議。
攝像機 AI 模型部署與推理實踐
華為機器視覺智能算法軟件架構設計師楊磊就攝像機 AI 模型部署與推理實踐做了分析與解讀。
基于 SDC OS 架構實現闆端推理，應初始化 SDC 服務，處理好 YUV 數據幀隊列，對數據流 YUV 數據進行通道設置，比如設置分辨率和通道号。其次進行模型加載和初始化，需要初始化 NNIE 參數，如 anchor、類别、阈值，還要分配輸入和輸出的 blob。然後可訂閱 YUV 數據，繼而做前向處理。前向處理後可做算法的後處理。最後要發送到 web 或後端服務器，把算法結果發送出去。如果要實現算法 App，需要關注加載模型、卸載模型，然後做前向處理和訂閱 YUV 數據，用這四個服務就可以實現 App 的主體流程。
加載模型關注兩個字段，第一個是 url，第二個是 method。url 是 SDC_URL_NNIE MODEL，而 method 就是 SDC_METHOD_CREATE。
卸載模型類似，url 類型就是 SDC_URL_NNIE MODEL，method 就是 SDC_METHOD_DELETE。
前向處理的 url 是 SDC_URL_NNIE_FORWARD，而它的 method 是 SDC_METHOD_GET 過程，要從内存中 GET 到 Feature Map。
訂閱 YUV 數據，url 是 SDC_URL_YUV_DATA，method 也是 SDC_METHOD_GET，因為我們要從之前分配好的内存隊列中 GET 到 YUV 數據。加載模型可以使用輸入字符串或者輸入文件字符串的加載方式，也可以通過内存加載。文件隻需要輸入模型字符串就可以實現加載;而内存加載時要先 open 模型，傳入模型地址後才可加載。訂閱 YUV 數據的擴展頭就可以獲取當前隊列裡面的 MAX，就是我們已有的 YUV 個數。
楊磊還就 YUV 處理問題給予了解答。因為輸入輸出的 blob 是三維的，而不同的模型輸出的 blob 個數不一樣。NNIE 輸出的内存排布格式也不一樣，它首先排布坐标框，接着排前景概率、類概率，然後按照不同 Anchor 來排布，直到最後回歸。可以按照這樣的編譯地址取到相應的值，回歸出坐标框。
機器視覺開發者社區介紹
華為機器視覺開發者社區運營經理譚義鑫從社區論壇、生态開放實驗室、賦能培訓、職業認證、開發者活動五個方面對華為機器視覺開發者社區進行了詳細的介紹。開發者社區既是知識分享和技術交流平台，也是開發者求助的通道，開發者遇到機器視覺技術問題，都可以在社區論壇或通過工單進行求助。
機器視覺生态開放實驗室在杭州、北京、成都、深圳均有布局，有低門檻、使用便捷、在線申請、設備多樣化等特點，實驗室提供包括 HoloSens IVS3800、 HoloSens IVS1800、HoloSens SDC 等多種機器視覺相關産品，開發者可在線申請。
小結
本次 DevRun 開發者沙龍 華為機器視覺技術開放日 - 杭州專場内容豐富，精彩紛呈，解構了“軟件定義攝像機”，也為關注機器視覺的開發者們帶來了一場技術盛宴。今年華為機器視覺還将在各地開辦各類技術沙龍活動，持續展開技術布道，感興趣的開發者可以持續關注。
免責聲明：本文僅代表作者個人觀點，與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實，對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體，轉載目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，若因作品内容、知識産權、版權和其他問題，請及時提供相關證明等材料并與我們聯系，本網站将在規定時間内給予删除等相關處理.
