賦能AI測試 Testin雲測與英特爾合作，将OCR模型推理效率提升6倍

　　談起OCR(光學字符識别，Optical Character Recognition)應用，很多人并不陌生，其最常見的應用場景就是實現“圖片轉換成文字”，并廣泛應用于如掃描名片并加入通訊錄、拍攝英文菜單并将其翻譯成中文等需求之中。經曆長期的發展之後，OCR應用的準确率、速度都有了顯著提升，實用性也越來越高。

　　雖然當前的OCR應用已經能夠應對大多數消費類的場景，但是在商業化應用場景中，OCR 的識别效率仍存在廣泛的提速需求。在AI技術引領的下一代測試中，北京雲測信息技術有限公司*(以下簡稱：Testin雲測)發布全新AI測試産品iTestin，全面提升測試産品的易用性和自動化效率，在提升腳本編寫效率一倍的同時，将腳本的維護成本降低了一倍。其使用了 OCR 深度學習方案來支持控件定位的輸入，OCR 識别速度越快，就越有助于自動化速度測試的提升。為此，Testin雲測基于英特爾® 至強® 可擴展處理器、英特爾® OpenVINO™ 工具套件對 OCR 深度學習方案進行優化，将AI測試中的OCR識别時間從2秒降低到0.3秒左右，實現了6倍的性能提升，且不影響測試的效果和結果。

　　當AI測試遇上OCR，開啟下一代測試

　　要開發出一款軟件應用并将其投入到實際運營中，并不是很多人想象中的那樣，找一些程序員寫一些代碼就能簡單完成的事情，而是涉及到一套完整、複雜的流程。很多開發者甚至認為，測試是開發過程中最繁瑣的環節之一。在軟件完成初步開發之後，開發人員需要測試其功能是否可用、在不同型号的設備(如基于安卓系統的設備與基于iOS系統的設備)上有什麼應用問題。此外，不同的軟件在各區域實際網絡環境中的表現也可能會有差異，這些都需要進行詳盡的測試。

　　為了幫助開發者對軟件進行測試，Testin雲測全球首創了雲測試的模式，并在此基礎上，推出了融合AI技術的下一代測試産品iTestin。開發者可以将軟件上傳到該平台進行自動化測試，Testin雲測會詳盡列出測試環節中的所有參數，并會提供自動輸出錯誤、報警等測試日志服務，出具專業化測試報告，以幫助開發者快速定位可能出現的問題，對軟件進行持續優化。

　　在AI測試過程中，Testin雲測發現，自動化框架本身提供的控件輸入不穩定。因此，Testin雲測的AI測試方案傾向于使用更穩定的手機截屏，做為控件定位的輸入，這就要求使用 OCR 技術來定位和解析屏幕截圖中的文本。由于 OCR 的效率與準确度會對測試的效果與結果帶來不可忽視的影響，而模闆匹配、特征提取等傳統 OCR 方案又暴露出對于圖像清晰度要求高、抗背景幹擾能力較差等缺陷，所以Testin雲測決定使用深度學習方案來提升文本推理能力。

　　為了提升 OCR 深度學習的效率，Testin雲測與英特爾進行了深度合作，從軟件加速以及硬件兩個角度對于 OCR 方案進行優化。

　　至強+ OpenVINO™ 将 OCR 效率提升6倍

　　在很多情況下，OCR 深度學習方案使用的都是 GPU，通過其強大的并行計算能力來提升文本推理能力。但是，GPU 方案也存在很多缺陷。特别是在較小規模、私有雲用戶的深度學習應用中，搭建專用于 OCR 深度學習的 GPU 平台需要客戶同時升級硬件平台，這樣不僅耗費時間成本，而且也會帶來相應的硬件升級成本，更多用戶希望在現有的基礎設施平台上運行深度學習負載。而且，在大量推理負載中，基于 CPU 的推理性能并不弱于 GPU 平台，這也成為Testin雲測進行方案驗證的重要動力。

　　在基礎設施平台的搭建上，Testin雲測最終選擇了英特爾® 至強® 6140處理器，該處理器是英特爾® 至強® 可擴展處理器家族産品，不僅擁有強大的通用計算能力，還集成了增強單指令多數據流(Single Instruction Multiple Data，SIMD)、英特爾® AVX-512等創新技術，實現了對于通用計算能力和并行計算能力的兼顧，為深度學習訓練提供了卓越的性能基礎。相比上一代産品，英特爾® 至強® 可擴展處理器針對深度學習訓練和推理可提供高達2.2倍的性能。結合可加快交付人工智能服務的軟件優化，相比3年前未經優化的服務器系統，全新的處理器可實現113倍的深度學習性能提升。

　　在軟件與算法層面上，Testin雲測對深度學習框架、加速方案也進行探索和選擇。為了加速 OCR 方案，Testin雲測在初期使用的深度學習框架是Google* 開發的 TensorFlow*，TensorFlow将深度學習複雜的計算過程抽象成數據流圖，在深度學習中有着廣泛的應用。但是，Testin雲測發現，無論是公開版本的 TensorFlow，還是優化版本的 TensorFlow，在速度上都無法滿足需求。因此，Testin雲測希望能夠找到一種全新的加速方案。

　　在英特爾的建議下，Testin雲測嘗試使用英特爾® OpenVINO™ 工具套件分發版來進行加速。該工具套件支持開發人員使用行業标準人工智能框架、标準或自定義層，将深度學習推理輕松集成到應用中，開發人員隻需編寫一次代碼，即可将其快速、無縫地部署在當前和未來的英特爾硬件上，從而消除應用重複開發問題。該工具套件基于卷積神經網絡 (CNN)，可在英特爾硬件中擴展工作負載。

　　OpenVINO™ 的采用帶來了立竿見影的效果，Testin雲測針對公共 TensorFlow 與英特爾® OpenVINO™ 實現的推理吞吐量進行了測試，并發現，基于公共 TensorFlow 的解決方案的推理吞吐量為 23.26 (FPS) ，基于英特爾® OpenVINO™ 的解決方案的推理吞吐量為 151.29 (FPS) ，後者比前者的吞吐量提升650%左右(對比結果如圖1)，而且基本沒有精度損失。

　　此外，Testin雲測還基于第二代英特爾® 至強® 可擴展處理器進行了測試，該處理器集成了英特爾® 深度學習加速(英特爾® Deep Learning Boost)技術、DL Boost(VNNI)技術，以加速數據中心、企業和智能邊緣計算環境中的人工智能推理工作負載。特别是在搭配支持低精度的INT8加速的 OpenVINO™ 新版本之後，有望将推理速度在提升3倍左右。

　　以AI賦能測試服務

　　目前，Testin雲測的業務範疇，不僅包括測試服務，還包括安全、推廣，以及AI數據标注等服務。通過開發基于人工智能 (AI)、深度學習技術的數據标注、OCR 識别等相關AI測試工具，Testin雲測可以幫助企業客戶完成自動化應用測試，大幅降低勞動密集度。

　　通過将 AI 與自動化測試解決方案結合，能夠有助于自動化、全路徑探索應用的各種顯在或是潛在問題，提取特征訓練進行業務功能的識别，并智能生成測試報告。AI 的加入還有助于實現對功能模塊的自動探索，并實現執行過程的可視化，使得測試環節定位更加迅速準确。對于用戶來說，自動化的測試管理和測試用例創建能夠顯著降低測試時間與資源的浪費，加快應用上市進程。

　　Testin雲測的測試實例證明，英特爾® 至強® 可擴展處理器+英特爾® OpenVINO™ 的融合解決方案有助于在具體應用場景中加快推理的速度。而且，該解決方案還展現了其它自動化測試場景的應用潛力，為用戶搭建基礎平台提供了重要的方案選擇。