基于英特爾AI計算機視覺的新創中天智能交通路側視頻邊緣計算設備

　　概述

　　當前，中國正在大力推進包括人工智能、5G和工業物聯網在内的新基礎設施建設，為智慧城市的發展注入新動能。其中，城市的智能交通是至關重要的組成部分。通過對于人工智能、計算機視覺、雲計算和大數據等技術的融合應用，智能交通管理系統将使得道路使用者(人與各種車輛)與道路交通設施和諧互動，有助于提升交通安全與效率(包括緩解交通擁堵)，從而改善人民的出行體驗。

　　面向智能交通管理的應用場景，深圳市新創中天信息科技發展有限公司(以下簡稱：新創中天)推出了基于英特爾®AI計算機視覺的智能交通路側視頻邊緣計算設備(以下簡稱：路側視頻邊緣計算設備)，适用于交通路口、城市道路以及高速公路等不同的場景。部署在網絡邊緣的該設備搭載了英特爾®賽揚®系列CPU(Central Processing Unit：中央處理器)和英特爾® Movidius™ Myriad™ X VPU(Vision Processing Unit：視覺處理器)，并基于 OpenVINO™ 工具套件快速進行高性能AI計算機視覺算法開發，實現了優異的性能。以城市中的交通路口為例，該設備能夠實現對于機動車(包括特種車輛)、非機動車、行人、交通信号燈、路面交通标識、交通流量狀态和交通事件等的檢測和識别，并為路側交通基礎設施設備(如交通信号紅綠燈等)的自動控制提供相關視頻檢測分析數據。

　　　　背景：基于“端-邊-雲”架構的智能交通管理系統

　　充分提升交通安全與效率，除了改善城市空間布局、提升道路供給等措施之外，還需積極發展基于“端-邊-雲”架構的先進智能交通管理系統。如圖1所示，這一系統的核心理念是基于在端側對于交通狀況的全面感知、在邊緣和雲對交通數據的精準綜合分析以及對路側交通基礎設施的實時控制，從而完成豐富多樣的智能交通管理功能。

　　圖1. 智能交通管理系統"端-邊-雲"整體系統架構

　　新創中天®智能交通管理系統對于交通狀态的準确感知和智能管理主要基于其所包含的五種主要子系統：

　　自動交通信号管理子系統;

　　交通流量視頻綜合檢測子系統;

　　基于高清視頻的綜合違章報警子系統;

　　大屏LED自動誘導子系統;

　　交通态勢預測和發布子系統。

　　其中，自動交通信号管理子系統包括位于雲端的智能交通綜合管控平台(控制中心)所包含的各類服務器和工作站、部署于邊緣端路口機櫃中的路側視頻邊緣計算設備，以及部署于路口杆站上的AI智能相機。這些不同的設備與中心應用平台和交通信号控制機進行數據交互。控制中心可以利用彙聚的視頻信息，支持交通事件感知和交通态勢分析等綜合性應用。AI智能相機一般用于新建的項目，它集視頻采集、通用計算和基于AI推理的計算機視覺等能力于一體，為交通信号控制機提供視頻檢測分析數據。

　　在這一智能交通管理系統中，基于邊緣計算與AI計算機視覺的路側視頻邊緣計算設備是極為重要的基礎性設備。該設備負責對路側感知設備如相機所采集的視覺信息(包括視頻和圖像)進行實時計算分析，并在必要時與位于雲端的控制中心進行數據交互，将優化的信号相位和配時方案輸入給路側的交通信号控制機。結合其它的輸入信号，交通信号控制機通過其特定的算法确定最終的相位和配時方案，對路口的交通信号燈進行控制。

　　相較于傳統的感應線圈、磁力計以及激光雷達等檢測技術，基于各種相機采集信息的AI計算機視覺技術用于交通目标、狀态和事件的檢測和分析具有顯著的成本優勢，非常适合大規模的部署。除了交通路況信息，該設備還可以感知天氣(如雨、雪、霧)等環境信息，并将這些信息和本地分析的結果上傳至控制中心，作進一步的處理。該設備的普及，有助于全面提升交通安全與效率。

　　　　挑戰：面向智能交通管理的邊緣計算設備

　　路側視頻邊緣計算設備需要實現對于機動車(包括特種車輛)、非機動車、行人、交通信号燈、路面交通标識、交通流量狀态和交通事件等的檢測和識别，因此需要連接多種相機(包括電警相機、卡口相機、交通流量檢測相機、路口監控球機和行人檢測相機)以收集所需的視頻信息。

　　電警相機：主要用于拍攝車輛尾部，識别車牌号碼等車輛信息;通常安裝在電警杆(距離停止線20-25米)上;1台相機能覆蓋1-3條車道。

　　卡口相機：主要用于拍攝車輛前部，識别車牌号碼等車輛信息;通常安裝在電警杆上;1台相機能覆蓋1-3條車道。

　　交通流量檢測相機：主要用于拍攝車輛前部或尾部，檢測車流量、車道占有時間、排隊長度、擁堵路況等，将檢測分析數據提供給交通信号控制機，用于交通信号的相位和配時優化;通常安裝在電警杆或者交通信号燈杆上;1台相機覆蓋4-8車道。

　　路口監控球形相機：主要用于監控路口，也可用于路口下行的反溢(擁堵)檢測;可以通過遠程控制随時改變拍攝方向和焦距;通常安裝在電警杆上。

　　行人檢測相機：主要用于檢測行人等待區和斑馬線上的行人;通常安裝在行人信号燈燈杆或附近路側設施上。

　　該設備是事關交通安全的關鍵設備，在實際的部署和使用中，需要解決來自于低成本與低功耗限制下的數據處理性能、可靠穩定性、連接和兼容能力等多方面的技術挑戰。

　　　　低成本與低功耗限制下的數據處理性能

　　該設備承擔着多路相機的視頻編解碼、基于深度學習計算機視覺的車輛和行人實時檢測和分析、車流量和人流量的實時分析、路口交通信号燈的相位和配時分析等負載。該設備的性能主要體現在可同時處理的視頻通道數、處理時延和準确率。因為涉及到對交通信号燈的控制，處理時延和準确率對于确保交通安全尤為重要。對于作為最終用戶的交通管理部門而言，性能還體現在交通安全與效率的提升。該設備性能的提升，對于芯片的處理能力提出了新的挑戰，同時也要滿足客戶對整體設備成本和功耗的要求，因此需要高性價比和高能效比的芯片産品和系統架構設計。

　　　　可靠穩定性

　　該設備大多部署于環境惡劣的道路周邊，溫度和濕度的變化劇烈，外物沖擊等司空見慣。這就要求該設備具有極強的環境适應能力，能夠适應溫度和濕度的變化，具備防水、防塵、防腐蝕和防震動沖擊等能力，同時還需具備出色的電磁兼容和抗幹擾能力，以确保在整個産品生命周期内不間斷地提供穩定可靠的服務。

　　　　連接和兼容能力

　　該設備需要連接多種相機和交通信号控制機等路側設備，并能與本文中提到的各種智能交通管理子系統進行數據交互。因此它的連接和兼容能力對整體性能至關重要。

　　　　解決方案：基于英特爾®架構的路側視頻邊緣計算設備

　　新創中天®路側視頻邊緣計算設備搭載了英特爾®賽揚® CPU和英特爾® Movidius™ Myriad™ X VPU，擁有傳統計算機視覺和基于深度學習的計算機視覺的強大處理能力。其硬件與軟件架構分别如圖2和圖3所示。用于自動交通信号控制時，其與其它設備的連接如圖4所示。

　　圖2. 路側視頻邊緣計算設備硬件架構

　　圖3. 路側視頻邊緣計算設備軟件架構

　　圖4. 用于自動交通信号控制的路側視頻邊緣計算設備

　　　　英特爾®賽揚®系列CPU

　　英特爾®賽揚®系列CPU具備業界的性能，支持不同的操作系統，能夠滿足廣泛的業務需求。這一系列CPU不僅具備較強的計算能力，還具備高性價比、高能效比和安全可靠等優點。該處理器内嵌了英特爾®核芯顯卡，具備較強的視頻編碼和解碼處理能力。基于這一處理器的路側視頻邊緣計算設備不但充分勝任對相關數據的計算、存儲與轉發，以及對各種所連接設備的控制等功能需求，還具備低成本與低功耗的顯著優勢。

　　　　英特爾® Movidius™ Myriad™ X VPU

　　Myriad™ X VPU 是英特爾第一個包含神經計算引擎(用于深度神經網絡推理的專用硬件加速器)的視覺處理器。神經計算引擎結合 16 個強大的 SHAVE 内核和高吞吐量智能内存結構，使得Myriad™ X VPU成為設備上深度神經網絡和計算機視覺應用的理想選擇。Myriad™ X VPU可以使用 OpenVINO™ 工具套件的英特爾分發版編程，從而将神經網絡移植到邊緣，還可以通過包含所有必要開發工具、框架和 API 的 Myriad 開發套件 (MDK: Myriad Development Kit) 編程，用于在芯片上實現自定義視覺、成像和深度神經網絡工作負載。在實際應用中，Myriad™ X VPU展現出了算力強且功耗低等獨特優勢。

　　　　英特爾® OpenVINO™工具套件分發版

　　新創中天正在使用 OpenVINO™ 工具套件來提升視頻檢測和分析等算法的準确度，加速推理時間，并節約算力資源。OpenVINO™ 工具套件是源自英特爾的一款功能非常全面的軟件工具套件，支持快速開發豐富多樣的應用和解決方案，來模拟人類的視覺 [1][2][3]。該工具套件基于卷積神經網絡 (CNN: Convolutional Neural Network)，可在多種英特爾® 硬件中擴展計算機視覺 (CV: Computer Vision) 的工作負載，實現卓越性能。OpenVINO™ 工具套件支持傳統計算機視覺和基于深度學習的計算機視覺的豐富多樣的應用，其主要包含的功能模塊如圖5所示。

　　圖5. OpenVINO™工具套件的主要功能模塊

　　OpenVINO™ 工具套件具有如下特點：

　　用C++和Python語言編寫;

　　支持多種操作系統包括Windows、Linux和MacOS;

　　支持在邊緣到雲端部署的高性能AI深度學習推理的加速處理;

　　支持跨英特爾® 深度學習推理加速器的異構執行，将通用 API 用于英特爾的不同硬件平台，包括CPU、集成顯卡、包含有英特爾® Movidius™ VPU的神經計算棒和英特爾® HDDL視覺處理加速卡、FPGA等等，可幫助客戶實現跨架構的算法移植和優化;

　　通過易于使用的計算機視覺函數庫和預優化的内核，加快産品開發和上市速度;

　　包括針對計算機視覺的标準優化調用，包括 OpenCV、OpenCL和 OpenVX。

　　除了使用OpenVINO™ 工具套件中的AI計算機視覺功能之外，路側視頻邊緣計算設備還用到了其中的英特爾® Media SDK，支持在英特爾®集成顯卡上進行高性能的視頻編碼和解碼。

　　得益于英特爾®賽揚®系列CPU和Myriad™ X VPU提供的強大通用計算和AI計算機視覺推理能力，該設備能夠對前文提到的各種相機采集的視頻或圖像信息進行處理，對視頻畫面中的車輛和行人進行位置坐标标定，能夠實現對于機動車(包括特種車輛)、非機動車、行人、交通信号燈、路面交通标識、交通流量狀态和交通事件等的檢測和識别。以交通流量狀态為例，該設備能夠實時檢測每條車道和每輛車的狀态數據，包括每個車道的車輛進入/離開狀态、車道占有時間、過車總數量、過車速度、區域内實時車輛數目、最後一輛車的位置、車隊長度和車型分類等關鍵數據信息。該設備可進一步對檢測數據進行統計分析。

　　新創中天研發總工程師周長軍表示：“路側視頻邊緣計算設備是智能交通管理的重要基礎性設備，能夠全面增強交通管理部門對于交通路況的感知能力，并基于對實時數據的分析進行高效管理，從而提升交通安全與效率。除了對于機動車(包括特種車輛)、非機動車、行人、交通信号燈、路面交通标識、交通流量狀态和交通事件等的檢測和識别之外，我們還将進一步增加對道路路面狀态和天氣等的檢測功能，滿足更精細化和更有預見性的交通管理需求。”

　　　　效果：路側視頻邊緣計算設備顯著提升交通安全與效率

　　目前，基于英特爾®AI計算機視覺的新創中天®路側視頻邊緣計算設備已經在北京、江西和山東等省市實現了廣泛的部署。在用戶實踐中，該設備展現了以下顯著的優勢：

　　　　充分滿足智能交通管理對AI計算機視覺的嚴苛性能要求

　　通過充分利用英特爾的各類芯片産品的出色多媒體處理能力，深度學習加速能力，以及多任務多進程的處理能力，該設備最多可以同時處理12路視頻，可以實現基于深度學習的車輛和行人實時檢測和分析，車流量和人流量的實時分析，為智能交通管理及時提供相關數據。

　　另外，該設備将視頻處理負載轉移到了邊緣端，能夠有效降低時延，緩解網絡轉發原始視頻信息的帶寬壓力和中心處理服務器的負載壓力，更好地保障信息安全，并能為未來拓展基于位置的服務。

　　　　充分支持對于多種交通目标的檢測和分析

　　得益于AI計算機視覺核心算法的創新，以及對于英特爾硬件和軟件潛能的充分挖掘，該設備可以檢測和分析視頻采集測覆蓋區域内每輛車的特征信息和每條車道上的交通狀态，并根據這些分析數據精細化控制交通信号燈等系統。該設備還可以通過視頻檢測不同車型，提供如特種車輛(救護車或消防車)和公交車輛優先通行等多種新業務。

　　　　支持高度的可擴展性以及負載融合

　　該設備通過以太網口、RS-232、RS-485、USB和HDMI等外部接口以及PCIe和mSATA等内部接口，實現了與多種外部設備和内置設備的互聯互通，勝任多種功能需求。得益于英特爾®架構的成熟性與兼容性，該設備完全支持交通領域現有的全部相機種類。在軟件架構方面，新創中天還使用了針對多應用的英特爾®負載融合技術，将功能相對獨立而又需相互協同的多個應用整合到同一個硬件設備上。該設備在充分保證每個應用性能的前提下，充分挖掘硬件設備的計算能力，顯著降低了系統集成和維護的技術難度和所需成本。

　　在湖南株洲的商用部署中，110台新創中天®路側視頻邊緣計算設備被部署在該城市的110個交通路口，總共處理395路電警視頻。該設備将車流量、排隊長度、區間車輛數、最後一輛車的位置、車道占有時間、車輛速度和車型等實時檢測分析數據發送給交通信号控制機;将分車道車流量、平均速度、車型流量、車道占有率、車頭間距、車頭時距和道路擁堵狀況等統計檢測分析數據發給中心應用平台。該設備幫助當地交通管理部門高效地對于多種交通目标進行檢測和分析，全面提升了交通安全與效率，為智能交通管理體系的發展奠定了堅實的基礎。

　　　　展望：英特爾®AI計算機視覺技術加速智能交通的發展

　　新創中天研發總工程師周長軍表示：“基于英特爾®AI計算機視覺技術，新創中天®智能交通管理解決方案被實踐證明能夠顯著地提升交通安全與效率。未來，我們将進一步推動該解決方案與更多智能交通管理平台進行深度融合，通過對于所采集交通狀況信息的實時分析，對路側交通管理設備進行實時控制，幫助交通管理部門更好地管理城市交通，進一步提升交通安全與效率。“

　　新創中天在交通數據采集和視頻分析等領域具有卓越的優勢，英特爾則擁有面向智能交通不同應用場景的“端-邊-雲”完整的硬件和軟件解決方案。新創中天和英特爾的深度合作能夠推動基于AI計算機視覺的邊緣計算在智能交通各個領域的商用落地，針對不同的應用場景提供針對性的解決方案，顯著地提升交通安全與效率。

　　例如，在未來的智能交通系統(ITS: Intelligent Transportation System)中，路側視頻邊緣計算設備可以作為路側基礎設施中的多接入邊緣計算(MEC: Multi-Access Edge Computing)設備用來支持車路協同(VII: Vehicle-Infrastructure Integration)。如圖6所示，在道路上方的門架上，不僅可以部署用于監控路面交通狀況的相機、雷達以及其它感知設備，還可以部署用于無線通信的V2X RSU和AI計算機視覺計算的路側MEC設備(即路側視頻邊緣計算設備)。當感知設備(如相機)發現異常狀況或臨時事件，如路面障礙物、交通事故以及路面施工的時候，可以通過路側MEC設備基于AI計算機視覺等技術，判斷事件或狀況類型，據此生成安全消息，通過RSU的V2X無線通信鍊路及時通知附近的車輛或行人，避免事故的發生。門架上還可以部署氣象傳感器，将監測到的異常氣象狀況(如大霧、團霧、橫風或冰雹等)通過分析處理，生成相關提示信息，并通過RSU發送給車輛，以保障行駛安全。

　　圖6. 基于MEC和C-V2X的車路協同

　　車路協同的許多場景需要基于AI計算機視覺技術來進行分析處理，會對路側MEC設備的計算能力有較高的需求。英特爾在AI計算機視覺和邊緣計算等領域擁有深厚的技術積累，可以提供豐富多樣的高性能産品組合。

　　如圖7所示，針對于未來支持車路協同的AI計算機視覺應用，英特爾提供了各類算力不同的通用處理器(包括英特爾®淩動™、酷睿™和至強®系列處理器)，專用視覺處理器(英特爾®Movidius™ VPU)，以及基于VPU或FPGA的硬件加速處理方案。另外，為了支持跨不同芯片平台的開發，英特爾提供OpenVINO™工具套件，其内含豐富的軟件工具，極大地提升了開發者的工作效率，縮短了産品研發時間。以數據為中心的英特爾公司以的端到端AI計算機視覺技術以及性能強大、功能完善的硬件與軟件産品組合，聯合産業界夥伴，為全球智能交通系統(ITS)的加速發展奠定了堅實的基礎。

　　圖7. 廣泛支持終端、邊緣和雲的英特爾®AI計算機視覺産品

　　　　關于新創中天

　　新創中天是一家在視頻檢測和分析領域，從事産品研發、生産、銷售及系統集成業務的高新技術企業，同時也是國内的交通數據采集專業服務商。目前主要面向城市交通和高速公路等應用場景，提供可靠的視頻解決方案和産品服務。新創中天在視頻技術方面有近二十年的沉澱和積累，具備從底層核心視頻算法的開發，到嵌入式軟硬件産品的設計，以及成熟應用系統的研發能力。

　　　　關于英特爾

　　英特爾(NASDAQ: INTC)作為行業引領者，創造改變世界的技術，推動全球進步并讓生活豐富多彩。在摩爾定律的啟迪下，我們不斷緻力于推進半導體設計與制造，幫助我們的客戶應對最重大的挑戰。通過将智能融入雲、網絡、邊緣和各種計算設備，我們釋放數據潛能，助力商業和社會變得更美好。