“拍照優化、語音助手以外，手機AI還有什麼?”
今年全新一代骁龍8移動平台發布時，高通再次翻譯翻譯了，什麼叫腦洞大開——
讓手機學會“聽診”，通過識别出用戶可能存在的疾病，比如抑郁症、哮喘;
讓手機實現“防偷窺”，通過識别陌生用戶的視線，實現自動鎖屏;
讓手機遊戲搞定超分辨率，将以往PC端才有能力運行的畫質，搬到手機上體驗……
更重要的是，這些AI功能，骁龍8有能力**同時運行**!
高通聲稱，骁龍8搭載的第7代AI引擎，性能相比上一代提升了**4倍**。
這意味着我們玩手機的時候，同時“多開”幾個AI應用也沒問題。更重要的是，它不僅僅是簡單的AI性能提升，更能給用戶帶來流暢的應用體驗感。
在硬件制程升級如此艱難的今天，高通是如何在第7代AI引擎的性能和應用上“翻”出這麼多新花樣的?
我們翻了翻高通發表的一些研究論文和技術文檔，從中找到了一些“蛛絲馬迹”：
在高通發布的AIMET開源工具文檔裡，就有提到關于“如何壓縮AI超分辨率模型”的信息;
在與“防偷窺”相關的一篇技術博客中，介紹了如何在隐私保護的前提下使用目标檢測技術……
而這些文檔、技術博客背後的頂會論文，全都來自一家機構——高通AI研究院。
可以說，高通把不少研究院發表的AI論文，“藏”在了第7代AI引擎裡。
頂會論文“藏身”手機AI
先來看看第7代AI引擎在**拍照算法**上的提升。
針對智能識别這個點，高通今年将面部特征識别點增加到了300個，能夠捕捉到更為細微的表情變化。
但同時，高通又将人臉檢測的速度提升了**300%**。這是怎麼做到的?
在一篇高通發表在CVPR上的研究中，我們發現了答案。
在這篇文章中，高通提出了名為Skip-Convolutions(跳躍卷積)的新型卷積層，它能将前後兩幀圖像相減，并隻對變化部分進行卷積。
沒錯，就像人的眼睛一樣，更容易注意到“動起來的部分”。
這使得骁龍8在做目标檢測、圖像識别等實時檢測視頻流的算法時，能更專注于目标物體本身，同時将多餘的算力用于提升精度。
可能你會問，這樣細節的人臉識别對于拍照有什麼用?
更進一步來說，這次高通與徕卡一起推出了Leica Leitz濾鏡，用的是基于AI的智能引擎，其中就包括了人臉檢測等算法，使得用戶能更不經思考智能地拍出更具藝術風格的照片。
不止人臉檢測，高通在智能拍攝上所具備的功能，還包括超分辨率、多幀降噪、局部運動補償……
然而，在高分辨率拍攝中的視頻流通常是實時的，AI引擎究竟如何智能處理這麼大體量的數據?
同樣是一篇CVPR論文，高通提出了一個由多個級聯分類器組成的神經網絡，可以随着視頻幀的複雜度，來改變模型所用的神經元數量，自行控制計算量。
面對智能視頻處理這種“量大複雜”的流程，AI現在也能hold住了。
智能拍照以外，高通的語音技術這次也是一個亮點。
像開頭提到的，第7代AI引擎支持用手機加速分析用戶聲音模式，以确定哮喘、抑郁症等健康狀況的風險。
那麼，它究竟是如何準确分辨出用戶聲音，而且又不涉及收錄數據的?
具體來說，高通提出了一種手機端的聯邦學習方法，既能使用手機用戶語音訓練模型，同時保證語音數據隐私不被洩露。
像這樣的AI功能，有不少還能在高通AI研究院發表的論文中找到。
同樣也能尋到蛛絲馬迹的，是開頭提及的AI提升手機性能的理論支撐。這就不得不提到一個問題：
**同時運行這麼多AI模型，高通究竟是怎麼提升硬件的處理性能的?**
這裡就不得不提到高通近幾年的一個重點研究方向**“量化”**了。
從高通公布的技術路線圖來看，模型量化一直是AI研究院這幾年鑽研的核心技術之一，目的就是給AI模型做個“瘦身”。
由于電量、算力、内存和散熱能力受限，手機使用的AI模型和PC上的AI模型有很大不同。
在PC上，GPU動辄上百瓦功率，AI模型的計算可以使用16或32位浮點數(FP16、FP32)。而手機SoC隻有幾瓦功率，也難存儲大體積AI模型。
這時候就需要将FP32模型縮小成8位整數(INT8)乃至4位整數(INT4)，同時确保模型精度不能有太大損失。
以AI摳圖模型為例，我們以電腦處理器的算力，通常能實現十分精準的AI摳圖，但相比之下，如果要用手機實現“差不多效果”的AI摳圖，就得用到模型量化的方法。
為了讓更多AI模型搭載到手機上，高通做了不少量化研究，發表在頂會上的論文就包括**免數據量化**DFQ、**四舍五入機制**AdaRound**，以及聯合量化和修剪技術**貝葉斯位**Bayesian Bits等。
其中，DFQ是一種無數據量化技術，可以減少訓練AI任務的時間，提高量化精度性能，在手機上最常見的視覺AI模型MobileNet上，DFQ達到了超越其他所有方法的性能：
AdaRound則可以将複雜的Resnet18和Resnet50網絡的權重量化為4位，大大減少了模型的存儲空間，同時隻損失不到1%的準确度：
貝葉斯位作為一種新的量化操作，不僅可以将位寬度翻倍，還能在每個新位寬度上量化全精度值和之前四舍五入值之間的殘餘誤差，做到在準确性和效率之間提供更好的權衡。
這些技術不僅讓更多AI模型能以**更低的功耗**在手機上運行，像原本隻能在電腦上運行的遊戲AI超分辨率*(類似DLSS)*，現在實現能在骁龍8上運行的效果;
甚至其中一些AI模型，還能“同時運行”，例如其中的姿态檢測和人臉識别：
事實上，論文還隻是其中的第一步。
要想快速将AI能力落地到更多應用上，同樣還需要對應的更多平台和開源工具。
将更多AI能力釋放到應用上
對此，高通保持一個開放的心态。
這些論文中高效搭建AI應用的方法和模型，高通AI研究院通過合作、開源等方法，将它們分享給了更多開發者社區和合作夥伴，我們也因此能在骁龍8上體驗到更多有意思的功能和應用。
**一方面，高通與谷歌合作，将快速開發更多AI應用的能力分享給了開發者。**
高通在骁龍8上搭載了谷歌的Vertex AI NAS服務，還是每月更新的那種，意味着開發者在第7代AI引擎上開發的AI應用，其模型性能也能快速更新。
采用NAS，開發者就能自動用AI生成合适的模型，包括高通發表在頂會上的智能拍照算法、語音翻譯、超分辨率……都能包含在AI的“篩選範圍”中，自動為開發者匹配的模型。
這裡用上了高通的運動補償和插幀等算法。而類似于這些的AI技術，開發者們也都能通過NAS實現，還能讓它更好地适配骁龍8，不會出現“調教不力”的問題。
想象一下，你将來用搭載骁龍8的手機打遊戲時，會感覺畫面更流暢了，但是并不會因此掉更多的電(指增加功耗)：
同時，關于AI模型的維護也變得更簡單。據谷歌表示，與其他平台相比，Vertex AI NAS訓練模型所需的代碼行數能減少近80%。
**另一方面，高通也已經将自己這些年研究量化積累的工具進行了開源。**
去年，高通就開源了一個名為AIMET*(AI Model Efficiency Toolkit)*的模型“提效”工具。
其中包含如神經網絡剪枝、奇異值分解(SVD)等大量壓縮和量化算法，有不少都是高通AI研究院發表的頂會論文成果。開發者用上AIMET工具後，就能直接用這些算法來提效自己的AI模型，讓它更流暢地在手機上運行。
高通的量化能力也不止開源給普通開發者，同樣能讓頭部AI企業的更多AI應用在骁龍8上實現。
在新骁龍8上，他們與NLP領域知名公司Hugging Face進行合作，讓手機上的智能助手可以幫用戶分析通知并推薦哪些可優先處理，讓用戶對最重要的通知一目了然。
在高通AI引擎上運行它們的情緒分析模型時，能做到比普通CPU速度快30倍。
正是技術研究的沉澱和技術上保持的開放态度，才有了高通不斷刷新手機業界的各種AI“新腦洞”：
從之前的視頻智能“消除”、智能會議靜音，到今年的防窺屏、手機超分辨率……
還有更多的論文、平台和開源工具實現的AI應用，也都被搭載在這次的AI引擎中。
而一直隐藏在這些研究背後的高通AI研究院，也随着第7代AI引擎的亮相而再次浮出水面。
高通AI的“軟硬兼備”
大多數時候，我們對于高通AI的印象，似乎還停留在AI引擎的“硬件性能”上。
畢竟從2007年啟動AI項目以來，高通一直在硬件性能上針對AI模型提升處理能力。
然而，高通在AI算法上的研究，同樣也“早有籌謀”。
2018年，高通成立AI研究院，負責人是在AI領域久負盛名的理論學者Max Welling，而他正是深度學習之父Hinton的學生。
據不完全統計，高通自成立AI研究院以來，已有數十篇論文發表在NeurIPS、ICLR、CVPR等AI學術會議上。
其中，至少有4篇模型壓縮論文已在手機AI端落地實現，還有許多計算機視覺、語音識别、隐私計算相關論文。
上述的第7代AI引擎，可以說隻是高通近幾年在AI算法研究成果上的一個縮影。
通過高通AI的研究成果，高通還成功将AI模型拓展到了諸多最前沿技術應用的場景上。
在自動駕駛上
，高通推出了骁龍汽車數字平台，“包攬”了從芯片到AI算法的一條龍解決方案，目前已同25家以上的車企達成合作，使用他們方案的網聯汽車數量已經達到2億輛。
其中，寶馬的下一代輔助駕駛系統和自動駕駛系統，就将采用高通的自動駕駛方案。
在XR上
，高通發布Snapdragon Spaces XR了開發平台，用于開發頭戴式AR眼鏡等設備和應用。
通過和Wanna Kicks合作，骁龍8還将第7代AI引擎的能力帶到了AR試穿APP上。
在無人機上
，高通今年發布了Flight RB5 5G平台，其中有不少如360°避障、無人機攝影防抖等功能，都能通過平台搭載的AI模型實現。其中首架抵達火星的無人機“機智号”，搭載的就是高通提供的處理器和相關技術。
回過頭看，不難發現這次高通在AI性能上不再強調硬件算力(TOPS)的提升，而是将軟硬件作為一體，得出AI性能4倍提升的數據，并進一步強化AI應用體驗的全方位落地。
這不僅表明高通更加注重用戶實際體驗的感受，也表明了高通對自身軟件實力的信心，因為硬件已經不完全是高通AI能力的體現。
可以說骁龍8第7代AI引擎的升級，标志着高通AI軟硬一體的開端。
最近，高通針對編解碼器又提出了幾篇的研究，分别登上了ICCV 2021和ICLR 2021。
這些論文中，高通同樣用AI算法，展現了針對編解碼器優化的新思路。
在一篇采用GAN原理的研究中，高通的編解碼器算法讓圖像畫面不僅更清晰、每幀也更小了，隻需要14.5KB就能搞定：
相比之下，原本的編解碼算法每幀壓縮到16.4KB後，樹林就會變得無比模糊：
而在另一篇用插幀的思路結合神經編解碼器的論文中，高通選擇将基于神經網絡的P幀壓縮和插幀補償結合起來，利用AI預測插幀後需要進行的運動補償。
經過測試，這種算法比谷歌之前在CVPR 2020上保持的SOTA紀錄更好，也要好于當前基于H.265标準實現開源編解碼器的壓縮性能。
将AI模型應用于更多領域中，高通已經不是第一次嘗試，像視頻編解碼器的應用，就又是一個新的方向。
如果這些模型能成功被落地到平台甚至應用上，我們在設備上看視頻的時候，也能真正做到不卡。
随着“軟硬一體”的方案被繼續進行下去，未來我們說不定真能看見這些的AI成果被應用到智能手機上。
結合高通在PC、汽車、XR等領域的“秀肌肉”……
可以預見的是，你熟悉的高通、你熟悉的骁龍，肯定不會止于手機，其AI能力，也将不止于手機。
免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據。
免責聲明：本文僅代表作者個人觀點，與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實，對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體，轉載目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，若因作品内容、知識産權、版權和其他問題，請及時提供相關證明等材料并與我們聯系，本網站将在規定時間内給予删除等相關處理.
