
9 月 6 日消息,vivo 今天在一場影像技術分享會上正式介紹了自家的自研 ISP 芯片 V1,并分享了 vivo 與蔡司聯手在手機光學鏡頭、拍照算法技術方面的新突破。
vivo 影像産品經理王兆豐說,夜景、變焦、運動防抖、視頻等特性是 vivo 影像系統發力的重點方向。在手機拍照領域,“如今算法更重要還是硬件更重要?”是 vivo 此次抛出的核心問題。
在發布會結尾,vivo 也預熱稱,9 月 9 日他們的 vivo X70 系列旗艦手機将會發布,除了這次展示的新技術,vivo 還會帶來更多拍照技術方面的“驚喜”。
vivo 影像算法總監杜元甲說,消費者現在不光需要手機在常規場景下拍出好照片,也希望在一些高挑戰性場景中拍出好照片,比如暗光、運動場景。
這些需求都對手機處理圖像信息的能力提出了更高的要求。如今拍攝一段 30 幀視頻,每幀圖像允許處理器進行運算的時間僅有 33 毫秒。
除此之外,功耗也成了一大挑戰:既要提升處理能力,又不能過多增加功耗。為了解決這個問題,vivo 的思路是定制化芯片 + 自研算法結合。
其實此前 vivo 在引入定制芯片方面已經積累了一定經驗:在 vivo X1、Xplay 中,vivo 就将定制 Hi-Fi 芯片放入手機,提升手機音頻體驗。到 2017 年,vivo 将定制的 DSP 圖像芯片放入到 X9 Plus 中,提升手機影像 HDR 表現。
此次,vivo 組建了超過 300 人的研發團隊,經過 24 個月研發,最終推出了 V1 ISP 芯片。杜元甲說,在這枚芯片的研發中,vivo 也與手機 SoC 廠商進行了深度合作,但他并未透露具體廠商名稱。
2019 年,vivo 曾與三星聯合研發了 Exynos 980 5G SoC,據稱今年 vivo 也将在 X70 系列旗艦中使用三星 Exynos 1080 SoC,可見 vivo 和三星一直以來都保持着良好的合作關系。
因此我們推測此次 vivo ISP 芯片的合作廠商,大概率是三星。
V1 是 vivo 自研的第一顆影像芯片,可以搭配不同的主芯片和屏幕,可以擴充 ISP 算力、釋放主芯片 ISP 負載。
這枚 V1 芯片在特定圖像處理任務時,在性能、延遲、功耗等方面具有優勢,杜元甲說,相比 CPU、DSP 等芯片,V1 處理特定任務的效率有“指數級提升”,也可以完成數據的并行處理。
vivo 優化了數據在芯片内部的儲存架構和高速讀寫電路,實現了等效 32MB 的“片上高速緩存”,讀寫速度可以達到 35.84Gbps,而目前主流旗艦級台式機 CPU 的高速緩存也僅有 16MB 左右。
那麼 V1 這樣的優化有怎樣的效果呢,在夜景拍攝中,去噪、插幀等這類對算力需求較大的算法都可以應用進來。在 V1 輔助下,主芯片可以實現 1080P 60 幀的夜景視頻降噪、插幀。
在 V1 的加持下,主芯片可以在低光錄像時,以低功耗運行 4K 30FPS 的 MEMC 去噪和插幀,這輔助并強化了主芯片在夜景下的影像效果,配合主芯片 ISP 原有的降噪功能,實現二次提亮二次降噪。
值得一提的是,vivo 通過将軟件算法轉移至 V1 的專用硬件電路中,讓複雜的計算成像功能在默認拍照和錄像預覽下即可開啟。
在高速處理同等計算成像算法時,相比軟件實現的方式,V1 的專用算法硬件電路功耗降低了 50%。
這也就是 vivo 所說的“硬件級算法”。
vivo 光學器件總監朱盼盼說,去年 vivo 與蔡司達成了合作,從鏡片、鏡頭到濾光片,vivo 都聯合蔡司進行了創新。
他提到,眩光、鬼影、邊緣畫質差等問題仍然是如今手機拍照的普遍痛點,而這些問題的解決都需要光學器件性能的提升。
vivo 通過使用高規格玻璃鏡片補足了傳統塑膠鏡片的缺點,朱盼盼特别提到了“阿貝數”這一性能指标,vivo 的玻璃鏡片阿貝數達到了 Vd 81.6,相比上代設計視場色差降低約 70%。
得益于新型玻璃鏡片的使用,鏡片中心的透光率達到了 95%,相比傳統鏡片提升了 2%。
當然,使用玻璃鏡片面臨許多挑戰,比如工藝複雜、良率低,據稱這次 vivo 的玻璃鏡片工藝步驟有 11 道,每 100 片中才能挑選出 60 片良品。同時,vivo 通過 AOA 工藝,實現了鏡片的動态調整。
為了解決眩光、鬼影等問題,vivo 采用了 SWC 鍍膜技術,将鏡片表面反射率降低至 0.1%,而此前這一數值為 0.8%,降低了 90%。其核心是在鏡片表面上做出“納米級紋路”。
另外,vivo 通過 ALD 鍍膜工藝,讓鏡片上形成 0.4nm 均勻分布的光學膜層,從而使反射率均勻值到達 0.25% 左右。朱盼盼特别提到,這些工藝已到達成熟量産階段。
為了解決“花瓣鬼影”問題,vivo 通過色素旋塗技術,更好地實現了蔡司 T * 鍍膜,可以提升紅光的吸收率,從而改善眩光和鬼影問題。
去年 vivo 和蔡司成立了聯合影像實驗室,朱盼盼說,蔡司的團隊給了他們非常大的幫助。
王兆豐繼續介紹了 vivo 在拍照軟件算法層面的突破,vivo 通過三年 10 款機型的打磨,形成了自己一套成像色彩風格。
不過專業的創作者,更偏向于還原人眼看到的真實色彩,為此,vivo 與蔡司聯手打造了“蔡司自然色彩”色彩标準。
vivo 在 P3 色域基礎上,選擇了 140 色卡指定色彩标準,與蔡司共同制定色彩标準,為了适應更加精細的色彩标準,vivo 在粗調試中增加了色彩映射矩陣算法,将調試參數增加到 384 個。
通過這些調試,vivo 将照片色相準确度提升了約 15.5%。
另外 vivo 選擇“複刻”蔡司 Biotar 鏡頭提升人像拍攝的效果,但是複刻需要解決不少難題,比如 Z 方向景深的模拟、XY 方向像場的變化、還原鏡頭光斑。
在這其中,vivo 通過深度卷積網絡,學習了 28W 張人像分割照片、10W 張手勢分割圖片;另外 vivo 建立了虛化模型,實現 3D-POP 虛化效果。
在還原鏡頭光斑形狀方面,vivo 通過散焦濾波核生成技術,對不同鏡頭的光斑進行更真實的模拟。
除了這些算法之外,vivo 在人像拍攝、延時攝影、10bit Log 視頻拍攝、超級夜景等方面也進行了優化。
vivoRAWHDR3.0 算法,提升了夜景拍攝樣張的色彩表現,通過 SuperRAW 功能,實現了 14bit 色深,支持 10 幀合成。
在自研 ISP 芯片 V1、定制光學鏡片、提升鏡片加工工藝的同時,vivo 也在算法上繼續打磨,聯合蔡司進行調教。
可以看到,算法的實現需要出色硬件的輔助,随着如今圖像數據量增加,圖像畫質要求提升,算法對于硬件性能要求也“水漲船高”,自研 ISP 芯片無疑成為了廠商們的一個新的突破口。
小米、vivo 紛紛推出自研 ISP 芯片,OPPO 的自研 ISP 芯片也正在路上,如今在手機拍照領域,硬件 + 軟件“兩條腿走路”已經成為了大趨勢。我們也期待廠商們未來能在芯片層創新上帶來更多突破。
免責聲明:本文僅代表作者個人觀點,與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實,對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,若因作品内容、知識産權、版權和其他問題,請及時提供相關證明等材料并與我們聯系,本網站将在規定時間内給予删除等相關處理.

