快5G的慢動作!展銳5G芯片捕捉每一毫秒的精彩

2021-05-12 11:25:02 來源:機鋒網
        【每日科技網】

   日常生活中,手機早已成為我們形影不離的夥伴,手機的拍照和錄像功能為我們記錄了生活中點點滴滴,讓美好的記憶成為永恒。特别是視頻錄制功能,忠實地留存了身邊的精彩時刻。

   普通視頻

   對于普通視頻,手機中camera系統按照30fps采集圖像,即一秒内均勻采集30張圖像,經過camera系統的處理,最終也按照30fps的幀率,編碼成為視頻文件。播放視頻時,視頻播放器同樣按照30fps的幀率解碼視頻并顯示。用戶看到的是真實世界的原本回放,一切都如現實生活一樣。

   為了增強視頻錄制功能,如今各大旗艦手機中,不約而同地設計了慢動作視頻錄制功能。

   什麼是慢動作視頻錄制功能呢?

   慢動作視頻

   所謂慢動作視頻錄制功能,它會将視頻中拍攝對象的運動變慢、變緩,用戶可以仔細地欣賞每一個動作的緩慢變化。

   目前,大家看到的慢動作視頻錄制一般為120fps和240fps幀率。以240fps慢動作視頻錄制為例,當用戶啟動拍攝240fps慢動作視頻時,手機中camera系統按照240fps幀率采集圖像,即一秒采集240張圖像,平均4毫秒采集一張,它更加精細地從現實中獲取了圖像數據。Camera系統對240幀圖像逐一處理,最後編碼成視頻文件。

   視頻播放時,播放器依然按照30fps幀率播放。我們錄制時候的1秒240張圖像,播放時需要8秒顯示,視頻畫面被放慢了8倍,各種動作和變化全部變緩。這種視頻特别适合拍攝各種運動,或者轉瞬即逝的時刻。用戶看到了比普通視頻精細8倍的運動變化,欣賞了更多的變化細節。

   高幀率慢動作瞬間視頻

   既然已經擁有了240fps這樣的慢動作視頻,為什麼還要更高幀率慢動作瞬間視頻,如960fps視頻?

   我們對技術的追求是無止境的,用戶對精彩的需求也是無限的。960fps慢動作瞬間視頻可以讓用戶體會到每一毫秒的畫面變化,欣賞到每一毫秒的精彩畫面。

   錄制這種960fps高幀率慢動作視頻,不像240fps慢動作視頻那麼簡單。Camera系統采集數據的sensor因硬件性能局限,普通camera sensor很難達到960fps這樣高的采集幀率。目前市面上的旗艦手機主流是采用240fps幀率的camera sensor。為了産生960fps視頻,camera系統必須采用FRC(Frame Rate Conversion)技術,将按240fps幀率采集的圖像數據離線轉換為960fps幀率,之後完成視頻編碼。這樣用戶就能欣賞到每一秒的精彩瞬間。由于FRC技術性能和所需資源限制,camera系統一般隻采集時長為三秒左右的圖像進行處理,最終視頻播放時長可達10秒左右。該功能隻有少數高端旗艦機具有,大大提升了這些手機的競争力。

   紫光展銳第六代影像引擎Vivimagic

   展銳唐古拉5G芯片T770,搭載了第六代影像引擎Vivimagic解決方案,采用四核ISP實現了三攝/四攝場景無縫變焦,支持長焦、廣角、超廣角、微距鏡頭,可實現3倍光學變焦,6倍混合變焦,30倍數字變焦。

   四核ISP處理速度高達每秒16億像素,可支持拍攝1.08億像素照片,單攝零延遲拍照可達6400萬像素。

   對于慢動作視頻錄制功能,支持480fps不限時高清慢動作視頻拍攝,用戶可以充分利用五億像素級處理速度來拍攝慢動作視頻;采用FRC技術,用戶可抓拍高幀率高清慢動作瞬間視頻,捕捉毫秒級精彩細節。

   FRC技術介紹

   FRC(Frame Rate Conversion)技術用于提升視頻幀率,一般通過前後幀信息産生新的幀,增加單位時間内采集到的圖像數據量,讓用戶獲得更多圖像信息。其中運動估計和運動補償算法至關重要。

   運動估計和運動補償(Motion Estimation and Motion Compensation,簡稱MEMC),就是通過對圖像中物體的運動軌迹的估計和檢測運動矢量,然後利用原始幀和運動矢量信息,通過運動補償插值的方式構建新的圖像幀(稱之為補償幀),最後在原始幀中間插入補償幀來提升畫面的流暢性。

   以24fps插幀到60fps來舉例說明,因為60不是24的整數倍,所以必須采用3:2 pull up pull down的方式進行幀重複,也就是當前幀重複3次,下一幀重複2次,依次類推,這樣就把24fps視頻的各幀圖像“相對均勻”的分配到60fps的時間節拍上。因為每一幀的重複次數不相同,所以産生了抖動(Judder)現象。

   MEMC技術,根據物體運動信息來動态的生成補償幀,可以非常有效的改善Judder現象。但由于所有新增的圖像幀都是運動預測計算出來的,因此預測的不準确可能會帶來副作用,比如光環“Halo”效應。通過對物體運動軌迹的計算,可以減小副作用。

   另外一個可能的現象是小物體運動所對應的小物體丢失,例如足球比賽中的足球,在一些補償幀中消失了。原因在于大部分的MEMC算法,基于運算複雜度和實現成本考慮,采用塊匹配方式來計算相鄰幀之間的物體的運動相關性,而不是采用像素級的預測,導緻小物體的運動矢量估計不準确,進而導緻小物體的丢失或出現重疊等現象。

   的MEMC算法,除了解決去除Judder等基本問題之外,還需對随之産生的光環Halo、小物體消失或重影等artifact有好的解決方案。

   紫光展銳視頻編碼專家組基于MEMC算法研究出了高清視頻圖像四倍插幀算法,完美地實現了視頻序列的四倍插幀,為了高幀率慢動作瞬間視頻功能實現奠定了基礎。

   高幀率慢動作瞬間視頻

   展銳唐古拉5G芯片T770的camera系統具備強大處理能力,支持240fps 1080P和480fps 720P慢動作視頻錄制。基于240fps 720P圖像數據,采用FRC技術,借助多核CPU,可以實現960fps 720P高清慢動作瞬間視頻錄制。

   對于更高幀率,如果camera sensor支持480fps 720P圖像采集,camera系統也可以實現1920fps的瞬間視頻編碼,這對手機性能有了更高要求。1920fps瞬間視頻,平均0.5毫秒一張圖像,将現實世界的運動放慢了64倍,用戶可以欣賞到更加細膩的精彩瞬間,給用戶帶來前所未有的視覺體驗。

   随着視頻技術的不斷發展,手機上camera系統會有越來越多的新穎功能出現,為用戶帶來不同凡響的視覺體驗。高幀率慢動作瞬間視頻無疑是其中一抹靓麗風景,展銳唐古拉5G芯片T770在影像方面擁有更的表現。

免責聲明:本文僅代表作者個人觀點,與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實,對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關内容。
    本網站有部分内容均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,若因作品内容、知識産權、版權和其他問題,請及時提供相關證明等材料并與我們聯系,本網站将在規定時間内給予删除等相關處理.

猜你喜歡

海能達發布全新專業防爆PDT對講機CH690Ex

随着我國應急管理體系持續完善,消防救援任務正在從傳統火災處置,向化工園區事故、危險品洩漏、地下空間救援、大型綜合災害等多風險、多場景方向發展。在這些複雜環境中,救援現場往往面臨爆炸性氣體、可燃性粉塵、

2周前

海能達CCW 2026載譽收官:AI與融合通信引領專用通信新未來

6月16日至18日,2026年全球關鍵通信展(CCW2026)在英國倫敦舉行。展會期間,海能達集中展示了從終端到系統、從感知到決策的全鍊路創新版圖,AI與融合通信産品及解決方案貫穿三天展期,持續獲得高

1個月前

登陸歐洲 Intersolar!遠景AI電力系統支撐全球 AI 算力發展

慕尼黑,2026年6月23日——在IntersolarEurope2026上,遠景科技集團發布面向AI數據中心的下一代電力基礎設施——融合風光儲一體化方案、固态變壓器(SST)、800V直流供電、儲能

1個月前

海能達六度問鼎ICCAs,PDC650與西安機場方案摘得雙獎

6月17日,2026年國際關鍵通信獎(InternationalCriticalCommunicationsAwards,ICCAs)在英國倫敦舉行的全球關鍵通信展(CCW2026)期間正式揭曉。海能

1個月前

海能達即将亮相2026年CCW全球關鍵通信展: 攜AI與融合通信解決方案登陸倫敦

6月16日至18日,2026年CCW全球關鍵通信展将在英國倫敦啟幕。作為全球領先的專用通信解決方案提供商,海能達将以全場景關鍵通信産品矩陣亮相F25展位,集中展示面向公共安全、應急救援、城市治理等領域

1個月前

海能達再獲第十一屆廣東專利獎:持續自主創新,構築專用通信知識産權高地

近日,廣東省市場監督管理局正式公示第十一屆廣東專利獎評選結果。海能達通信股份有限公司申報的“一種集群通信系統的組派接方法、通信系統及存儲介質”(專利号:ZL201811296617.7)榮獲廣東專利優

2個月前