高通芯助力手機拍攝再登樓?驍龍765G破解玄機

中關村在線 發佈 2020-04-21T09:57:26+00:00

隨著移動設備的普及,我們已經進入全民Vlog的時代,人人均可上手拍攝視頻,因此專注於影像拍攝的手機獲得大眾青睞,並不讓人感到意外。

隨著移動設備的普及,我們已經進入全民Vlog的時代,人人均可上手拍攝視頻,因此專注於影像拍攝的手機獲得大眾青睞,並不讓人感到意外。而如今這些智慧型手機的影響拍攝無疑都基於軟硬體協調,直出高動態範圍的夜景、實現手持級別的超級防抖,還可以拍攝4K的高規格視頻,越來越多的用戶能真切地感受到手機在視頻拍攝方面的體驗升級。再比如像AI場景識別對畫面觀感的提升,或者拍錄剪輯一體的使用體驗,「智能」為手機拍攝賦能。在AI的加持下,手機拍攝的終點與上限將在何處,是個值得深思的問題。

在近日發布的眾多機型中,搭載驍龍765G的OPPO Reno3 Pro不失為其中的佼佼者。不僅因集輕薄與時尚於一體的整機外觀設計引發熱議,其視頻拍攝表現同樣令人驚艷。


01 手機勝相機,驍龍765G立功勞

現在的手機晶片被稱為SoC(System on Chip)而不僅僅是處理器,原因在於其包含完整的系統,並有嵌入軟體的全部內容。其中既包含負責綜合處理和調度的CPU、主要負責圖像處理的GPU,還包括負責相機成像的ISP等等,這些組成部分各司其職,共同完成手機操作所需的算力輸出。



以近來頗受矚目的視頻防抖為例,OPPO Reno3 Pro上搭載了視頻超級雙防抖。出色的防抖功能使其一經推出便穩占市場一席之地。視頻防抖想必大家都不陌生,通過對主攝進行取景拍攝,裁切後進行增穩處理;特別之處是Reno3 Pro在主攝裁切的基礎上進行OIS+EIS增穩。



其中OIS光學防抖就是通過鏡頭的浮動透鏡來糾正「光軸偏移」。詳細來說,通過鏡頭內的陀螺儀偵測到微小的移動,然後將信號傳至微處理器,處理器立即計算需要補償的位移量,通過補償鏡片組,根據鏡頭的抖動方向及位移量加以補償;從而有效地克服因相機的振動產生的影像模糊。處理器的計算與實時反饋就對鏡頭組的防抖起到決定性作用。

光學防抖原理

而其實EIS電子防抖是市面上的手機中使用得最多的防抖技術,無需任何元器件輔助也可實現,但其主要依賴於程序對傳感器上的圖像的分析和採集。當照片被拍糊時,利用邊緣圖像對模糊部分進行補償,從而實現「防抖」。其防抖原理更像是對照片進行「後期處理」,依舊是算法與處理運算。



更不用提OPPO Reno3 Pro的視頻超級防抖Pro,需要對超廣角攝像頭拍攝到的畫面進行處理。超廣角鏡頭拍到的畫幅更廣,相應的裁切增穩同樣需要不小的算力支持。


高通驍龍765G SoC硬體體積


而上文中提到的視頻防抖技術能夠得到長足的進步,歸根結底是如今的SoC所能支持的算力為海量的運算提供保證。OPPO Reno3 Pro——這部以視頻錄製見長的機型搭載了高通驍龍765G SoC,其第五代AI Engine的算力最高可以達到5.5 TOPS。硬體特性上,驍龍765G還支持16位4K HDR視頻拍攝和HDR10+,能夠對每一幀畫面進行動態元數據處理;此外,正是得益於高通此前推出的計算機視覺ISP(CV-ISP),Spectra 355 ISP 可支持高達1.92億像素的攝像頭,為影像錄製打下良好基礎 。


驍龍765G構成


並且驍龍765G配備的Kryo 475 CPU(最高主頻2.4GHz)以及Adreno 620 GPU(速度提升20%)都是圖像處理能力和AI算力的前提。很多功能可能大家經常用到,卻並不一定了解背後有SoC運算和AI的處理:視頻背景虛化、視頻實時AI美顏、超級夜景以及逆光拍攝等場景,都是其具體的體現。

正是由於OPPO Reno3 Pro在視頻拍攝上的優異表現,身邊的一些專業編輯在面對「輕量化」的工作場景時,都會利用OPPO Reno3 Pro進行錄製,而不是腳架+穩定器,其實這也與一般消費者的使用場景一致——隨手記錄,隨拍即所得。

02 SoC搭配人工智慧,開啟手機拍攝的進階之路

前面已經說過,SoC嵌入的各部分組件協同工作,為海量的運算提供基礎算力,而人工智慧引擎(AI Engine)能實現終端側人工智慧用戶體驗的加速。簡單來說 ,AI Engine驅動軟硬體協同合作,將不同的運算任務交給更擅長的部分去處理,從而實現最高的運算效率,這就是影像拍攝時用戶能獲得優質體驗的奧秘。



這裡其實也要為AI正名;AI早已不是一個營銷詞彙, 如今AI性能早已成為衡量SoC優劣的關鍵指標之一,或者說神經網絡處理器(NPU)的作用逐漸被廠商們重視。具體來說,其負責相機場景識別、部分圖像後期處理以及系統學習用戶使用習慣,從而進行自動優化。驍龍765G搭載第五代AI Engine,AI性能可以實現5.5TOPS的運算能力,具備強大的圖像處理能力和AI算力。

舉個例子,如今只能手機搭載多顆攝像頭已是常態,但涉及到多鏡頭的變焦切換,如何實現多顆鏡頭在視頻拍攝時的「無縫變焦」,就需要你的手機更為「智能」才可以。通過高通第五代AI Engine支持多攝像頭的平滑切換,從一個廣角攝像頭切換到長焦或超廣角攝像頭時也不會出現明顯卡頓。


OPPO Reno3 Pro


再比如說有了AI Engine的加持,可以實現根據面部的狀態、人體動作進行畫面跟蹤,確定人物的最佳拍攝位置,截取最佳的瞬間;或者支持拍攝圖像的背景更換,呈現出完美的照片。這其實這些都是第五代AI Engine下的語義分割功能的體現。簡單來說,該功能將整個圖像或者視頻分割為各個語義區域,針對各區域進行進行優化。



或者對於廣大用戶來說更為熟悉的「AI拍照」,實際上都離不開驍龍第五代AI Engine的功勞。超級夜景的多幀降噪、HDR、精準的臉部美顏、瘦身美體、大光圈效果模擬等等,甚至圖片的後期識別處理也是驍龍AI Engine的一大優勢功能。

OPPO Reno3 Pro夜景模式樣張

此前高通就曾展示過手機本地進行的智能摳圖、實時預覽特效等,比如實時素描等更換取景器中的物體風格、智能人像發色更換等等;更不用提抓取被攝者的形體動作,實現人像視頻優化、動作採集,上述應用能夠為AR場景提供技術基礎。第五代Qualcomm人工智慧引擎AI Engine,為智慧型手機的影像指明了進階方向。

03高通築起多元AI生態,賦能手機視覺交互發展

高通對AI的側重使其在該領域長期耕耘,從第一代AI平台驍龍820開始,到最新的高通第五代AI平台,高通的第五代AI Engine在性能層面顯著提升。通過支持多鏡頭智能拍攝、4K HDR視頻、以及高像素的ISP,體現出高通與影像結合的發展策略。以手機影像為基礎的AI,已經充分體現出了巨大的發展潛力。

第五代AI Engine的巨大算力以及CPU和GPU共同協作等特性,同樣適用於協調系統資源,提升遊戲體驗;除了能對於手機等影像處理能力和遊戲體驗有巨大提升,第五代AI Engine在智能翻譯、文本精準掃描以及語音轉文字等應用場景上同樣進步巨大;AR遊戲、實時3D人臉建模等功能,都是可以一窺未來的交互方式。

AR拍攝

基於第五代AI Engine,我們或許可以大膽預測AI會繼續深入到更多的生活場景:當AR動作與人像視頻採集技術進一步優化,AI功能不僅可以適用在拍照優化、機器視覺、自然語言理解、生物識別等方面,甚至可以為工業生產提供技術基礎。

並且第五代AI Engine與作業系統以及各種軟體工具進行適配後,即可實現硬體間的互通,AI Engine的智慧調度和強大的算力支持也將激勵更多的軟體開發商攜手推出更多對應優化的app。

同時針對AI運算的雲端處理,高通還為開發者提供了一整套完整的工具和框架,推動生態系統的發展,其中就包括給驍龍平台的智慧型手機提供降噪、夜拍、人臉識別、對象檢測、視頻分割、背景虛化等AI功能,推動手機的「智能生態」走向成熟。

寫在最後

目前來說,AI算力的技術落點聚焦於影像體驗。一方面是用戶對於影像拍攝具備普遍需求,另一方面,影像對於連接AR等交互方式也具備戰略性的意義。而最終AI能為終端用戶打造豐富的體驗,高通深耕AI的長遠戰略眼光以及持續投入研發的強大行業實力為諸多技術的實現提供了可能。

隨著第五代AI Engine對於智慧型手機的影像提升,過去那些關於手機拍攝「偏科」的論斷逐漸銷聲匿跡;相較於傳感器尺寸的物理限制,AI對於影像的提升遠沒有盡頭。未來AI Engine所帶來的交互變革或許是未知的,但它已經為智慧型手機的影像指明了處理器端運算優化的進階道路。

關鍵字: