秒變攝影大師 AI是如何改變手機拍照的?

中關村在線 發佈 2020-05-07T06:39:27+00:00

越來越多的人選擇用手機通過照片與視頻的方式保留記憶,而在剛過去的五一假期,出門遊玩中攜帶一部影像系統優秀的手機就能展現出對於生活記錄的優勢,而對於一部拍照優秀的手機來說,除了鏡頭參數的耀眼外,也離不開手機SoC和AI提供的性能支持。

越來越多的人選擇用手機通過照片與視頻的方式保留記憶,而在剛過去的五一假期,出門遊玩中攜帶一部影像系統優秀的手機就能展現出對於生活記錄的優勢,而對於一部拍照優秀的手機來說,除了鏡頭參數的耀眼外,也離不開手機SoC和AI提供的性能支持。

如果說起安卓手機陣營中,影像性能最好的SoC,旗艦機型標配的驍龍865自然當仁不讓,除內置Spectra 480 ISP外,還有Qualcomm第五代人工智慧引擎AI Engine的加持。提起AI,很多人會下意識和營銷手段、噱頭聯繫在一起,但從實際的移動端影像系統來看,通過SoC內置的Spectra 480 ISP+Qualcomm AI引擎的結合,給手機拍照有著強悍的表現,下面我們結合搭載865 SoC手機的實際拍照表現來闡述第五代Qualcomm人工智慧引擎 AI Engine在實際拍照中的作用。

01 AI引擎帶來是全方位畫質升級

在移動端影像飛速發展的過程中,業內也嘗試通過對於移動端鏡頭的升級全面帶動移動端影像的進步,但移動端影像系統的發展方向並不是復刻專業相機的「鏡頭路線」,而是藉助移動端使用便捷的優勢讓普羅大眾記錄生活。而手機作為當前用戶最智能的使用終端,通過AI引擎實現對於視覺能力的全方位提升才是更貼近用戶的發展方向。

可以說當前相機的影像系統和手機影像系統走上了兩種不同的方向。相機追求的是保留更多細節便於留出更多後期處理空間,移動端則是更快更便捷記錄與分享生活。在這一過程中,移動端通過AI引擎對於成像結果的自動調校就起到了很大的增益作用。以OPPO Find X2 Pro的影像系統為例,AI引擎對於這套影像系統的實際使用也有明顯的增益作用。


驍龍865的AI算力來源於第五代Qualcomm人工智慧引擎AI Engine。第五代AI引擎則由 Kryo 585 CPU+Adreno 650 GPU+Hexagon 698張量加速器構成,每一部分都有各自的運算專長,系統會根據實際負載將需求分配到到CPU、GPU和張量處理器上。高通第五代AI Engine的AI算力達到了15TOPS,保證高性能與功耗低兼備,滿足移動端的使用需求。

常規拍攝對於圖片表現力的增強

OPPO Find X2 Pro常規樣張

常規場景下移動端拍攝過程經歷「鏡頭與CMOS收集圖片信息」到「Spectra 480 ISP+AI引擎增強畫面表現力」再到「最終成像結果」的過程。在第二個步驟中,Spectra 480 ISP和AI引擎會根據實際的算法提升圖片的細節與質感,達到增強像系統表現力的目的。

AI場景識別是提升拍攝表現力的關鍵

AI引擎提升最終拍攝表現力的原因主要是AI基於深度學習功能對移動端進行最終畫質的針對性優化,保證拍攝的最終觀感。當你使用移動端影像拍攝時,驍龍865內置的第五代AI引擎則會識別你當前拍攝場景是人、食物、風景還是是動物。

AI場景識別

AI優化拍攝過程中最重要的是AI引擎對於場景的識別。採用驍龍865的手機會默認打開這個功能,第五代AI引擎會幫助用戶自動識別當前場景並選擇最佳的拍攝參數,並會根據實際場景選擇「夜景模式」、「微距模式」等。同時,AI引擎還會對拍攝選擇合適的曝光和色彩調節,讓用戶從繁瑣的拍攝參數中解放,享受所見即所得的拍攝樂趣。

弱光環境下提升拍攝降噪的處理

OPPO Find X2 Pro弱光拍攝

弱光對於移動端的拍攝要求相對較高。這是因為手機CMOS受元器件體積的限制,弱光下的表現往往不盡人意。移動端解決弱光拍攝的手段是通過短時間內拍攝多張不同曝光下的照片,通過挑選與合成的方式實現對於移動端弱光拍攝增強的效果。這個過程中除了對於鏡頭與CMOS參數的硬體要求外,也對於ISP和AI Engine的計算性能提出了要求。

搭載驍龍865 SoC的OPPO Find X2 Pro 上的「超級夜景 3.0」技術,一方面通過Spectra 480 ISP以每秒處理20億像素的速度處理圖片信息,另一方面利用AI引擎則通過場景識別等功能實現對於圖片的噪點去除、壞點修補、曝光校正等功能,進而呈現優質的弱光拍攝效果。正式在ISP和AI Engine的聯合作用下,實現了對於實際的夜景環境進行圖像重建和色彩重建。

對於高清視頻支持

視頻是當前最重要的分享媒介之一,移動端的影像系統也讓普通人能夠通過極低的成本完成對於視頻的錄製與處理。用戶對於視頻的需求無非兩點——「看得清」(更高的畫質)和「拍得穩」(更好的防抖控制)。採用驍龍865 SoC的手機實現對於 4K 視頻的錄製,而驍龍865借力Spectra 480 ISP與第五代AI引擎最高實現了對於8K視頻的錄製。

在Spectra 480 ISP和高通第五代AI Engine的算力支持下,移動端影像系統最終成像表現有了長足的進步。AI引擎在不同的環境下帶來了不同的畫面表現力,使移動端影像系統擺脫了傳統拼鏡頭與參數的桎梏,帶來了更多的拍攝趣味、更豐富的畫面色彩表現、更優秀的成像效果。

02 除了對影像效果升級外,AI提升了相機的智能程度

上文我們闡述了高通驍龍第五代AI引擎在手機影像系統中的具體作用。從AI引擎在影像系統中的處理我們不難發現「不搭載AI引擎的傳統智慧型手機」與搭載「搭載AI引擎的智慧型手機」的區別:

傳統智慧型手機只能一對一解決問題,用戶如果要得到一張精緻的照片,首先需要用相機拍出一張照片,然後通過App對圖片進行後期處理;而搭載AI引擎的智慧型手機則可以在用戶拍攝後就可以得到精緻的照片,無需任何處理。



這個過程中,AI引擎根據用戶的實際需求簡化了拍照的流程。AI引擎對於移動端最重要的提升是實現移動設備對於人需求的理解:通過提升移動設備的感知能力,讓移動設備了解消費者的需求才是移動端的未來,而高通AI引擎深入參與移動端影像系統,進而讓移動端影像系統變得更好用。

AI引擎帶來平滑順暢的變焦過程

移動端的影像系統受制於體積無法搭載體積龐大的光學變焦鏡頭,因而移動端的變焦是通過後置多攝的鏡頭接力與算法補足實現的。目前移動端主流的變焦是通過在廣角、主攝與長焦鏡頭中切換來實現的。但因為多個攝像頭的位置不一樣,所以在變焦過程中會出現變焦過程不夠順暢的問題。



採用驍龍865手機的變焦效果


而採用驍龍865的手機則能夠實現平滑的光學變焦和保持變焦過程中畫面曝光與色彩的一致, 可以說Spectra 480 ISP和高通AI引擎正是移動端實現平滑變焦幕後功臣。移動端影像系統不藉助AI引擎強大的算力能夠保證用戶在不同鏡頭的切換過程中保持拍攝畫面取景框的穩定,從而使移動端變焦過程呈現更平滑流暢的使用效果。

同時,移動端影像系統變焦面臨的另外一個問題是拍攝最終樣張的實際曝光與色彩呈現不一致的現象,這是移動端影像系統常見的問題。而高通第五代 AI 引擎以運算的形式修正拍攝畫面的參數,實時優化變焦畫面,最終將變焦拍攝得到的圖片風格、色彩與曝光控制在同一風格。



眾多手機廠商在高通第五代AI Engine基礎上開發屬於自己的變焦技術。其中realme在高通第五代AI Engine的基礎上研發出SAT平滑變焦技術,可以模擬出單反鏡頭變焦的感覺,多個鏡頭切換畫面穩定不跳躍,而且可以保持曝光、色溫等效果的一致。

AI引擎實現對於4單元色彩濾鏡陣列硬體加速

高通憑藉這種理解在AI引擎中實現了對於4單元色彩濾鏡陣列硬體加速的支持。現在很多的移動端傳感器是像素四合一,像素四合一的優勢是提升實際拍攝效果,但過去在處理像素四合一的運算是1個像素1個像素進行的,而AI引擎的硬體加速則實現對一次運行處理4個像素,通過CPU、DSP與ISP的接入處理,降低功耗的同時提升運行效率。



4單元色彩濾鏡陣列硬體加速


AI引擎帶來更聰明的對焦

移動端影像的躍進帶來的是用戶對於移動端影像系統的對焦有著更高的要求。在AI引擎全面應用移動端之前,移動端已經出現了提升對焦效率的算法,但AI引擎加持下的手機對焦則有了聰敏的大腦,移動端對焦效率得到大幅度提升,經過AI場景識別的取景框會自動識別畫面焦點並實時追焦,實現真正意義上的「自動對焦」。



NEX3s「人眼追焦」功能需要AI Engine支持


此外,有些傳感器搭載的「全對焦區域自動」功能則需要同分調用Spectra 480 ISP和第五代AI Engine性能,帶來更準確的對焦效果;還有vivo NEX3s藉助AI Engine的算力實現了對於「人眼追焦」功能的實現,進而實現了更好的人像拍攝效果。



上述這些讓人驚艷的拍攝功能,如果離了AI引擎,會出現不能實現或者表現效果大打折扣的問題。而AI引擎對於影像系統的影響還體現在拍攝過程的電量消耗上:不僅可以將攝像頭的功耗控制在1毫瓦以內,還可以將視頻拍攝的功耗降低16%。而ISP+AI引擎在通過全方位的優化提升移動端影像系統的使用體驗,重新定位移動端影像操作的前進方向。

03 AI引擎還提升了移動端後期處理

如果手機不具備AI算力或者AI算力不足,我們可以藉助第三方App對圖片進行AI處理,具體步驟為:「圖片傳輸到雲端」→「藉助伺服器AI算力對圖片進行處理」→「從雲端下載回本地」。在這個過程中不僅需要流量,還對於網絡也有一定的要求,當移動端的AI算力足夠強,我們可以在手機端實現對於圖片的AI美化。

實時路人消除

在拍攝過程中,很難避免路人搶鏡,而搭載高通865的vivo APEX 2020概念機藉助第五代AI引擎實現了實時路人消除功能。

實時路人消除

這種功能依靠移動端高通第五代AI引擎的強大算力實現了對於圖片與視頻的復原,消除視頻與圖片中的「路人甲」,進而保證移動端的拍攝主體不被搶鏡。保證視頻與圖片的純凈度,突出主體。

AI一鍵換天

「AI一鍵換天」則是移動端AI技術大熱的功能,這項技術藉助高通第五代AI引擎的每秒15萬億次運算,在極短的時間內實現圖像分割,優化圖片背景,成為移動端的AI修圖神器。

AI一鍵換天

上圖中不難看出,「AI一鍵換天」可以瞬間將圖片中的背景更改為彩色或者換成完全不一樣的天空。特別是當我們在某處拍攝後,可將不滿意的天空背景換成其他顏色,而手機廠商搭載的「AI一鍵換天」則就是基於高通第五代AI引擎實現的。先通過高通第五代AI引擎實現對於圖像的分割,繼而根據用戶需求變換天空色彩與背景,呈現效果如魔法般神奇。

除了上述AI引擎在移動端後期的功能,還有AI智能構圖、AI聲音對焦等貫穿於移動端影像系統的功能。AI引擎在移動端的作用已經打通了影像信息採集、影像處理、成像與後期處理等全過程。而高通第五代AI引擎的強大算力是為了更好地滿足用戶對於Vlog、旅遊記錄、保留更清晰的記憶等越來越多、越來越嚴苛的需求。

04 總結

AI引擎給手機帶來的優勢是讓手機越來越智能,越來越好用,越來越理解用戶的心意,而移動端影像系統則是AI引擎最能體現價值與發揮作用的場景,在AI引擎的加持下,用戶只需要按照AI引擎的指引實現構圖與按下快門就行了。繁瑣的技術細節於傳統的拍攝技巧都可以放諸腦後。

把用來調節參數、考慮技巧與後期處理的時間解放出來,交給高通第五代AI引擎去處理,這是移動端影像系統發展的必然趨勢,也是移動端在不同環境下呈現最優質影像效果的核心。每一段影像都是美好回憶,每一段影像都需要被銘記,而高通第五代AI引擎身居幕後統御移動端影像,時刻候命記錄用戶每一段記憶。

關鍵字: