60倍變焦到底是垃圾,還是真技術?

狼族攝影 發佈 2020-01-07T05:03:41+00:00

2020已經正式展開,還記得2019年初的時候,手機拍照如同打了雞血,OPPO、華為先後拋出了全新的變焦技術,讓手機拍照一下來到了10倍混合光學變焦、60倍數字變焦的驚人水平。 熱鬧的背後,技術有哪些變化不客氣地說,現在手機的長焦畫質依然是垃圾(誰用誰知道)。

2020已經正式展開,還記得2019年初的時候,手機拍照如同打了雞血,OPPO、華為先後拋出了全新的變焦技術,讓手機拍照一下來到了10倍混合光學變焦、60倍數字變焦的驚人水平。

熱鬧的背後,技術有哪些變化


不客氣地說,現在手機的長焦畫質依然是垃圾(誰用誰知道)。但並不能否定這一年手機在長焦技術的突破。從宣傳上來說,手機加上長焦無疑是成功的。在這一年裡,但凡想叫拍照手機的,無不都要在變焦上做點文章,就連火爆的「月亮模式」,其實也是為了比拼變焦功能衍生而來。眼球效應做足了了,用戶也嗨了。

手機「超級月亮」模式

從最初手機竟然也可「九天攬月」的驚嘆,到後來知道,AI在手機拍月亮中起到的作用,才明白手機拍照到天花板還早著呢。

不過,除了拍月亮之外,AI究竟是怎麼幫助手機實現更清晰的高倍變焦的?這一點好像並不清楚,而前不久一款「60倍超級變焦」的手機,倒是給了我們一些新的啟發。

電影修復技術和超級變焦

引起我注意的不是60倍,也不是「超級變焦」這種玄乎的叫法,而是它背後的超分算法。

大家應該都還記得慶祝70周年國慶期間,刷屏的「彩色版開國大典」吧,還有前陣子《海上鋼琴師》4K修復版和正在重映的《美麗人生》,它們都要感謝超分算法,將低清或受損的影像進行修復,是超分算法的主要應用場景。而事實上,這項技術已被使用到手機拍照當中。

使用超分算法修復前後對比

超分算法,全稱叫做圖像超解析度(SR,SuperResolution)算法,通俗地說,超分算法就是提高原有圖像的清晰度的技術,用在老電影修復很常見,但為什麼它對手機變焦如此重要?

這一方面當然是因為手機本身的局限。雖然現在手機通過加入一個潛望式結構的攝像頭已經可以做到5X光學變焦,但想獲得更高倍數效果又還不錯的變焦畫面,依然不能光靠鏡頭本身。

潛望式長焦手機鏡頭

另一方面,超分算法的進步,讓它越來越容易與智慧型手機結合。此前超分算法的實現方法主要是插值法、重構法,這類方法在單圖像超解析度提升上確實有用,但如今多幀運用越來越普遍,需要用到多張圖片生成的超解析度圖像。

於是乎,運用深度學習方法的超分算法也迎來了快速發展,也就成了如今用來優化手機拍照的AI的重要手段。

馬賽克如何變成高清圖

傳統數字變焦的問題在於放大丟失細節,放大過程中,傳統的線性插值法還會創造出一些原圖中並沒有的「雜質」,導致畫面模糊嚴重,就像充滿了「馬賽克」。

同樣是數字變焦的超分算法,又是怎麼依賴深度學習把「馬賽克」圖片變為高解析度圖的呢?簡單地說,機器學習是基於海量數據分析的數學模型,具體在高解析度修復的過程中,涉及到把原圖片做低清和高清的拆分和對比,最終實現高解析度重建的目的。

曠視科技的超分算法模型

這是一個循環往復的調節過程,對人來說是不可能完成的,但對於計算機來說,可能就是一瞬間的事。超分算法的進化,不僅取決於計算機算力,也需要模型的不斷優化,得到的圖片才越清晰。

超分和真實,你怎麼選

智慧型手機由於先天優勢,成了超分算法相對更容易切入的領域,華為、小米、vivo等手機廠商已經應用了起來。

在2017年,華為便藉助它的第一款人工智慧晶片麒麟970推出了HiSR超解析度技術,可以將朋友圈壓縮過的照片進行超解析度恢復,從而比在別的手機上看到的更清晰。P30 Pro上的「視場融合」系統,在3倍以下的變焦距離內,便是超分算法實現變焦。

當然,還有前面我們提到的,直接將超分算法用到變焦後的畫面,融合多張低解析度圖像的有用信息,產出一張更高畫質的成品變焦照片。

但是,超分帶來的清晰可能並不意味著更真實。

我們注意到,在超級月亮模式下,長焦鏡頭還可以針對月亮進行超分算法優化和AI增強,你拍到的月面的紋理比看到的更加清晰。另外還有個「夜景月亮模式」,可以把大月亮刻畫在一副日常的夜景照片中,讓夜景和月亮都清晰。

從變焦到拍月亮,再到夜景月亮模式,基於AI和超分算法的手機拍照,未來還有很多想像空間。但也有人提出疑問:使用AI、超分增強和補全算不算是取巧呢?而且還可能引入了一些和原始圖像無關的信息,雖然可以得到更清晰更好看的視覺效果,但並不真實。

目前來看,廠商和技術的發展是不會停下來思考這些問題的,能做的可能是給你一個可以關閉的開關,把最終選擇權交還給你。但是當一個更好看的畫面唾手可得時,你真的還會選擇關閉嗎?


關鍵字: