曠視開源深度學習框架天元,為什麼說深度學習框架沒有捷徑可走?

羅超頻道 發佈 2020-03-26T09:12:06+00:00

3月25日,曠視宣布開源新一代AI生產力平台Brain++的核心深度學習框架曠視天元,其前身是曠視內部自用的算法訓練推理引擎MegEngine,由曠視3名實習生在2013年啟動研發,於2014年正式完成上線,支撐曠視6年以來在國際AI競賽的表現,以及公司產品和業務的落地,目前服務

3月25日,曠視宣布開源新一代AI生產力平台Brain++的核心深度學習框架曠視天元(MegEngine),其前身是曠視內部自用的算法訓練推理引擎MegEngine,由曠視3名實習生在2013年啟動研發,於2014年正式完成上線,支撐曠視6年以來在國際AI競賽的表現,以及公司產品和業務的落地,目前服務於曠視研究院1400餘名AI開發者。

Brain++是曠視自主研發的端到端人工智慧算法平台,具備大規模算法研發能力。針對框架、算力和數據三個核心要素,曠視Brain++在總體架構上分為三部分,包括深度學習框架MegEngine、深度學習雲計算平台MegCompute、以及數據管理平台MegData,天元是曠視Brain++最核心的組件。

有媒體報導稱曠視天元(MegEngine)「重新定義AI基礎設施」,因為「國產自主可控的深度學習框架,將是中國打造數字基建中AI核心能力的底座,釋放更多生產力。」那麼,作為後來者的天元(MegEngine),真的可以趕上谷歌Tensorflow和百度PaddlePaddle等先行者嗎?

技術層面,已經達到世界領先嗎?

深度學習框架不是什麼新鮮事物。所謂深度學習框架,相當於是AI作業系統,有了這個框架,機器視覺、語音和知識圖譜等AI技術都可基於框架研發,避免後來者重複造輪子。早在2010年AI方興未艾時,深度學習框架就已開始火熱,谷歌和Facebook是先行者,2015年開源的谷歌Tensorflow流行於工業界,擁有業界最完善的工具鏈和生態;Facebook Pytorch則以易用性著稱,在科研界有較高占有率。在兩者外,還有Amazon、微軟、百度等科技巨頭擁有自主深度學習框架。如今,深度學習框架在AI領域已經是基礎設施。

科技巨頭的深度學習框架的研發與開源的啟動時間均比MegEngine早多年,MegEngine公布的資料顯示,其在自動求導、預訓練模型、訓練速度、部署效率、異構設備支持等深度學習框架的關鍵能力上,與發展多年的Tensorflow全都在一個級別,在一些維度比Facebook Pytorch、百度PaddlePaddle等均表現更好,從技術實現來看這樣的可能性不大。深度學習框架本質是將很多底層基礎代碼抽離出來,需要日積月累的研發,後來者除非有數倍於先行者的人力與研發資源投入,才有可能趕上。MegEngine雖然源自於獨角獸曠視,但其研發資源顯然不如世界級科技巨頭充沛。

深度學習框架的模型支持十分重要,模型意味著框架適應不同場景下AI實現的能力,比如機器視覺、語音識別等不同場景,而MegEngine目前自有模型跟先行者比少且缺乏亮點,只有少數幾個視覺模型,或許正是因為自有模型數量相對較少,MegEngine宣稱「為了解決模型復現困難的問題,天元支持PyTorch Module 導入,可針對計算機視覺任務進行優化。」從MegEngine公布的路線圖來看,Beta 版本的推出尚在6月份,不論是異構設備支持還是部署能力都還有待觀察。

自主層面,真的是國產之光嗎?

有媒體報導稱,「曠視的加入,讓國產自主深度學習框架再添一員,使中國的人工智慧開發工具可以在國際上與谷歌的TensorFlow、Facebook的PyTorch對壘,相比國外的框架和平台,誕生於中國應用場景的深度學習框架與中國產業轉型更適配,有望讓更多中國的企業更快捷的獲得AI研發能力。」看上去,似乎想把曠視MegEngine打造成國產之光。

如果了解過中國深度學習框架的發展,可能會有不同看法。AI產業化時代,我國已經將AI上升為國家科技戰略,作為AI基礎設施的深度學習框架確實具有戰略價值,特別是在技術自主的大趨勢下。正是因為此,作為AI技術領先者的百度,在2013年就已成立深度學習實驗室,研發深度學習框架PaddlePaddle,百度的語音技術、自然語言處理技術、計算機視覺技術等等,均是基於PaddlePaddle研發。

作為百度AI「壓箱底技術」,PaddlePadde在2016年就已開源,經過四年發展已經在行業中占據一席之地,且在中國的深度學習框架市場具有優勢,IDC 在2019年6月發布的報告顯示,在國內深度學習綜合市場中,谷歌、Facebook、百度三家共占據超過一半的市場份額,谷歌TensorFlow占據著主要市場,百度飛槳(PaddlePaddle)占據第三,增長勢頭明顯。2019年PaddlePaddle入圍世界網際網路大會「世界網際網路界領先成果」時,已服務150多萬開發者,廣泛應用於工業、農業、服務業等,從工廠中的質量檢測和安全管理,到田野里的農藥控制和蟲情監測,到商品數據分析、診療輔助決策,PaddlePaddle成為各行各業技術創新、智能化升級的基礎底座。

在技術層面曠視天元(MegEngine)相對於百度PaddlePaddle而言並沒有什麼明顯優勢,一方面百度在AI技術上布局更早,投入力度更大,且不只是聚焦機器視覺技術,而是較為全面地覆蓋了自然語言處理、知識圖譜、語音識別等關鍵AI技術,在這一過程中百度在百度大腦、PaddlePaddle等底層AI技術上一直在戰略投入。另一方面百度擁有搜索、小度、Apollo等核心應用場景,且通過百度智能雲構建了一個AI產業生態,給PaddlePaddle的普及奠定了很好的基礎,反過來錘鍊了PaddlePaddle的技術能力。實際上,天元(MegEngine)提出的「動靜合一」、「訓練推理一體化」這樣的亮點,也一直是PaddlePaddle的重要特點。

不可否認,深度學習框架就像自主晶片或者作業系統一樣對我國科技產業具有重要戰略意義,正是因為此,百度後,阿里、曠視、華為等玩家布局深度學習框架都值得鼓勵,不過不管誰來做框架,都應該憑技術實力和開源社區服務來吸引開發者。深度學習框架開源後,產品好用與否,開發者一看代碼或者在社區一交流就知道。

生態層面,真的可以一蹴而就嗎?

今天開發者可選的深度學習框架越來越多,同時隨著AI產業化加速AI研發越來越複雜,因此開發者對深度學習框架的要求越來越苛刻:要易用上手、要功能模板豐富、更性能強大,要部署方案全面,要有前沿技術支持。可以說深度學習框架的門檻越來越高,任何框架要實現這些都不能一蹴而就,唯有花時間、投資源打磨積累,一行行堆代碼才能滿足開發者需求。這跟手機晶片的發展很相似:我們看到很多手機公司都在做晶片,但真正做得好的只有蘋果、華為這樣的領先對手十年甚至更早布局的公司,當它們建立技術壁壘後,後來者即便是砸錢也已無法趕超。

還有一點至關重要:任何開源技術的競爭核心都不只是技術本身,最終一定會落到開源社區生態上。開發者的支持,上下游產業鏈夥伴支持,都是開源深度學習框架普及的關鍵。這一點就像作業系統,當華為手機面臨安卓斷炊問題時,最大的挑戰不是代碼本身,雖然華為推出了鴻蒙系統,但應用生態卻很難一朝一夕建立,正是因為此華為正在力推HMS。同樣,任何深度學習框架開源都要花時間去培育開發者生態,去獲取開發者與產業的支持。

在開源社區生態上,具有科技巨頭背景的框架具有顯著優勢:

1、巨頭背景意味著更多的社區資源支持,它們的深度學習框架團隊可以把握技術趨勢快速轉化成產品,可以給予開發者教育、文檔、工具、社區等方面更加全面的支持,初創公司很難具備這樣的資源投入能力。

2、巨頭背景意味著更多的場景支持,巨頭一方面有海量自有場景,另一方面擁有繁榮的開放生態,本身就有大量的開發者,因此具有各種業務場景來對框架進行打磨錘鍊,初創公司應用場景則相對單一。

3、巨頭背景對開發者來說意味著一種「保險」,初創公司的開源平台意味著更大的不確定性,開發者未來可能會面臨支持資源匱乏等問題,切換成本會很高,而巨頭的框架則可以給予開發者更大的選擇信心。

全球範圍內,真正在持續投入深度學習框架的企業,正是谷歌、Facebook、微軟、百度這樣的科技巨頭,且它們均是真正戰略重視AI的科技巨頭,它們入局AI時間早,同步布局深度學習框架時積累了較好的開源生態基礎,後來者要想走捷徑一夜趕超,幾乎沒有可能。

關鍵字: