一文看盡深度學習各領域最新突破

人工智能產業鏈聯盟 發佈 2020-01-09T17:05:12+00:00

dl=0本文所介紹的內容是MIT系列課程之一,是有關深度學習最新進展的講座。課程提綱:BERT和自然語言處理特斯拉自動駕駛儀硬體v2+:大規模神經網絡AdaNet:集成的AutoMLAutoAugment:深度強化學習數據增強用合成數據訓練深度網絡使用Polygon-RNN++進


文章轉自:產業智能官

想要了解深度學習各領域的最新進展?

看個視頻就足矣。


該課程的PPT資料,下載地址如下:

https://www.dropbox.com/s/v3rq3895r05xick/deep_learning_state_of_the_art.pdf?dl=0

本文所介紹的內容是MIT系列課程之一,是有關深度學習最新進展的講座。可以說,該課程的內容定義了這個領域的最前沿的技術。

課程提綱:

  • BERT和自然語言處理
  • 特斯拉自動駕駛儀硬體v2+:大規模神經網絡
  • AdaNet:集成的AutoML
  • AutoAugment:深度強化學習數據增強
  • 用合成數據訓練深度網絡
  • 使用Polygon-RNN ++進行分割注釋(Segmentation Annotation)
  • DAWNBench:高速、低代價訓練
  • BigGAN: 圖像合成中的最先進技術
  • Video-to-Video合成
  • 語義分割
  • Alpha Zero和Open AI Five
  • 深度學習框架

BERT和自然語言處理


  • 編碼器-解碼器架構


  • 注意力機制
  • Transformer


  • 詞嵌入向量


  • 上下文感知嵌入


  • OpenAI Transformer


  • BERT



特斯拉自動駕駛儀硬體v2+:大規模神經網絡




AdaNet:集成的AutoML



AutoAugment:深度強化學習數據增強



用合成數據訓練深度網絡



使用Polygon-RNN ++進行分割注釋(Segmentation Annotation)



DAWNBench:高速、低代價訓練



BigGAN: 圖像合成中的最先進技術



Video-to-Video合成



語義分割


Alpha Zero和Open AI Five




深度學習框架



深度學習不僅是知識,而是思維範式的轉變


1956年,達特茅斯人工智慧夏季研究計劃首次提出「人工智慧」一詞,標誌著這一學科的正式誕生,並鼓舞了一代又一代的科學家不斷探尋可以媲美人類智慧的信息技術的潛力。

作為人工智慧從概念到繁榮得以實現的主流技術,「深度學習」也被全球各大科技巨頭紛紛擁抱。

自動駕駛、AI醫療、語音識別、圖像識別、智能翻譯以及震驚世界的AlphaGo……

我們今天所看到的各種形式的人工智慧,背後都是「深度學習」在發揮神奇的作用。

深度學習究竟是什麼?它是如何一步步影響科技、商業和社會生活的?未來若干年,它又將如何影響我們所處的世界?

全球十大AI科學家、美國四院院士之一的特倫斯·謝諾夫斯基的新書《深度學習:智能時代的核心驅動力量》,從深度學習60年間的發展浪潮中前瞻性地預測了智能時代的商業圖景。

關於本書微軟(中國)CTO韋青老師做了分享與領讀。大家請欣賞。

深度學習不僅是知識,而是思維範式的轉變


首先我們怎麼看深度學習,它到底是新的知識,還是一種範式的轉變?深度學習是人工智慧的一種方式。人工智慧非常廣泛,其中機器學習是一方面,深度學習又是機器學習的一個子域。我認為深度學習不僅僅是知識,更是一種思維範式的轉變。

愛因斯坦說過:「我們不能用製造問題時的同一思維水平來解決問題」。我們現在處在一個智能的時代,機器開始解決很多人類原來以為自己擅長的,結果是機器更擅長解決問題。所以我們需要努力學習新的知識。新的知識要求我們對人類的思維方式和通過數學算法對世界描述轉變,讓我們理解這個世界是由很多模型構成的。人類思維方式和思考能力也是一種模式的識別,這種模式的識別發現和數學算法有一種天生的關係。

如果我們還帶著過去的思維方式,無論是電氣化時代的思維方式,甚至是信息化時代的思維方式,都無法理解智能時代人腦的思維方式和計算機的計算方式有什麼異同點。

這會產生兩種結果:一方面容易把人工智慧所帶來的成就神話和誇大,另一方面對數學的進步和算法的進步帶來的人工智慧發展成果產生誤解。現在出現很多「機器是否會代替人,機器人是否讓人類滅亡」的擔憂。這就是因為沒有充分了解人工智慧的本質。

人的視覺是如何形成的?從科學角度來講,你並不是真正的看到我,或者看到其他人。視網膜上的視錐細胞和視杆細胞把光子轉化成電子,電子通過視神經到大腦皮層,通過一層一層分析,大腦通過對電信號的計算看到了我。如果理解了人的視覺行為,我們就能更深入的理解現在流行利用人工智慧算法的方式去解讀視覺信號、視頻信號,也更容易理解為什麼現在的人工智慧可以做圖形分析、圖像分析、視頻分析。

以史為鑑,重新認識科技進步


在全球範圍內由於技術的進步引發的新話題層出不窮,我們不斷接收到新的理念。越來越多的公司和人發現,人類開始進入「無人區」,沒有一個大思想家或者大哲學家能夠告訴我們未來會怎麼樣。所以人們產生了很多爭論,關於人工智慧的爭論,關於機器智能的爭論,關於機器人的爭論,關於技術和人類關係的爭論等等。

去年10月份微軟公司CEO薩提亞的一場非常有名的演講上說,未來沒有人引導我們,那麼我們可以以史為鑑,看看歷史上發生過什麼。最有代表性的就是第一次工業革命到第二次工業革命之間,由蒸汽時代進入電氣化時代。我把這個階段總結為四種態度和四種結局。當時有很多有影響力的全球性的公司,他們用蒸汽力量代替人的四肢。但當電氣出現的時候,絕大多數公司態度是看不起電,因為開始的階段電的效率並不夠高。第一類公司的想法是電力不行,效率低,沒有未來,蒸汽力量足夠了,一百年之後他們被淘汰了。

第二類公司放下一些包袱,認為電是新生生物,也有潛在發展的可能性,但是仍然堅信蒸汽機的力量,堅信只要對蒸汽機進行改良一樣可以保持競爭力,這些公司也被淘汰掉了。


最可惜是第三類公司,他們已經放下舊的生產力,開始擁抱新的生產力和形成新的生產關係,但是思維方式沒有改變。他們認為自己全面擁抱電氣化時代,已經產生比蒸汽機時代超高的效率,更低的成本,但是他們還在跟蒸汽機相比,這些公司最終也被淘汰掉了。

當時大部分企業對於電氣化的觀念只是能點多少盞燈,或者生產線能夠提高多少效率。只有5%的公司選擇徹底放下包袱,忘記什麼是電氣,什麼是蒸汽,而是把它們都當成是工具。這些公司要的就是進入新的時代。這代表更高的效率,更低的成本和更優秀的用戶體驗和產品品質。

通過歷史上的事件可以發現,我們現在對未來的任何預估都是不足夠的,都可能沒有完全估計到未來的衝擊力。

在五六十年前,全中國人民都有一種對未來社會的憧憬——樓上樓下電燈電話,這在當時來說是非常具有前瞻性了。當時的人們認為已經看到了最終最理想的社會,但是幾十年之後再看,當時的憧憬並沒有那麼遠大。從人類從開始考慮到用電到電的普及,已經有一百多年的歷史。

我們發現電不僅僅可以點燈,不僅僅可以驅動電器,不僅僅可以驅動電機,甚至還可以有計算機,還可以驅動一輛汽車,電力比原來的內燃機要更加高效、更加可靠和更加優秀。

我們跟客戶的交流中也有思考,是否需要做思維的轉變,才有可能真正理解這一輪技術變革是怎麼回事。如果我們還抱著老的觀念,抱著產生問題時候的觀念,我們真能夠理解這個偉大的時代將帶給我們的輝煌未來嗎?我們是否需要先把我們認為的所有成見都放掉,然後再來看現在的技術到底怎麼回事?我們也知道深度學習只是機器學習、人工智慧的一部分,我們要把深度學習的包袱也放下,擴展到我們進入的這個時代來思考。

不管從1956年的達特茅斯會議,還是更早的圖靈時代、馮·諾依曼時代、香農時代,他們都有對於人工智慧的理解,都有對於計算機到底能做什麼事情的理解。我們並不是直接進入了機器學習的時代,中間還有一個階段是希望通過邏輯的關係。

我們知道都有一種服務If This Then That,也就是IFTTT。這種服務充能夠理解人的邏輯思維。比如說If我餓了,Then我要去吃飯。If我是北方人,我餓了,Then我願意吃的是面而不是米飯,用這種方式試圖解讀人類決策機制。後來發現比較困難,一些專家認為這條路走不通,所以選擇用模仿腦神經的機制來做決策。


現在很流行的說法是雲時代要結束了,未來幾年都是邊緣智能時代,為什麼?其實這和學習能力也是相關的。在某種意義上可以把人類看做是一個發電機,我們之所以要吃碳水化合物,還要呼吸氧氣,是因為我們在以氧化的形式進行燃燒,產生能量、產生電力。我們之所以看到東西其實不是真的看到,而是把光子變成電子,大腦去分析電子產生視覺,聽覺也是一樣。

在歷史上的某個階段,古人類開始發現和使用工具,比如用骨頭或者石片可以敲東西,完成手完成不了的能力。著名的科幻電影《2001太空漫遊》中有一個非常著名畫面,猿人忽然有一天發現可以拿骨頭去敲另外一個骨頭,可以把別的骨頭敲碎,這就是人類歷史上大的進步。他就發現這個骨頭不僅可以敲骨頭,也可以敲肉,可以敲瓜果,敲野獸,也可以用來防身。那時候人類發現,原來可以拓展四肢的能力,利用外部工具去提高自己的能力。

工業革命之後,人類發現不僅靠傳統的工具,還可以靠各種機械的力量代替人類的四肢。我們現在不會無聊到說在肌肉能力方面還可以跟機器一拼,比如去和一輛汽車比賽跑步,應該沒有人會這樣做了。

其實不僅是肌肉的機能,我們連計算的機能都都已經被淘汰掉了。有沒有人可以馬上對7開3次方?應該沒有。十幾塊錢的一個計算器可以做到。我們為什麼對這種現象不會抱恐懼心理,而對人工智慧抱有莫名其妙的恐懼心理?

我們能不能抱著這樣一種態度,不是僅僅了解深度學習,而是通過深度學習了解機器學習的原理,通過機器學習原理了解人類學習的機制,進而了解人類智能的運作機制,然後才能夠深刻理解人和機器智能特點分別是什麼。

取代我們的不是AI,而是被AI賦能的人


這個時代只尊重創新。你昨天是專家,如果你不趕上時代潮流,明天肯定就不是專家了。現在是一個末日感比較強的時代,大家總擔心錯過機會機會輸在起跑線上。巨變的時代,沒有起跑線的概念,每天都是起跑線,稍微一放鬆腳步就會被人超過去,這個時代是壓力很大的時代,同時也是機會很大的時代。

理解時代特點,我們要了解深度學習,了解機器學習,進而了解人類學習特點,但是更重要是什麼?我們要號準時代的脈搏,要知道在這個時代要採取什麼樣的態度和策略,才能夠跟上時代的腳步。

我們既不要成為時代的棄兒,也不希望成為烈士,我們最希望成為一個先行者。這個時代最大特徵就是機器從代替人的四肢開始,已經於無聲處開始代替人的大腦,甚至會慢慢代替所有能夠出現的人類能力。明白這一點我們才可以理解所處的時代。


面對深度學習和人工智慧的發展,一種人選擇放棄自己,一種人會產生絕對的抗拒心理,不去主動擁抱這種能力,這都是有問題的。因為這種能力確實很強大,你不去擁抱的話,有可能被去擁抱這種能力的人類所淘汰掉了,被他們產生降維打擊的能力了,這個其實很危險的。

與其說是機器或者人工智慧,或者機器智能會代替人,倒不如說掌握了機器智能人類變成一種超人類,他們會把不具備這種能力的人類所代替掉,或者所降維打擊掉。

地球上的人類都面臨這樣的挑戰,都面臨我們如何跟機器智能相處,如何提高我們能力,才能使我們具備更高的能力來應變這個時代的挑戰。人工智慧帶來的這種降維打擊還是很強大的,如果我們不認真的應對,去努力學習,並且去積極擁抱這種能力,有可能就真的被降維打擊了。

技術是拿來用的,而不是拿來吹和炒的

很多業界專家都有這樣的感受,現在媒體對人工智慧的炒作過熱,反而讓廣大讀者,甚至是決策者失去了去這件事的核心把握。人工智慧的核心實際上就是機器學習的能力,就是一種機器智能。現在主要表現方式是深度學習,但並不意味著我們曾經嘗試的符號學,用邏輯推理的方式其實並沒有過時,只不過還無法實現。

現階段深度學習取得了巨大突破,引領大家進入到新的未來。新的未來裡面會不會是深度學習和其他人工智慧、機器學習的方式共存的方式?我們並不知道,所以我們不要排斥這種觀點,尤其不要認為現在就是深度學習這一種學習方式。未來應該是人類的學習能力、機器學習能力、深度學習能力和邏輯推理能力是共融共生的階段,這可能是更加客觀描述未來時代特徵的一個方面。

智能時代之前的深度學習要靠數據的堆積去學習和驅動。但是現在的數據既不夠大,也不夠好。雖然我們有很多數據,但是並不算真正的大和好。大數據的概念並不是多,我們數據結構和數據來源沒有形成萬物互聯的社會,物聯網沒有布局到,5G沒有到位,可能數據不夠那麼多,不夠那麼好。支撐萬物互聯的基礎架構恰恰是一個雲計算的架構。所以倒著講是智、大、物、雲,正著去演繹是雲、物、大、智。

如何理解人工智慧


如何理解人工智慧我總結了四點:首先,一定要應用。如果我們去學了「學會如何學習」的課程就會發現,現在最流行的方式是Problem-Based Learning,就是以問題為導向的學習,以實際解決問題方案的學習。未來是終身學習的時代,不存在大學畢業之後就不學習了。如何終身學習?一定要帶著問題去學,這樣學得越來越深入,學得越來越有用。人工智慧也是一樣的,它是一種學習的過程。學習不能為了學而學,一定是問題為導向的。

我的第二個觀點就是,深度學習的發展不僅僅要靠數學的進步,不僅僅要靠計算機科學的進步,還要對人類自己的神經、腦神經、傳輸神經、感知神經的理解,才能知道是怎麼回事。

現在我們每個人有基礎的學習能力,機器學習也是一樣,只是通過開放的接口開放學習的通用能力。未來每個人一定要在通用能力之上,掌握行業的學習能力,才能夠真正為人類帶來更大的福祉。

第四點就是要真正產生深度學習能力,我們需要有數據,需要有人才,還要有算法和算力。像微軟這樣專業公司可能會提供更強大的算法和算力,更多的公司需要在人才培養,數據收集上面下很大功夫,這樣才能產生互動的促進作用。數據、人才、算法、算力這四者缺一不可。每一方面在未來都巨大的商機,正是因為我們即將進入智能社會,商機恰恰不是只在智能本身,而是各個方面。

沒有專家的時代,每個人都要終身學習


這個時代是沒有專家的時代,我們每個人都在學習。不存在輸在起跑線上,因為每天都在新的起跑線,我們只要不放棄學習,不放棄自己,不要認為我到了某種年紀或某種地位,我就不去學了,也不要因為我是學文科或者我是學理科的我就不要再學其他的知識。

未來需要的是天天學習。因為這個偉大時代還沒有來,我們最多是摸著大象的其中一部分,所以每個人都有可能成為最終摸到大象整體的那個人。


正是因為這個時代沒有專家,同時也是沒有所謂的公理的時代,每一個理論都有可能成為當時可行的理論,但是並不意味著能夠成為永遠的理論,永遠成功的法則。我們要去學習,不要唯各種專家,不要唯新,更重要唯實,你自己去試,小馬過河,水是深淺只有自己知道。

最後以比爾·蓋茨先生的這段話作為結尾:「人們大都傾向於高估他在一年內所能完成的事情,但又容易低估他們堅持十年後能夠取得的成就。」大家一定要明白,第一沒有專家,第二沒有起跑線,第三每天都在重新更新有新知識新理念出現,先不要放棄自己,同時把握最基本的對自己的自信和信念,認真學習。

精彩提問

Q:我之前也有一些關注,深度學習在反洗錢系統,包括金融詐騙有非常成功的運用,跟您請教一下類似於基金領域方面還有哪些比較成功的先例,在未來十年之內能夠用上的應用技術?

韋青:現在大家發現人工智慧在防欺詐金融領域有很優秀的使用了,未來有哪些領域能夠更好利用現在的人工智慧?雖然我們稱之為是人工智慧,它是機器學習的方法,而現在又是一種深度學習的方法。歸根到底,它只是一種數學和算法對人的一種思維方式的模擬,對自然界模型的模擬和認知。只要能夠通過數學方法,把自然界能夠產生某種模型的模式識別出來,都是現階段以深度學習為代表的機器智能最大發揮場景。

為什麼現在人工智慧在圖形識別領域,視覺識別和聽覺識別有很大進步,而在嗅覺識別和味覺識別,這些方面還沒有很大進步,為什麼?因為視覺和聽覺信號的傳播和識別的方式,恰恰能夠被數學的矩陣方式所來描述,正是因為這樣它就能夠用數學的方式去表達出神經網絡的方式能夠進行學習。

在未來不管是五年還是十年,如果我們發現了某種數學表達方式能夠形容味覺、嗅覺、觸覺的話,人類這些功能也會被機器能力所代替,而且可以做得更好。其實不是說人工智慧或者機器智能,什麼做得更好,其實是數學能夠更精確的表達人類某種產生的信號,哪個能夠識別出來,哪就有非常美好的前景。

Q:5G時代,AI時代,從畢業生轉為職場人,能立於不敗之地的硬本領和素質有哪些?三點即可。

韋青:這個時代需要形成你自己的觀點,你需要具備一種從現象抓本質的能力。學習是一種能力,學習有科學的方法。科學的方法不是我們通常意義上理解的某個人做事科學不科學,其實科學方法是一種方法論。學習方法還有一種蘇格拉底提問法,或者豐田五問法。我覺得這個時代恰恰需要掌握科學的方法,比如豐田五問法和蘇格拉底的提問法。因為這種學習方法是不迷信的,不唯專家,不唯前輩,不唯理論,只唯實。現在5G吹捧的很多,很少有人知道5G除了速度快以外,有另外兩個真正能夠引領萬物互聯的特徵。第一個特徵是尋址,地址的極度擴大,不僅能夠尋IPV4,也能尋IPV6的地址,這樣就能夠幫助我們進入萬物互聯信息採集和傳輸時代。另外一個特點是低延時,低延時才能真正解決萬物互聯時代神經傳播的原理。

5G並不一定是解決人工智慧萬物互聯的唯一方法。中國在這方面有很多優勢,我們恰恰是唯實的民族。廣州、深圳的很多公司創新創業,不管技術是什麼,而是看有沒有用。科學方法另外一種解讀,實踐是檢驗真理的唯一標準,科學方法的前身就是實踐論。真正悟透了科學的方法、蘇格拉底提問法和豐田五問法,一定可以應變各種紛紜的說法、理論、見解。我認為到了以現在造詞的速度來講,2020年深度學習的概念就不流行了,一定會有一個我們現在沒有想到的新詞變得很流行。到了那個時候,我們是否要把好不容易學的深度學習理念丟掉去學習新的概念或方法,還是說它只是原來方法的變種。如果有科學的方法,蘇格拉底的學習方法和豐田五問法,就能夠讓你辨別出什麼是真實的知識,什麼是暫時的虛幻。

Q:業界和學界有觀點認為AI不會取代人類,只會讓人類越來越聰明。同時我們看到很多企業家,比如說埃隆·馬斯克特別擔心AI成為獨裁者,您更認同哪個觀點?

韋青:首先以埃隆·馬斯克的說法開始,他最早答案是Open AI,它背後的含義和現在世界經濟論壇的方法是如出一轍的,是要解決數字鴻溝的問題。

馬斯克的意思是這個新生事物非常強大,遠超出我們人類能夠想像的強大程度。擁有這種能力的人類將變成一種超人類,如果這種超能力被掌握在居心不良人類手中,就可能對不具備這種能力的人類產生壓迫式的打擊。

所以他的方法有兩種,一種是不發展它,人類歷史證明了不可行的,因為你不發展可以,有人會發展。另外一種方法我努力擁抱它,我讓它變成公器,不是私器。你要把擁有巨大能力的工具變成公器,每個人都有,我要讓它平民化。有一類觀點認為一旦平民化之後,再厲害的能力和工具也會為廣大人類產生福祉。這裡面有一個隱憂,人類不能自己放棄自己,不能因為我是學文科的,我已經60歲了,我本來就是學計算機的,所以我不用學這個了,在我看來這就是放棄掉自己了。

埃隆·馬斯克不認為人類能夠把控住自己,他建議禁止研究人工智慧。但他同時推出另外的方法就是Open AI,他把兩種方案都執行了。一方面要管控,另外一方面讓它開放,有責任感各大公司都在這麼做。

人工智慧行業門檻並不高,行業學著把各種算法全部開源了。現在真正的壟斷或者鴻溝並不是產生在算法上,反而產生在數據上的。很多企業在這樣做,但是很多個人沒有明白這一點,沒有努力擁抱這種變化,結果平白無故的擔心我是否會被淘汰。人類會不會所謂的技術淘汰?

我認為也會也不會。當你主動放棄了自己,沒有主動去擁抱這種技術,會被擁抱這種技術的人類淘汰,人不會被技術淘汰的,是被掌握了更高技術的人類淘汰了。通過這個高度去理解,埃隆·馬斯克的觀點與比爾·蓋茨、霍金、世界經理論壇的各種企業家的觀點如出一轍,最終核心點有兩點:第一人工智慧的能力非常強大,第二誰擁有它。

第二點誰擁有它,有悲觀認知,有樂觀認知。悲觀認知認為由於人類的惰性,技術只能被那些積極主動、思維敏感的人擁有。很多企業家認識到了這一點,所以選擇讓技術平民化、普及化。——大數據文摘出品


薦:

【中國風動漫】除了《哪吒》,這些良心國產動畫也應該被更多人知道!

聲明


來源:產業智能官,RAD極客會(ID:RAD_Geek_Club)推薦閱讀,不代表RAD極客會立場,轉載請註明,如涉及作品版權問題,請聯繫我們刪除或做相關處理!

關鍵字: