Reddit 票選:2019 年絕對不能錯過的機器學習論文

thu數據派 發佈 2020-01-23T18:23:37+00:00

本文介紹Reddit 上網友 2019 最喜歡的論文,供大家一起分享、學習與探討。雖然 2019 年已經漸行漸遠,但回顧這一年,人工智慧領域發生的很多大事件產生的影響依然深遠。

轉載自:HyperAI

本文1162字,建議閱讀3分鐘

本文介紹 Reddit 上網友 2019 最喜歡的論文,供大家一起分享、學習與探討。

雖然 2019 年已經漸行漸遠,但回顧這一年,人工智慧領域發生的很多大事件產生的影響依然深遠。

從黑洞照片公布到量子霸權實現,從清華天機芯到 ZAO App 的 AI 換臉,從中國人臉識別第一案到 AI 合成語音詐騙……

同時,在 AI 引發頗多思考的一年中,優秀的論文也源源不斷地誕生,讓我們得以了解和學習,在 AI 領域各個方向的技術所取得的新進展。

我們收集了 Reddit 上,網友分享的「2019 最喜歡的論文」,與大家分享,希望大家能從這些論文中,對 2020 年人工智慧的發展方向、前沿技術,略窺一二。

Reddit 傳送門:http://dwz.win/wke

1

理論研究

《藉助欠平滑 HAL,有效估計路徑可微分目標參數》

論文連結:https://arxiv.org/pdf/1908.05607.pdf

在本文中,作者認為,功能參數平滑特徵的漸近有效估計量,都可在易驗證的全局欠平滑條件下,藉助 Spline-HAL-MLE 獲取。

通過使用 targeted HAL-MLE 作為元學習步驟,有可能得到一個估計器,該估計器可將 superlearning、 undersrmoothed HAL-MLE 以及 TMLE 結合利用。

平均密度值參數的模擬結果

2

計算機視覺

《BA-Net:密集捆綁調整網絡》

論文連結:http://dwz.win/wmQ

本文介紹了一種神經網絡,通過特徵束調整(BA),來解決運動結構(SfM)問題。此外,這項工作引入了一種新穎的深度參數化,來恢復密集的每像素深度。

整個系統很好地結合了領域知識(硬編碼多視圖幾何約束)和機器學習,從而解決極具挑戰性的 SfM 問題。大規模實驗證明,該方法優於傳統 BA 及當下的深度學習方法。

BA-Net 結構一覽

3

計算機視覺

《MoCo:無監督視覺表示學習方法》

論文連結:https://arxiv.org/pdf/1911.05722.pdf

論文的一作是計算機視覺領域大牛何愷明。該方法在一系列無監督計算機視覺相關任務中,都表現優異。MoCo 從 IN-1M 到 IG-1B 的改進引人注目,但相對較小,這表明較大規模的數據可能沒有被充分利用。

除簡單的實例區分任務以外, MoCo 還可以應用於 masked auto-encoding 等自監督任務,無論是語言方向還是視覺方向。

三種對比損失機制的概念比較


4

無監督學習

《通過隱藏單元對抗進行無監督學習》

論文連結:http://dwz.win/wuJ

在文中,作者設計了一種學習算法,該算法利用隱藏層中的全局抑制,能夠以一種完全無監督的方式,學習早期的特徵檢測器。

這些低層特徵檢測器通常可藉助監督的方式,訓練高層權重,從而使整個網絡的性能可與標準前饋網絡的性能相提並論,通過反向傳播算法,實現簡單的訓練任務。

訓練算法的 Pipeline

5

理論研究

《N-BEATS:可用於可解釋時間序列預測的神經基礎擴展分析》

論文連結:https://arxiv.org/pdf/1905.10437.pdf

作者在本文中提出並驗證了用於單變量 TS 預測的新型架構。該架構通用且靈活,在各種 TS 預測中,都表現良好。

該實驗證明 DL 可以多任務方式,在多個時間序列上訓練模型,並且支持共享獨立的學習任務。研究人員推測,N-BEATS 的優秀表現,可以部分歸因於它執行了元學習的形式,未來將在該領域進行更深入的研究。

—完—

關注清華-青島數據科學研究院官方微信公眾平台「 THU數據派 」及姊妹號「 數據派THU 」獲取更多講座福利及優質內容。

關鍵字: