清華大學錢鶴、吳華強團隊研製出人工樹突器件,實現新型神經網絡

知社學術圈 發佈 2020-07-02T23:52:31+00:00

6月29日,清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊,聯合清華大學醫學院及腦與智能實驗室宋森研究員、美國麻省大學楊建華教授、阿里巴巴達摩院謝源教授、加州大學聖芭芭拉分校鄧磊博士,在Nature Nanotechnology上發表題為「Power-Efficient Neural Network with Artificial Dendrites」的研究論文,報導了基於動態憶阻器的人工樹突器件,成功復現了生物樹突對信號的非線性過濾、積分以及對時間信號的處理方式。


受生物神經網絡啟發,研製出一種具有豐富動態特性的人工樹突器件,構建了包含突觸、樹突、胞體三種基本計算單元的新型神經網絡,樹突功能顯著提升了網絡的準確率,同時大幅降低了系統的功耗,增強了網絡處理複雜任務的能力。

包含樹突計算的新型人工神經網絡示意圖


生物神經網絡由突觸和神經元組成,而神經元又包含樹突、胞體等基本結構,其中樹突具有非常複雜的拓撲結構和動態過程。許多生物神經系統的研究表明樹突具有十分重要的非線性時空信息處理功能,它是大腦能夠在處理複雜任務的同時保持低功耗的重要原因之一。當前的人工神經網絡大多將神經元用簡單的點模型表示,將其計算功能簡化成積分-發放(integrate-and-fire),而忽略了樹突的信息處理功能。這樣的簡化使得人工神經網絡在功耗、靈活性上與生物神經網絡相比仍存在很大的差距。


6月29日,清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊,聯合清華大學醫學院及腦與智能實驗室宋森研究員、美國麻省大學楊建華教授、阿里巴巴達摩院謝源教授、加州大學聖芭芭拉分校鄧磊博士,在Nature Nanotechnology上發表題為「Power-Efficient Neural Network with Artificial Dendrites」的研究論文,報導了基於動態憶阻器的人工樹突器件,成功復現了生物樹突對信號的非線性過濾、積分以及對時間信號的處理方式。


為了驗證人工樹突的計算功能,研究團隊將所開發的人工樹突器件與導電細絲型突觸器件、Mott相變型胞體器件進行系統集成,構建了包含突觸、樹突、胞體三種基本計算單元的新型神經網絡。實驗結果顯示,由於樹突功能的引入,該網絡在處理具有複雜背景噪聲的街景門牌號(SVHN)數據集時,胞體的動態功耗降低30倍,網絡的準確率提高8%以上,系統評估整體功耗比CPU降低3個數量級。來自清華大學微電子所的吳華強教授是該論文的通訊作者,李辛毅博士、唐建石助理教授和張清天博士是共同第一作者。


近年來,錢鶴、吳華強教授團隊長期致力於基於憶阻器的存算一體晶片技術研究,從器件性能優化、工藝集成、電路設計及架構與算法等多層次實現創新突破,相關研究成果發表於Nature、Nature electronics、Nature Communications、Advanced Materials等頂級期刊和ISSCC、IEDM、VLSI等領域內頂級國際學術會議上。


受生物啟發製備的新原理樹突器件,復現了生物樹突對信號的非線性過濾、積分等功能


集成了突觸、樹突、胞體三種計算單元的新型人工神經網絡,在SVHN數據集上驗證了功耗和準確率上的顯著優勢


該工作的主要創新之處包括:

  1. 開發出了與CMOS工藝兼容的樹突器件,其豐富的動態特性復現了生物樹突單元的非線性過濾、積分以及對時間信息處理等功能。
  2. 將所製備的人工樹突器件和基於導電細絲的突觸器件、基於Mott相變的胞體器件進行集成,首次在硬體系統上構建了包含突觸、樹突、胞體三種基本計算單元的新型人工神經網絡。
  3. 在包含複雜背景噪聲的街景門牌號數據集(SVHN dataset)上,對包含樹突計算的人工神經網絡功能進行了驗證。樹突功能的引入將胞體的動態功耗降低30倍,同時將網絡準確率提高了8%以上,系統評估整體能耗比CPU降低3個數量級。


該研究基於新原理憶阻器的豐富動態過程開發了神經形態樹突器件,並進一步驗證了新型人工神經網絡的功能。未來通過器件、算法、電路、架構的協同創新與優化,有望進一步提高包含樹突計算的人工神經網絡處理複雜時空任務的能力,構建更加智能化的低功耗神經網絡。


該研究工作得到了國家自然科學基金委、國家重點研發計劃、北京市科委、北京信息科學與技術國家研究中心等支持。

論文連結:

https://www.nature.com/articles/s41565-020-0722-5

關鍵字: