科技行者

訂閱

發行量:44 

重建隱私保障,需要讓AI模型快速「忘記你」

但是,要想讓經過訓練的AI模型「忘記你」,傳統的方法,只能是從零開始利用新數據進行重新訓練——整個過程可能耗時數周,且成本相當高昂。

2020-01-27 17:51 / 0人閱讀過此篇文章  

隱私,在這個時代早已是偽命題。

為了在一定程度上重建隱私保障,近期一系列立法舉措(包括歐洲的〈通用數據保護條例〉以及美國的〈加利福尼亞州消費者隱私法〉)對於清除個人信息做出了相關規定。但是,要想讓經過訓練的AI模型「忘記你」,傳統的方法,只能是從零開始利用新數據進行重新訓練——整個過程可能耗時數周,且成本相當高昂。

最近新發表的兩篇論文,帶來了高效從AI模型中刪除記錄的方法,有望節約巨量能源並真正為合規性帶來保障,一篇來自史丹福大學,另一篇(預印本)來自多倫多大學。史丹福大學計算機科學家、第一篇論文的聯合作者Melody Guan表示,「我們似乎需要一些新的算法,來簡化企業之間的實際合作,確保實現難度不會成為他們違反隱私規定的藉口。」

由於關於高效數據刪除的文獻非常有限,因此史丹福大學的作者們首先對問題做出明確定義,並提出有助於緩解問題的四項設計原則:

  • 第一項原則為「線性度」:簡單的AI模型只需要對數字進行加法與乘法運算,這就避免了所謂非線性數學函數的介入,保證步驟分解更加簡單易行;
  • 第二項則是「惰性」原則,儘可能推遲計算操作,除非確實需要做出預測;
  • 第三項為「模塊化」:如果可能,儘量以可拆分的形式進行模型訓練,而後組合結果;
  • 第四項是「量化」,即只要平均值能夠鎖定在特定的離散區間之內,則刪除其中對於平均值結果影響不大的數值。

史丹福大學的研究人員們將其中兩項原則應用到一種名為k均值聚類的機器學習算法當中。此算法用於將數據點分類為自然聚類,例如用於分析密切相關的種群之間的遺傳性差異。(在UK Biobank醫學資料庫中,該聚類算法已經得到實際應用。而且有部分患者已經向資料庫作者提出通告,要求將自己的記錄從資料庫中刪除。)研究人員利用量化技術開發出一種Qk均值算法,並立足六套數據集進行了測試,分別對單元格類型、手寫數字、手勢、森林覆蓋率以及聯網設備黑客入侵情況進行分類。他們在每組數據集內各刪除1000個數據點,每次1個。結果證明,Q-k均值算法的速度達到常規k均值算法的2倍到584倍,且準確性幾乎沒有任何損失。

利用模塊化方法,他們又開發出DC-k均值(用於實現分治法)。數據中的各個點被隨機劃分為多個子集,且各個子集將獨立進行聚類。接下來,再將這些子集構成新的集群,依此類推。事實證明,從單一子集內刪除一個點,並不會影響到其他子集的結果。新算法的加速水平在16倍到71倍之間,且準確性同樣幾乎不受影響。該項研究被發表在上個月的加拿大溫哥華神經信息處理系統(NerulPS)大會上。

多倫多大學以及Vector研究院計算機科學家Nicolas Papernot指出,「這篇論文中的亮點,在於利用算法中的某些基本面(k均值聚類)完成了以往無法實現的目標。」但是,其中某些方法在其他算法類型中無法確切起效,例如在深度學習中使用的人工神經網絡。上個月,Paernot以及其他聯合作者在網站arXiv上發表一篇論文,提到一種適用於神經網絡的訓練方法,名為SISA(分片、隔離、切片以及聚合)訓練。

這種新方法採取兩種不同的模塊化實現方式。首先,在分片部分中將數據集劃分成多個子集,並立足每套模型建立獨立的訓練模型副本。當需要進行預測時,各模型的預測結果將被匯總為統一的整體。利用這種方式,刪除數據點時,我們只需要重新訓練其中一套模型。第二種方法則是切片,即對各個子集做出進一步細分。該子集的模型會首先在切片1上訓練,而後同時在切片1與切片2上訓練,接下來在切片1、切片2以及切片3上訓練,依此類推。最後,在完成各個步驟後對訓練完成的模型進行歸檔。如此一來,如果刪除切片3中的數據點,則可快速返回至訓練的第三步中,並以此為起點繼續訓練。Papernot表示,分片與切片方法「相當於為我們的模型訓練流程提供了兩個調整旋鈕。」Guan也稱讚稱,這種方法「非常直觀」,只是「使用的記錄刪除標準還不夠嚴格。」

來自多倫多的研究人員們通過兩套大型數據集訓練神經網絡,希望測試這種方法。其中一套數據集包含超過60萬張與家庭住址編碼相關的圖像,另一套則包含30多萬條購買歷史記錄。他們從各個數據集中刪除0.001%的數據量,而後重新訓練,並發現分片技術(20個分片)使得地址相關任務的重新訓練速度提高 了3.75倍,購買記錄相關任務的重新訓練速度提高 8.31倍(與標準模型重新訓練方法比較),而且幾乎不會對準確度造成影響。在配合切片方法之後,地址相關任務的速度進一步提高 了18%,購買記錄相關任務的速度提高 43%,準確度同樣沒有降低。

公開發布的數據顯示,僅刪除0.001%的數據似乎太過溫和,但Papernot表示谷歌搜索等服務的重新訓練規模要比這個數字還低出幾個量級。另外,18%的速度提升看似有限,但對於大型機使用場景來講,已經能夠節約海量時間與金錢。另外,在某些情況下,我們也許能夠發現某些更有必要忽略的數據點——例如來自少數族裔或者患有特定疾病的人群,確保他們免受隱私侵犯的影響。將這些數據點集中起來,將進一步提高刪除效果。Papernot表示,他們也在積極整理數據集知識,希望進一步提高SISA方法的定製化水平。

Guan解釋道,某些AI方法雖然在設計上就考慮到隱私性要求,但有時候使用者仍然需要刪除其中的某些特定數據點。舉例來說,有些人可能不想把自己的數據交給某家聲名狼藉的企業,科學家們有時候也可能需要刪除引發問題的數據點(例如黑客用來「毒化」數據集的偽造記錄)。無論是哪一種情況,對AI模型中的數據進行刪除都將成為一種必要的手段。

Guan總結道,「很明顯,我們還沒有構建起完整的解決方案。但我們認為對問題做出明確定義,是解決問題的重要前提。希望人們能夠在算法設計之初,就充分考慮到數據保護方面的需求。」





文章標籤: