科技行者 1月27日 北京消息：隱私，在這個時代早已是偽命題。

為了在一定程度上重建隱私保障，近期一系列立法舉措（包括歐洲的〈通用數(shù)據(jù)保護條例〉以及美國的〈加利福尼亞州消費者隱私法〉）對于清除個人信息做出了相關(guān)規(guī)定。但是，要想讓經(jīng)過訓(xùn)練的AI模型“忘記你”，傳統(tǒng)的方法，只能是從零開始利用新數(shù)據(jù)進行重新訓(xùn)練——整個過程可能耗時數(shù)周，且成本相當(dāng)高昂。

最近新發(fā)表的兩篇論文，帶來了高效從AI模型中刪除記錄的方法，有望節(jié)約巨量能源并真正為合規(guī)性帶來保障，一篇來自斯坦福大學(xué)，另一篇（預(yù)印本）來自多倫多大學(xué)。斯坦福大學(xué)計算機科學(xué)家、第一篇論文的聯(lián)合作者Melody Guan表示，“我們似乎需要一些新的算法，來簡化企業(yè)之間的實際合作，確保實現(xiàn)難度不會成為他們違反隱私規(guī)定的借口。”

由于關(guān)于高效數(shù)據(jù)刪除的文獻非常有限，因此斯坦福大學(xué)的作者們首先對問題做出明確定義，并提出有助于緩解問題的四項設(shè)計原則：

• 第一項原則為“線性度”：簡單的AI模型只需要對數(shù)字進行加法與乘法運算，這就避免了所謂非線性數(shù)學(xué)函數(shù)的介入，保證步驟分解更加簡單易行；

• 第二項則是“惰性”原則，盡可能推遲計算操作，除非確實需要做出預(yù)測；

• 第三項為“模塊化”：如果可能，盡量以可拆分的形式進行模型訓(xùn)練，而后組合結(jié)果；

• 第四項是“量化”，即只要平均值能夠鎖定在特定的離散區(qū)間之內(nèi)，則刪除其中對于平均值結(jié)果影響不大的數(shù)值。

斯坦福大學(xué)的研究人員們將其中兩項原則應(yīng)用到一種名為k均值聚類的機器學(xué)習(xí)算法當(dāng)中。此算法用于將數(shù)據(jù)點分類為自然聚類，例如用于分析密切相關(guān)的種群之間的遺傳性差異。（在UK Biobank醫(yī)學(xué)數(shù)據(jù)庫中，該聚類算法已經(jīng)得到實際應(yīng)用。而且有部分患者已經(jīng)向數(shù)據(jù)庫作者提出通告，要求將自己的記錄從數(shù)據(jù)庫中刪除。）研究人員利用量化技術(shù)開發(fā)出一種Qk均值算法，并立足六套數(shù)據(jù)集進行了測試，分別對單元格類型、手寫數(shù)字、手勢、森林覆蓋率以及聯(lián)網(wǎng)設(shè)備黑客入侵情況進行分類。他們在每組數(shù)據(jù)集內(nèi)各刪除1000個數(shù)據(jù)點，每次1個。結(jié)果證明，Q-k均值算法的速度達到常規(guī)k均值算法的2倍到584倍，且準(zhǔn)確性幾乎沒有任何損失。

利用模塊化方法，他們又開發(fā)出DC-k均值（用于實現(xiàn)分治法）。數(shù)據(jù)中的各個點被隨機劃分為多個子集，且各個子集將獨立進行聚類。接下來，再將這些子集構(gòu)成新的集群，依此類推。事實證明，從單一子集內(nèi)刪除一個點，并不會影響到其他子集的結(jié)果。新算法的加速水平在16倍到71倍之間，且準(zhǔn)確性同樣幾乎不受影響。該項研究被發(fā)表在上個月的加拿大溫哥華神經(jīng)信息處理系統(tǒng)（NerulPS）大會上。

多倫多大學(xué)以及Vector研究院計算機科學(xué)家Nicolas Papernot指出，“這篇論文中的亮點，在于利用算法中的某些基本面（k均值聚類）完成了以往無法實現(xiàn)的目標(biāo)。”但是，其中某些方法在其他算法類型中無法確切起效，例如在深度學(xué)習(xí)中使用的人工神經(jīng)網(wǎng)絡(luò)。上個月，Paernot以及其他聯(lián)合作者在網(wǎng)站arXiv上發(fā)表一篇論文，提到一種適用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，名為SISA（分片、隔離、切片以及聚合）訓(xùn)練。

這種新方法采取兩種不同的模塊化實現(xiàn)方式。首先，在分片部分中將數(shù)據(jù)集劃分成多個子集，并立足每套模型建立獨立的訓(xùn)練模型副本。當(dāng)需要進行預(yù)測時，各模型的預(yù)測結(jié)果將被匯總為統(tǒng)一的整體。利用這種方式，刪除數(shù)據(jù)點時，我們只需要重新訓(xùn)練其中一套模型。第二種方法則是切片，即對各個子集做出進一步細分。該子集的模型會首先在切片1上訓(xùn)練，而后同時在切片1與切片2上訓(xùn)練，接下來在切片1、切片2以及切片3上訓(xùn)練，依此類推。最后，在完成各個步驟后對訓(xùn)練完成的模型進行歸檔。如此一來，如果刪除切片3中的數(shù)據(jù)點，則可快速返回至訓(xùn)練的第三步中，并以此為起點繼續(xù)訓(xùn)練。Papernot表示，分片與切片方法“相當(dāng)于為我們的模型訓(xùn)練流程提供了兩個調(diào)整旋鈕。”Guan也稱贊稱，這種方法“非常直觀”，只是“使用的記錄刪除標(biāo)準(zhǔn)還不夠嚴(yán)格。”

來自多倫多的研究人員們通過兩套大型數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，希望測試這種方法。其中一套數(shù)據(jù)集包含超過60萬張與家庭住址編碼相關(guān)的圖像，另一套則包含30多萬條購買歷史記錄。他們從各個數(shù)據(jù)集中刪除0.001%的數(shù)據(jù)量，而后重新訓(xùn)練，并發(fā)現(xiàn)分片技術(shù)（20個分片）使得地址相關(guān)任務(wù)的重新訓(xùn)練速度提高 了3.75倍，購買記錄相關(guān)任務(wù)的重新訓(xùn)練速度提高 8.31倍（與標(biāo)準(zhǔn)模型重新訓(xùn)練方法比較），而且?guī)缀醪粫?zhǔn)確度造成影響。在配合切片方法之后，地址相關(guān)任務(wù)的速度進一步提高 了18%，購買記錄相關(guān)任務(wù)的速度提高 43%，準(zhǔn)確度同樣沒有降低。

公開發(fā)布的數(shù)據(jù)顯示，僅刪除0.001%的數(shù)據(jù)似乎太過溫和，但Papernot表示谷歌搜索等服務(wù)的重新訓(xùn)練規(guī)模要比這個數(shù)字還低出幾個量級。另外，18%的速度提升看似有限，但對于大型機使用場景來講，已經(jīng)能夠節(jié)約海量時間與金錢。另外，在某些情況下，我們也許能夠發(fā)現(xiàn)某些更有必要忽略的數(shù)據(jù)點——例如來自少數(shù)族裔或者患有特定疾病的人群，確保他們免受隱私侵犯的影響。將這些數(shù)據(jù)點集中起來，將進一步提高刪除效果。Papernot表示，他們也在積極整理數(shù)據(jù)集知識，希望進一步提高SISA方法的定制化水平。

Guan解釋道，某些AI方法雖然在設(shè)計上就考慮到隱私性要求，但有時候使用者仍然需要刪除其中的某些特定數(shù)據(jù)點。舉例來說，有些人可能不想把自己的數(shù)據(jù)交給某家聲名狼藉的企業(yè)，科學(xué)家們有時候也可能需要刪除引發(fā)問題的數(shù)據(jù)點（例如黑客用來「毒化」數(shù)據(jù)集的偽造記錄）。無論是哪一種情況，對AI模型中的數(shù)據(jù)進行刪除都將成為一種必要的手段。

Guan總結(jié)道，“很明顯，我們還沒有構(gòu)建起完整的解決方案。但我們認為對問題做出明確定義，是解決問題的重要前提。希望人們能夠在算法設(shè)計之初，就充分考慮到數(shù)據(jù)保護方面的需求。”

【注】關(guān)于“讓AI模型快速忘記你”的兩篇論文獲取方式：關(guān)注科技行者（ID：itechwalker）回復(fù)關(guān)鍵詞「隱私」即可。