今天，資料已成為推動人工智慧創新的燃料，但同時也是組織和個人所擁有的寶貴資產。因此，只有在充分保護資料安全和隱私的前提下，雲計算和人工智慧的連線才有可能釋放出資料的全部潛能，實現資料效能的共享。

眾所周知，在儲存和傳輸過程中加密資料早已是行業標準。而機密計算（Confidential Computing）則可以進一步保護計算過程中使用的資料，降低惡意軟體、內部攻擊和惡意或疏忽管理員等漏洞的風險。此前的文章“如何在機器學習的框架裡實現隱私保護？” ，已經對機密計算做過一些介紹，包括可信執行環境、同態加密、安全多方計算，和聯邦學習。這些技術構成了保護隱私的組合套件，透過將它們一起使用，能夠對不同場景構建合適的隱私和安全解決方案。

機密計算主要研究計算過程中資料的保護與攻擊方法。那麼釋出計算結果會暴露資料隱私嗎？比如，釋出一個訓練好的深度神經網路模型會暴露它的訓練資料嗎？如何控制和降低計算結果中隱私暴露的風險？下面我們將對這些問題展開探討。

訓練好的模型真的會洩露隱私嗎？

直觀上來說，這是一個很難回答的問題：一方面訓練好的神經網路一定和訓練資料有關係，互資訊大於零；另一方面，從模型引數中恢復訓練資料是一個求反問題，想要實現精確恢復非常困難。一個相對較容易的概念是成員推斷（Membership Inference, MI）——給定一個訓練好的模型，判斷某一個特定樣本是否來自訓練集（如圖1所示）。如果成員推斷準確率很高，那麼模型洩露隱私的風險就會相對較大，並且在一些情形下，成員資訊本身就是要保護的隱私資訊。

圖1：成員推斷攻擊示例[9]

最近的一項研究[7]利用成員推斷找出 GPT-2（一種大型的語言模型）記住的訓練資料內容，成功提取了包含物理地址、姓名、電話、郵箱等敏感資訊的訓練資料（如圖2所示）。這表明若釋出在敏感資料上訓練的大模型時，會帶來很高的隱私風險。

圖2：訓練資料提取攻擊[7]。給定生成字首，神經網路語言模型 GPT-2 生成的例子是它記住的一段訓練文字，包括個人的姓名，電子郵件地址，電話號碼，傳真號碼，物理地址等。因為展示了準確的資訊，圖例加黑框以保護隱私。

通常認為這種隱私洩露與過度擬合有關[8]，因為過擬合表明模型記住了訓練集中的樣本。事實上，儘管過擬合是隱私洩露的充分條件且許多工作都利用過擬合來進行隱私攻擊，但是過擬合和隱私洩露兩者的關係並不完全相等。

表1：成員推斷成功率(%)，資料集 CIFAR10

實驗證明（如表1所示），當模型經過資料增強訓練時，該方法普遍優於原始方法。並且在一些資料增強訓練的模型上，甚至取得了比沒有資料增強訓練的模型上更高的成員推斷成功率，而前者往往有較高的測試準確率。而且該方法針對一個寬殘差網路（WRN16-8）獲得了 >70% 的 MI 攻擊成功率，此網路在 CIFAR10 上的測試精度超過 95%。以上結果均表明，透過資料增強訓練的模型的隱私風險可能在很大程度上被低估了。

既然我們已經看到了模型洩露隱私的風險，那麼將如何擁有隱私保證的共享模型呢？這就需要引入差分隱私（Differential Privacy, DP）[1]。差分隱私可確保計算結果（如訓練好的模型）可以被安全地共享或使用。由於其嚴格的數學原理，差分隱私被公認為是隱私保護的黃金標準。應用差分隱私能夠從資料集中計算出有用的資訊，同時還可以保證模型無法從計算結果中重新識別資料集中的任何個體。這為金融服務和醫療保健等領域的組織機構使用人工智慧技術帶來了更大的信心，因為這些領域的資料都高度敏感，隱私保護格外受關注。

差分隱私從統計意義上衡量和控制了模型對訓練資料的洩露。它刻畫了單個數據樣本對模型的影響：一個隨機演算法 M 符合 (ϵ,δ)-DP 意味著對於任何兩個相鄰的資料集 S, S' 和任意事件 E 滿足 P(M(S)∈E))≤e^ϵ P(M(S' )∈E)+δ。具體來說，差分隱私通常會按以下方式工作。它會給每次查詢的結果新增少量噪聲以掩蓋單個數據點的影響，然後跟蹤並累積查詢的隱私損失，直至達到總體隱私預算，之後便不再允許查詢。為保證差分隱私所加入的噪聲，可能會影響結果的準確性，但如果查詢結果的維數較小，則不會有顯著影響。

噪聲擾動哪家強？

在機器學習過程中實現差分隱私的一種通用做法也是加噪聲，即用噪聲掩蓋單個數據點的影響。機器學習的一般流程如圖3中的上半部分所示：設計目標函式即經驗風險最小化（Empirical Risk Minimization, ERM），然後訓練過程一般是基於梯度的最佳化演算法，最後輸出訓練好的模型。對應地，根據加噪聲的時機，差分隱私機器學習（Differential Private Machine Learning) 有三種實現方法（如圖3中的下半部分所示）——目標擾動（Objective Perturbation），即在目標函式上新增噪聲；梯度擾動（Gradient Perturbation, GP），即在梯度上添噪聲；輸出擾動（Output Perturbation），即在最後輸出上新增噪聲。不過若新增的噪聲很大，會帶來模型的效能損失，但太小又不能很好地保護隱私。因此，差分隱私機器學習可以研究如何在給定隱私損失的要求下，新增最少的噪聲取得最好的效能。

圖3：機器學習流程，與其對應的新增噪聲保證 DP 的三種方式

然而，在應用 DP-SGD 訓練大規模深度神經網路模型時仍面臨巨大挑戰。由於差分隱私的效能有很差的維數依賴，模型引數越多，加入的噪聲能量也越大，這就導致大模型的效能下降明顯。而如今的深度學習模型都是由大量引數組成的，對於一個合理的隱私預算，應用 DP-SGD 訓練的深度神經網路效能並不好。那麼要如何克服 DP-SGD 的維數依賴問題？

圖4：梯度矩陣的穩定秩（p為引數維度），設定為 CIFAR-10 上的 ResNet20。在整個訓練中，相比於引數維度，梯度矩陣的穩定秩都很小[4]。

具體來說（如圖5所示），在每個梯度下降步中，首先用輔助資料估計一個錨子空間，然後將私有梯度投影到錨子空間，得到一個低維梯度嵌入和一個小范數的殘餘梯度，之後分別擾動梯度嵌入和殘餘梯度，以保證差分隱私預算。總的來說，可以使用比原來的梯度擾動低得多的擾動，以保證相同的隱私水平。

圖5：梯度嵌入擾動 GEP 演算法圖示[4]

梯度嵌入擾動有哪些特徵呢？首先，在梯度嵌入擾動中使用的非敏感輔助資料的假設比之前的工作[5,6]中使用的公開資料的假設弱得多——梯度嵌入擾動只需要少量非敏感無標記資料，並只要求其特徵分佈與私有資料相似，比如在實驗中使用 ImageNet 的2000個降取樣影象作為 MNIST、SVHN 和 CIFAR-10 資料集的輔助資料。其次，梯度嵌入擾動同時擾動低維梯度嵌入和殘餘梯度，這是目標梯度的無偏估計，也是取得好效能的關鍵。第三，使用冪法估計梯度矩陣的主成分，從而實現簡單高效。

這種分解使用的噪聲相對小很多，從而有助於打破隱私學習的維度障礙。藉助梯度嵌入擾動，研究員們在合理的隱私預算下實現了深度模型較好的準確性。在隱私預算 ϵ=8 的情況下，實驗在 CIFAR10 上達到了74.9％的測試準確度，並在 SVHN 上達到了95.1％的測試準確度，大大提高了現有結果（表2）。據目前所知，梯度嵌入擾動是首個從頭訓練而實現這種效果的演算法，並且隱私預算只有"個位數"。如果使用 ImageNet 預訓練模型，梯度嵌入擾動還可以在 CIFAR10 驗證集上取得94.8%的準確率，詳細資訊請參考論文。

表2：不同演算法在 SVHN 和 CIFAR10 測試集準確率

參考文獻

[1] Dwork, C., McSherry, F., Nissim, K., and Smith, A. Calibrating noise to sensitivity in private data analysis. In Theory of cryptography conference, 2006.

[2] D. Yu, H. Zhang, W. Chen, J. Yin and T.Y. Liu. Gradient Perturbation is Underrated for Differentially Private Convex Optimization. In IJCAI 2020.

[3] Abadi, M., Chu, A., Goodfellow, I., McMahan, H. B., Mironov, I., Talwar, K., and Zhang, L. Deep learning with differential privacy. ACM CCS 2016

[4] D. Yu, H. Zhang, W. Chen, T.Y. Liu. Do not let privacy overbill utility: gradient embedding perturbation for private learning. In ICLR 2021.

[5] N. Papernot, et al. Semi-supervised knowledge transfer for deep learning from private training data. In ICLR 2017.

[6] Jun Wang and Zhi-Hua Zhou. Differentially private learning with small public data. In AAAI, 2020.

[7] Carlini, N., et al. Extracting training data from large language models. arXiv preprint arXiv:2012.07805, 2020

[8] Reza Shokri, Marco Stronati, Congzheng Song, and Vitaly Shmatikov. Membership inference attacks against machine learning models. In IEEE S&P, 2017.

[9] D. Yu, H. Zhang, W. Chen, J. Yin and T.Y. Liu. How Does Data Augmentation Affect Privacy in Machine Learning? In AAAI 2021.

[10] Sablayrolles, A.; Douze, M.; Ollivier, Y.; Schmid, C.; and Jégou, H. 2019. White-box vs black-box: Bayes optimal strategies for membership inference. International Conference on Machine Learning.