張煜, 呂錫香, 鄒宇聰, 李一戈
西安電子科技大學網路與資訊保安學院，陝西 西安 710071
摘要：基於生成對抗網路和差分隱私提出一種文字序列資料集脫敏模型，即差分隱私文字序列生成網路（DP-SeqGAN）。DP-SeqGAN透過生成對抗網路自動提取資料集的重要特徵並生成與原資料分佈接近的新資料集，基於差分隱私對模型做隨機加擾以提高生成資料集的隱私性，並進一步降低鑑別器過擬合。DP-SeqGAN 具有直觀通用性，無須對具體資料集設計針對性脫敏規則和對模型做適應性調整。實驗表明，資料集經DP-SeqGAN脫敏後其隱私性和可用性明顯提升，成員推斷攻擊成功率明顯降低。
關鍵詞:隱私保護 ; 資料脫敏 ; 生成對抗網路 ; 差分隱私
中圖分類號：TP309.2
文獻標識碼：Adoi:10.11959/j.issn.2096−109x.2020046
1 引言近年來，深度學習技術有了突破性的進展，在各領域表現出了明顯優勢。大資料、演算法設計以及高效能計算是支撐這一切實現的基礎，而資料是前提也是重中之重，資料和特徵決定了機器學習的上限，模型和演算法的選擇及最佳化只是在逐步接近這個上限。然而，敏感資料洩露是近年來全球普遍存在和受關注的安全事件，對隱私問題的擔憂阻礙著資料的開放、共享和融合，不利於資料價值的充分發揮，也是造成資料孤島、資料割據的主要原因。因此，設計有效的資料脫敏方法以防範隱私洩露風險，對於打通資料壁壘，消除資料孤島現象具有積極意義，利於資料的開放、共享和融合，進而促進機器學習的發展。
傳統的資料脫敏技術主要透過對隱私屬性的替換或模糊來實現，這類技術在實際應用中存在的問題是：隱私屬性的定義和定位難度大；不能抵禦重識別攻擊；脫敏後資料的可用性有較大損失，表現為下游模型效能嚴重下降。基於同態加密、安全多方計算等密碼學方法是機器學習相關應用中資料隱私保護的重要途徑，但計算或通訊成本高，可能造成相關應用系統性能大幅度下降。面向高效資料脫敏需求，Triastcyn和 Park等分別提出了基於生成對抗網路（GAN，generative adversarial network）的適用於影象或表格類結構型資料集的資料合成模型，這種模型能夠生成接近於原資料分佈的去隱私資料，對影象或表格型資料的脫敏效果表現良好。然而，這種生成模型在文字序列資料上的表現不好，Park等也提出了隱私文字序列生成模型的開放問題。因此，如何利用生成對抗網路生成高質量的文字序列資料集並且滿足資料可用性和隱私性需求，值得研究。
本文針對文字序列資料的隱私保護需求，提出了基於 GAN 和差分隱私的文字序列資料集脫敏模型DP-SeqGAN，能夠在保持較高資料可用性的同時有效保護隱私，主要優勢表現在以下3方面：① 具有直觀通用性，即無須針對不同文字序列資料集進行適應性的調整；② 生成資料的可用性高，用 DP-SeqGAN 模型所生成的資料訓練RNN和CNN模型，其分類準確率相比用原始資料訓練的模型分別由 0.788 和 0.914 提高到0.914和0.927；③ 降低成員推斷攻擊成功率，相比SeqGAN，攻擊準確率由0.73和0.61降為0.51和0.50。
2 國內外研究現狀2.1 面向表格型資料的典型脫敏方法典型的資料脫敏方法主要面向表格型資料，如k-匿名、l-多樣性、t-closeness等，這些經典方法透過對資料的隱私屬性進行替換或模糊，在資料釋出環節實現一定程度的隱私保護。k-匿名技術透過對敏感屬性的泛化處理使每條記錄至少與表格中其他k-1條記錄具有相同的準識別符號屬性值，從而減少連結攻擊所導致的隱私洩露，k匿名容易遭受一致性攻擊與背景知識攻擊。l-多樣性隱私保護技術要求資料表中每個等價類中最少有 l 個可以代替的敏感屬性的值，從而使攻擊者推斷出目標個體敏感資訊的機率至多為
，該技術不能抵禦同質性攻擊。t-closeness 技術要求表中每個等價類中的屬性分佈和整個表中的屬性分佈之間的距離不超過門限t，但依然不能抵禦背景知識攻擊。
這類適用於表格資料的匿名化方法不適用於文字序列資料集。一方面，對文字序列資料來說，隱私屬性的定義和定位難度大，在不理解完整句、段、篇的情況下，很難找到其中的敏感資訊，如個人的喜好資訊等；另一方面，對文字序列進行隱私屬性模糊、替換等泛化處理會導致脫敏後資料的可用性大大損失。
2.2 面向深度學習的資料隱私保護利用同態加密能夠使深度學習模型在密態資料上進行訓練和預測，資料以密文的形式投放到開發、共享等下游資料應用。因此，同態加密是隱私保護最直接的手段。2013 年，Graepel 等提出在機器學習演算法中使用同態加密並致力於尋找能夠在加密資料上訓練的學習演算法。2015年， Aslett 等提出了可在同態加密資料上實現訓練和預測的方法，適用於樸素貝葉斯分類器和隨機森林。Gilad-Bachrach 等基於同態加密方案YASHE提出CryptoNets，首次將神經網路用於加密資料的推理，CryptoNets 不支援在加密資料上訓練模型，而主要關注基於訓練好的 CNN 模型對密文資料實現預測。Hesamifard 等提出的CryptoDL，利用 Leveled同態加密演算法並對啟用函式做低次多項式逼近，提升了模型推理效率， CryptoDL能在加密資料上實現訓練和預測。這方面的代表性成果包括 TAPAS和 FHE-DiNN，在預測效率上優於基於 Leveled 同態加密方案，並且支援對單個樣本的預測。目前，基於同態加密的隱私保護深度學習面臨的最大問題是計算複雜度高，同態加密能使程序至少慢一個數量級。結合同態加密和加密電路的安全兩方計算協議也被用於在深度學習相關應用場景中的資料隱私保護，如SecureML，這類方法帶來較高的通訊和計算代價。
差分隱私是機器學習中資料隱私保護的主要技術手段之一。基於差分隱私的隱私保護深度學習方法主要將訓練資料集和模型引數分別對應為資料庫和響應，在滿足差分隱私定義的條件下學習模型，降低了訓練資料隱私洩露的風險。根據噪聲的新增位置，這些方法可以分為3種：梯度級差分隱私、目標函式級差分隱私和標籤級差分隱私，分別是對梯度、目標函式的係數和教師學生模型知識轉移階段的標籤新增噪聲。梯度級差分隱私方法的核心是DP-SGD演算法，該演算法在批次梯度更新中新增噪聲，限制每個樣本對最終模型的影響，其基於 moment accountant 演算法的累積隱私預算估計方法使該模型的隱私預算相對較小，因而能提供更好的隱私性。目標函式級差分隱私方法指向經驗風險最小化的目標函式表示式中引入隨機項，並保證求解過程滿足差分隱私。這類方法要求目標函式是連續、可微的凸函式，故而具有較大的侷限性。標籤級差分隱私方法在教師學生模型的知識轉移階段對標籤引入噪聲，由於學生模型不直接接觸資料以及聚合階段對標籤噪聲的新增，這種方法能夠在教師模型安全的前提下提供較好的隱私性。針對移動雲服務，Wang等提出基於差分隱私對本地資料進行擾動變換的方法，同時利用噪聲訓練方法增加雲端深度神經網路的魯棒性。
2.3 生成對抗網路自 2014 年，Goodfellow 提出生成對抗網路，其可應用於計算機視覺、自然語言處理等領域。GAN由生成器和鑑別器構成，兩者進行非合作零和博弈，交替最佳化，生成與原始分佈近似的資料集。
自 GAN 誕生以來，出現了各種基於 GAN的衍生模型進行理論擴充套件及應用。Arjovsky等提出的WGAN徹底解決了GAN訓練不穩定的問題，並基本解決崩潰模式現象，確保了生成樣本的多樣性。Radford等提出了深度卷積生成式對抗網（DCGAN），把有監督學習的CNN與無監督學習的GAN整合，升級了GAN的架構。Chen等提出InfoGAN，結合資訊理論解釋了輸入噪聲變數的特定變數維數和特定語義之間的關係。最初，GAN的主要應用基本與影象相關，如影象修改方面的單影象超解析度、互動式影象生成、影象編輯、影象到影象的翻譯等。
標準 GAN 在處理文字序列這種離散資料時遇到了生成器難以傳遞梯度更新和鑑別器難以評估非完整序列的問題。為擴充套件標準 GAN 的適用範圍，2017 年，Yu 等借鑑強化學習的思想，結合 GAN 與強化學習的策略梯度演算法提出序列生成對抗網路SeqGAN。SeqGAN把整個GAN 看作一個強化學習系統，用策略梯度演算法更新生成器的引數，並借鑑蒙特卡洛樹搜尋的思想對任意時刻的非完整序列進行評估。
本文提出的文字序列資料集脫敏模型DP-SeqGAN是在SeqGAN的基礎上實現的。
3 基於GAN的文字序列資料集脫敏模型生成對抗網路的誕生為資料脫敏提供了新的思路，即基於 GAN 生成新的脫敏資料集代替原資料集用以訓練下游模型。這種方法能夠克服傳統資料脫敏方法需要設計針對性規則處理隱私屬性的缺陷，這種缺陷主要體現在兩方面：① 隱私屬性的定義和定位困難；② 規則不具有通用性，即對一個數據集設計的規則並不一定適用於另一個數據集。利用基於GAN的資料脫敏模型，工程師只需將待脫敏的資料集輸入模型，模型將自動學習資料的特徵並“重寫”資料，輸出即為脫敏後的新資料集。模型對資料的自動學習與刻畫，簡化了人工操作，使工程師可以簡單地將其看作“黑盒”，不需要考慮其內部細節。
實際上，正是 GAN 模型自動學習原資料特徵並“重寫”輸出新資料的原理保證了脫敏後資料的隱私性和可用性。一方面，該方法能夠避免傳統基於泛化思想的資料脫敏方法對文字序列語法語義的破壞，因而更適用於文字序列資料集；另一方面，“重寫”的生成資料與原資料間不存在一對一關係，某些資料的洩露並不會對應到具體實體身份，而且引入差分隱私能夠進一步提高生成資料的隱私性。
基於以上理論分析，針對文字序列資料集脫敏需求，本文基於生成對抗網路和差分隱私提出一種文字序列資料集脫敏模型，即差分隱私文字序列生成網路（DP-SeqGAN）。DP-SeqGAN在訓練過程中引入差分隱私，不僅降低了成員推斷攻擊的成功率，而且在可用性方面有所提高（表現為下游模型效能）。
3.1 模型架構本文模型借鑑了SeqGAN的思想，主要包括生成器（G）和鑑別器（D）兩部分，如圖1所示。生成器用於生成文字序列，將輸入的隨機噪聲加工成文字序列，鑑別器判斷其輸入樣本是原始的訓練資料還是由生成的資料，並將判別機率作為獎勵（Reward）反饋給 G，用於指導G的更新。G和D多次迭代，交替最佳化，最終生成與原始資料分佈接近的資料集。
具體來說，鑑別器是用於文字序列分類的TextCNN，依次包括嵌入層、卷積層、池化層和softmax 層，訓練集由原始樣本和生成器生成的樣本組成。對於每個序列，首先將詞對應的詞向量按行連線成表示序列向量的矩陣，即
其中，x i ∈R k 是長為T的序列中詞語i對應的k維詞向量，⊕為按行連線操作，
是得到的序列向量矩陣。然後使用不同的卷積核對序列向量矩陣
做卷積操作，提取序列特徵，具體如式(2)所示。
其中，ω∈R l×k 為卷積核，⊗為對應位置乘積的和，b 為偏置，ρ為非線性啟用函式。最後將池化後的特徵輸入全連線softmax 層，得到輸入序列類別為“真實”的機率。
生成器選用長短期記憶（LSTM，long shortterm memory）網路，將前一時刻的隱狀態和當前時刻的詞向量對映為當前時刻的隱狀態，可表示為
圖1 文字序列資料集脫敏模型框架
其中，g是LSTM模型等效函式，h t 為t 時刻的隱狀態。h t 後接softmax 輸出層，將隱狀態對映為輸出詞的機率分佈，即
其中，V為權重矩陣，c為偏置。
利用蒙特卡洛搜尋將D回傳的判別機率作為獎勵，透過策略梯度指導G的更新，最後G和D相互博弈，迴圈交替地分別最佳化G和D來訓練所需要的生成式網路與判別式網路，直到到達納什均衡點，可生成高質量的文字序列。為了提高生成資料的隱私性和在有監督任務下的可用性，本文在此基礎上對上述網路的訓練過程做了以下調整：① 按類別生成帶標籤的樣本；② 基於DP-SGD（differential privacy stochastic gradient descent）的思想，在鑑別器的最佳化過程中進行梯度裁剪並加噪聲。
3.2 生成帶標籤資料基於帶標籤資料訓練模型的有監督學習目前仍是機器學習的主流，然而現有的生成對抗網路是不能生成帶標籤資料的，這是因為它只是從所學到的資料分佈中取樣，整個過程並沒有用到標籤資料。針對生成帶標籤資料的需求，Mirza等提出條件生成對抗網路，透過將標籤作為輔助引數新增到生成器來生成對應類別資料，然而生成器的迴歸問題造成的任意大錯誤輸出會大大降低這一網路在實際中的可靠性。現有的針對文字序列的條件生成對抗模型需要對原網路做複雜的調整，並且在資料類別少時生成質量不高，這是因為學習出的鑑別器過於強大，反饋到生成器的資訊缺乏指導價值，從而導致生成資料的質量降低。
針對文字序列生成，本文提出一個生成帶標籤序列的直接有效的方法，即根據資料的類別對訓練資料集做出劃分，按照此劃分分別輸入模型，則生成的資料可以繼承輸入資料的類別，最後將這些輸出資料彙總並打亂即得到帶標籤的生成資料集，具體過程如圖2所示。該方法不需要修改模型輸入、結構或者最佳化函式，避免了這些操作所帶來的不確定性。更重要的是，這種方法避免了在類別較少的情況下學習出的鑑別器過於強大的問題，促使生成器接收更多對生成資料有用的指導資訊，最終生成與原資料分佈接近的資料，資料可用性也與原始資料接近。
生成的帶標籤文字序列資料可以直接用於資料集的擴充，透過新增不同比例的生成資料，可以讓模型學習到更多更有效的特徵，並且減小了噪聲樣本的影響，達到減輕過擬合的效果。這裡直接用生成資料代替原始資料完成下游模型的訓練，並且透過差分隱私的引入，保證資料的隱私性。
3.3 訓練過程差分隱私化成員推斷等攻擊已經具備從機器學習模型中重構或恢復出訓練樣本的能力，GAN是模型的組合，自然受到這些攻擊的威脅。此外，具有高模型複雜度的 GAN 會記住某些訓練樣本，造成學習到的分佈集中在這些樣本上，進而增加了受到攻擊的風險。
差分隱私可以在很大程度上緩解這種影響，根據其定義，如果訓練過程是差分隱私的，則訓練資料集包含與不包含某一特定資料訓練出相同模型的機率是接近的。
圖2 生成帶標籤文字
為了引入差分隱私，需要“隱私化”鑑別器的訓練，這是因為模型的對抗性訓練過程中只有鑑別器接觸真實資料，生成器根據鑑別器的反饋資訊調整自己的引數，由差分隱私的後處理定理，整個網路滿足差分隱私保證。由於鑑別器選用的是CNN，可以基於DP-SGD的思想來差分隱私地訓練鑑別器，即在隨機梯度更新的過程中新增噪聲。具體地說，需要做以下兩步修改。
（1）限制每個梯度的敏感度，即限制每個訓練樣本梯度的大小，這可以透過裁剪在每個訓練樣本上計算出的梯度的L2-範數來完成，即
其中，
為梯度
的L2-範數，C為裁剪閾值，小於C的梯度保持不變，大於C的梯度範數縮小到 C，這樣可以限制每個訓練樣本對模型引數產生的影響。
透過裁剪梯度，控制每個訓練樣本梯度的大小，一方面限制了每個梯度的敏感度，進而降低了每個訓練樣本對模型引數產生的影響，緩解了模型對訓練樣本的記憶；另一方面防止了梯度爆炸，降低了過擬合，使模型能更好地收斂。
（2）對演算法引入隨機性，主要是透過給裁剪好的梯度新增從高斯分佈中取樣的隨機噪聲實現的，即
其中，L 為一批資料的數量，σ為噪聲大小，該噪聲具有與梯度裁剪成正比的方差，新增的噪聲越多，隱私保證越好。這樣做降低了透過比較隨機梯度下降過程的引數更新，來確定訓練集中包含特定樣本的可能性。
隨機性的引入使分辨模型的哪些行為來自隨機性、哪些來自訓練資料變得困難。沒有隨機性，本文關心的問題是當在特定資料集上訓練時模型會選擇哪些引數。有了這種隨機性，問題轉變為當在特定資料集上訓練時模型在這組的引數中選擇的可能性。
4 實驗與效能評估本節詳細闡述 DP-SeqGAN 模型的具體實現以及效能評估。本模型的目標是生成隱私文字序列，因此對模型的效能評估可以轉換為對生成資料的評估，即評估生成資料是否可以在保護隱私的前提下代替原始資料集完成相關的機器學習任務，具體表現為生成資料的隱私性與可用性兩個指標。
實驗是在Intel Core i5-7500 3.40 GHz CPU、8 GB RAM的硬體條件下，以Python3.6環境進行模型訓練和效能測試，基於 TensorFlow 框架在VScode整合環境中開發模型，在互動式開發環境Jupyter Notebook 中利用機器學習演算法庫Scikit-learn和資料分析軟體庫Pandas進行可用性與隱私性的測試。
DP-SeqGAN 模型訓練和測試所用的資料來自YouTube 惡意評論檢測資料集，該資料集由2 000餘熱門音樂影片的正常評論（ham）和惡意評論（spam）組成，實驗中將這些資料彙總、打亂並劃分為3部分，分別是用於訓練生成模型的訓練集S1、成員推斷攻擊過程中攻擊模型的測試集S2，以及影子模型的測試集S3（S3也作為衡量下游模型效能的留出集）。
DP-SeqGAN 模型的訓練基於 Python 和TensorFlow 框架，並在 SeqGAN 的基礎上借鑑TF-Privacy 的 optimizers.dp_optimizer 模組實現差分隱私最佳化器，將SeqGAN 的AdamOptimizer修改為 DPAdamGaussianOptimizer。訓練中將一批樣本測值與標籤的損失向量輸入差分隱私最佳化器中，然後進行梯度裁剪和新增噪聲，求其平均值用於之後的引數更新。實驗中反覆除錯，最優的梯度裁剪閾值L2_norm_clip取為1，噪聲控制引數noise_multiplier取為0.001。
如前所述，評估生成資料集的效能需要從隱私性和可用性兩個方面進行測試，測試中以SeqGAN 直接生成的資料作為對照組。
4.1 隱私性評估本節從差分隱私和成員推斷攻擊兩方面評估生成資料的隱私性。
4.1.1 基於差分隱私的隱私性評估
Dwork定義的(ε,δ)差分隱私是指，給定隨機演算法M，P為演算法M所有可能輸出構成的集合，對於任意的一對相鄰資料集D和D" ，以及P的任意子集S，若演算法M滿足
則稱演算法M滿足(ε,δ)-差分隱私。其中，ε和δ非負，ε稱為隱私預算，當資料集有n個樣本時，δ要小於。ε和δ越小，兩個機率越相近，隱私保護越好。然而，對於如何選擇適當的隱私預算ε，並未給出相關的指導性工作，實際中也不存在一個共識的參考值。
差分隱私能夠限制單個數據對模型的影響，即這條資料的隱私就得到了隱藏。本節基於瑞利差分隱私進行隱私分析，瑞利差分隱私是純差分隱私的擴充套件，特別適合分析新增高斯噪聲的差分隱私保護。
實驗中，在δ=1×10 -5 時，測得隱私預算ε約4 ×10 8 ，根據以往的經驗，這個數字是很大的。然而，對於隱私預算並沒有可借鑑的參考閾值。所以，實際中需要透過測試隱私性有無相對性提高來評估隱私保護的程度。同樣的情況出現在其他論文中，如在文獻中，也是文字序列任務模型，Carlini等對他們的模型梯度只新增很小的噪聲，其隱私預算ε很大（與本文實驗的ε在同一數量級），以至於理論上無法提供有意義的隱私保證，但他們測量到的隱私洩露並不多。這證明了差分隱私所能提供的隱私保證或隱私預算ε的上限與用現有實際攻擊測得的隱私損失之間存在很大的差距。
為了測試在實際攻擊中 DP-SeqGAN 對隱私性有無相對提升，本文進行了基於成員推斷攻擊的隱私性評估測試。
4.1.2 基於成員推斷攻擊的隱私性評估
成員推斷攻擊是對機器學習模型的一種新型攻擊，是訓練資料隱私性的主要威脅，攻擊者能夠判斷一個樣本是否屬於模型的訓練集，進而重構訓練資料。成員推斷攻擊的攻擊目標是分類模型，攻擊者向分類模型輸入給定樣本，然後判定給定樣本是否在模型訓練集中。在DPSeqGAN 模型中，只有鑑別器是分類器，而且只有鑑別器接觸訓練資料，對它實施攻擊就可以評測訓練資料的隱私洩露程度。另外，本實驗中，鑑別器的訓練資料包括真實樣本和生成樣本，因此，成員推斷攻擊轉化為向 DPSeqGAN 的鑑別器輸入給定樣本，然後判定給定樣本是屬於鑑別器訓練集中的真實樣本還是生成樣本。
假設攻擊者具有以下能力：① 能夠得到任意多目標攻擊模型的輸出；② 瞭解攻擊目標模型的演算法和架構。基於這樣的假設，對每一類別的資料，本文利用 DP-SeqGAN 生成資料構成影子模型訓練集，訓練多個影子模型來模仿鑑別器的行為。訓練好影子模型之後，將影子模型的訓練集中的樣本輸入影子模型，得到預測向量，對相應的預測向量PV打標籤“In”，這裡的“In”表示輸入樣本在影子模型的訓練集中；將留出的測試集S3中的樣本輸入影子模型，得到預測向量，對相應的預測向量PV打標籤“Out”，這裡的“Out”表示輸入樣本在測試集S3中（即不在影子模型的訓練集中）。所得到的打上標籤的（PV，In/Out）構成攻擊模型的訓練集，因為屬於影子模型訓練集的樣本和不屬於影子模型訓練集的樣本所對應的預測向量 PV 不相同，訓練好的攻擊模型能夠分辨出這種差異。成員推斷攻擊正是利用所訓練的攻擊模型的這種分辨能力對目標模型實施攻擊。實施攻擊時，攻擊者將一條給定的資料輸入目標模型得到預測向量 PV，再將預測向量PV輸入攻擊模型得到結果“In”或“Out”，從而推斷出輸入的這條資料是否屬於目標模型的訓練集。
具體流程如下。
（1）記T為訓練好的攻擊者想要攻擊的目標模型，這裡為D，由於本文的資料是按類生成的，所以攻擊也是按類進行的。
（2）假設攻擊者足夠強大，已經透過攻擊下游任務模型恢復出生成資料。
（3）用這些生成資料訓練多個影子模型。
（4）對每個訓練好的影子模型，輸入影子訓練樣本或影子測試樣本 r，由影子模型的一對輸入和輸出獲得攻擊模型的一個訓練樣本(D(r),In/Out)，其中，D(r)為鑑別器輸出的樣本為真的預測機率，即預測向量 PV，In 代表影子訓練樣本，Out 代表影子測試樣本，影子測試樣本來自於留出的S3。
（5）將所產生的這些樣本 (D(r),In/Out) 彙總成攻擊模型訓練集。
（6）用攻擊模型訓練集訓練攻擊模型。
（7）對D輸入給定樣本，實施攻擊。
本次實驗中的攻擊模型選用SVM，攻擊模型測試資料集一半來自生成模型的訓練集，一半來自留出的測試集 S2，因此攻擊準確率 0.5，即隨機猜測，意味著攻擊失敗。
表1 對比了上述實驗在本文提出的 DPSeqGAN模型上的攻擊成功率和在SeqGAN模型上的攻擊成功率。顯而易見，DP-SeqGAN明顯降低了攻擊準確率，逼近0.5的隨機猜測機率。
4.2 可用性評估為測試和評估模型生成資料集的可用性，即生成資料在下游任務模型上的效能，本文分別用原始資料、SeqGAN 生成資料和DP-SeqGAN 生成資料訓練分類模型，在留出的測試集S3上測試三者的分類準確率。對於每個分類模型，除了訓練集不同，其他操作相同，包括資料預處理、文字向量化等過程，實驗結果對比如圖3所示。其中，綠色為原始資料集，藍色為SeqGAN生成資料，灰色為DP-SeqGAN 生成資料。由圖3可知，在SeqGAN生成的資料集上訓練的模型其分類表現相比用原始資料訓練的模型有所降低；用DP-SeqGAN 生成資料訓練的模型明顯優於SeqGAN生成的資料；在CNN和廣泛應用於文字相關任務的RNN上，DP-SeqGAN生成資料訓練的模型明顯優於用原始資料訓練的模型，即文字序列資料集經本文提出的 DP-SeqGAN 模型脫敏後，不但能保護資料的隱私，而且其可用性有明顯提升。
圖3 不同分類模型在3個數據集上的分類準確率
需要特別說明的是，一方面，基於 GAN 的資料生成模型（如 SeqGAN）生成的是接近於原資料分佈的資料，可用性降低；另一方面，引入隱私保護會一定程度減少原資料的資訊量，進而導致脫敏後的資料可用性降低。然而，針對DP-SeqGAN模型的實驗表明，文字序列資料集經DP-SeqGAN 模型脫敏後其可用性相對原資料集有明顯提升，這是因為加入差分隱私在一定程度上降低了鑑別器的過擬合和模型的記憶性，訓練集中的一些異常值和未包含分佈主要特徵的資料會被歸為假，而且鑑別器會進一步將這些資訊傳遞給生成器，從而生成的是反應主要特徵和內在分佈的資料，故而在這些生成資料上訓練的下游模型表現出更好的效能。換句話說，鑑別器加上差分隱私相當於對資料做了預先特徵選擇，選擇帶有主要特徵的資料，並透過生成更多的資料實現主要特徵的多次重複。因此，DP-SeqGAN生成的資料集在 RNN、CNN 上的表現明顯超越原始資料，其根本原因是神經網路模型更容易過擬合於原始資料集中的一些異常樣本，而加上差分隱私的 DP-SeqGAN 有效過濾了原始資料集的異常樣本。
在實驗中還發現，在RNN 的訓練過程中，用生成資料訓練的模型會更早收斂。用原始資料訓練的模型約在6個epoch 後收斂，而DP-SeqGAN生成資料對應的模型只需要1個epoch即收斂，並且 DP-SeqGAN 的生成資料對應的模型更加穩定。RNN訓練過程對比如圖4所示。
圖4 RNN訓練過程對比
5 結束語本文結合生成對抗網路與差分隱私機器學習，提出了隱私文字序列資料集脫敏模型DP-SeqGAN，該模型具有直觀通用性，無須針對資料設計脫敏規則和針對資料集對模型進行適應性調整。實驗證明，經該模型脫敏後的文字序列資料集在隱私性和可用性上都得到了明顯提升。DP-SeqGAN 適用於文字序列這種非結構型的資料，其效能還需在實際應用中進一步驗證，也需要結合具體任務型別擴充套件其應用場景。
作者簡介張煜（1995-），男，陝西延安人，西安電子科技大學碩士生，主要研究方向為隱私保護和機器學習 。
呂錫香（1978-），女，陝西洛南人，西安電子科技大學教授、博士生導師，主要研究方向為網路與協議安全、機器學習與安全、密碼演算法與協議。
鄒宇聰（1999-），男，湖南桃江人，主要研究方向為隱私保護和機器學習 。
李一戈（1995-），男，陝西洛南人，西安電子科技大學博士生，主要研究方向為機器學習與安全 。