質量管理是個萬花筒，所有的人都在瞎子摸象，而且都認為自己就是質量專家，尤其是國有企業，總認為存在那麼一小撮“犯罪分子”在破壞公司的產品質量，因此構建資料質量管理平臺總是類似於公安的“抓罪犯”模式，最後系統建成了，質量卻沒有改善。

作為一個從事質量管理十年的老司機，並曾經作為核心組織人員構建過兩個質量管理系統，我嘗試用最通俗的語言來談談質量管理平臺的搭建思路。

診斷公司質量管理現狀和企業經營模式

所有公司的質量管理是千變萬化的，為了建設屬於本公司的質量管理系統，在構建前必須對本公司的經營模式進行診斷。按照產品輸出主要分類有：服務型企業和製造型企業；製造型企業分小批次製造企業、大批次製造企業等；按照所有制企業形式分為國有制企業、民營制企業和股份制企業。同時，一定要了解企業的質量管理現狀，按照管理能力可以分為：未入門企業、檢驗質量管理企業、全面質量管理初級企業、持續改進企業和精益質量管理企業。

充分了解老闆關於質量管理的需求

說坦率一點，一個企業產品質量基本上是企業所有員工工作質量的平均值，在充分了解公司經營情況的前提下，一定要去請示老闆對於企業質量的要求及未來期望。如果你碰到一個非常懂質量管理的領導，知道持續改進方法，那麼恭喜你，你碰到了中國0.01%的領導，非常幸福，直接根據領導的需求做方案就可以了；如果碰到一個不懂，但是充分信任你的領導，你碰到的是1%的領導，還不錯了，做兩個以上的系統方案，讓領導去選擇；如果你碰到一個不懂，但是不裝懂的領導，則屬於中等運氣，屬於30%的運氣，則最好是先確定幾個選擇題讓領導選擇，確定目標後再做幾個方案讓領導選擇。如果屬於其他型別的領導，只能是兩個選擇，要麼走人，要麼根據領導的意志，做一些表面文章，忽悠領導、忽悠群眾了。

所有質量平臺建設都是為了改善質量

首先，我宣告一點，質量平臺建設都是有成本的，有資金成本，也有人力成本，投入必須產出，沒有產出的建設都是浪費。

其次，質量平臺的建設都必須圍繞防止出錯、減少浪費、持續改善進行。收集真實的資料，讓管理中的異常充分暴露，就能夠及時得到改善。透過質量系統，同樣可以在必要的預防錯誤的發生，如在存在風險的時候進行風險評估，則可以很好地防止出錯。在質量問題發生後，利用系統管理，及時處理，減少質量損失，也是減少質量浪費。

然後，所有質量管理系統必須基於企業目前的人力資源能力構建，不能要求輸入太多，如果輸入資料太多，而產出資料太少，最終系統就可能淪落為售後和質量管理人員的質量管理系統，這樣就基本上價值非常小了。

最後，如果構建系統純粹是為建設而建，那麼恭喜你，搞幾個自動生成的美麗的報表估計領導就滿意了，最好是自動生產幾張罰款單，則你的任務就大功告成了。

質量管理系統具體構建方法及原則

質量管理系統是利用計算機的強大計算能力和儲存能力來代替人工方法。一定要把計算的功能和記錄功能規劃到質量管理系統中去。

質量管理系統的資料輸入必須簡單，儘量把問答題轉變成填空題、把填空題轉變成選擇題、把選擇題轉變成判斷題，減少錄入的工作量。

質量管理系統必須強調老闆親自操作，如果老闆在一週之內不能親自作業系統的質量管理系統必然流於形式。

質量管理系統必須具備前瞻性，不能僅僅為了解決眼前質量問題而建設，必須為未來五年以上的質量需求而規劃。

質量管理系統必須深入到公司的所有流程，如果公司不能超過80%的人作業系統，管理系統的作用就不會有太大的效果。

一 資料質量基本概念資料質量管理（Data Quality Management），是指對資料從計劃、獲取、儲存、共享、維護、應用、消亡生命週期的每個階段裡可能引發的各類資料質量問題，進行識別、度量、監控、預警等一系列管理活動，並透過改善和提高組織的管理水平使得資料質量獲得進一步提高資料質量管理不是一時的資料治理手段，而是迴圈的管理過程。其終極目標是透過可靠的資料，提升資料在使用中的價值，並最終為企業贏得經濟效益二 影響因素

資料問題的來源可能產生於從資料來源頭到資料儲存介質的各個環節。在資料採集階段，資料的真實性、準確性、完整性、時效性都會影響資料質量。除此之外，資料的加工、儲存過程都有可能涉及對原始資料的修改，從而引發資料的質量問題。所以，技術、流程、管理等多方面的因素都有可能會影響到資料質量。

在企業中，隨著企業業務的增長，資料也是一個增量積累的過程。隨著資料型別、資料來源的不斷豐富以及資料數量的快速增長，企業在資料管理工作和資料流程中面臨越來越多的資料質量問題。而且資料質量的管理並沒有被企業重視起來，其根本原因還是ROI並沒有那麼明顯。

資料質量管理相對來說成本比較高。因為它涉及到企業資料標準的制定、規範的落地、生命週期的管理等多個環節。從收益上來說，資料質量的效益和結果並不是十分明顯，大部分企業不會把資料質量作為KPI。在企業的不同系統中，業務領域的關鍵指標不一致，資料無法共享導致出現數據孤島，大量資料無法關聯，並且有明顯的資料冗餘等問題，還有資料的維護需要投入大量的人員、時間、軟硬體成本。所以資料的質量管理往往被會邊緣化甚至趨向於無。

在此附上資料的生命週期圖，包括各環節的資料流轉和資料處理。

三 評估維度完整性

資料完整性問題包含資料條目不完整，資料屬性不完整等

一致性多源資料的資料模型不一致，如命名不一致，資料編碼不一致，含義不一致，生命週期不一致等準確性準確性也叫可靠性，不可靠的資料可能會導致嚴重的問題，會造成有缺陷的方法和糟糕的決策唯一性

用於識別和度量重複資料，冗餘資料，重複資料是導致業務無法協同， 流程無法追溯的重要因素，也是資料治理需要解 決的最基本的資料問題

關聯性資料關聯性問題是指存在資料關聯的資料關係缺失或錯誤，例如：函式關係、相關係數、主外來鍵關係、索引關係等。存在資料關聯性問題，會直接影響資料分析的結果，進而影響管理決策。真實性

資料必須真實準確的反映客觀的實體存在或真實的業務，真 實可靠的 原始統 計資料是企業統計工作的靈魂，是一切管理工作的基礎，是經 營 者進行正確 經營決策必不可少的第一手 資料。

及時性資料的及時性(In-time)是指能否在需要的時候獲到資料，資料的及時性與企業的資料處理速度及效率有直接的關係，是影響業務處理和管理效率的關鍵指標。邏輯檢查不同表字段之間可能會有邏輯關聯，需要稽核離群值檢查部分資料可能會偏離其他資料，比如同一個商品金額大家都是100元，而有一條資料是1W自定義規則由需求方自定義相關規則波動稽核

與上週環比稽核波動情況

強弱規則

每個規則的權重應該是不一樣的，需要配置優先順序，這對後續的告警方 式是有幫助的

我們最終的目的是希望做到頁面可配置

四 實施流程4.1 事前定義質量規則梳理表，欄位等資訊確定資產等級制定檢驗規則4.2 事中監控資料質量在資料抽取過程中，可以對資料進行資料量稽核及唯一性，非空性稽核etl過程對髒資料進行清洗，保證資料質量指標計算過程中，可以對指標進行波動值稽核，保證指標變化在合理範圍內

以上如果有異常都需要郵件簡訊報警，對應負責人根據優先順序判斷是不是需要及時處理

4.3 事後分析和問題跟蹤

每週定時跑一次程式，對全域性資料進行質量稽核控制，如唯一性，非空性等

對於程式跑出來的資料：

資料質量概覽在資料質量管理系統查詢

資料質量明細資料在資料質量管理系統查詢

根據異常資料統計出來的各種資料質量報表也可以在資料質量管理系統查詢，包括表覆蓋率，歷史趨勢，綜合分析，排名分析等(質量報告支援匯出為word，pdf，excel)

對異常進行評估、嚴重程度、影響範圍、問題分類等

可以訂閱自己比較關心的主題，表或者規則，郵件只會傳送訂閱內容

對於打分比較低的表或者業務，可以反推業務方進行整改

4.4 重大問題告警

1.警告

郵件簡訊通知

2.資料整改

問題跟蹤處理，故障review，一週內處理完成

五 總結

資料質量管理貫穿資料生命週期的全過程，覆蓋質量評估、資料監控、資料探查、資料清洗、資料診斷等方面。資料來源在不斷增多，資料量在不斷加大，新需求推動的新技術也不斷誕生，這些都對大資料下的資料質量管理帶來了困難和挑戰。因此，資料質量管理要形成完善的體系，建立持續改進的流程和良性機制，持續監控各系統資料質量波動情況及資料質量規則分析，適時升級資料質量監控的手段和方法，確保持續掌握系統資料質量狀況，最終達到資料質量的平穩狀態，為業務系統提供良好的資料保障。