什麼是大資料？

　　大資料是一個大的資料集合，透過傳統的計算技術無法進行處理。這些資料集的測試需要使用各種工具、技術和框架進行處理。大資料涉及資料建立、儲存、檢索、分析，而且它在數量、多樣性、速度方法都很出色。

　　大資料測試型別

　　測試大資料應用程式更多的是驗證其資料處理，而不是測試軟體產品的個別功能。當涉及到大資料測試時，效能和功能測試是關鍵。

　　在大資料測試中，QA工程師使用叢集和其他元件來驗證對TB級資料的成功處理。因為處理非常快，所以它需要高水平的測試技能。處理可以是三種類型：批次、實時、互動。

　　與此同時，資料質量也是大資料測試的一個重要因素。在測試應用程式之前，有必要檢查資料的質量，並將其視為資料庫測試的一部分。它涉及檢查各種欄位，如一致性，準確性，重複，一致性，有效性，資料完整性等。

　　大資料測試步驟

　　Step 1：資料階段驗證

　　大資料測試的第一步，也稱作pre-Hadoop階段該過程包括如下驗證：

　　來自各方面的資料資源應該被驗證，來確保正確的資料被載入進系統

　　將源資料與推送到hadoop系統中的資料進行比較，以確保它們匹配

　　驗證正確的資料被提取並被載入到HDFS正確的位置

　　該階段可以使用工具Talend或Datameer，進行資料階段驗證。

　　Step 2："MapReduce"驗證

　　大資料測試的第二步是MapReduce的驗證。在這個階段，測試者在每個節點上進行業務邏輯驗證，然後在執行多個節點後驗證它們，確保如下操作的正確性：

　　Map與Reduce程序正常工作

　　在資料上實施資料聚合或隔離規則

　　生成鍵值對

　　在執行Map和Reduce程序後驗證資料

　　Step 3：輸出階段驗證

　　大資料測試的最後或第三階段是輸出驗證過程。生成輸出資料檔案，同時把檔案移到一個EDW（Enterprise Data Warehouse:企業資料倉庫）中或著把檔案移動到任何其他基於需求的系統中。在第三階段的活動包括：

　　檢查轉換(Transformation)規則被正確應用

　　檢查資料完整性和成功的資料載入到目標系統中

　　透過將目標資料與HDFS檔案系統資料進行比較來檢查沒有資料損壞

大資料工程測試的範圍非常廣泛，也包含大資料平臺測試，一個大資料工程要進行系統的測試最好還是透過第三方測試機構來做，一方面軟體測評的技術能力更加靠譜，另一方面第三方測試機構一般承擔監理、質量管理等作用，再加上合同的制約，企業可以比較放心。

具體可以瞭解下獨立第三方測試機構卓碼軟體測評：https://www.zmtests.com/

可以提供大資料平臺測試。