首先，不是為了減少運算量，絕大多數情況下，對於深度學習而言困擾都在於優秀的資料太少，而不會嫌多，資料比計算力更為值錢。然後，這樣做主要是為了提高和驗證網路的泛化能力。DL有非常強大的擬合能力，只要見過的資料通常都能記住，因此訓練階段一般準確率可以接近100%，但是你還需要保證他能夠處理沒有見過的樣本，例如識別花朵的神經網路，你不可能把世界上的所有花都找來，因此需要用驗證集（調整Hyperparamerter）和測試集（最終驗證）來確保它具有這個能力。我舉個簡單的例子，這就是課後作業、期末考試、高考這三者之間的關係。
課後作業（訓練集）：讓你學會知識（網路收斂）
期末考試（驗證集）：讓你檢驗自己是否真的學會了，發現了問題之後，你會調整學習方法（調整Hyperparameter）
高考（測試集）：這是最終的測試，在你沒見過的題上究竟能做到什麼程度（泛化能力），且不再給你調整的機會。
題外話：要確保三個資料集獨立同分布，這樣才能確保泛化能力
首先，不是為了減少運算量，絕大多數情況下，對於深度學習而言困擾都在於優秀的資料太少，而不會嫌多，資料比計算力更為值錢。然後，這樣做主要是為了提高和驗證網路的泛化能力。DL有非常強大的擬合能力，只要見過的資料通常都能記住，因此訓練階段一般準確率可以接近100%，但是你還需要保證他能夠處理沒有見過的樣本，例如識別花朵的神經網路，你不可能把世界上的所有花都找來，因此需要用驗證集（調整Hyperparamerter）和測試集（最終驗證）來確保它具有這個能力。我舉個簡單的例子，這就是課後作業、期末考試、高考這三者之間的關係。
課後作業（訓練集）：讓你學會知識（網路收斂）
期末考試（驗證集）：讓你檢驗自己是否真的學會了，發現了問題之後，你會調整學習方法（調整Hyperparameter）
高考（測試集）：這是最終的測試，在你沒見過的題上究竟能做到什麼程度（泛化能力），且不再給你調整的機會。
題外話：要確保三個資料集獨立同分布，這樣才能確保泛化能力