任何假設檢驗都不是 100% 確定的。由於檢驗基於機率，因此始終會存在得出不正確結論的機率。在執行假設檢驗時，可能會犯兩種型別的錯誤：型別 I 和型別 II。這兩種錯誤的風險逆相關，並且由顯著性水平和檢驗功效來確定。因此，在定義錯誤所帶來的風險之前，應當確定哪種錯誤對於您所處的情形造成的後果更嚴重。

型別 I 錯誤

如果原假設為真，但您否定它，則會犯型別 I 錯誤。犯型別 I 錯誤的機率為 α（即您為假設檢驗設定的顯著性水平）。α 為 0.05 表明，當您否定原假設時，您願意接受 5% 的犯錯機率。為了降低此風險，必須使用較低的 α 值。但是，使用的 alpha 值越小，在差值確實存在時檢測到實際差值的可能性也越小。

型別 II 錯誤

如果原假設為假，但您無法否定它，則會犯型別 II 錯誤。犯型別 II 錯誤的機率為 β，β 依賴檢驗功效。可以透過確保檢驗具有足夠大的功效來降低犯型別 II 錯誤所帶來的風險。方法是確保樣本數量足夠大，以便在差值確實存在時檢測到實際差值。

在原假設為假時否定原假設的機率等於 1–β。此值是檢驗的功效。

型別 I 和型別 II 錯誤的示例

為了理解型別 I 錯誤和型別 II 錯誤之間的相互關係，並確定對於您所處的情形哪個錯誤產生的後果更嚴重，請參考下面的示例。

某醫療研究員想要比較兩種藥物的有效性。原假設和備擇假設如下：

原假設 (H0)：μ1= μ2兩種藥物等效。備擇假設 (H1)：μ1≠ μ2兩種藥物不等效

如果研究員否定原假設並在兩種藥物實際上沒有差異時得出二者不同的結論，則會出現型別 I 錯誤。如果兩種藥物具有相同的有效性，則研究員無法將此錯誤視為太嚴重，因為患者無論服用哪種藥物，仍受益於相同水平的有效性。但是，如果出現型別 II 錯誤，研究員將無法在應當否定原假設時否定原假設。也就是說，研究員會在兩種藥物不同時得出它們相同的結論。如果向公眾出售有效性低的藥物（而不是有效性高的藥物），此錯誤可能會危及生命。

在執行假設檢驗時，請考慮犯型別 I 錯誤和型別 II 錯誤的風險。如果與一種型別的錯誤相比，犯另一種錯誤所帶來的後果更嚴重或者犯錯成本更高，請選擇將反映這些後果的相對嚴重性的顯著性水平和檢驗功效。