同A/B測試相對應的生產實體產品的廠商進行產品改進或事發布新產品。往往需要在前期投入大量的資金和人力進行市場調研，來獲得顧客們的需求和喜好。然後研發相應的產品，再投入生產，銷售，最終到達顧客的手中。這種方式的風險在於，非常依賴於前期市場調研，一旦開始研發、生產，就需要投入大量資金。如果產品反響不好的話，則將蒙受巨大損失。此外，由於調研和銷售存在時間差，而使用者的需求又是處於不斷變化之中，因此這其中存在較大的風險。

而A/B測試主要應用於網際網路產品，如網頁中廣告擺放的位置、手機App的頁面佈局、互動設計方式等等。利用網際網路的便利，廠家在對原有產品進行改進時，往往存在多種方案，這時如果僅憑藉經驗來決定，並將存在一定風險，如果改版失敗，那麼無法挽回損失。因此藉助透過A/B便可更加客觀及時的發現使用者的喜愛和偏好，透過對採集到資料進行分析，從而得到更加科學的方案選擇，還能夠節省下大量的成本。而對產品不斷的迭代A/B測試，則可以保證產品能夠與時俱進，越來越適應使用者的習慣。

為什麼要做A/B測試

在對比兩種方案的時候，可以透過ABTest實驗結論，得到基於資料的決策。

A/B測試是一種用於線上測試的常規方法，可以用來測試新產品或者新功能。

我們需要設定兩組使用者，將其中一組設定為對照組，採用已有的產品或功能；另外一組是實驗組，採用新版產品或功能。找到上述使用者做出的不同響應，然後確認哪個版本的功能更好。

1、考慮時間成本，需要長期觀察或短期內無法得到結果的，不適用於ABTest。

如果做一個策略，在半年後才能得到反饋結果，這種情況下，並不適用於ABTest實驗。想要得出實驗結論需要觀察半年以上的時間，可是半年後市場等都會發生變化，實驗結果已經不可信。

2、符合道德倫理的要求

如果想知道吸菸對孕婦腹中胎兒是否有害，我們不能去設計該ABTest，因為我們不能安排其中一組孕婦去吸菸，這將使該組使用者面對健康風險。