A/B測試其實我們大家接觸的比較早，只是沒有發覺。高中的生物課小白鼠實驗、碗豆實驗等，數字中的農田施肥和不施肥等都有所體現。可能是單純地與作業有關，沒有和商業結合在一起，所以可能沒有那個印像。吃飯規範網際網路，也是將傳統應用在醫學、生物類的借鑑到上來應用，幫助我們提高我們網站的轉化率。

A/B測試

AB測試是出於對轉化的目的，透過改變某個變數，製作多個（2個及以上）版本，在同一時間維度，分別讓組成成分相同（相似）的訪客群組隨機的訪問這些版本，收集各群組的使用者體驗資料和業務資料，最後分析評估出最好版本正式採用。

A/B測試利用統計學上的大數定理、中心極限定理、樣本、置信區間、總體與樣本的分佈等相差統計學知識來實現。

A/B測試是建立於統計方法和分析上的技術。也就是說，你並不需要成為一個統計學家來了解相關的概念或你最喜歡的A/B測試框架給你的結果。當然你可以學習一些數學知識來計算你的測試中的統計資料和指標。但最終，可能你更關心的是什麼結果能引導你讓你的營銷或產品變得更有針對性。

技術方面能不能控制一部分人（比如1000使用者）用A方案，一部分人用B方案

答案是肯定的，而且是必須要做到的。A/B測試主要是透過選擇兩組相同（儘可能相似）的使用者，透過觀察這些使用者的行為來達到實驗結果，所以使用者的選擇分組，至關重要，直接影響到實驗的結果。統計學上的辛普森悖論表達的就是這種意思，分組選不好，直接得出相反的結果。所以，做A/B測試實驗一定要知道如何正確地選擇分組。

分組的技術基於COOKIE每個使用者訪問的時候我們都會記錄使用者的cookie資訊，以表示該使用者的唯一性，利用該特性，結合一些其它的地理位置、語言等其它維度的資訊，可以很好地幫助我們做相應的分組。

基於使用者ID

對於需要登入的網站，那基於使用者ID是一個不錯的選擇，因為使用者ID是不會變，不像COOKIE，使用者清除一下瀏覽器就產生變化，新產生一個使用者。

如果無法度量，就無法改進，A/B測試正是提供了我們這樣一個手，讓我們朝著某個方向一直前進，達到提高目標的目的。

灰度測試可以看成A/B測試的一個種方式，屬於A/B測試的範疇。

要實現AB測試，在技術上是沒有太大的障礙的，不論是自建還是直接引入第三方的SaaS平臺都可以做到，無非是自建需要的成本更高並且效果更不穩定。要想控制各有一部分人進入不同版本也不是什麼多難的事兒，依仗雜湊演算法，使用使用者唯一身份標誌的雜湊值尾號進行分流就可以。

灰度釋出，很多人將灰度釋出與AB測試混為一談，而實際上，灰度釋出只是與A/B測試比較類似而已，國外最初是沒有灰度釋出這種說法的，只有AB testing。按照wikipedia中對A/B測試的定義，A/B測試是：A/B/N Testing、Multivariate Testing、split-run testing，因此本質上灰度測試可以算作A/B測試的一種特例。具體來看：

l 灰度釋出是對某一產品的釋出逐步擴大使用群體範圍，是一個在上線過程中的保險機制。

l A/B測試則是在幾種方案中選擇最優方案，然後將最優方案正式上線——是一個上線前的實驗工具。

需要說明的是，由於當前國內各個AB測試平臺的技術支援，灰度釋出已經可以在AB測試的環境下實現：http://ab.testin.cn/blog/abtest_gray.html