俗話說：“三個臭皮匠，頂個諸葛亮。”不過，三個臭皮匠，恐怕抵不上一個諸葛亮。否則劉備也不用三顧茅廬請諸葛亮出山了。

問題在於，三個臭皮匠，相對於單個臭皮匠，水平是否一定提升？

其實這個問題專門有一個定理，稱為臭皮匠定理。

上式中：

N為臭皮匠總數m是臭皮匠構成多數的值（這裡我們假定臭皮匠意見出現分歧時，透過簡單多數原則投票決定結果，當超過m個臭皮匠贊同時，臭皮匠團體贊同，相反，當超過m個臭皮匠反對時，臭皮匠團體反對。實際上，m = (N+1)/2）p為單個臭皮匠做出正確決定的機率μ是整個臭皮匠團體做出正確決定的機率

由臭皮匠定理可知，當p大於等於0.5時，μ大於等於p。

0.5是什麼？什麼都不知道，瞎蒙的機率就是0.5. 所以說，只要臭皮匠稍微有一點水平，比瞎蒙的水平高一點，那麼三個臭皮匠做出正確決策的機率就一定高於單個臭皮匠。

另一方面，當p大於0.5且N趨向於無窮大時，μ趨向於1. 換句話說，無窮多的臭皮匠一定勝過諸葛亮。也就是說，理論上，劉備可以組建一個臭皮匠參謀團，用成千上萬的臭皮匠來代替諸葛亮。

當然，這只是理論上而已。實際上：

臭皮匠定理只考慮了一個二元分類問題（binary classification problem），也就是說，要麼贊同，要麼反對，而無法應對開放性問題。換句話說，理論上，無窮多的臭皮匠，在“是否執行草船借箭計劃”這個問題上，也許能做出非常靠譜的決策，但是這無窮多的臭皮匠，其中未必有人能想到草船借箭這個主意。當然，另一方面，臭皮匠們也不是隻能贊同或者反對的。1906年的時候，高爾頓（達爾文的表弟）在一個集市上觀察到，八百個人競猜一頭牛的重量。儘管沒人猜中正確答案（1198磅），但是這八百人猜測的平均值是1197磅。也就是說，雖然許多臭皮匠恐怕未必想出草船借箭這個主意，但草船借箭之後，找很多臭皮匠來估算借了多少箭還是可行的。現實中，當人數達到一定數量，難免會混入不靠譜的臭皮匠。實際上，由臭皮匠定理可知，即使臭皮匠中有些濫竽充數的人，也沒關係，因為這些人不過是瞎蒙而已，有人蒙錯，就有相應的蒙對的人互相抵消。但是，有些不靠譜的臭皮匠，腦子裡塞滿了自以為正確的偏見，做決策的水平還不如瞎蒙呢！這些不靠譜的臭皮匠一多，那μ就可能小於p了。更可怕的是，這些水平不如瞎蒙的臭皮匠可能對自己很有信心，所以會四處鼓吹自己的主張，很多本來一無所知，只能瞎蒙的人，或者本來水平只比瞎蒙好一點的人，可能因為聽信了這些不靠譜臭皮匠的宣傳，而做出錯誤的決策。

回到整合學習（ensemble learning）這個話題，由臭皮匠定理可知，整合學習相比單個學習器一定有提升（除非你的單個學習器精確度還不如瞎蒙，這不叫學習器，這叫學習器廢品）。

最後，其實臭皮匠定理是我瞎編的，並沒有這個定理。;-)

別慌，其實雖然沒有臭皮匠定理，但是有一個孔多塞陪審團定理（Condorcet’s jury theorem）。除了名字不一樣以外，內容和臭皮匠定理一模一樣。