奧卡姆剃刀定律：如無必要，勿增實體。原理具體表現為：

1.避重趨輕、2.避繁逐簡、3.以簡御繁、4.避虛就實。

奧卡姆剃刀定律是由英國奧卡姆的威廉所提出來的。在他主張的唯名論中，奧卡姆的威廉說到：“切勿浪費較多東西去做用較少的東西同樣可以做好的事情”。這個定律在14世紀的歐洲，剃禿了幾百年間爭論不休的經院哲學和基督教神學，使科學、哲學從神學中分離出來，引發了歐洲的文藝復興和宗教改革。而其深刻意義，也在時間的沉澱中變得更加廣泛和豐富。

用簡單的話語來說明奧卡姆剃刀定律就是，保持事情的簡單性，抓住根本，解決實質，我們不需要人為地把事情複雜化，這樣我們才能更快更有效率的將事情處理好。而且多出來的東西未必是有益的，相反更容易使我們為自己製造的麻煩而煩惱。

奧卡姆剃刀定律的另外一種闡釋就是：當你有兩個處於競爭地位的理論能得出同樣的結論，那麼簡單的那個更好。

對於現象最簡單的解釋往往比較複雜的解釋更正確；如果你有兩個類似的解決方案，選擇最簡單的。這些所提到其實就是馭繁於簡。把事情變複雜很簡單，把事情變簡單很複雜。所以奧卡姆剃刀定律對我們的啟示是必須深刻記憶的。只要我們能勇敢地拿起"奧卡姆剃刀"，把複雜事情簡單化，你就會發現人生其實好簡單，成功其實離你也並不遠。

下面舉一奧卡姆剃刀定律在機器學習領域中應用的例子來更好的闡述該定律的內涵和原理

奧卡姆剃刀定律在機器學習領域同樣應用廣泛。將奧卡姆剃刀定律應用在機器學習上意思是使用的模型儘可能的簡單。如圖所示，對於同一組資料集，兩種不同的分類模型（模型A/B），應該如何選擇？

透過肉眼觀察，當然會選擇模型A，因為它簡單，於是產生了兩個問題，什麼情況意味著模型是簡單的？如何得知簡單的模型會有好的表現？

簡單意味著什麼？

對於一個假設h，引數越小意味著越簡單，模型A只需要極少的引數，如圓心和半徑。

對於一個假設空間H，有效的假設數量越少則意味著越簡單。

如何得知簡單的模型會有好的表現？

假設一個數據集的規律性很差（如輸入樣本的輸出標記都是隨便標記的），此種情況很少有（甚至沒有）假設函式能使得該樣本的分類誤差等於0。如果一個數據集能被某模型分開，則該資料集的規律性不會特別差。在使用簡單模型將某資料集大致區分開時，則可以確定該資料集是具有某種規律性的；如果是用複雜模型將某資料集分開，則無法確定是資料集具有規律性還是模型足夠複雜恰巧將混亂的資料集分離。

因此，在運用模型時先使用簡單的模型，一般使用最簡單的線性模型。

奧卡姆剃刀定律：如無必要，勿增實體。

個人理解，作為科學研究的手段，相當於以最小的階次去擬合已知資料，直到發現顯著的真實的離群資料，證明有引入高階係數的必要，才去引入。

這是一種研究方法，是自然規律由淺入深被人類發現的過程總結，而不是實際的自然規律。因為我們知道，自然規律永遠比我們想象的更精彩複雜。

以電場為例，兩個電子之間的相互作用力，既可以用直接作用描述，也可以引入場的概念。在電場的相關影響沒有被發現前，你會採用哪種假設呢？

又或者以相對論為例，牛頓力學的運動變換多麼簡潔，犯得著引入洛倫茲變換這種複雜的東西嗎？

但是，複雜的，卻是更接近自然本質的；簡單的，反而是我們觀測技術不夠得出的粗糙結論。

不按套路出牌，違背奧卡姆剃刀定律，增加比解釋當前現象必須的更多實體，最後反而被證明成功的案例一定有。不過搜尋起來比較麻煩。有合適例子的可以幫忙列在回覆裡。

就像在設計領域，一般是逐漸減小自由度，做線性近似，簡化思考難度。但你限制不了某些大神指數對數在腦，微分積分由心，直接做高維度思考給結果。

因此個人不贊成這個東西叫做定律。叫做奧卡姆剃刀方法還差不多。

如果放在中國，就是典型的誤用“成語典故”！

金克木先生有一篇同名文章，專門解釋過這個問題。

個人感覺，奧卡姆追求的是宗教信仰的純潔性，而科學精神的精髓，卻是，懷疑！

宗教我不太懂，甚至完全不懂，不過看了人家的描述，大概能猜到，如果不能“堅信”，估計你的信仰會很危險！

能科學精神呢？本質就來自於不斷的質疑，推翻，再建立，永遠迴圈。這也是“科學”沒有淪為一種“科學教”的根本原因，它告訴我們，所有的經典、原理，早晚有一天會被推翻。

奧卡姆剃刀需要的恰恰是“堅信”，不可能是懷疑！

舉個真實案例：

我讚揚劉邦的過人之處，以其對雍齒的寬恕和封賞為例，稱讚這種不為私仇所動搖而為國家和人心穩定而實施的行動，是常人所不能為。而歷史虛無主義的持有者這時候站出來，對這段歷史的記述進行反駁，他們揚言“歷史都是勝利者書寫的”，並想象出一個看似合理的解釋：“搞不好這人早就已經被劉邦暗中做掉了，只是找了個和他長相相似的人替代，然後再讓記錄歷史的人按自己要求寫而已。”

我先駁其案例事實，再駁其哲學基礎。從事實情況來說，這個看似合理的假設，事實上可操作性幾乎完全等於零，從劉邦、雍齒、其他功臣三個方面看都有無法逾越的阻礙。對劉邦而言，做這樣一件事他肯定是無法自己動手的，至少需要將這種命令發出，這就決定了這個訊息在當時是肯定無法完全被所有人不知情的，明白了這個前提，我們看看對劉邦是什麼後果：如果劉邦做了這種事，報復私仇，說明他根本就不是一個考慮萬世基業的人，而又強改史書，說明他也不尊重任何信仰和道義，那麼此後他所說的一切原則都不會再有人真正認可，權力的根基就此喪失——畢竟陳勝早就呼喊過王侯將相寧有種乎，他劉邦一人豈可獨善其身？如果他用了這種手段來既要滿足私仇又要歷史評價，那麼無疑就是給屬下臣子樹立榜樣，教育大家可以用同樣的手段對付自己。我們只好提出一個假設，排除掉前面的障礙。假設劉邦是個大力士，自己可以一個人動手做掉雍齒，找個和他一模一樣的人，騙過了史官，並且還用超越現代心理學的黑科技洗腦了冒充者，讓冒充者認為自己就是雍齒，保住了這唯一一個可能的資訊洩露的源頭，那麼就從此高枕無憂了嗎？並不，我們知道，人是社會動物。一個生活在文明社會中的人，除了每天吃喝，以及所表現出來的樣貌，他的社會關係和自我信仰也是不可或缺的重要組成部分，這些東西不會體現在相貌上，所以無法完全複製，也許一個被洗腦和整容後的冒充者可以騙過和他關係本就疏遠的史官，但是在他原來的生活中騙不過的人肯定還是佔大多數：他的同學、妻子、下屬、故人等等，這些人每個人心裡都有和雍齒有關的不同的記憶，並且這些記憶很多時候還都是專屬於他們二人的，如果需要完全的騙過，那麼意思就是你需要獲知雍齒被殺前一生所做過的所有小事——他讀過的所有書，道旁聽過的所有流言，和密友私下聊天的所有內容細節，甚至他和他老婆、小妾生活的所有細節……我們再進一步，假設劉邦是個大力士，自己動手，同時發揮他的催眠術在殺掉雍齒之前催眠了他，讓他花極長的一段時間把自己一輩子全說了一遍，然後將其原封不動透過催眠再複製到這個冒充者腦袋裡。這樣這個冒充者就無法被任何人看出來啦，他知道雍齒生活的所有細節，包括他和老婆喜歡用的體位，包括他曾經用了什麼花樣羞辱劉邦的老婆，包括他和他的小學同學年輕的時候有多麼非主流……這所有的資訊他全都有，並且全部都能和對應的當事人以合適的語氣和原來的說話風格聊起來，然後呢？我們不會忘記，人除了社交還有更高一層追求的，那就是自我實現的追求。劉邦所擁有的這種超越了人類至今的科技實力的催眠術可以複製雍齒的過去，卻複製不了這個人對未來的追求，劉邦給冒充者催眠的時候，當然不會再給他輸入一個希望謀反的心，所以即使這個假雍齒可以扮演雍齒的一切，當其他心懷惴惴的功臣來和他聊起未來的時候，他的設想和追求，與從前的雍齒的追求之間的差異，還是會讓其他功臣感覺到極大的不安。我們知道，政治的遊戲是生與死的遊戲，敢於把自己的生死當作兒戲的人往往會如其所願成為別人刀下的把戲，所以發現了這種異常的其他一大票功臣，也是同時代最聰明的這批大腦——韓信、英布、張良、蕭何等等，一定會對此做出調查和研究，那麼我們就必須繼續增加假設：劉邦是個大力士可以獨自幹掉雍齒，以及他還掌握了某種技術可以催眠他人讓他人想起人生中所有事情，並且這種催眠術還能把同樣的資訊灌倒另一個人腦袋裡……並且，這所有的科技、力量都是完全隱蔽的，只有劉邦一個人知道且沒有任何技術發展蹤跡可尋的。但凡留下一絲可疑，比方說劉邦把雍齒留在宮裡待了一兩年才出來，這期間沒有任何人見過雍齒，那麼就一定會有人懷疑這個雍齒是不是真的了；比方說大家打聽到有個民間高人會催眠，可以讓人老老實實交待，並且對聽到的訊息執信不疑，那麼這個套路無疑就穿幫了。所以，對其他功臣，所有最聰明的大腦來說，劉邦還需要保證他的實行過程足夠的短（讓雍齒待個一兩年這種操作一定是早被人懷疑了的），同時他所使用的技術手段沒有當世的人知道，也沒有留下任何研究筆記、催眠器械的痕跡，抑或是他的技術手段是無需器械的。實在編不下去了……總而言之，一句簡單的“把人做掉，找個人冒充”，說起來容易，但是想讓這事永久的瞞過當世其他所有人甚至幾千年後科技更發達的後人，需要的假設多到不可計數。開口說話很容易，但是驗證假設卻很難，提出這種虛無主義的可能性的人，都是在推理上做了大躍進，僅憑帝王最想要的目的，就推匯出了可能的手段，卻對自己考慮的過程中缺失的證據沒有一絲察覺。

我們從哲學上看，這種詭辯術並不只是用在虛無歷史這個目的上，甚至用在自然科學上也不鮮見，於是我們終於看到了我們的主題——

奧卡姆剃刀原則，它的提出就是為了一次性解決這種詭辯手段的。

這個原則可以總結為八個字，“如無必要，勿增實體”。大概意思是這樣：在所有資料和事實證據都相同的情況下，採信假設更少的那一個。比方說，史書記載雍齒受封，從此其他功臣都對自己的命運感到放心，對於這一記載，我們可以有很多解釋，史書說劉邦真的不計前嫌，封賞了他，這算一種。上面我編的那那些，也算一種。當然我也可以再提出一個解釋，說雍齒其實是個絕世大美女，她的美貌和技巧讓所有男人都欲罷不能、任其擺佈，因此她睡了整了秦末漢初所有的男人，史書什麼的都是她指揮史官瞎寫的，因為所有人都拜倒在她的石榴裙下，所以任何違揹她想法的記錄都不會留下來。這當然也是一種解釋，不過需要的假設更多了而已，比方說我們就需要假設她的魅力是如此之大，連宮刑之後的司馬遷都無法拒絕，同時我們還需要編一個故事或者假設一種沒有留下任何證據的科技，解釋為什麼同時代的女人沒有提出質疑，當然，科幻小說這麼多，我們不應對人類編撰的能力喪失信心，所以這也算一種解釋。你可以看到，如果不遵循奧卡姆剃刀原理，我們就沒什麼好討論的，因為此時的討論變成了不以追求事實真相為目標，而是純粹的比拼想象力和編撰能力，看誰能提出更多的假設並把故事說圓……老實說，有這樣的能力和慾望的話，我看倒是更應該和我一樣，想想辦法試著寫小說。在自然科學裡面也不乏其應用：五百年前，在我們還搞不清楚地球是宇宙的中心還是太陽的時候，彼時靠著望遠鏡的觀測我們已經拿到了足夠多的事實資料，這些資料孤立來看的話既可以證明地球是中心，也可以證明太陽是中心，但是區別在於：日心說只需要7個基本假設，地心說卻需要多得多的假設。於是哥白尼在他的《天體執行論》裡面，第一次運用奧卡姆剃刀原則，表示就目前所獲得的所有資料和證據來看，太陽才應該是地球運轉的中心。但是，自他之前一千多年，大家都在研究托勒密搞出的地心說那一套，一代代人已經給地心說添加了極其完整的解釋，所以這時候日心說並不受重視。哥白尼的日心說體系雖然也能解釋一些天文現象，但帶來的問題也不比地心說少，兩者可說勢均力敵。那日心說為什麼越來越得到人們相信，而最終成為我們這個時代的共識呢？也是因為奧卡姆剃刀原理。在哥白尼之後，包括第谷在內的無數天文學家不斷的觀測和記錄，產生的無數新的資料和證據，讓地心說只能不斷修修補補，不斷的增加各種假設才能跟上觀測資料增長的腳步，最後已經不得不為行星們畫出80多個小軌道，導致宇宙變得非常複雜。這時候科學家們扭頭一看，日心說那裡的九大行星和太陽的關係無比的簡潔和美觀，呼叫的假設也沒有隨著資料的增加而成比例增長，那麼我們有理由相信，這才是基於當前我們我能觀測到的資料來看，更接近事實的答案。其實這也並不是說，奧卡姆剃刀得出的結論更符合宇宙真理，其實這只是對我們工作的一種簡化和效率保證，是人類面對資源有限的現實無法不選擇的一種哲學原則。如果我們不遵循它，不管是歷史研究還是自然科學的研究，我們都將擁有無限多的研究方向————因為假設是無窮無盡的。但如你所知，人類的資源卻從來都不是無窮的。所以，有鑑於學術研究巨大的資源消耗，同時那也是納稅人寶貴的勞動剩餘，我誠懇的建議將所有不遵從奧卡姆剃刀原則的討論和編撰工作，交給小說家來做，畢竟眾所周知，寫小說的人要求一般不會太高，能吃能住和有地兒打字就很滿足了，我認為這是符合經濟效率的一種安排。