-
1 # Luthiel
-
2 # 九維空間
這個問題的答案其實很深刻,涉及到熵增原理與機率和資訊的關係。
大數定律是機率論中的一個重要定理,即隨機事件發生測次數越多,事件的不同結果的機率分佈越向機率的期望值靠攏。舉個例子,扔硬幣的期望機率是正反面各1/2,當只扔幾次的時候,也許會出現連續多個正面,比如扔10次出現7次正面3次反面的情況,正面數遠多於反面,偏離了1/2機率。但是當你扔100次的時候,很難出現70次正面30次反面的情況,兩者都接近50次。當你扔10000次的時候,基本上就是5000次正面5000次反面。這個定律經過了伯努利和切比雪夫等數學家的嚴格證明,所以是一個定理。
物理學中嚴格的熵增定律,並不是熱力學中的原始定義,而是來自於玻爾茲曼和吉布斯等物理學家的統計力學定義。一個物理系統的狀態越多,它的熵就越大。例如玻爾茲曼熵S=k*lnΩ,Ω就代表狀態數。假如我的物理系統有100個粒子都處於不同的狀態時,它的熵就遠大於100個粒子都處於相同狀態的熵,前者是一個整數,後者是0。熱平衡過程就是一個熵增過程,大量粒子從佔據少數狀態經過能量交換過渡到佔據所有狀態。如果我增加到10000個粒子來佔據10000個不同的態,那麼它的熵更要大於100個粒子佔據100個不同狀態。
而熵增的結果,也就是系統最大熵的狀態,就是這個系統粒子分佈機率的期望值。粒子越多,就等同於隨機事件越多。當粒子數較少時,遠小於可佔據的狀態,它的分佈就很可能偏離這個期望分佈,例如我們無法透過少數幾個粒子來測系統的溫度。當粒子數越多,粒子的分佈越接近期望的分佈。因此,只要承認粒子分佈的隨機機率性,那麼熵增就可以看做是大數定律的一種體現。
實際上正是由於熵和機率之間這種深層次關係,使得夏農(C. Shannon)將熵的概念引入了資訊理論,用熵的大小來代表隨機性的大小,即圖中的夏農熵公式。熵越大,隨機性越強,資訊量越少,反之熵越小,確定性越強,資訊量越大。
回覆列表
沒有關係
大數定律的意思是:只要可能發生,那麼必定發生。
著重點是特例
熵增的意思是:越來越亂越來越均勻,不整齊難以區分。
著重點是整體