> A very disordered system, but not necessaily high in entropy.

熵的概念的第一個暗示是拉扎爾·卡諾（Lazare Carnot）提供的，最著名的是他研究引擎並領導法國革命軍的工作。Lazare對系統中工作與系統中工作之間的關係非常感興趣。他將此輸出命名為"有用的工作"，而將丟失的工作稱為"轉化能量"。以後將其稱為熵。

> Lazare (left) and Sadi (right) Carnot. Both pictures taken from Wikipedia.

他的兒子薩迪·卡諾（Sadi Carnot）繼續他父親研究發動機的工作。他是著名的卡諾迴圈（Carnot Cycle）的創造者，該迴圈是經典熱力學發動機效率的上限。薩迪認識到，從熱能轉換為工作時一定會損失一些能量。這是描述熱力學第二定律的另一種方式，該定律本質上說熵永遠不會降低。

然後，許多其他科學家改變了這個概念，以適應各自的領域。魯道夫·克勞修斯（Rudolf Clausius）是第一個正式稱其為"熵"的人，並在研究熱量時加以利用。他根據希臘語"熵"的意思選擇了這部作品，意思是"轉換"。Ludwig Boltzmann在統計力學發展過程中高度依賴熵。ErwinSchrödinger將進化中的突變與熵的增長相關。最近，克勞德·夏農（Claude Shannon）將整個資訊理論的基礎都建立在熵的概念上。

在所有這些不同的領域和用途下，難怪熵變得多麼模稜兩可。我記得在我整個大學學習期間都遇到過幾個與熵有關的定義和方程式，這些定義和方程式似乎無關。唯一的共同主題似乎是隨機性。

讓我們研究一下熵，看看它在這些領域中的使用情況。我們已經在熱力學意義上進行了一些討論，但是我們可以更進一步。思考熵的一個好方法是測量能量如何擴散。考慮到這一概念，熱力學第二定律簡單地指出"能量將隨著時間的流逝而變得越來越分散"。

希望您能看到這條法律是多麼的模糊，它一定是必須的。沒有確切的函式告訴我們能量將如何運動，我們也沒有"擴散度"的具體定義。我將舉例說明第二定律在起作用，希望您能理解。

如果我們將熱鍋放在外面，不加任何加熱，它將逐漸冷卻。這是因為鍋中的熱能正在緩慢擴散到附近的分子。隨著時間的流逝，這種能量變得越來越均勻。考慮一下漂浮在水中的冰塊。冰中的分子所含能量少於液態水中的分子所含能量。但是，隨著時間的流逝，冰會融化，水的能量會擴散成冰。

熵對於過程的自發性至關重要。如果一個過程的熵增加（例如上述兩種情況），那麼它將自行發生。如果某個過程的熵降低，例如冰在一杯室溫水中隨機凍結，那麼除非有外力作用（冰櫃），否則它不會發生。

請務必注意，熵與無序是不同的。熵的一個常見比喻是將一個凌亂的房間與一個整潔的房間進行比較。但是，兩種情況下的能量"散佈"了相同的數量。說一個房間的熵大於另一個房間是不正確的。這裡有很多事情要做，如果您感興趣的話，本頁面將進行更詳細的介紹。

熱力學概念是熵的最初定義，也許是最精確的定義。只會從這裡變得陌生！

接下來我們來談談統計力學，這個領域與熱力學有很多共同之處，但又不盡相同！

統計力學的中心概念是宏觀狀態與微觀狀態之間的差異。宏觀狀態是具有諸如溫度，壓力和體積等屬性的較大的，可觀察的系統。它包含許多小分子，但是我們基本上可以忽略這些小分子，而只需考慮整個系統。但是，微狀態確實考慮了每個單獨的粒子，並描述了每個在宏狀態中的確切位置。任何給定的宏觀狀態都可能具有數萬億個可能的不同微觀狀態。

在這種格式中，熵定義為可能的微狀態數的對數。由於無法確切知道可能有多少種微狀態，因此這更多是概念性的，而不是實用的。從最基本的意義上講，想象一下一個裝有氣體的盒子，突然把盒子的壁去掉了。氣體將散佈開來，從而增加這些氣體分子所在的體積。由於存在更多的空間，因此可用的微狀態數量增加，並且熵增加。

> Maxwell's Demon, a possible violation of the second law. Source

熵的最後主要用途是在資訊理論中。此定義與其他定義明顯不同。資訊理論處理從源到接收者的資訊傳遞。

假設您想向朋友傳送您在測試中獲得的字母等級，可能是A，B，C，D或E。您只能傳送5條訊息，這會使熵值降低。相反，如果您想傳送準確的分數，例如88.2或73.4，該怎麼辦？這樣有更多的可能性，並且將具有更高的熵值。

您有望看到這個概念與熵的統計力學觀點之間的聯絡。通訊的熵對如何傳送訊號有很多影響。高熵訊號需要大量資訊，而令人驚訝的訊號則更易於傳送。

熵已遍及數學和物理世界。雖然將其視為"混亂"是有用的，但它消除了許多細微差別。希望您已經掌握了有關熵的不同思考方式以及所獲得的收益。