1948年，美國數學家夏農（Claude Elwood Shannon）發表了其劃時代的《通訊的數學原理》，提出了「資訊熵」的概念，這篇論文奠定了現代資訊理論的基礎。夏農的定義建立起了「資訊」與「熵」之間的聯絡，並將「資訊」這樣一個看起來抽象而主觀的概念進行了準確的定量刻畫。
作為一個「定義」，我們總是可以任意地進行規定，這本身不涉及到「證明」的問題。不過，在這裡，題主真正想問的，其實是「資訊熵」這樣一個「定義」到底是不是真的可以很好地與物理學意義上的「熵」自洽起來。答案也是肯定的。
在能量確定的情況下，「狀態數」的對數即為熵。而一個系統如果可能達到的狀態數很多，這就表明我們對系統狀態的不確定度就越大，在日常的語言中，我們常常把這種充滿不確定的狀態稱為「無序」或者「混亂」的狀態，也就是「熵」更大的狀態。用中文來舉一個例子：假如我們需要猜測一個二字詞，如果我們知道這個詞的第一個字是「信」，這時我們可以有很多選擇：資訊、信念、信任、信服、信件、信心、信使……，大量的候選詞意味著更多的「狀態數」；而如果我們知道這個詞的第一個字是「耄」，那麼我們很容易知道這個二字詞只可能是「耄耋」。以「信」開頭的二字詞在我們的日常語言中是非常常見的，而「耄」這樣的字在我們的日常語言中出現的機率非常低，伴隨著這種低頻詞的出現，我們大大降低了猜測時的「狀態數」。換句話說，粗略地來看，低頻出現的字中包含了更多的「資訊」——這就是從直覺上，為什麼熱力學的熵跟資訊熵是一致的原因，因為它們都是對狀態數的測量。
在物理學中，有一個著名的蘭道爾原理也可以溝通起資訊熵和熱力學熵。蘭道爾原理關注的是資訊的擦除過程中，在這個過程中，一個位元資訊擦除的「能耗」即為外界對分子所做的功，這個功的大小為 kT ln2，而資訊擦除的過程伴隨著熵的產生，每擦除 1 個位元的資訊，環境中的熵也將增加 kT ln2。
1948年，美國數學家夏農（Claude Elwood Shannon）發表了其劃時代的《通訊的數學原理》，提出了「資訊熵」的概念，這篇論文奠定了現代資訊理論的基礎。夏農的定義建立起了「資訊」與「熵」之間的聯絡，並將「資訊」這樣一個看起來抽象而主觀的概念進行了準確的定量刻畫。
作為一個「定義」，我們總是可以任意地進行規定，這本身不涉及到「證明」的問題。不過，在這裡，題主真正想問的，其實是「資訊熵」這樣一個「定義」到底是不是真的可以很好地與物理學意義上的「熵」自洽起來。答案也是肯定的。
在能量確定的情況下，「狀態數」的對數即為熵。而一個系統如果可能達到的狀態數很多，這就表明我們對系統狀態的不確定度就越大，在日常的語言中，我們常常把這種充滿不確定的狀態稱為「無序」或者「混亂」的狀態，也就是「熵」更大的狀態。用中文來舉一個例子：假如我們需要猜測一個二字詞，如果我們知道這個詞的第一個字是「信」，這時我們可以有很多選擇：資訊、信念、信任、信服、信件、信心、信使……，大量的候選詞意味著更多的「狀態數」；而如果我們知道這個詞的第一個字是「耄」，那麼我們很容易知道這個二字詞只可能是「耄耋」。以「信」開頭的二字詞在我們的日常語言中是非常常見的，而「耄」這樣的字在我們的日常語言中出現的機率非常低，伴隨著這種低頻詞的出現，我們大大降低了猜測時的「狀態數」。換句話說，粗略地來看，低頻出現的字中包含了更多的「資訊」——這就是從直覺上，為什麼熱力學的熵跟資訊熵是一致的原因，因為它們都是對狀態數的測量。
在物理學中，有一個著名的蘭道爾原理也可以溝通起資訊熵和熱力學熵。蘭道爾原理關注的是資訊的擦除過程中，在這個過程中，一個位元資訊擦除的「能耗」即為外界對分子所做的功，這個功的大小為 kT ln2，而資訊擦除的過程伴隨著熵的產生，每擦除 1 個位元的資訊，環境中的熵也將增加 kT ln2。