1．克勞修斯首次從宏觀角度提出熵概念，其計算公式為：S=Q/T,(計算熵差時，式中應為△Q)2．波爾茲曼又從微觀角度提出熵概念，公式為：S=klnΩ，Ω是微觀狀態數，通常又把S當著描述混亂成度的量。3．筆者針對Ω不易理解、使用不便的現狀，研究認為Ω與理想氣體體系的宏觀參量成正比，即：Ω(T)=(T/εT)3/2,Ω(V)=V/εV，得到理想氣體的體積熵為SV=klnΩv=klnV,溫度熵為ST=klnΩT=(3/2)klnT ，計算任意過程的熵差公式為△S=(3/2)kln(T"/T)+kln(V"/V),這微觀與宏觀關係式及分熵公式，具有易於理解、使用方便的特點，有利於教和學，可稱為第三代熵公式。上述三代熵公式，使用的物理量從形式上看具有直觀→抽象→直觀的特點，我們認為這不是概念遊戲，是對熵概念認識的一次飛躍。

在資訊理論裡，把一個事件A的機率的負對數稱為這個事件的資訊量，即：-log2P(A) (或者為了推導方便取自然對數:-lnP(A))。

舉個例子:如果P(A)=1/8,那麼事件A的資訊量就是-log2 1/8 = 3。可見，一個事件發生的機率越小，資訊量就越大。資訊量是不確定性的度量

一組互斥事件A1,A2,...,An的資訊熵定義為：S=-P(A1)*lnP(A1)-P(A2)*lnP(A2)-...-P(An)*lnP(An)，也就是資訊量的期望。在這n個事件的機率都等於1/n時，熵最大，也就是不確定性最大