回覆列表
-
1 # 使用者4912889400776
-
2 # 使用者2020809458929
最大熵原理是一種選擇隨機變數統計特性最符合客觀情況的準則,也稱為最大資訊原理。隨機量的機率分佈是很難測定的,一般只能測得其各種均值(如數學期望、方差等)或已知某些限定條件下的值(如峰值、取值個數等),符合測得這些值的分佈可有多種、以至無窮多種,通常,其中有一種分佈的熵最大。選用這種具有最大熵的分佈作為該隨機變數的分佈,是一種有效的處理方法和準則。這種方法雖有一定的主觀性,但可以認為是最符合客觀情況的一種選擇。在投資時常常講不要把所有的雞蛋放在一個籃子裡,這樣可以降低風險。在資訊處理中,這個原理同樣適用。在數學上,這個原理稱為最大熵原理。
最大熵方法的特點是在研究的問題中,儘量把問題與資訊熵聯絡起來,再把資訊熵最大做為一個有益的假設(原理),用於所研究的問題中。由於這個方法得到的結果或者公式往往(更)符合實際,它就推動這個知識在前進和曼延。中國學者(後來去了加拿大)吳乃龍、袁素雲在本領域有成就,而且也在所著的《最大熵方法》(湖南科學技術出版社1991年出版)一書中向華人就這個方法做了很全面的介紹。
把最複雜原理與資訊理論中的最大熵方法聯絡起來,既是自然的邏輯推論也顯示最複雜原理並不孤立。這樣,最大熵方法過去取得的一切成就都在幫助人們理解最複雜原理的合理性。而最複雜原理的引入也使人們擺脫對神秘的熵概念和熵原理的敬畏。在理解了最複雜原理來源於機率公理以後,我們終於明白,神秘的熵原理本質上僅是“高機率的事物容易出現”這個再樸素不過的公理的一個推論。