直到1948年，香農(nóng)提出了“信息熵”的概念，才解決了對信息的量化度量問題。
信息論之父克勞德·艾爾伍德·香農(nóng)第一次用數(shù)學(xué)語言闡明了概率與信息冗余度的關(guān)系。
理論提出
信息論之父 C. E. Shannon 在 1948 年發(fā)表的論文“通信的數(shù)學(xué)理論（ A Mathematical Theory of Communication ）”中， Shannon 指出，任何信息都存在冗余，冗余大小與信息中每個(gè)符號（數(shù)字、字母或單詞）的出現(xiàn)概率或者說不確定性有關(guān)。
Shannon 借鑒了熱力學(xué)的概念，把信息中排除了冗余后的平均信息量稱為“信息熵”，并給出了計(jì)算信息熵的數(shù)學(xué)表達(dá)式。
信息含義
現(xiàn)代定義
信息是物質(zhì)、能量、信息及其屬性的標(biāo)示。【逆維納信息定義】
信息是確定性的增加。【逆香農(nóng)信息定義】
信息是事物現(xiàn)象及其屬性標(biāo)識的集合。【2002年】
最初定義
信息理論的鼻祖之一Claude E. Shannon把信息（熵）定義為離散隨機(jī)事件的出現(xiàn)概率。
所謂信息熵，是一個(gè)數(shù)學(xué)上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現(xiàn)概率。而信息熵和熱力學(xué)熵是緊密相關(guān)的。根據(jù)Charles H. Bennett對Maxwell’s Demon的重新解釋，對信息的銷毀是一個(gè)不可逆過程，所以銷毀信息是符合熱力學(xué)第二定律的。而產(chǎn)生信息，則是為系統(tǒng)引入負(fù)（熱力學(xué)）熵的過程。所以信息熵的符號與熱力學(xué)熵應(yīng)該是相反的。
一般而言，當(dāng)一種信息出現(xiàn)概率更高的時(shí)候，表明它被傳播得更廣泛，或者說，被引用的程度更高。我們可以認(rèn)為，從信息傳播的角度來看，信息熵可以表示信息的價(jià)值。這樣子我們就有一個(gè)衡量信息價(jià)值高低的標(biāo)準(zhǔn)，可以做出關(guān)于知識流通問題的更多推論。
計(jì)算公式
H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n)
公式
公理1：信息量是事件發(fā)生概率的連續(xù)函數(shù)；
公理2：信息量是有限值；
公理3：如果事件A和事件B的發(fā)生是相互獨(dú)立的，則獲知事件A和事件B將同時(shí)發(fā)生的信息量是單獨(dú)獲知兩事件發(fā)生的信息量之和。
設(shè)事件發(fā)生的概率為P，
則滿足上述公理的信息量函數(shù)為
信息量函數(shù) I= -lnp 如何體現(xiàn)不確定性的消除？
熵的概念
18世紀(jì)中葉，物理學(xué)家在認(rèn)識到運(yùn)動(dòng)物體有動(dòng)能，地面上空的物體又有勢能（兩者即機(jī)械能）之后，又進(jìn)一步認(rèn)識到物體的內(nèi)部也具有能量（即內(nèi)能），這是人類對能量的認(rèn)識和利用歷史上的一次大飛躍。為了利用蘊(yùn)藏在物體內(nèi)部的能量，使它們轉(zhuǎn)化為機(jī)械能，開動(dòng)各式各樣的機(jī)器，就需將研究熱量和內(nèi)能的熱學(xué)與研究做功和機(jī)械能的力學(xué)相結(jié)合，形成熱力學(xué)，以便探究內(nèi)能和機(jī)械能之間的轉(zhuǎn)化規(guī)律。
熱力學(xué)最基本的規(guī)律是熱力學(xué)第一定律和熱力學(xué)第二定律（或熵增加原理），內(nèi)能和熵就是與這兩個(gè)基本定律相聯(lián)系的兩個(gè)重要的物理量。人們利用這些物理概念和物理規(guī)律，可更加合理、有效地開發(fā)和利用內(nèi)能。此外，由于熱運(yùn)動(dòng)的普遍性，一切過程，包括物理、化學(xué)、生命和宇宙等領(lǐng)域中的一切運(yùn)動(dòng)變化過程都必然遵循熱力學(xué)基本規(guī)律。
“熵”這一概念的重要性不亞于“能”，它不僅應(yīng)用于“熱效率”這類對社會(huì)發(fā)展起到關(guān)鍵作用的科技領(lǐng)域，而且還廣泛地應(yīng)用于物質(zhì)結(jié)構(gòu)、凝聚態(tài)物理、低溫物理、化學(xué)動(dòng)力學(xué)、生命科學(xué)和宇宙學(xué)以及諸如經(jīng)濟(jì)、社會(huì)和信息技術(shù)等領(lǐng)域。
熵是描述自然界一切過程具有單向性特征的物理量
熱傳導(dǎo)、功變熱和氣體自由膨脹等物理過程具有單向性（或不可逆性）特征，熱量能自發(fā)地從高溫物體傳到低溫物體，但熱量從低溫物體傳到高溫物體的過程則不能自發(fā)發(fā)生；機(jī)械功可通過摩擦全部轉(zhuǎn)化為熱，但熱不可能全部轉(zhuǎn)化為機(jī)械功；氣體能向真空室自由膨脹，使本身體積擴(kuò)大而充滿整個(gè)容器，但決不會(huì)自動(dòng)地收縮到容器中的一部分。德國物理學(xué)家克勞修斯首先注意到自然界中實(shí)際過程的方向性或不可逆性的特性，從而引進(jìn)了一個(gè)與“能”有親緣關(guān)系的物理量——“熵” 。熵常用S表示，它定義為：一個(gè)系統(tǒng)的熵的變化ΔS是該系統(tǒng)吸收（或放出）的熱量與絕對溫度T的“商”，即
ΔS＝ΔQ/T （1）
當(dāng)系統(tǒng)吸收熱量時(shí)，取為正；當(dāng)系統(tǒng)放出熱量時(shí)，ΔQ取為負(fù)。這里我們定義的是熵的變化，而不是熵本身的值。這種情況與討論內(nèi)能或電勢能和電勢時(shí)一樣，在這些問題中重要的是有關(guān)物理量的變化量。
這樣定義的熵是如何描述實(shí)際過程單向性特征的呢？以熱傳導(dǎo)過程為例，熱量只能自發(fā)地從高溫物體傳向低溫物體，而不能自發(fā)地從低溫物體傳向高溫物體。設(shè)高溫物體的溫度為T1，低溫物體的溫度為T2，在熱量ΔQ從高溫物體轉(zhuǎn)移到低溫物體的過程中，高溫物體熵變?yōu)?#916;S1＝－ΔQ/T1 ，低溫物體熵變?yōu)?#916;S2＝＋ΔQ/T2 ，總系統(tǒng)熵變?yōu)?#916;S＝ΔS2＋ΔS1＝ΔQ/T2 －ΔQ/T1 ，因?yàn)門1＞T2，所以總熵變ΔS＞0，這表明，在熱傳導(dǎo)過程中系統(tǒng)的熵增加了！反之，如果熱量從低溫物體自發(fā)地轉(zhuǎn)移到高溫物體而不存在其他任何變化，則因?yàn)?#916;S2＝－ΔQ/T2 ；ΔS1＝＋ΔQ/T1 ，所以ΔS＝ΔS1＋ΔS2＝ΔQ/T1 －ΔQ/T2 ，且因T1＞T2，所以在這樣的過程中總系統(tǒng)的熵變ΔS＜0，即系統(tǒng)的熵減少了！
自然界實(shí)際過程具有方向性特征這個(gè)客觀事實(shí)表明，只有熵增加的過程才能自發(fā)發(fā)生。熱量從高溫物體傳向低溫物體時(shí)系統(tǒng)的熵增加，所以這樣的過程能自發(fā)發(fā)生；反之，熱量從低溫物體傳向高溫物體時(shí)系統(tǒng)的熵減少，所以這樣的過程不能自發(fā)發(fā)生。所謂自發(fā)發(fā)生的過程，就是指不受外界影響或控制而發(fā)生的過程。當(dāng)一個(gè)系統(tǒng)與外界不發(fā)生相互作用時(shí)，這種系統(tǒng)稱為“孤立系”，于是上述結(jié)論也可簡單地表述為：在一個(gè)孤立系統(tǒng)中使熵增加的過程才是能夠發(fā)生的過程。人們于是可通過熵變來判斷某個(gè)過程（包括物理過程、化學(xué)過程、生命過程、宇宙演化過程等）能否發(fā)生。
熱力學(xué)第一定律或能量守恒定律是關(guān)于能的法則——只有總能量不變的過程才是可能發(fā)生的過程；熱力學(xué)第二定律（或熵增加原理）是關(guān)于熵的法則——總能量不變的過程不一定能夠發(fā)生，只有當(dāng)總能量保持不變，同時(shí)總熵增加的過程才可能發(fā)生。自然界中的一切過程都嚴(yán)格遵循這兩條法則，人們利用這些法則，就能更自覺地理解和把握能量轉(zhuǎn)化的規(guī)律，更加合理而有效地開發(fā)、利用蘊(yùn)藏在物體內(nèi)部的能量。
這里應(yīng)當(dāng)指出，熱力學(xué)第二定律（或熵增加原理）并沒有說，熵減少的過程（例如電冰箱或制冷空調(diào)機(jī)）不可能發(fā)生，而是說這樣的過程不可能自發(fā)發(fā)生。為了使某個(gè)熵減少的過程A發(fā)生，必須另外附加一個(gè)同時(shí)發(fā)生的熵增加的過程B，且在過程B中熵的增加量大于過程A中熵的減少量，在這種情況下，包括過程A與過程B的總系統(tǒng)（這個(gè)系統(tǒng)對于我們所討論的問題而言，就是孤立系）內(nèi)總熵仍然是增加的。