本文關(guān)鍵詞：信息論，由筆耕文化傳播整理發(fā)布。

信息論

出自 MBA智庫百科()

信息論（information theory）

目錄

[編輯]

信息論概述

　　信息論是運(yùn)用概率論與數(shù)理統(tǒng)計(jì)的方法研究信息傳輸和信息處理系統(tǒng)中一般規(guī)律的新興學(xué)科。核心問題是信息傳輸?shù)挠行院涂煽啃砸约皟烧唛g的關(guān)系。

　　信息論作為一門科學(xué)理論，發(fā)端于通信工程。它具有廣義和狹義兩個(gè)概念：

　　狹義信息論是應(yīng)用統(tǒng)計(jì)方法研究通訊系統(tǒng)中信息傳遞和信息處理的共同規(guī)律的科學(xué)，即研究概率性語法信息的科學(xué)；

　　廣義信息論是應(yīng)用數(shù)學(xué)和其他有關(guān)科學(xué)方法研究一切現(xiàn)實(shí)系統(tǒng)中信息傳遞和處理、信息識(shí)別和利用的共同規(guī)律的科學(xué)，即研究語法信息、語義信息和語用信息的科學(xué)。

　　信息是事物及其屬性標(biāo)識(shí)的集合

　　信息就是信息，信息是物質(zhì)、能量、信息及其屬性的標(biāo)示。

　　信息是確定性的增加。即肯定性的確認(rèn)。

[編輯]

信息論形成和發(fā)展

　　人們對(duì)于信息的認(rèn)識(shí)和利用，可以追溯到古代的通訊實(shí)踐。中國古代的“烽燧相望”和古羅馬地中海諸城市的“懸燈為號(hào)”，可以說是傳遞信息的原始方式。隨著社會(huì)生產(chǎn)的發(fā)展，科學(xué)技術(shù)的進(jìn)步，人們對(duì)傳遞信息的要求急劇增加。到了20世紀(jì)20年代，如何提高傳遞信息的能力和可靠性已成為普遍重視的課題。美國科學(xué)家N.奈奎斯特、德國K.屈普夫米勒、前蘇聯(lián)A.H.科爾莫戈羅夫和英國R.A.賽希爾等人，從不同角度研究信息，為建立信息論作出很大貢獻(xiàn)。1948年，美國數(shù)學(xué)家C.E.香農(nóng)(被稱為是“信息論之父”)出版《通信的數(shù)學(xué)理論》，1949年發(fā)表《噪聲中的通信》，從而奠定了信息論的基礎(chǔ)。20世紀(jì)70年代以后，隨著數(shù)學(xué)計(jì)算機(jī)的廣泛應(yīng)用和社會(huì)信息化的迅速發(fā)展，信息論正逐漸突破香農(nóng)狹義信息論的范圍，發(fā)展為一門不僅研究語法信息，而且研究語義信息和語用信息的科學(xué)。它的建立是人類認(rèn)識(shí)的一個(gè)飛躍。世界上各種事物都是充滿矛盾不斷發(fā)展的，物質(zhì)的運(yùn)動(dòng)主要是靠內(nèi)部矛盾運(yùn)動(dòng)所產(chǎn)生的能量，而事物之間的普遍聯(lián)系則靠的是信息。信息是關(guān)于事物的運(yùn)動(dòng)狀態(tài)和規(guī)律，而信息論的產(chǎn)生與發(fā)展過程，就是立足于這個(gè)基本性質(zhì)。信息論迅速滲透到各個(gè)不同學(xué)科領(lǐng)域，但還不夠完善。為了適應(yīng)科學(xué)技術(shù)發(fā)展的需要，迎接信息化社會(huì)的到來，一門新的科學(xué)正在迅速興起，這就是廣義信息論，或者叫做信息科學(xué)。信息科學(xué)是由信息論、控制論、計(jì)算機(jī)、人工智能和系統(tǒng)論等相互滲透、相互結(jié)合而形成的一門新興綜合性學(xué)科。信息科學(xué)登上現(xiàn)代科技舞臺(tái)，與能量科學(xué)、材料科學(xué)鼎足而立 ，將為科學(xué)技術(shù)的發(fā)展作出貢獻(xiàn)。

[編輯]

信息論內(nèi)容

　　信息論內(nèi)容包括信息熵、信源編碼、信道編碼、信道容量、信息失真率理論、信號(hào)檢測(cè)和估計(jì)等。

[編輯]

信息量

　　信息的度量是信息論研究的基本問題之一。對(duì)于應(yīng)用范圍如此廣泛的信息提出一個(gè)統(tǒng)一的度量是困難的。美國數(shù)學(xué)家C.E.香農(nóng)在1948年提出信息熵作為信息量的測(cè)度。根據(jù)人們的實(shí)踐經(jīng)驗(yàn)，一個(gè)事件給予人們的信息量多少，與這一事件發(fā)生的概率(可能性)大小有關(guān)。一個(gè)小概率事件的發(fā)生，如“唐山發(fā)生七級(jí)以上大地震”使人們感到意外，它給人們的信息量就很多。相反一個(gè)大概率事件的出現(xiàn)，如“12月15日北京未下雪”給人們的信息量就很少。因此,用I(A)=- logP(A)〔P(A)表示事件A發(fā)生的概率〕來度量事件A給出的信息量，稱為事件A的自信息量。若一次試驗(yàn)有M個(gè)可能結(jié)果(事件)，或一個(gè)信源可能產(chǎn)生M個(gè)消息（事件）,它們出現(xiàn)的概率分別為 來度量一次試驗(yàn)或一個(gè)消息所給出的平均信息量。當(dāng)對(duì)數(shù)取 2為底時(shí),單位為比特；當(dāng)對(duì)數(shù)取e為底時(shí),則單位為奈特。H的表達(dá)式與熵的表達(dá)式差一個(gè)負(fù)號(hào)，故稱負(fù)熵或信息熵。

[編輯]

信息傳輸模型

　　信息傳輸系統(tǒng)主要由信源、信道和信宿組成，下圖為信息傳輸系統(tǒng)的基本模型。信源是產(chǎn)生消息的系統(tǒng)。信宿是接受消息的系統(tǒng)，信道則是傳輸消息的通道。圖中編碼器、譯碼器的作用是把消息變換成便于傳輸?shù)男问健?

[編輯]

信源編碼

　　信源是產(chǎn)生消息（包括消息序列）的源。消息通常是符號(hào)序列或時(shí)間函數(shù)。例如電報(bào)系統(tǒng)中的消息是由文字、符號(hào)、數(shù)字組成的報(bào)文（符號(hào)序列），稱為離散消息。電話系統(tǒng)中的消息是語聲波形(時(shí)間函數(shù))，稱為連續(xù)消息。消息取值服從一定的統(tǒng)計(jì)規(guī)律。因此,信源的數(shù)學(xué)模型是一個(gè)在信源符號(hào)集中取值的隨機(jī)變量序列或隨機(jī)過程。信源編碼器將消息變換為一個(gè)數(shù)字序列(通常為二進(jìn)制數(shù)字序列)。在離散情形,若信源產(chǎn)生M個(gè)可能消息,它們出現(xiàn)的概率分別為稱為信源的熵率,是信源的一個(gè)重要參數(shù)。對(duì)于固定的N,最優(yōu)編碼就是赫夫曼編碼。在連續(xù)消息的情形，，信息編碼器不可能使消息與數(shù)字序列一一對(duì)應(yīng)，因此譯碼也不是編碼的逆變換。通常的方法是先對(duì)連續(xù)消息進(jìn)行采樣和量化，變?yōu)殡x散消息，再將離散消息變換為數(shù)字序列。信源譯碼器先將數(shù)字序列逆變換為離散消息，再用內(nèi)插法求得連續(xù)消息。這樣一來，即使在無噪信道的情況下，發(fā)送消息與接收消息之間也會(huì)產(chǎn)生誤差，稱為消息失真�？梢杂靡粋�(gè)非負(fù)函數(shù)d(u，v)來度量消息 u，v之間的失真大小。這時(shí)信源編碼問題是在保證平均失真不超過給定允許極限D(zhuǎn) 的條件下找出最小速率R 及其相應(yīng)編碼。求解這一問題導(dǎo)致熵推廣到失真率函數(shù)，信源編碼的失真率理論因而得到發(fā)展。

[編輯]

信道編碼

　　信道是傳輸信息的媒質(zhì)或通道，如架空明線、同軸電纜、射頻波束、光導(dǎo)纖維等。有時(shí)為研究方便將發(fā)送端和接收端的一部分如調(diào)制解調(diào)器也劃歸信道。信息論把信息傳送過程中受各種干擾的影響都?xì)w入信道中考慮。根據(jù)干擾的統(tǒng)計(jì)特性,信道有多種模型。最簡單的是離散無記憶恒參信道，它可以用信道入口符號(hào)集X、出口符號(hào)集Y和一組條件概率P(y|x)(x∈X，y∈Y)來描述。若信道輸入信號(hào)x＝(x1,x2,…,xN),則相應(yīng)的輸出(受擾)信號(hào)y＝(y1,y2,…,yN)出現(xiàn)的概率為，它是對(duì)X上一切概率分布 p取極大值。p為信道轉(zhuǎn)移概率(條件概率)，

　　稱為交互信息；C 稱為信道容量，是信道的重要參數(shù)。

[編輯]

信息傳輸定理

　　對(duì)圖中的信息傳輸系統(tǒng)，若啛/TS＜C/TC，其中啛為信源的熵率，C為信道容量,TS和TC分別為信源符號(hào)和信道符號(hào)的持續(xù)時(shí)間，則一定存在編碼和譯碼使消息可通過信道漸近無誤地傳送。反之,若啛/TS＞C/TC，則不存在這樣的編碼和譯碼。

　　信息論研究的主流始終是圍繞這個(gè)基本定理展開的，只是信源和信道的模型更復(fù)雜而已。上述定理是實(shí)際存在的,但沒有給出實(shí)現(xiàn)這一理想傳輸?shù)木唧w編碼方法。尋找實(shí)現(xiàn)這一理想傳輸?shù)木幋a和譯碼方法則是編碼理論研究的目標(biāo)。雖然這一目標(biāo)至今尚未達(dá)到，但信息論的研究成果對(duì)設(shè)計(jì)新通信系統(tǒng)的作用是人們所肯定的。

[編輯]

信息論的應(yīng)用

　　信息論的意義和應(yīng)用范圍已超出通信的領(lǐng)域。自然界和社會(huì)中有許多現(xiàn)象和問題，如生物神經(jīng)的感知系統(tǒng)、遺傳信息的傳遞等，均與信息論中研究的信息傳輸和信息處理系統(tǒng)相類似。因此信息論的思想對(duì)許多學(xué)科如物理學(xué)、生物學(xué)、遺傳學(xué)、控制論、計(jì)算機(jī)科學(xué)、數(shù)理統(tǒng)計(jì)學(xué)、語言學(xué)、心理學(xué)、教育學(xué)、經(jīng)濟(jì)管理、保密學(xué)研究等都有一定的影響和作用。另一方面，由于借助負(fù)熵定義的信息量只能反映符號(hào)出現(xiàn)的概率分布（不肯定性），不能反映信息的語義和語用層次。一篇重要的報(bào)告和一篇胡說亂道的文章可以具有同樣的信息，這顯然不符合常識(shí)。因此現(xiàn)階段信息論的應(yīng)用又有很大的局限性。把信息的度量推廣到適合于語義信息和語用信息的情況，曾經(jīng)做過許多嘗試。但至今還沒有顯著的進(jìn)展。

來自"http://wiki.mbalib.com/wiki/%E4%BF%A1%E6%81%AF%E8%AE%BA"

本條目對(duì)我有幫助32

分享到：

  如果您認(rèn)為本條目還有待完善，需要補(bǔ)充新內(nèi)容或修改錯(cuò)誤內(nèi)容，請(qǐng)編輯條目。

本條目相關(guān)文檔 更多相關(guān)文檔

本條目由以下用戶參與貢獻(xiàn) 山林,Kuxiaoxue,Kane0135,Angle Roh,Huluan,Cabbage,Vulture,Dan,Zfj3000,Yixi,KAER,jane409,Tracy,寒曦.

頁面分類: 信息管理術(shù)語

評(píng)論(共2條)提示:評(píng)論內(nèi)容為網(wǎng)友針對(duì)條目"信息論"展開的討論，與本站觀點(diǎn)立場(chǎng)無關(guān)。

61.150.43.* 在 2008年6月3日 10:37 發(fā)表

thanks

發(fā)表評(píng)論請(qǐng)文明上網(wǎng)，理性發(fā)言并遵守有關(guān)規(guī)定。

61.190.213.* 在 2015年11月15日 20:49 發(fā)表

總結(jié)的很精彩！在自己總結(jié)的過程中搜到這樣的一片文章真幸福~

發(fā)表評(píng)論請(qǐng)文明上網(wǎng)，理性發(fā)言并遵守有關(guān)規(guī)定。

  本文關(guān)鍵詞：信息論，由筆耕文化傳播整理發(fā)布。