信息論與編碼試卷及答案

1、1一、一、（11’）填空題）填空題（1）1948年，美國(guó)數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而創(chuàng)立了信息論。（2）必然事件的自信息是0。（3）離散平穩(wěn)無(wú)記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍。（4）對(duì)于離散無(wú)記憶信源，當(dāng)信源熵有最大值時(shí)，滿足條件為_(kāi)_信源符號(hào)等概分布_。（5）若一離散無(wú)記憶信源的信源熵H（X）等于2.5，對(duì)信源進(jìn)行等長(zhǎng)的無(wú)失真二進(jìn)制編碼，則編碼長(zhǎng)度至少為3。（6）對(duì)于香農(nóng)編碼、費(fèi)諾編碼和霍

2、夫曼編碼，編碼方法惟一的是香農(nóng)編碼。（7）已知某線性分組碼的最小漢明距離為3，那么這組碼最多能檢測(cè)出_2_______個(gè)碼元錯(cuò)誤，最多能糾正___1__個(gè)碼元錯(cuò)誤。（8）設(shè)有一離散無(wú)記憶平穩(wěn)信道，其信道容量為C，只要待傳送的信息傳輸率R__小于___C（大于、小于或者等于），則存在一種編碼，當(dāng)輸入序列長(zhǎng)度n足夠大，使譯碼錯(cuò)誤概率任意小。（9）平均錯(cuò)誤概率不僅與信道本身的統(tǒng)計(jì)特性有關(guān)，還與___譯碼規(guī)則____________和___編碼

3、方法___有關(guān)3、（5?）居住在某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占總數(shù)的一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問(wèn)獲得多少信息量？解：設(shè)A表示“大學(xué)生”這一事件，B表示“身高1.60以上”這一事件，則P(A)=0.25p(B)=0.5p(B|A)=0.75（2分）故p(A|B)=p(AB)p(B)=p(A)p(B|A)p(B)=0.750.250.

4、5=0.375（2分）I(A|B)=log0.375=1.42bit（1分）四、四、（5?）證明：證明：平均互信息量同信息熵之間滿足I(XY)=H(X)H(Y)H(XY)證明：證明：32）由題意可知該信源為一階馬爾科夫信源。（2分）由（4分）得極限狀態(tài)概率（2分）（3分）3）（1分）119.02log)(121???XH?（1分）447.02log)(122????XH?。說(shuō)明：當(dāng)信源的符號(hào)之間有依賴時(shí)，信源輸出消息的不確定性減弱。而信