武漢理工 信息理論與編碼 計(jì)算題復(fù)習(xí)材料

1、12.72.7離散無(wú)記憶信源的擴(kuò)展離散無(wú)記憶信源的擴(kuò)展2.32.3每幀電視圖像可看成是由個(gè)獨(dú)立變化的像素組成的，每個(gè)像素又取128個(gè)不同的亮度5103?電平，并設(shè)亮度電平是等概出現(xiàn)的。問每幀圖像含有多少信息量？現(xiàn)假設(shè)有一個(gè)廣播員，在約10000個(gè)漢字中選1000個(gè)字來(lái)口述這一電視圖像，（1）試問廣播員描述此圖像所廣播的信息量是多少？（2）假設(shè)漢字字匯是等概分布的，并且彼此無(wú)依賴，試問若要恰當(dāng)?shù)孛枋龃藥瑘D像，廣播員在口述中至少需要多少個(gè)漢

2、字？答案：王虹解：設(shè)電視圖像每個(gè)像素取128個(gè)不同的亮度點(diǎn)平，并設(shè)電平等概率出現(xiàn)，每個(gè)像素的亮度信源為128121281()1()112811281128iiiXaaaPaPa?????????????????????????????????????得每個(gè)像素亮度含有的信息量為：()log1287HX????比特像素一幀中像素均是獨(dú)立變化的，則每幀圖像信源就是離散亮度信源的無(wú)記憶次擴(kuò)展信源。得每幀圖像含N有的信息量為6()()2.110

3、NHXNHX?????比特每幀廣播口述時(shí)，廣播員是從10000個(gè)漢字字匯中選取的，假設(shè)漢字字匯是等概率分布的，則漢字字匯信源是121()110000()111qqjijYbbbPbqPbqqq?????????????????????????????????????得該漢字字匯中每個(gè)漢字含有的信息量2()loglog1000013.29HYq??????比特字廣播員口述電視圖像是從此漢字字匯信源中獨(dú)立地選取1000個(gè)字來(lái)描述。所以，廣播

4、員描述此幀圖像所廣播的信息量為442()()1000log101.32910NHYNHY??????比特千字若廣播員仍從此漢字字匯信源中獨(dú)立地選取漢字來(lái)描述電視圖像，每次口述一個(gè)漢字含有信息量是Y每幀電視圖像含有的信息量是則廣播員口述此圖像至少需用的漢字?jǐn)?shù)等于()HY()NHX65()2.1101.5810158000()13.29NHXHY?????字字2.52.5一副充分洗亂的牌（含52張），試問：（1）任一特定排列所給出的不確定性

5、是多少？（2）隨機(jī)抽取13張牌，13張牌的點(diǎn)數(shù)互不相同時(shí)的不確定性是多少？解：（1）一副充分洗亂的撲克牌，共有52張，這52張牌可以按不同的一定順序排列，可能有的不同排列狀態(tài)數(shù)就是全排列種數(shù)，為6752528.06610P????因?yàn)閾淇伺瞥浞窒磥y，所以任一特定排列出現(xiàn)的概率是相等的。設(shè)事件A為任一特定排列，則其發(fā)生概率為??6811.241052PA?????可得，任一特定排列所給出的信息量為3由得()()()pxzpxpzx?1(0

6、0)(0)(00)2pxzpxpzx???????(01)(0)(10)03(10)(1)(01)(1)(01)(10)81(11)(1)(11)(1)(11)(11)8pxzpxpzxpxzpxpzxpxpyxpxypxzpxpzxpxpyxpxy???????????????????????????????????113311()()logloglog1.406228888ikikHXZpxzbtsymb??????????????

7、?由對(duì)稱性可得()1.406HYZbtsymbol??()()()()1pxyzpxypzxypzxy?由又要么等于，要么等于0.1(000)(00)(000)(00)8pxyzpxypzxypxy?????????????(001)(00)(100)03(010)(01)(001)(01)8(011)(01)(101)03(100)(10)(010)(10)8(101)pxyzpxypzxypxyzpxypzxypxypxyzpxyp

8、zxypxyzpxypzxypxypxyzp??????????????????????????????????????????????????(11)(110)0(110)(11)(011)01(111)(11)(111)(11)8xypzxypxyzpxypzxypxyzpxypzxypxy?????????????????????????????2()()log()11333311loglogloglog1.81188888888

9、ijkijkijkHXYZpxyzpxyzbitsymbol???????????????????（2）Hp㏒p=???XY???ij??jiyx2??jiyxsymbolbit811.181log8183log8383log8381log81??????????H=HH??YX??XY??symolbitY811.01811.1???H=HH??XY??XY??symolbitX811.01811.1???H=HH??ZX??XZ??

10、symolbitZ862.0544.0406.1???H=HH??XZ??XZ??symolbitX406.01406.1???H=HH??ZY??YZ??symolbitZ862.0544.0406.1???H=HH??YZ??YZ??symolbitY406.01406.1???H=HH??YZX??XYZ??symolbitYZ405.0406.1811.1???H=HH??XZY??XYZ??symolbitXZ405.0406