信息論習(xí)題解答

1、第二章第二章信息量和熵信息量和熵2.2八元編碼系統(tǒng)，碼長(zhǎng)為3，第一個(gè)符號(hào)用于同步，每秒1000個(gè)碼字，求它的信息速率。解：同步信息均相同，不含信息，因此每個(gè)碼字的信息量為2=23=6bit?8log?因此，信息速率為61000=6000bits?2.3擲一對(duì)無(wú)偏骰子，告訴你得到的總的點(diǎn)數(shù)為：(a)7(b)12。問(wèn)各得到多少信息量。解：(1)可能的組合為1，62，53，44，35，26，1==)(ap36661得到的信息量===2.585

2、bit)(1logap6log(2)可能的唯一，為6，6=)(bp361得到的信息量===5.17bit)(1logbp36log2.4經(jīng)過(guò)充分洗牌后的一副撲克（52張），問(wèn)：(a)任何一種特定的排列所給出的信息量是多少？(b)若從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同時(shí)得到多少信息量？解：(a)=)(ap!521信息量===225.58bit)(1logap!52log(b)???????花色任選種點(diǎn)數(shù)任意排列13413!13==)(b

3、p1352134!13A?1352134C信息量==13.208bit1313524loglog?C2.9隨機(jī)擲3顆骰子，X表示第一顆骰子的結(jié)果，Y表示第一和第二顆骰子的點(diǎn)數(shù)之和，Z表示3顆骰子的點(diǎn)數(shù)之和，試求、、、)|(YZH)|(YXH)|(YXZH、。)|(YZXH)|(XZH解：令第一第二第三顆骰子的結(jié)果分別為，，，相互獨(dú)立，則321xxx1x2x3x，，1xX?21xxY??321xxxZ???==6=2.585bit)|(Y

4、ZH)(3xHlog==)|(XZH)(32xxH?)(YH=2(3618129)6?361log362log363log364log365log536366log=3.2744bit解：即，，，)0(1uI)00(1uI)000(1uI)0000(1uI==)0(p4)1(81??p481?p21===1bit)0(1uI)0()|0(log1pup211logp?)1log(p?==)00(p]2)1(4)1(2[8122pppp?

5、???41===bit)00(1uI)00()|00(log1pup41)1(log2p?)]1log(1[2p??==)000(p])1(3)1(3)1[(813223pppppp??????81=3[1]bit)000(1uI)1log(p?=)0000(p])1(6)1[(814224pppp????=bit)0000(1uI42244)1(6)1()1(8logppppp?????2.12計(jì)算習(xí)題2.9中、、、、。)(ZYI)(

6、ZXI)(ZYXI)|(XZYI)|(YZXI解：根據(jù)題2.9分析=2()(ZH216log21613216log21636216log216610216log21610)15216log2161521216log2162125216log2162527216log21627=3.5993bit===1.0143bit)(ZYI)(ZH)|(YZH)(ZH)(XH===0.3249bit)(ZXI)(ZH)|(XZH)(ZH)(YH==