信息论习题解答

【#文档大全网# 导语】以下是®文档大全网的小编为您整理的《信息论习题解答》，欢迎阅读！

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此

每个码字的信息量为 2log8=23=6 bit 因此，信息速率为 61000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

p(a)=

61= 366

1

=log6=2.585 bit p(a)

得到的信息量 =log

(2) 可能的唯一，为 {6，6} p(b)=

1 36

1

=log36=5.17 bit p(b)

得到的信息量=log



2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

解：(a) p(a)=

1 52!

1

=log52!=225.58 bit p(a)

信息量=log

13!13种点数任意排列

(b) 13

4花色任选

13!413413

p(b)==13 13

A52C52

1313

信息量=logC52log4=13.208 bit



2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z

表示3颗骰子的点数之和，试求H(Z|Y)、H(X|Y)、H(Z|X,Y)、H(X,Z|Y)、

H(Z|X)。

解：令第一第二第三颗骰子的结果分别为x1,x2,x3，x1，x2，x3相互独立，则Xx1，

Yx1x2，Zx1x2x3

H(Z|Y)=H(x3)=log6=2.585 bit H(Z|X)=H(x2x3)=H(Y) =2(

12345366

log36+log18+log12+log9+loglog6 )+3636363636536

=3.2744 bit




—

H(X|Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y|X)]

而H(Y|X)=H(X)，所以H(X|Y)= 2H(X)-H(Y)=1.8955 bit

或H(X|Y)=H(XY)-H(Y)=H(X)+H(Y|X)-H(Y)

而H(Y|X)=H(X) ，所以H(X|Y)=2H(X)-H(Y)=1.8955 bit

H(Z|X,Y)=H(Z|Y)=H(X)=2.585 bit

H(X,Z|Y)=H(X|Y)+H(Z|XY)=1.8955+2.585=4.4805 bit



2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概率错成另外

一个奇数，其余正确接收，求收到一个数字平均得到的信息量。

解：

X

信道

Y

i1,3,5,7,9Χ

i0,2,4,6,8

√

I(X;Y)=H(Y)-H(Y|X)



因为输入等概，由信道条件可知，



1p(yii为奇数)

10

1 

p(yii为偶数)110(128181818)110即输出等概，则H(Y)=log10

H(Y|X)=

j

)logp(yj|xi)

i

p(xi

y

j

=p(xi

y

j

)logp(yj|xi)-(xiyj)logp(yj|xi) ji偶

pji奇

=0-p(xi

y

j

)logp(yj|xi)

ji奇

= -p(xi

)p(yi

|xi)logp(yi|xi)-(xi

)p(y

j

|xi)logp(yj|xi)i1,3,5,7，9



iji＝1，p3，5，7，9

=

11012log25+111

1024log845 =13

44

=1 bit

I(X;Y)=H(Y)-H(Y|X)=log10 -1=log5=2.3219 bit



2.11 令{u1,u2,，u8}为一等概消息集，各消息相应被编成下述二元码字 u1=0000，u2=0011，u3=0101，u4=0110，

u5=1001，u6=1010，u7=1100，u8=1111

通过转移概率为p的BSC传送。求：

(a)接收到的第一个数字0与u1之间的互信息量。 (b)接收到的前二个数字00与u1之间的互信息量。 (c)接收到的前三个数字000与u1之间的互信息量。 (d)接收到的前四个数字0000与u1之间的互信息量。 解：

欢迎下载

2




I(u(u000)

即1;0)，I1;00)，I(u1;，I(u1;0000) p(0)=18

(1p)4+18p4=12



I(up(0|u1)1p

1;0)=logp(0)

=log1=1+log(1p) bit

2

p(00)=18

[2(1p)24(1p)p2p2]=1

4

up(00|u1)(1p)2

I(1;00)=logp(00)=log1/4=2[1log(1p)] bit

p(000)=1[(1p)33(1p)2p3(1p)p21

8

p3]=8

I(u1;000)=3[1+log(1p)] bit

p(0000)=1

8

[(1p)46(1p)2p2p4]



8(1p)4

I(u1;0000)=log(1p)46(1p)2p2p

4

bit

2.12 计算习题2.9中I(Y;Z)、I(X;Z)、I(X,Y;Z)、I(Y;Z|X)、I(X;Z|Y)。解：根据题2.9分析

H(Z)=2(

13216216log216+216log3+6216216log6+10216

216log

10+ 1521621216log15+216log21621+25216216log25+27216

216log

27

) =3.5993 bit

I(Y;Z)=H(Z)-H(Z|Y)=H(Z)-H(X)=1.0143 bit I(X;Z)=H(Z)-H(Z|X)=H(Z)-H(Y)=0.3249 bit I(X,Y;Z)=H(Z)-H(Z|XY)=H(Z)-H(X)=1.0143 bit I(Y;Z|X)=H(Z|X)-H(Z|XY)=H(Y)-H(X)=0.6894 bit I(X;Z|Y)=H(Z|Y)-H(Z|XY)=H(X)-H(X)=0 bit

2.14 对于任意概率事件集X,Y,Z，证明下述关系式成立

(a)H(Y,Z|X)H(Y|X)+H(Z|X)，给出等号成立的条件 (b)H(Y,Z|X)=H(Y|X)+H(Z|X,Y) (c)H(Z|X,Y)H(Z|X) 证明：(b) H(Y,Z|X)=-

p(xyz)logp(yz|x)

x

y

z

欢迎下载 —

3




—

=- =-

p(xyz)log[p(y|x)p(z|xy)]

x

y

z

p(xyz)logp(y|x)-p(xyz)logp(z|xy)

x

y

z

x

y

z

=H(Y|X)+H(Z|XY) (c) H(Z|X,Y)=-p(xyz)logp(z|xy)

x

y

z

=

p(xy)[-z|xy)]

x

y

p(z|xy)logp(z

p(xy)[-p(z|x)logp(z|x)]

x

y

z

=-

p(xyz)logp(z|x)

x

y

z

=H(Z|X)

当p(z|xy)=p(z|x)，即X给定条件下，Y与Z相互独立时等号成立 (a) 上式(c)左右两边加上H(Y|X)，可得

H(Y|X)+H(Z|X,Y)H(Y|X)+H(Z|X) 于是H(Y,Z|X)H(Y|X)+H(Z|X)



1,1

2.28 令概率空间X11，令Y2,2是连续随机变量。已知条件概率密度为

y|x) p(14,2yx2

，求：

0,其他

(a)Y的概率密度(y) (b)I(X;Y)

(c) 若对Y做如下硬判决

1,y V

10,1y1



1,y1 求I(X;V)，并对结果进行解释。



解：(a) 由已知，可得

p(y|x1)=1

3y1

4

0else p(y|x1)=1

41y3



0else

(y)=p(x1)p(y|x1)+p(x1)p(y|x1)

欢迎下载 4


—

1

83y111y1

=4

1

1y380else

1111

(b) HC(Y)=log82log4=2.5 bit

8341

HC(Y|X)=p(x1) p(x1) =



1

3

p(y|x1)logp(y|x1)dy



3

1

p(y|x1)logp(y|x1)dy

11111311

logdylogdy =2 bit 31244244

I(X;Y)=HC(Y)-HC(Y|X)=0.5 bit (c) 由(y)可得到V的分布律

V p

再由p(y|x)可知

V p(V|x=-1) p(V|x=1)





-1 1/4

-1 1/2 0

0 1/2

0 1/2 1/2

1 1/4

1 0 1/2

11

log22log41.5 bit 24111

H(V|X)[log2log2]2=1 bit

222

I(X;V)=H(V)H(V|X)= 0.5 bit

H(V)



2.29 令Q1(x)和Q2(x)是同一事件集U上的两个概率分布，相应的熵分别为H(U)1和

H(U)2。

(a)对于01，证明Q(x)=Q1(x)+(1)Q2(x)是概率分布

(b)H(U)是相应于分布Q(x)的熵，试证明H(U)H(U)1+(1)H(U)2



证明：(a) 由于Q1(x)和Q2(x)是同一事件集U上的两个概率分布，于是

q1(x)0，q2(x)0



q(x)dx=1，q

1x

x

2

(x)dx=1

又01，则

q(x)=q1(x)+(1)q2(x)0

q(x)dx=q(x)dx+(1)q

1

x

x

x

2

(x)dx=1

因此，Q(x)是概率分布。

欢迎下载

5


—

(b) H(U)=[q1(x)(1)q2(x)]log[q1(x)(1)q2(x)]dx

x



=q1(x)log[q1(x)(1)q2(x)]dx

x



(1)q2(x)log[q1(x)(1)q2(x)]dx

x

q1(x)logq1(x)dx(1)q2(x)logq2(x)dx （引理2）



x

x

=H(U)1+(1)H(U)2

欢迎下载 6


—

第三章 信源编码——离散信源无失真编码

N

D(D1)3.1 试证明长为N的D元等长码至多有

D1

N

个码字。

证：①在D元码树上，第一点节点有D个，第二级有错误!未找到引用源。，每个节点

D(1DN)D(DN1)

对应一个码字，若最长码有N，则函数有D==，此

1DD1i1

i

时，所有码字对应码树中的所有节点。

②码长为1的D个；码长为2的D2个，…，码长为N的DN个

D(DN1)

∴总共D=个

D1i1

N

i



a2a1,

3.2 设有一离散无记忆信源U。若对其输出的长为100的事件序列中含

0.004,0.996

有两个或者少于两个a1的序列提供不同的码字。

(a) 在等长编码下，求二元码的最短码长。 (b) 求错误概率（误组率）。 解: (a)不含a1的序列 1个

长为100的序列中含有1个a1的序列 错误!未找到引用源。=100个

2

长为100的序列中含有2个a1的序列 C100=4950个

∴所需提供码的总数M=1+100+4950=5051 于是采用二元等长编码N

logM

=12.3，故取N=13 logD

(b)当长度为100的序列中含有两个或更多错误!未找到引用源。的a1时出现错误， 因此错误概率为

012

(0.996)100-C100(0.004)(0.996)99C100(0.004)2(0.996)98 Pe=1C100

=7.77510



3

a1,a2



3.3 设有一离散无记忆信源，U=13，其熵为H(U)。考察其长为L的输出序列，当

,44

LL0时满足下式

I(uL)PrH(U) L

(a)在=0.05，=0.1下求L0

(b)在=10，=10下求L0 (c)令T是序列uL的集合，其中

3

8

I(uL)

H(U) L

试求L=L0时情况(a)(b)下，T中元素个数的上下限。 解：H(U)=

134==0.81 bit log4logplogpkk

443

7

欢迎下载


错误!未找到引用源。E[I(ak)] =H(U)

22I=E{[I(ak)H(U)]2}=E[I(ak)]-H2(U)

=

p

2k

(logp2k)H(U)

k

=0.471

则根据契比雪夫大数定理

2

PI(uL)rLH(U)IL

2 (a) L=2I2=0.471

0.1(0.05)2

=1884

(b) L2I0.47113

2=8=4.7110 

10(103)

2

(c) 由条件可知uL为典型序列，若设元素个数为MT，则根据定理

(1)2L(H(U))ML(H(U))T2

其中，，可知

(i) 0.1，0.05，L1884 下边界：(1)2L(H(U))

0.921431..84

上边界：2L(H(U)

)=21620..24

故0.92

1431..84

MT21620..24 (ii) 106，103，L4.711011



(1)2L(H(U)

)0.999923.811011



2

L(H(U))

=2

3.821011



故0.999923.811011

M821011

T23.



3.4 对于有4字母的离散无记忆信源有两个码A和码B，参看题表。

字母 概率 码A 码B a1 0.4 1 1 a2 0.3 01 10 a3 0.2 001 100 a4 0.1 0001 1000

(a) 各码是否满足异字头条件？是否为唯一可译码？

(b) 当收到1时得到多少关于字母a1的信息？

(c) 当收到1时得到多少关于信源的平均信息？

解：①码A是异头字码，而B为逗点码，都是唯一可译码。

②码A I(ap(a1|1)1;1)log2

p(alog1

21.32 bit

1)0.4

码B I(ap(a1|1)p(1)p(a1,1;1)log2

p(a)log1)0.4

2p(alog0 bit

1)p(11)p(1)0.41

③码A U=｛a1,a2,a3,a4｝

4

I(u;1)

p(a

k

|1)I(ak;1)=p(a1|1)I(a1;1)0=1.32 bit

k1

欢迎下载 —

8


4

码B I(u;1)

p(a

k

|1)I(ak;1)=0 bit

k1

（收到1后，只知道它是码字开头，不能得到关于U的信息。）



3.5 令离散无记忆信源

(a) 求最佳二元码,计算平均码长和编码效率。



Ua1

a2a3a4a5a6a7a8a9a10

0.160.14

0.13

0.12

0.10

0.90

0.08

0.07

0.060.05





(b) 求最佳三元码,计算平均码长和编码效率。

解：(a)

0.5800.421

10.31

00.271

0.2300.19

1

000a10.1600.15

010

a20.1401

011a30.131

100a040.12

0.1111001

a50.10111a60.091

0010a70.0800011a80.071

1010a90.0601011

a10

0.05

1

H(U)pklogpk=3.234 bit

平均码长 npkn

k

=3.26=RnlogD

k

效率 

H(U)HR(U)

nlogD

99.2% (b)

欢迎下载 —

9




—

0.430.330.24

0001021012202122110111

a1a2

012

1

0.160.140.130.120.100.090.080.070.060.05

kk

012

0.11012

01



k

a3a4

1

02

a5a6a7a8a9a10

平均码长 n

pn

=2.11

RnlogD=3.344 H(U)

效率 96.6%

R



a1.........a2.........a3.....

3.6 令离散无记忆信源 U

0.5...0.3.....0.2

(a) 求对U的最佳二元码、平均码长和编码效率。 (b) 求对U的最佳二元码、平均码长和编码效率。 (c) 求对U的最佳二元码、平均码长和编码效率。

解：(a)

32

0.5

10001

a10.5a20.3

01

1

01



a30.2

n=0.5×1+0.3×2+2×0.2=1.5

H(U)pklogpk1.485 bit

H(U)99%

R

(b) ∵离散无记忆 ∴H(U1U2)=2H(U)=2.97 bit

p(a1a1)=0.25, p(a1a

2

)=0.15, p(a1a3)=0.1, p(a

2

a1)=0.15, p(a

2

a

2

)=0.09

欢迎下载 10


—

p(a2a3)=0.06, p(a3a1)=0.1, p(a3a2)=0.06, p(a3a3)=0.04

0.25

10

a1a1

0.30

0.5500.45101

1

0.25

0.20.15

0101

1

0010101101110000000101100111



a1a2

0.150.150.10.10.090.060.060.04

01

010.1

a2a1

a1a3a3a1a2a2

01

a2a3a3a2a3a3



n2pknk3

n2

1.5 2

H(U1U2)2.97==0.99

n2logD3n

(c) 有关U最佳二元类似 略

3.7 令离散无记忆信源

3

a1.........a2..........akU

p(a1)p(a2)p(ai)

且0≤P(a1)≤P(a2)≤…. ≤P(ak)<1。定义Qi=

p(a

k1

i1

k

), i>1，而Q1=0，今按下述方法

进行二元编码。消息ak的码字为实数Qk的二元数字表示序列的截短（例如1/2的二元数字表示序列为1/2→10000…，1/4→0100…）,保留的截短序列长度nk是大于或等于I(ak)的最小整数。

a1...a2.......a3......a4......a5.......a6.......a7......a8.....构造码。

(a) 对信源U

111111114,4,8,8,16,16,16,16

(b) 证明上述编码法得到的码满足异字头条件，且平均码长n满足

欢迎下载

11


—

H(U)≤n≤H(U)+1。

解：(a)

符号 a8

Qi 0

L 4 4 4 C 0000 0001 0010 a7 a6 a5

1 161 8316 4 0011 a4 14 4 0100 a3

38 3 011 a2 48 2 10 a1

34

2

11



(b) 反证法证明异字头条件

令k<k’，若ank

k是ak的字头，则QkQk2

又由I(ak)nkI(ank

nk1k)1可知， 2pk2

从而得QkQk2nk

pk

这与假设ak是ak的字头（即QkQkpk）相矛盾，故满足异字头条件。由已知可得

log

1pn1klogp1 kk

对不等号两边取概率平均可得

p1klog

k

pp1knkpklog1 kkk

pk即 H(U)nH(U)1 3.8 扩展源DMC，Ua1.....a2

0.6,0.4



(a)求对U的最佳二元码、平均码长和编码效率。 (b)求对U2

的最佳二元码、平均码长和编码效率。 (c)求对U3

的最佳二元码、平均码长和编码效率。 (d)求对U4的最佳二元码、平均码长和编码效率。

解：(a) C10，C2=1，n=1

H(U)0.97 bit

H(U)R

97%

(b) DMC信道

欢迎下载

12




—

00011011



a1a1a1a2a2a1a2a2

0.360.240.240.16

0.401

01

0.60

1

1



n22，n1，

(c)

H(U)

97% n

0.504

01

0.496

0.288

01

a1a1a1

1

01

0.216

0.1920.16

0.204

0

11100000110010111001101



a1a1a2a1a2a1a2a1a1a1a2a2

0.1440.1440.1440.0960.0960.0960.064

01

01

1

0101

a2a1a2a2a2a1a2a2a2

n3=2.944 n=0.981

=98.85%

(d) 略

3.9 设离散无记忆信源 U

Huffman编码。

解：

a2,....a3,......a4,....a5,...a6a1,.....

试求其二元和三元

0.3,..0.2,..0.15,..0.15,..0.1,..0.1

欢迎下载 13


—

0.6

0.40.30

1

0.201

01

1

01

a

1

0.3

11 a20.2 000 a30.15001 100

a0.15

4

a

5

0.1

101 a60.1



0.30.20.150.150.10.1

01

0

12

1

10001022021

a

1

aa

0.2012

2

3

a

a

a

4

5

6



j

3.11 设信源有K个等概的字母,其中K=2,12。今用Huffman编码法进行二元编

码。

（a）是否存在有长度不为j或j+1的码字，为什么？ （b）利用和j表示长为j+1的码字数目。 （c）码的平均长度是多少？

解：Huffman思想：将概率小的用长码，大的用短码，保证n↓，当等概时，趋于等长码。

a) 对1时，K=2j，则用长度为j码表示；当2时，用K=2j+1，用长度为j+1码表示。平均码长最短，则当12时，则介于两者之间，即只存在j，j+1长的码字。

b) 设长为j的码字个数为Nj，长度为j+1的码字数目为Nj+1，根据二元Huffman编码

思想（必定占满整个码树），即

j

NNK2j1j

j(j1)

1Nj2Nj12

jj1

从而Nj(2)2，Nj1(1)2



c） L

112NjjNj1(j1)=j2 KK

13

，p(1)。若信源输出序列为

44

3.12 设二元信源的字母概率为p(0)

1011 0111 1011 0111

(a) 对其进行算术编码并进行计算编码效率。

欢迎下载

14


—

(b) 对其进行LZ编码并计算编码效率。 解：

1231

(a) p(s)316

444

12

4

根据递推公式

rrrF(ui1)F(ui)p(ui)F(ui1)

rr可得如下表格

p(ui1)p(ui)p(ui1)

其中，F(1)=0， F(1)= 3， p(0)=1， p(1)=3

欢迎下载 4

4

4

ui

p(ui)

F(ui)



1

0 1 31 4 40 311 44316 4

1 339

164

64  1 9327

644

256

 0 33

45  1 34

46  1 35

47  1 36

48  1 37

49  0 37

410  1 38

411  1 39

412  0 39

413  1

310

414



15


—

1 1

311

415312

164



1508125135

416

0.0101100111100100

从而 C = 0101100111101

1 H(U)log43log

4R



4431399.85% 16

(b) 首先对信源序列进行分段：

1 0 11 01 111 011 0111

然后对其进行编码，编码字典如下所示

段号 短语 i j 编码

1 1 0 1 0001 2 0 0 0 0000 3 11 1 1 0011 4 01 2 1 0101 5 111 3 1 0111 6 011 4 1 1001 7 0111 6 1 1101

RnlogD

17

744 16

H(U)14log434log4

30.8113bit

H(U)R

46.36%



3.13 设DMS为U=

.a1..........a2........a3......a4

，各a相应编成码字10、10、110和1110。2,

..14,..18,..1

i8试证明对足够长的信源输出序列，相应的码序列中0和1出现的概率相等。

解：

概率

信源符号

码字 1/2 a1 0 1/4 a2 10 1/8 a3 110 1/8

a4

1110



设信源序列长为N，则相应码字长为（条件是N要足够长）

L

NNN21428374

N 相应码序列中0出现的次数

欢迎下载 16




—

NNN7111N 2488

L0

∴ p(0)= L0L=12 p(1)=1-p(0)=1

2



3.14 设有一DMS, U=01



0.90.1

采用如下表的串长编码法进行编码



信源输出序列 0串长度（或中间数字）

输出二元码字

1 0 0000 01 1 0001 001 2 0010 … … … 00000001 7 0111 00000000 8

1

(a)求H(U)。

(b)求对于每个中间数字相应的信源数字的平均长度n。 1 (c)求每个中间数字对应的平均长度n。

2

(d)说明码的唯一可译性。 解：

(a) H(U)0.9log0.90.1log0.10.469 bit 由已知可得下表

先验 信源输出 0串长度 输出二元码字 概率 序列 （或中间数字） 0.1 1 0 0000 0.09 01 1 0001 0.081 001 2 0010 0.0729 0001 3 0011 0.0656 00001 4 0100 0.059 000001 5 0101 0.0531 0000001 6 0110 0.0478 00000001 7 0111 0.4305 000000001 8 1



(b) n110.120.980.43055.6953 bit (c) n210.43054(10.4305)2.7085 bit (d) 异字码头

第四章 信道及信道容量

4.1 计算由下述转移概率矩阵给定的DMC的容量。

欢迎下载 17


—

p01p

0

1pp(a)

01pp

1Q它是一对称信道，达到C需要输入等概，即p=3



∴C log3p(jk)logp(jk)

log3(1p)log(1p)plogplog3H(p) bit/符号

1p1pp(b) p2222pp1p1p

2222Q它是一对称信道

∴Clog41p2log1p22pp

2log2

2

2(1p)log1pp

2plog2

1H(p) bit/符号

1p0（c）p

p1p0

001



它是分信道

1p

p和p1p

1的和信道 

C1log2(1p)log(1p)1H(p) C20

由2c

2c

12c

2，可知Clog121H(p)

 bit/符号

欢迎下载 18


—

4.3求图中DMC的容量及最佳输入分布

3/4

0

1/4

1/3

1/3

0

0

1/3

0

1/3

1/3

1

1/31/4

2

3/4

2

2

1/3

1

1

1/3

1

1/3

2

1/3

1/3

3

1/3

（a） (b)

解：（a）由图知



3

41P

30341P

30

0

1

41314

01 334

Q发送符号1时等概率收到0,1,2,

∴传对与传错概率完全相同，即不携带任何信息量，于是信道简化为二元纯删除信道

141314

0

3143

034

3/4

1

4140 34

0

1/4

1

1/4

1

3/4

2

C1q11/43/4 bit/符号

（b）由图知



1110333



111

P0

3331110333

Q为准对称

欢迎下载

19


—

∴当输入等概，即Q0Q1Q2此时012

1

时达到信道容量C 3

1122 339

11133

333

∴CI(x0,Y)

p(j0)log

j

p(j0)

j



11111123

=log3log3log3log bit/符号

23231332993

4.5

N个相同的BSC级联如图。

X0

X1X2



XN1

XN

各信道的转移概率矩阵知。

(a) 求Qt的表达式。

p1p

。令Qtp{Xt0},t0,1,,N，且Q0为已p1p



(b) 证明N时有QN1/2，且与Q0取值无关，从而证明N时的级联信道

容量CN0(p0) 解：N个信道级联后BSC可表示为

1pN1

0

pN1

pN1

0

1

1pN1

1

N个级联可以看成N-1个级联后与第N个级联

1pN1

0

pN1

pN1

1p



0

p

p

0

1

1pN1

1

1p

1

∴pN(1pN1)ppN1(1p)pN1(12p)p 同理可得



pN1pN2(12p)p pN2pN3(12p)p

M

p2p1(12p)p

欢迎下载 20


—

p1p

从而

pNpN1(12p)p

[pN2(12p)p](12p)ppN2(12p)2p(12p)p

pN3(12p)3p(12p)2p(12p)p p(12p)

N1i0

N1

p(12p)i

i0

N2

p(12p)i

1(12p)N1(12p)N

p

1(12p)2

(a)

QNQ0(1pN)(1Q0)pNQ0(12Q0)pN

1(12p)N

Q0(12Q0)

2

(b)



1(12p)N

limQNlimQ0(12Q0)NN2

12Q01

Q0

22

因此与Q0无关。

由于

QNp{xN0}

1

p{x00}(1pN)p{x01}pN

2

1

与p{x00}Q0无关，因此pN，C=0。

2



4.8 一PCM语音通信系统，已知信号带宽W=4000 Hz，采样频率为2W，且采用8级幅度

量化，各级出现的概率为1/2，1/4，1/8，1/16，1/32，1/32，1/32，1/32。试求所需的信息速率. 解：H(V)

111119

plogplog2log4log8log164log32 bit kk

24816324k

9

∴信息速率RfsH(V)800018000 bit/s

4



4.9 在数字电视编码中，若每帧为500行，每行划分成600个像素，每个像素采用8电平量化，且每秒传送30帧时，试求所需的信息速率。 解：每个像素信息量为Ilog83 bit

每秒传输30帧，即30500600910个像素 ∴R91032.710 bit/s

欢迎下载

21

6

7

6


—



4.10 带宽为3 kHZ，信噪比为30 dB的电话系统，若传送时间为3分钟，试估计可能传送话

音信息的数目。 解：(

S

)dB=30dB=103=1000 N

S

则CWlog(1)3000log(11000)R bit/s=29.9 Kb/s

N

又传送时间t=30分钟=180 s

∴信息量为29.9180=5.382 Mbit

5

4.12 若要以R=10bit/s的速率通过一个带宽为8 kHz、信噪比为31的连续信道传送，可

否实现？

解：根据SHANNON公式

S

)8000log3240 Kb/s N5

当连续信道为高斯信道时，C10bit/s，于是不可实现；然而信道为非高斯信道时，

CWlog(1

其信道容量小于C，因此不能判定它与R的大小关系，从而不能确定能否实现。

欢迎下载

22


—



第五章 离散信道编码定理

5.1 设有一DMC，其转移概率矩阵为

1/21/31/61/61/21/3 1/31/61/2

若Q(x1)=1/2，Q(x2)Q(x3)=1/4，试求两种译码准则下的译码规则，并计算误码率。 解：

（1）最大后验概率译码准则

首先计算 p(xy)

p(x)p(yx)

p(y)



p(y111111317

1)2246438 p(y2)3 p(y3)

24p(x23 p(x12

1y1) 1y2)2 p(x1y3)7

p(x19 p(x32

2y1)2y2)8 p(x2y3)7

p(x213

3y1)9 p(x3y2)8 p(x3y3)7



Qp(x1y1)p(x3y1)p(x2y1)

p(x1y2)p(x2y2)p(x3y2) p(x3y3)p(x1y3)p(x2y3)

∴译码规则为

y1x1 y2x1 y3x3 ∴Pe

1126141413161124

（2）最大似然准则译码

计算p(yx)

Qp(y1x1)p(y1x3)p(y1x2)

p(y2x2)p(y2x1)p(y2x3) p(y3x3)p(y3x2)p(y3x1)

∴译码规则

y1x1 y2x2 y3x3

∴P1111111111e

2364634362

显然它不是最佳。

欢迎下载 23


—

第六章 线性分组码

6.1 设有4个消息a1,a2,a3,和a4被编成长为5的二元码00000，01101，10111，11010。试给出码的一致校验关系。若通过转移概率为p<1/2的BSC传送，试给出最佳译码表及相应的译码错误概率表示式。 解：

00

0000

0（1）CmG

0

1p00

p01p0210111pp0110

1112011 1

0p10

101111010

从而构造出G1101010010

01101H01011



00101

（2） 根据最小距离译码准则，可得伴随式与错误图样的对应关系如下

00100100 10110100 01001000 11000010 01100001 11100110 10010000 00000000

（3）P5432

e1(1p)5(1p)p2(1p)p



6.4 设二元(6,3)码的生成矩阵为

100011

G010001

01110

0

试给出它的一致校验矩阵为。

解：

001100H＝101010 110001

欢迎下载 24