Ch2例题与证明四-1.docx

《Ch2例题与证明四-1.docx》由会员分享，可在线阅读，更多相关《Ch2例题与证明四-1.docx（12页珍藏版）》请在第壹文秘上搜索。

1、令连续烯的性质连续牖可为负值.可加性连续信源也有与离散信源类似的可加性。即H(XY)=H(X)+H(Y/X)CCCH(XY)=H(Y)+H(XY)下面莪们证函式H(XY)=-(P(Pp(xy)logp(xy)dxdyc2R2=-(P(Pp(xy)logp(x)dxdy一(P(Pp(xy)logp(yx)dxdy22R2R2=-(plogp(x)p(xy)dydx+H(Y/X)2cRR=H(X)H(YX)CC其中，(pp(xy)dy=p(x)同加，可证明式连续信源燧的可加性可以推广到个变量的情况。即H(XX.X)=H(X)+H(X/X)+H(XXX)+.+H(XXX.XC12N121312N12

2、N-1.平均互信息的非负性定义连续信源的无条件燧和条件嫡之差为连续信源的平均互信息。记为l(X;Y),即有cI(X;Y)=H(X)-H(X/Y)CCCI(Y;X)=H(Y)-H(Y/X)CCC连续信源的平均互信息仍保留了非负性。即I(X;Y)=I(Y;X)O证明条眸燧小于奉于无条件麻即H(X/Y)H(X)()CCH(Y/X)H(Y)()现在我们证明式t)H(X/Y)-H(X)=p(y)logp(xy)dxdy+p(x)logp(x)dxcc22R2R也(PP(Xy)dy=P(X)可得RH(X/Y)-H(X)=-p(xy)logp(xy)dxdy+(Pp(xy)logp(x)dxdycc22R2

3、r2=_(P(PP(Xy)IoqP(V)dxdy=(p(pp(xy)logLP(X)dxdy2p()2p(y)R2R2根据对数变换关系和著名不等式log 2 z = log 2e In ZInz z -1z 0并注意到P(X)O,p(xy)0故有P(X)0p(y)令Z=Pb)，只要P(X)不恒为，贝Iz0p(y)H(XY)-H(X)不jjp(xy)P(X)-IJdxdyccR2Lp(xy)J1=jjp(y)p(y)-1IdXdyR2lp(y)J=JP(X)cp(y)dyJJp(xy)dxdyRRR2即H(XY)不H(X).CC其中jp(x)dx=ljP(y)dy=ljjp(xy)dxdy=1由

4、式落rr2I(X;Y)Oc同理可得I(Y;X)0c.平均互信息的对称性容易证明，连续信源的平均互信息也满足对称性。即I(X;Y)=I(Y;X)=H(X)+H(Y)-H(XY)CCccc.满足数据处理定理止匕外，连续信源还满足数据处理定理。换句话说，把连续随机变量处理成另一随机变量时，普通也会丢失信息。即I(X;Z)共I(X;Y)()CC令最大连续焙定理限峰值功率的最大燃定理若代表信源的维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大燧。设维随机变量X=n(a/Q)ba其均匀分布的概率密度函数为1 X=11(b-a)n-a).iiP()=iiI-lIoX茫n

5、N(bja)除均匀分布以外的其彳也在羞概率密度函数记为q(x),并用HJP(X),x和Hq(x),x分别表示均匀分布和任意非因匀务布连续信源的焙。dXN=1在bfJp(x)dxdxdx=1fq(x)dxdxI-I-x,12N12dNCtII3N，一的条件下有q(x)dx dx1 N小 q a B=I q(x) log-Li P(”12 Lq() P(XTaN aI -dx1dxN=-b q(x) log p(x)dx dx + 21 NaN aI 一Iq(X) log2AAAaN aIp(x).f J dx dx 的IHq(x),Xl=-bJfq()og令Z=P(X),有Z0q()运用著名不等

6、式InZ共Z-Iz0则Hq(x),X共Tq(X)IOg1dxcx+c2nNz,1N-刖%-(b-a)iibHq(X)1吧-11IdXdxLq(X)N3NaI-=lognN(b-a)+1-1=Hp(x)5X2 iici=1至此已证明了在定义域有限的条件下，以均匀分布的燧为最大。在实际问题中，随机变量X的取值限制在士b之间，峰值为IbI。如果地取值看做是输出搐号的幅度，则相应的峰值功率就是b2o所以上述定理被称为峰值功率受限条件卡的最大连续燧定理。此时最大燧值为：Hp(x),X=logVnb-(-b)=logVN2bc2ii2ii=1i=1限平均功率的最大燧定理若信源输出信号的平均功率和均值被限定

7、，则其输出信号幅度的概率密度函数为高斯分布时，信源具有最大焙值。单变量连续信源呈高斯分布时，P(X)e j2tig 2(x-m)22b 2当是高斯分布以外的其它任意分布时，记为q(x)由约束条件已知Jwp(x)dx=Jwq(x)=17w(JxXP(X)dx=JwXq(x)=m9-.IJx2P(X)d=J三q)=P-OOTY由于随机变量的方差E(X-m)2=EX2-m2=P2-m2=装2当均值为时，平均功率就等于方差装2=P,可见对平均功率和均值的限制就等于对方差的限制。用Hp(x),和Hq(x),分别表示高斯分布和任意非篙斯分布逢续信源的燧由前面的讨论已知Hp(x),X=Iog(2爪e装2)C

8、22Hq(x)5X=Jwq()ogq(x)dxc-w2=jwq(x)og111.-w2Lq(x)p(x)Jl=Jwq()ogp(x)dx-I-jwq(x)ogxdx-w2I-w2Lc(x)J共1log(2JLe(2)jwq(x)P（八）-Iloge.dx22.wI“(x)2=1log(2Le(2)+l-1=Hp(x),X22C其中jwq()ogp()dx=-jwq(x)ogJeWIdX-W2-W2J2几(2=JWq(x)og+loge翁dx-W2=log2儿(2+logeJwq(x)(Xdx22-w2=log2几(2+1logeV.2yj22=1log2JTe(222()均值受限条件下的最大连

9、续烯定理若连续信源输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源具有最大燧值。连续信源为指数分布时为1XP(X)=eF(x0)m用Hp(x),和Hq(),分别表本指数分布和任意QC非指数分布连续信源的嫡。记限制条件为：(PRP(x)dx=(PQCq(X)=I00(POOXP(x)dx=(p00Xq(x)=m00Hp(x)5X=Iogme任意其它分布的信源燧C2为Hq(x),X=-Jwq(x)logq(x)dxC02=jwq(x)log1P(x*o2Lq(x)p(x)Jl=jwq(x)logp(x)dx+jwq(x)logE2Jdx-W2w2Lq(x)J共TWq(X)IOgIlI

10、e-Idx+loge.jwq(x)dxw2LmJ2_WLc(x)J=OV=logm.Jwq(x)dx+logejw_q(x)k，2020m=logme=Hp(x),X2c总结：连续信源与离散信源不同，它不存在绝对的最大燧。其最大燧与信源的限制条件有关，在不同的限制条件下，有不同的最大连续嫡值。令崎功率设连续信源在为P(X)时达到最大端值Hp(x),X除此之外的其它任何q(x)达至广的蜡值为Hlq(X),X两蜡之差即表示信源的剩余记为广，也叫信息变差或者信源p,q的冗余。即信源从一种P(X)转到另一种q(x)时，信源所含信息量发生的变化。I=Hp(x),X-Hq(x),XP,qCc从信息变差的概

11、念出发，连续信源的嫡可理解为最大幅与信息变差之间的差值。Hq(x),X=Hp(x),X-lCcp,q讨论均值为零、平均功率限定为的连续信源的冗余问题。当为高斯分布时达到最大燧斗Hp(x)5X=.Ioq2reP仅随限定功率C/2的变化而变化。假定限定的功率为P,相应的端为Hp(x),X,若PP,则有cPHp(x),XHp(x),XCPC当为其它任何分布q(x)时，也有Hq(x),Hp(x)5XCC总能找到某一个PP,使1Hq(x),X=Hp(x),XJ=_log2ePCCP22此即P的大小决定了实际信源的焙值。称P为连续信源在为q(x)时的焙功率。它与信息变差之间的关系：1PI=IogPq22p总结信源的冗余度决定于平均功率的限定值P与信源的端功率P之比。