信息论基础

　　本书介绍信息论及其应用，内容丰富，涉及信息、统计，计算机科学等领域，系统和全面地介绍了香农信息论的基本理论与多类应用问题，其中包括作者的许多研究成果。本书包含大量的例题与背景说明，涉及信息处理与信息世界中的许多问题。本书是美国斯坦福大学、莱斯大学等使用的信息论教材，是学习信息论的主要参考书。本书全面系统地介绍了香农信息论的基本理论以及多类应用问题，其中包括了作者的许多研究成果。本书阐述了熵、相对熵和互信息之间的基本代数关系，论述了渐近均分性（AEP）、随机过程和数据压缩的熵率、Kolmogorov复杂度、信道容量定理、微分熵以及网络信息理论等内容，并采用“使用不等式串、中间不加任何文字、最后直接加以解释”的创新表述方式，使读者学习了一定数量的证明后，在没有任何解释的情况下就能理解其中的大部分步骤，并给予必要的解释。本书适合作为通信理论、计算机科学和数学等专业学生学习信息论的教材。章后提供的习题便于老师的教学，以及增强学生对信息论的理解。

　　Thomas M.cover是国际著名的信息论教授，1964年获美国斯坦福大学电子工程博士学位，1972年起任美国斯坦福大学电子工程与数理统计学教授，妆兼任IEEE、AAAS、IMS学会特别会员及多项重要学会理事。 Joy A.Thomas，1990年获美国斯坦福大学电子工程博士学位，1984-1985年被授予IEEE Chareles LeGeyt Fortescue Fellowship，1987-1990年被授予IBM Graduate Fellowship。

第1章  绪论与概览        1
 第2章  熵. 相对熵和互信息        9
 2.1  熵        9
 2.2  联合熵和条件熵        11
 2.3  相对熵和互信息        13
 2.4  熵与互信息的关系        14
 2.5  熵. 相对熵和互信息的链式法则        15
 2.6  Jensen不等式及其结果        17
 2.7  对数和不等式及其应用        22
 2.8  数据处理不等式        24
 2.9  热力学第二定律        25
 2.10  充分统计量        27
 2.11  Fano不等式        28
 要点        30
 习题        31
 历史回顾        36
 第3章  渐近均分性        39
 3.1  渐近均分性的定义        39
 3.2  AEP的结果应用：数据压缩        41
 3.3  高概率集与典型集        42
 要点        43
 习题        44
 历史回顾        45
 第4章  随机过程的熵率        47
 4.1  马尔可夫链        47
 4.2  熵率        49
 4.3  例子：加权图上随机游动的熵率        51
 4.4  隐马尔可夫模型        53
 要点        55
 习题        56
 历史回顾        60
 第5章  数据压缩        61
 5.1  有关编码的例子        61
 5.2  Kraft不等式        64
 5.3  最优码        66
 5.4  最优码长的界        67
 5.5  惟一可译码的Kraft不等式        70
 5.6  赫夫曼码        72
 5.7  有关赫夫曼码的评论        73
 5.8  赫夫曼码的最优性        75
 5.9  Shannon-Fano-Elias编码        78
 5.10  算术编码        80
 5.11  香农码的竞争最优性        83
 5.12  由均匀硬币投掷生成离散分布        85
 要点        91
 习题        91
 历史回顾        96
 第6章  博弈与数据压缩        97
 6.1  马赛        97
 6.2  博弈与边信息        100
 6.3  相依的马赛及其熵率        102
 6.4  英文的熵        103
 6.5  数据压缩与博弈        106
 6.6  英文的熵的博弈估计        107
 要点        108
 习题        109
 历史回顾        111
 第7章  Kolmogorov复杂度        113
 7.1  计算模型        114
 7.2  Kolmogorov复杂度：定义和例子        115
 7.3  Kolmogorov复杂度与熵        119
 7.4  整数的Kolmogorov复杂度        121
 7.5  算法随机序列与不可压缩序列        122
 7.6  普适概率        125
 7.7  停止问题和Kolmogorov复杂度的不可计算性        126
 7.8  W        127
 7.9  普适投注策略        129
 7.10  奥克姆剃刀        130
 7.11  Kolmogorov复杂度与普适概率        131
 7.12  Kolmogorov充分统计量        136
 要点        139
 习题        140
 历史回顾        142
 第8章  信道容量        143
 8.1  信道容量的例子        144
 8.1.1  无噪声二元信道        144
 8.1.2  无重叠输出的有噪声信道        144
 8.1.3  有噪声的打字机信道        145
 8.1.4  二元对称信道        145
 8.1.5  二元擦除信道        146
 8.2  对称信道        147
 8.3  信道容量的性质        149
 8.4  信道编码定理预览        149
 8.5  定义        150
 8.6  联合典型序列        152
 8.7  信道编码定理        154
 8.8  零误差码        158
 8.9  Fano不等式与编码定理的逆定理        159
 8.10  信道编码定理的逆定理中的等式        162
 8.11  汉明码        163
 8.12  反馈容量        165
 8.13  联合信源信道编码定理        167
 要点        170
 习题        171
 历史回顾        173
 第9章  微分熵        175
 9.1  定义        175
 9.2  连续随机变量的AEP        176
 9.3  微分熵与离散熵的关系        178
 9.4  联合微分熵和条件微分熵        179
 9.5  相对熵和互信息        180
 9.6  微分熵. 相对熵以及互信息的性质        181
 9.7  离散熵的微分熵界        183
 要点        184
 习题        185
 历史回顾        186
 第10章  高斯信道        187
 10.1  高斯信道的定义        188
 10.2  高斯信道编码定理的逆定理        192
 10.3  有限带宽信道        193
 10.4  并联高斯信道        196
 10.5  彩色高斯噪声信道        198
 10.6  带反馈的高斯信道        200
 要点        204
 习题        205
 历史回顾        207
 第11章  最大熵与谱估计        209
 11.1  最大熵分布        209
 11.2  例子        210
 11.3  反常的最大熵问题        212
 11.4  谱估计        213
 11.5  高斯过程的熵率        214
 11.6  Burg最大熵定理        215
 要点        217
 习题        217
 历史回顾        218
 第12章  信息论与统计学        219
 12.1  型方法        219
 12.2  大数定律        225
 12.3  通用信源编码        226
 12.4  大偏差理论        229
 12.5  Sanov定理的例子        231
 12.6  条件极限定理        233
 12.7  假设检验        239
 12.8  Stein引理        243
 12.9  Chernoff界        245
 12.10  Lempel-Ziv编码        251
 12.11  Fisher信息与Cram巖-Rao不等式        256
 要点        260
 习题        262
 历史回顾        264
 第13章  率失真理论        265
 13.1  量化        265
 13.2  定义        266
 13.3  率失真函数的计算        269
 13.3.1  二元信源        269
 13.3.2  高斯信源        270
 13.3.3  独立高斯随机变量的同步描述        273
 13.4  率失真定理的逆定理        275
 13.5  率失真函数的可达性        277
 13.6  强典型序列与率失真        282
 13.7  率失真函数的特征        285
 13.8  信道容量与率失真函数的计算        286
 要点        289
 习题        289
 历史回顾        293
 第14章  网络信息论        295
 14.1  高斯多用户信道        297
 14.1.1  单用户高斯信道        298
 14.1.2  m个用户的高斯多接入信道        298
 14.1.3  高斯广播信道        299
 14.1.4  高斯中继信道        299
 14.1.5  高斯干扰信道        301
 14.1.6  高斯双向信道        301
 14.2  联合典型序列        302
 14.3  多接入信道        305
 14.3.1  多接入信道容量区域的可达性        309
 14.3.2  对多接入信道容量区域的评述        311
 14.3.3  多接入信道容量区域的凸性        312
 14.3.4  多接入信道的逆定理        314
 14.3.5  m个用户的多接入信道        317
 14.3.6  高斯多接入信道        318
 14.4  相关信源的编码        321
 14.4.1  Slepian-Wolf定理的可达性        323
 14.4.2  Slepian-Wolf定理的逆定理        325
 14.4.3  多信源的Slepian-Wolf定理        327
 14.4.4  Slepian-Wolf编码的解释        327
 14.5  Slepian-Wolf编码与多接入信道之间的对偶性        328
 14.6  广播信道        329
 14.6.1  广播信道的定义        331
 14.6.2  退化广播信道        332
 14.6.3  退化广播信道的容量区域        332
 14.7  中继信道        336
 14.8  具有边信息的信源编码        340
 14.9  具有边信息的率失真        343
 14.10  一般多端网络        348
 要点        353
 习题        354
 历史回顾        358
 第15章  信息论与股票市场        361
 15.1  股票市场：定义        361
 15.2  对数最优投资组合的Kuhn-Tucker特征        363
 15.3  对数最优投资组合的渐近最优性        365
 15.4  边信息与双倍率        367
 15.5  平稳市场中的投资        368
 15.6  对数最优投资组合的竞争最优性        370
 15.7  Shannon-McMillan-Breiman定理        372
 要点        377
 习题        378
 历史回顾        379
 第16章  信息论的不等式        381
 16.1  信息论的基本不等式        381
 16.2  微分熵        383
 16.3  熵与相对熵的界        385
 16.4  型的不等式        387
 16.5  子集的熵率        388
 16.6  熵与Fisher信息        390
 16.7  熵幂不等式与Brunn-Minkowski不等式        393
 16.8  行列式的不等式        397
 16.9  行列式的比值的不等式        400
 全书要点        402
 习题        402
 历史回顾        403
 参考文献        405
 索引        419
</font>