概率论与数理统计（人工智能专用）

　　《概率论与数理统计（人工智能专用）》介绍了与人工智能密切相关的概率论与数理统计的内容。全书分成两大部分，di一部分主要介绍概率论的知识，涵盖概率论的基本概念、一维随机变量及其分布、二维随机变量及其分布，数字特征，大数定理和中心极限定理外，还增加了信息论基础知识、若干集中不等式的相关知识。第二部分主要介绍常见的数理统计知识，包括抽样分布、参数估计（包括贝叶斯估计）、假设检验、方差分析。为了满足机器学习的两大目标任务：分类和预测，又介绍了回归分析和聚类分析。还介绍了概率论与数理统计的具体知识点在人工智能里的应用。在附录二给出了数理统计部分问题的python程序实现。在每一章每一小节后面配备各种题型的习题。每章后面配备本章的总复习题。习题分为两类：习题A可以作为对本章知识内容的考察，习题B中收集了历年研究生入学考试试题，有利于考研复习。本书适合从事机器学习的在校学生、高校研究者使用，也可作为高等理工科院校非数学专业的学生学习概率论与数理统计课程的教材使用。

　　田霞，女，副教授，2005年毕业于南京航空航天大学，毕业后在齐鲁工业大学任教，主要讲授《概率论与数理统计》《线性代数》《应用密码学》等课程。主持校级教研项目2项。

章随机事件与概率（1）
节随机事件及样本空间（1）
一、随机现象和样本空间（1）
二、随机事件（3）
三、事件的关系与运算（3）
第二节概率的定义及性质（8）
一、可能性大小的度量（8）
二、概率的统计定义（8）
三、概率的公理化定义（9）
四、概率的性质（9）
第三节古典概型和几何概型（12）
一、排列与组合（12）
二、古典概率（13）
三、几何概型（16）
第四节条件概率（21）
一、条件概率（21）
二、乘法公式（22）
三、全概率公式（23）
四、贝叶斯公式（25）
第五节独立性（28）
一、独立性（28）
二、n重贝努利试验（31）
第二章随机变量及其分布（42）
节离散型随机变量及其分布律（42）
一、随机变量（42）
二、离散型随机变量（43）
三、几种常见的离散型分布（45）
第二节随机变量的分布函数（58）
一、分布函数概念（58）
二、分布函数的性质（58）
第三节连续型随机变量及其密度函数（62）
一、连续型随机变量（62）
二、几种常见的连续型分布（65）
第四节随机变量函数的分布（81）
一、离散型随机变量函数的分布（82）
二、连续型随机变量函数的分布（82）
第三章多维随机变量及其分布（95）
节多维随机变量及其联合分布（95）
一、二维随机变量的联合分布函数（95）
二、二维离散型随机变量及其分布（97）
三、二维连续型随机变量及其分布（100）
四、常见的二维分布（102）
第二节边缘分布和独立性（107）
一、边缘分布函数（107）
二、二维离散型随机变量（X，Y）的边缘分布律（108）
三、二维连续型随机变量（X，Y）的边缘分布（110）
四、随机变量的独立性（112）
第三节二维随机变量的条件分布和条件独立（120）
一、条件分布（120）
二、条件独立（123）
第四节二维随机变量函数的分布（129）
一、二维离散型随机变量函数的分布（129）
二、二维连续型随机变量函数的分布（131）
三、分布的可加性（135）
四、一些结论（136）
五、离散型随机变量与连续型随机变量和的分布（136）
第四章数字特征（146）
节数学期望（146）
一、数学期望的概念（146）
二、随机变量函数的期望（148）
三、数学期望的性质（150）
四、数学期望性质的应用（151）
五、一些常用分布的数学期望（151）
第二节方差（157）
一、方差的定义（157）
二、方差的性质（158）
三、标准化（159）
四、常用分布的方差（159）
第三节协方差及相关系数（165）
一、定义（165）
二、协方差的性质（165）
三、相关系数的性质（165）
第四节矩和协方差矩阵（170）
一、矩（170）
二、n维随机变量的协方差矩阵（171）
第五节信息论基础（174）
一、自信息（self-infomation）（175）
二、信息熵（Entopy）（175）
三、条件熵（conditional entopy）（177）
四、联合熵（joint entopy）（178）
五、相对熵（KL（kull
ack-Lei
le）散度）（178）
六、交叉熵（179）
七、互信息与信息增益（180）
八、优选熵原理（182）
第五章大数定理与中心极限定理（195）
节集中不等式（195）
一、马尔可夫不等式（Makov）（195）
二、霍夫丁不等式（Hoeffding）（196）
三、切比雪夫不等式（198）
第二节大数定律（201）
一、依概率收敛（201）
二、大数定理（202）
第三节中心极限定理（206）
第六章数理统计的基本概念（214）
节总体与样本（214）
一、总体（215）
二、样本（215）
三、样本的联合分布（216）
第二节统计量及其分布（217）
一、统计量和抽样分布（217）
二、抽样分布（220）
三、正态总体导出的抽样分布（225）
第三节经验分布函数与茎叶图（231）
一、经验分布函数（231）
二、茎叶图（232）
第七章参数估计（242）
节点估计（242）
一、点估计概念（242）
二、矩估计（243）
三、极大似然估计法（245）
第二节估计量的评价准则（253）
一、无偏性（253）
二、有效性（254）
三、一致性（254）
第三节贝叶斯估计（258）
一、统计推断中可用的三种信息（258）
二、先验分布和后验分布（259）
三、先验分布的寻找（264）
第四节区间估计（267）
一、区间估计的基本概念（267）
二、单个正态总体参数的区间估计（268）
三、两个正态总体参数的区间估计（270）
四、分类精度的置信区间（272）
第八章假设检验（283）
节假设检验的基本思想（283）
一、检验的依据：实际推断原理（283）
二、假设检验的基本概念（283）
三、检验的p值（尾概率）（286）
四、假设检验的基本步骤（286）
第二节正态总体下的参数假设检验（287）
一、单个正态总体参数的假设检验（287）
二、两个正态总体的假设检验（290）
三、大样本下非正态总体下的参数型假设检验（295）
第三节非参数假设检验（300）
一、拟合优度检验（300）
二、独立性检验（303）
三、秩和检验（305）
第九章方差分析（315）
节单因素方差分析（315）
一、问题的提出（315）
二、建立统计模型（316）
三、平方和分解（317）
四、离差平方和的分布（319）
五、假设检验（320）
六、参数估计（321）
第二节双因素方差分析（324）
一、无交互作用的双因素方差分析（325）
二、有交互作用的双因素方差分析（329）
第十章回归分析（342）
节一元线性回归分析（343）
一、一元线性回归的数学模型（343）
二、回归系数的最小二乘估计（344）
三、回归问题的统计检验（346）
四、估计和预测（349）
第二节非线性回归（353）
一、指数曲线（353）
二、对数函数曲线（354）
三、幂函数曲线（354）
四、双曲函数曲线（355）
五、S型曲线（356）
六、多项式曲线（357）
第十一章聚类分析（364）
节聚类分析的一般问题（364）
一、相似性度量（365）
二、类及其特征（370）
第二节系统聚类法（371）
一、系统聚类法的基本思想（371）
二、系统聚类的方法（372）
三、分类数的确定（386）
第三节k-均值聚类算法（388）
一、k-均值算法简介（389）
二、k-均值算法实现步骤（389）
三、k-均值算法的优缺点（393）
附录一（397）
附录二数理统计内容的python实现（413）
一、假设检验（413）
二、方差分析（423）
三、回归分析（430）
四、聚类分析（434）
习题参考答案（437）
参考文献（462）