数据科学的数学基础

　　数据科学是从单纯的“大”数据提炼出“智慧”的数据，以供人们发现新知识并辅助决策的综合交叉学科．本书简要阐述数据科学的数学基础．全书共11章，内容包括线性代数基础、线性空间与线性变换、向量与矩阵范数、矩阵分解、概率统计基础、随机过程、**化基础、线性规划、常用无约束**化方法、常用约束**化方法以及综合案例．除第11章外，每章都有应用实例与该章内容紧密结合，以进一步加强读者对知识点的理解和掌握．所有的应用实例和第11章综合案例的代码都在Windows操作系统下利用Python 3.7编写，并在交互式解释器IDLE上调试通过．本书可作为高等院校大数据、人工智能等相关专业的教材，也可供从事大数据、人工智能及相关领域教学、研究和应用开发的人员参考．

　　卢力，博士，华中科技大学软件学院副教授。目前主要从事数字图像处理与模式识别和数据科学等方向的研究工作。主持和参与多项科研项目和教学研究项目的研究；在国内外重要学术期刊和会议上发表论文二十余篇；正式出版教材2部。主要承担研究生“软件数学”“数字图像处理及应用”，本科生“离散数学”“数学建模”等课程的教学任务。指导本科生参加美国大学生数学建模竞赛，多次获得一、二、三等奖。

第1章　线性代数基础\t1
1．1　行列式　1
1．1．1　行列式的概念　1
1．1．2　行列式的性质　4
1．1．3　行列式的计算　5
1．1．4　克拉默法则　6
1．2　矩阵　9
1．2．1　矩阵的概念　9
1．2．2　矩阵的运算　11
1．2．3　逆矩阵　17
1．2．4　矩阵分块　20
1．2．5　矩阵的初等变换　23
1．2．6　矩阵的秩　28
1．3　线性方程组　29
1．3．1　高斯消元法　30
1．3．2　向量组的线性相关性　33
1．3．3　向量组的秩　37
1．3．4　向量空间　40
1．3．5　线性方程组解的结构　42
1．4　相似矩阵与二次型　45
1．4．1　正交矩阵　45
1．4．2　矩阵的特征值与特征向量　48
1．4．3　相似矩阵　51
1．4．4　二次型　52
1．5　应用实例　61
1．5．1　Python简介　61
1．5．2　背景与问题　64
1．5．3　模型与求解　65
1．5．4　Python实现　67
习题1　71
第2章　线性空间与线性变换　72
2．1　线性空间　72
2．1．1　线性空间的概念　72
2．1．2　线性空间的基、维数及向量的坐标　74
2．1．3　基变换与坐标变换　78
2．2　线性子空间　80
2．2．1　子空间的概念　80
2．2．2　子空间的交、和与直和　82
2．3　线性变换　85
2．3．1　线性变换的概念及其性质　86
2．3．2　线性变换的运算　88
2．3．3　线性变换的矩阵　89
2．3．4　线性变换的对角化　91
2．3．5　线性变换的不变子空间　94
2．3．6　线性变换的若当标准型　96
2．4　内积空间　101
2．4．1　内积空间的概念　102
2．4．2　向量的度量　103
2．4．3　标准正交基　104
2．4．4　子空间的正交补空间　107
2．5　应用实例　108
2．5．1　背景与问题　108
2．5．2　模型与求解　109
2．5．3　Python实现　110
习题2　111
第3章　向量与矩阵范数　112
3．1　向量范数　112
3．1．1　向量范数的概念　112
3．1．2　向量范数的连续性和等价性　114
3．1．3　向量序列的收敛性　115
3．2　矩阵范数　116
3．2．1　矩阵范数的概念　116
3．2．2　矩阵的诱导范数　117
3．2．3　矩阵序列的收敛性　120
3．3　矩阵的谱半径　122
3．4　应用实例　125
3．4．1　向量范数的计算　125
3．4．2　矩阵范数的计算　126
习题3　127
第4章　矩阵分解　128
4．1　矩阵的满秩分解　128
4．2　矩阵的LU分解　129
4．3　矩阵的舒尔分解　138
4．4　正规矩阵及其谱分解　140
4．5　矩阵的奇异值分解　145
4．5．1　求矛盾线性方程组的最小二乘解　149
4．5．2　求矩阵的值空间和零空间　151
4．6　应用实例　152
4．6．1　背景与问题　152
4．6．2　模型与求解　152
4．6．3　Python实现　153
习题4　157
第5章　概率统计基础　158
5．1　随机事件和概率　158
5．1．1　随机事件的概念　158
5．1．2　随机事件的概率　160
5．1．3　条件概率　164
5．1．4　全概率公式和贝叶斯公式　165
5．1．5　事件的独立性　166
5．2　随机变量及其分布　168
5．2．1　随机变量及其分布函数　168
5．2．2　离散型随机变量及其分布律　169
5．2．3　连续型随机变量及其概率密度　170
5．2．4　随机变量的函数的分布　170
5．2．5　常用的随机变量　171
5．3　多维随机变量及其分布　173
5．3．1　n维随机变量及其联合分布　173
5．3．2　边缘分布　175
5．3．3　条件分布　178
5．3．4　随机变量的独立性　179
5．3．5　n维随机变量的函数的分布　180
5．4　随机变量的数字特征　182
5．4．1　数学期望　182
5．4．2　方差　183
5．4．3　协方差与相关系数　184
5．4．4　矩和协方差矩阵　185
5．5　大数定律和中心极限定理　186
5．5．1　大数定律　186
5．5．2　中心极限定理　187
5．6　统计量与参数的点估计　188
5．6．1　统计量的概念　188
5．6．2　统计量的分布　190
5．6．3　参数的矩估计法　192
5．6．4　参数的最大似然估计法　193
5．6．5　估计量的评选标准　196
5．7　应用实例　197
5．7．1　背景与问题　197
5．7．2　模型与求解　197
5．7．3　Python实现　199
习题5　202
第6章　随机过程　203
6．1　随机过程的概念　203
6．1．1　随机过程的定义　203
6．1．2　随机过程的分类　204
6．2　随机过程的统计描述　205
6．2．1　随机过程的分布函数族　205
6．2．2　随机过程的数字特征　207
*6．2．3　多维随机过程的联合
分布和数字特征　210
6．3　泊松过程和维纳过程　212
6．3．1　独立增量过程　212
6．3．2　泊松过程　213
6．3．3　维纳过程　215
6．4　马尔可夫过程　216
6．4．1　马尔可夫过程的概念　216
6．4．2　多步转移概率的确定　221
6．4．3　遍历性与极限分布　224
6．5　应用实例　227
6．5．1　背景与问题　227
6．5．2　模型与求解　227
6．5．3　Python实现　228
习题6　229
第7章　最优化基础　230
7．1　多元函数分析　230
7．1．1　开集、闭集　230
7．1．2　梯度　231
7．1．3　方向导数　235
7．1．4　泰勒展开式　238
7．1．5　微积分中的最优化方法　239
7．2　最优化问题的基本概念　242
7．2．1　最优化问题的数学模型　242
7．2．2　最优化问题的解　242
7．2．3　最优化问题的分类　243
7．3　最优化问题的下降算法　244
7．3．1　可行点列的产生　244
7．3．2　算法的迭代步骤　245
7．3．3　算法的终止准则　245
7．3．4　算法的收敛性　245
7．4　凸集与凸函数　246
7．4．1　凸集　246
7．4．2　凸函数　249
7．5　凸规划　253
7．6　应用实例　255
7．6．1　背景与问题　255
7．6．2　模型与求解　255
7．6．3　Python实现　256
习题7　257
第8章　线性规划　258
8．1　线性规划的基本概念和定理　258
8．1．1　线性规划问题的标准形式　258
8．1．2　线性规划问题的解　260
8．1．3　线性规划的基本定理　262
8．2　线性规划的单纯形法　265
8．2．1　单纯形法的基本思想　265
8．2．2　单纯形表　273
8．2．3　大M法和两阶段法　277
8．3　线性规划的对偶问题与
对偶单纯形法　281
8．3．1　对偶问题的概念和关系　281
8．3．2　对偶理论　284
8．3．3　线性规划的对偶单纯形法　286
*8．4　灵敏度分析　289
8．4．1　价值系数的变化　289
8．4．2　资源限制系数的变化　291
8．5　应用实例　292
8．5．1　背景与问题　292
8．5．2　模型与求解　292
8．5．3　Python实现　293
习题8　294
第9章　常用无约束最优化方法　296
9．1　一维搜索的最优化方法　296
9．1．1　最优步长的确定　296
9．1．2　搜索区间的确定　297
9．1．3　黄金分割法　299
9．1．4　抛物线插值法　301
9．1．5　对分法　304
9．2　最速下降法　305
9．2．1　最速下降法的基本原理　305
9．2．2　最速下降法的迭代步骤　306
9．3　牛顿法　308
9．3．1　牛顿法的基本原理　308
9．3．2　牛顿法的迭代步骤　309
9．3．3　修正牛顿法　310
9．3．4　拟牛顿法　310
9．4　共轭梯度法　315
9．4．1　共轭方向法　315
9．4．2　共轭梯度法　317
9．5　最小二乘法　319
9．5．1　线性最小二乘问题　319
9．5．2　非线性最小二乘问题　320
9．6　应用实例　322
9．6．1　背景与问题　322
9．6．2　模型与求解　323
9．6．3　Python实现　324
习题9　326
第10章　常用约束最优化方法　327
10．1　约束最优化问题的最优性条件　327
10．1．1　等式约束最优化问题的
最优性条件　328
10．1．2　一般约束最优化问题的
最优性条件　328
10．2　罚函数法与乘子法　331
10．2．1　外点罚函数法　331
10．2．2　内点罚函数法　334
10．2．3　乘子法　336
10．3　应用实例　342
10．3．1　背景与问题　342
10．3．2　模型与求解　342
10．3．3　Python实现　343
习题10　345
第11章　综合案例　347
11．1　基于HMM的中文分词　347
11．1．1　背景与问题　347
11．1．2　模型与求解　347
11．1．3　Python实现　351
11．2　协同过滤　357
11．2．1　背景与问题　357
11．2．2　模型与求解　357
11．2．3　Python实现　358
参考文献　368