大数据与机器学习经典案例：微课视频版

　　精心选取十个大数据与机器学习的实战案例，采用迭代递进模式，边理论边实践，深入浅出，让读者在工程实践中熏陶成长，在复杂系统设计中淬炼过硬本领。十个案例全部采用国际著名机构发布的真实数据，研究领域涉及生物信息、图像处理、商业零售、银行金融、自然语言处理等。每个案例采用的数据集规模相对较大，鲜明体现了机器学习在大规模数据挖掘处理方面独领风骚。

　　董相志，理学硕士，鲁东大学信息与电气工程学院副教授，主讲《网络编程》、《Android程序设计》、《机器学习》、《深度学习》、《人工智能》、《大数据与人工智能》、《Python程序设计》、《Web前端设计》、《Web后端设计》等课程。近年来第一作者出版教材三部，参加省部级课题二项，获山东省软科学一等奖一项，获山东省教学成果二等奖一项。主要教学研究方向为大数据与人工智能、网络编程等。

目录


第1章房价预测与回归问题

1.1数据集

1.2训练集观察

1.3列变量观察

1.4相关矩阵

1.5缺失数据

1.6离群值

1.7正态分布

1.8同方差与异方差

1.9线性回归假设

1.10参数估计

1.11决定系数

1.12特征工程

1.13数据集划分与标准化

1.14线性回归模型

1.15岭回归模型

1.16Lasso回归模型

1.17ElasticNet回归模型

1.18XGBoost回归模型

1.19Voting回归模型

1.20Stacking回归模型

1.21模型比较

小结

习题

第2章人体蛋白图谱与卷积神经网络

2.1数据集

2.2训练集观察

2.3标签向量化

2.4均衡性检查

2.5构建新训练集

2.6卷积运算

2.7边缘扩充

2.8卷积步长

2.9三维卷积





2.10定义卷积层

2.11简单卷积神经网络

2.12定义池化层

2.13经典结构LeNet5





2.14卷积网络结构剖析

2.15为什么使用卷积

2.16数据集划分

2.17图像的特征表示

2.18蛋白图像的特征矩阵

2.19数据标准化

2.20模型定义

2.21模型训练

2.22模型评估

2.23模型预测

小结

习题

第3章细胞图像与深度卷积

3.1数据集

3.2数据采集

3.3数据集观察

3.4数据分布

3.5筛选数据集

3.6神经网络

3.7符号化表示

3.8激励函数

3.9损失函数

3.10梯度下降

3.11正向传播

3.12反向传播

3.13偏差与方差

3.14正则化

3.15MiniBatch梯度下降

3.16优化算法

3.17参数与超参数

3.18Softmax回归

3.19VGG16卷积网络

3.20ResNet卷积网络

3.211×1卷积

3.22Inception卷积网络

3.23合成细胞彩色图像

3.24数据集划分

3.25制作HDF5数据集

3.26迁移学习与特征提取

3.27基于VGG16的迁移学习

3.28训练ResNet50模型

3.29ResNet50模型预测

小结

习题

第4章自动驾驶与YOLO算法

4.1认识自动驾驶

4.2数据集

4.3数据集观察

4.4变量观察

4.5场景观察

4.6场景动画

4.7目标检测

4.8特征点检测

4.9滑动窗口实现目标检测

4.10卷积方法实现滑动窗口

4.11初识YOLO算法

4.12交并比

4.13非极大值抑制

4.14Anchor Boxes

4.15YOLO技术演进

4.16用OpenCV显示图像

4.17用OpenCV播放视频

4.18用GoogLeNet对图像分类

4.19用GoogLeNet对视频逐帧分类

4.20YOLO v3预训练模型

4.21YOLO v3对图像做目标检测

4.22YOLO v3对视频做目标检测

4.23YOLO v3对驾驶场景做目标检测

小结

习题

第5章AlphaFold与蛋白质结构预测

5.1什么是AlphaFold

5.2肽键、多肽与肽链

5.3蛋白质的四级结构

5.4数据集

5.5筛选蛋白质序列

5.6计算残基之间的距离

5.7二面角与拉氏构象图

5.8计算二面角Phi（Φ）和Psi（Ψ）

5.9裁剪残基序列的OneHot矩阵

5.10裁剪评分矩阵和二面角标签

5.11定义二面角预测模型

5.12二面角模型参数设定与训练

5.13二面角模型预测与评价

5.14定义距离预测模型

5.15构建残基序列3D特征矩阵

5.16构建3D评分矩阵

5.17定义距离标签的3D矩阵

5.18距离模型参数设定与训练

5.19距离模型预测与评价

小结

习题

第6章机器问答与BERT模型

6.1Google开放域数据集

6.2序列模型与RNN

6.3词向量

6.4注意力机制

6.5Transformer模型

6.6BERT模型

6.7数据集分析

6.8F1分数

6.9定义BERT模型和RoBERTa模型

6.10训练BERT微调模型

6.11用BERT微调模型预测

小结

习题

第7章苹果树病虫害识别与模型集成

7.1数据集

7.2叶片观察

7.3RGB通道观察

7.4叶片图像分类观察

7.5叶片类别分布统计

7.6Canny边缘检测

7.7数据增强

7.8划分数据集

7.9DenseNet模型定义

7.10DenseNet模型训练

7.11DenseNet模型预测与评估

7.12EfficientNet模型定义

7.13EfficientNet模型训练

7.14EfficientNet模型预测与评估

7.15EfficientNet Noisy Student模型

7.16EfficientDet模型

7.17模型集成

小结

习题

参考文献