数据标注工程

　　本书是由中国大数据应用联盟人工智能专家委员会主任刘鹏教授主编的一本系统学习数据标注技术的教材。本书使用浅显易懂的语言，系统地介绍了数据标注的基本概念、分类、流程、质量检验、管理和应用等。通过理论与实战相结合的方式，帮助读者由浅入深进行学习，从而真正掌握数据标注的核心技术、实施和管理方法。本书既可以作为培养应用型人才的课程教材，也适用于初学者，以及广大的数据标注行业从业者。数据标注行业迅速成长，目前正缺乏一本q威教材，希望本书能够填补这个空白。

　　刘鹏，清华大学博士毕业。现任中国大数据技术与应用联盟副理事长、中国大数据应用联盟人工智能委员会主任、中国云计算专家咨询委员会专家委员、工业和信息化部云计算研究中心专家。

第1章 数据标注概述…………………………………………1
1.1 数据标注的起源与发展…………………………………………1
1.1.1 什么是数据标注 …………………………………………3
1.1.2 数据标注分类概述 ………………………………………4
1.1.3 数据标注流程概述 ………………………………………6
1.2 数据标注的应用场景……………………………………… 7
1.2.1 出行行业 …………………………………………………7
1.2.2 金融行业 …………………………………………………8
1.2.3 医疗行业 …………………………………………………8
1.2.4 家居行业 …………………………………………………8
1.2.5 安防行业 …………………………………………………9
1.2.6 公共服务 …………………………………………………9
1.2.7 电子商务 …………………………………………………10
1.3 有多少智能，就有多少人工……………………………………10
1.3.1 有监督的机器学习 ………………………………………10
1.3.2 最后一批人工智能的“老师” ……………………………11
1.4 数据越多，智能越好……………………………………………12
1.5 作业与练习………………………………………………………14
参考文献… ……………………………………………………………14
第2章 数据采集与清洗………………………………………16
2.1 标注对象…………………………………………………………16
2.1.1 主要的数据来源 …………………………………………16
2.1.2 常见的标注数据 …………………………………………17
X 数据标注工程
2.2 数据采集………………………………………………………… 18
2.2.1 数据采集方法 …………………………………………… 18
2.2.2 数据采集流程 …………………………………………… 19
2.2.3 标注数据采集 …………………………………………… 20
2.3 数据清洗…………………………………………………………23
2.3.1 数据清洗方法 …………………………………………… 24
2.3.2 数据清洗流程 …………………………………………… 26
2.3.3 MapReduce 数据去重 …………………………………… 26
2.4 作业与练习………………………………………………………28
参考文献… ……………………………………………………………28
第3 章 数据标注分类…………………………………………29
3.1 图像标注…………………………………………………………29
3.1.1 什么是图像标注 ………………………………………… 29
3.1.2 图像标注应用领域 ……………………………………… 30
3.2 语音标注…………………………………………………………35
3.2.1 什么是语音标注 ………………………………………… 35
3.2.2 客服录音数据标注规范 ………………………………… 35
3.3 文本标注…………………………………………………………38
3.3.1 什么是文本标注 ………………………………………… 38
3.3.2 文本标注应用领域 ……………………………………… 38
3.4 作业与练习……………………………………………………… 41
参考文献… …………………………………………………………… 41
第4 章 数据标注质量检验……………………………………42
4.1 数据质量影响算法效果…………………………………………42
4.2 数据标注质量标准………………………………………………44
4.2.1 图像标注质量标准 ……………………………………… 44
4.2.2 语音标注质量标准 ……………………………………… 47
4.2.3 文本标注质量标准 ……………………………………… 48
4.3 数据标注质量检验方法…………………………………………48
4.3.1 实时检验 ………………………………………………… 48
目 录XI
4.3.2 全样检验 ………………………………………………… 50
4.3.3 抽样检验 ………………………………………………… 50
4.4 作业与练习………………………………………………………53
参考文献… ……………………………………………………………53
第5 章 数据标注管理………………………………………… 55
5.1 数据标注工厂设计………………………………………………55
5.2 数据标注管理架构………………………………………………59
5.3 数据安全管理与质量管理体系…………………………………60
5.3.1 数据存储安全管理要求 ………………………………… 60
5.3.2 工厂人员行为管理 ……………………………………… 61
5.3.3 溯源体系建设 …………………………………………… 61
5.3.4 质量管理体系建设 ……………………………………… 62
5.4 数据标注项目评估………………………………………………63
5.5 数据标注订单管理………………………………………………64
5.6 数据标注客户关系管理…………………………………………65
5.7 作业与练习………………………………………………………66
参考文献… ……………………………………………………………66
第6 章 数据标注应用…………………………………………68
6.1 自动驾驶…………………………………………………………68
6.1.1 自动驾驶的发展 ………………………………………… 68
6.1.2 自动驾驶的9 种数据标注 ……………………………… 70
6.2 智能安防…………………………………………………………75
6.2.1 智能安防的发展分析 …………………………………… 75
6.2.2 智能安防的5 种数据标注 ……………………………… 77
6.3 智能医疗…………………………………………………………80
6.3.1 智能医疗的发展 ………………………………………… 80
6.3.2 智能医疗应用的4 种数据标注 ………………………… 80
6.4 作业与练习………………………………………………………82
参考文献… ……………………………………………………………83
XII 数据标注工程
第7 章 数据标注实战…………………………………………84
7.1 实战环境搭建……………………………………………………84
7.1.1 标注工具安装环境搭建 ………………………………… 84
7.1.2 LabelImg 标框标注工具的使用方法 …………………… 92
7.1.3 Labelme 工具的安装与使用方法 ……………………… 100
7.2 医疗影像标注………………………………………………… 104
7.3 遥感影像标注………………………………………………… 106
7.4 车牌图像标注………………………………………………… 109
7.4.1 车牌图像标框标注 …………………………………… 109
7.4.2 车牌图像分类标注 …………………………………… 110
7.5 人像数据标注………………………………………………… 113
7.5.1 行人图像标注 ………………………………………… 113
7.5.2 人脸数据标注 ………………………………………… 116
7.6 作业与练习…………………………………………………… 121
参考文献… ………………………………………………………… 121
附录 大数据实验平台（数据标注版）… ………………… 122