物联网大数据处理技术与实践

　　本书基于作者近几年来的研究开发成果及应用实践，对物联网大数据技术体系进行了系统归纳，阐述了物联网环境下感知数据的特性、数据模型、事务模型以及调度处理方法等核心概念及关键技术，并对物联网大数据存储、管理、计算与分析的基本概念和关键技术进行了剖析。本书还介绍了自行研发的面向物联网的ChinDB实时感知数据库系统以及针对云计算环境下物联网大数据管理与应用的DeCloud云平台，介绍了它们在智能交通、智能电厂、教育、安全监控等多个行业的应用。书中所有实例，均来自作者所在团队的实际应用，大部分在物联网项目中得到了实践应用。本书对物联网应用的开发以及两化融合、工业4.0环境下的大数据处理分析具有重要参考价值。

　　2000年被聘为中科院计算技术研究所研究员，入选中科院海外杰出人才计划（百人计划）。现任网络重点实验室研究员，博士生导师，中科院研究生院教授。兼任计算机研究与发展、计算机学报编委，山东科技大学软件集成与服务工程研究所所长。主要研究兴趣为分布式系统、互联网服务、业务流程管理和协同以及跨管理域的行业应用集成。在数据库、工作流、分布对象中间件、移动计算、网格计算和软件基础理论等多个领域主持和参与完成了包括德国科教部专项、美国自然基金会的基础研究项目、国家863专项、国家基金、国家十五攻关以及科学院知识创新工程以及行业应用等科研和工程项目近30项，撰写或合作撰写学术论文90余篇，出版专著4部，专利10余项。

第1篇 缘起与发展趋势篇
第1章 物联网与产业发展\t3
1．1 物联网产业的发展\t3
1．1．1 传感器与智能硬件\t4
1．1．2 物联网服务平台\t5
1．1．3 工业4．0与CPS\t5
1．2 物联网与大数据\t7
1．3 物联网产业的机遇与挑战\t9
1．3．1 物联网产业面临的挑战\t9
1．3．2 物联网操作系统与数据库\t10
1．3．3 物联网大数据处理与应用\t11
第2章 大数据处理技术的发展\t12
2．1 大数据存储和管理技术\t12
2．1．1 面向大数据的文件系统\t13
2．1．2 面向大数据的数据库系统\t15
2．2 大数据计算技术\t19
2．2．1 批处理计算模式\t19
2．2．2 交互式查询计算模式\t20
2．2．3 流处理计算模式\t21
2．2．4 大数据实时处理的架构：Lamda架构\t23
2．3 大数据分析技术\t24
2．3．1 传统结构化数据分析\t26
2．3．2 文本数据分析\t26
2．3．3 多媒体数据分析\t27
2．3．4 社交网络数据分析\t27
2．3．5 物联网传感数据分析\t28
2．3．6 大数据分析技术的发展趋势\t28
第2篇 技术解析篇
第3章 物联网大数据技术体系\t31
3．1 物联网中的大数据挑战\t31
3．1．1 互联网大数据的特征\t31
3．1．2 物联网大数据的特征\t34
3．2 技术体系\t37
3．2．1 感知数据采集与传输\t38
3．2．2 感知数据管理与实时计算\t41
3．2．3 物联网平台与大数据中心\t42
第4章 感知数据特性与模型\t44
4．1 感知数据的特性分析\t44
4．1．1 常用的感知数据类型\t44
4．1．2 感知数据的主要特征\t46
4．2 感知数据的表示与组织\t49
4．2．1 物联网数据模型\t49
4．2．2 时态对象模型\t51
4．3 感知数据库的定位\t52
4．3．1 感知数据库的定位\t52
4．3．2 感知数据库的特征\t53
4．4 感知数据库与传统数据库\t53
4．4．1 感知数据库与关系数据库\t53
4．4．2 感知数据库与实时数据库系统\t54
4．4．3 感知数据库与工厂数据库系统\t55
4．4．4 感知数据库与流数据处理系统\t55
第5章 感知数据库管理系统\t57
5．1 感知数据库的总体设计\t57
5．1．1 总体设计的主要原则\t57
5．1．2 感知数据库的设计框架\t58
5．2 感知数据库的分布部署体系\t62
5．2．1 系统的集群部署模式\t62
5．2．2 多层级的系统部署体系\t64
5．2．3 服务分布的部署体系\t66
5．3 感知数据库中的关键技术\t67
5．3．1 智能设备及传感器接口技术\t67
5．3．2 流数据实时在线处理技术\t68
5．3．3 事件驱动的高效处理机制\t69
5．3．4 感知数据的压缩存储技术\t75
第6章 实时事务调度处理技术\t79
6．1 常见事务特性分析\t79
6．1．1 感知事务\t80
6．1．2 触发事务\t80
6．1．3 用户事务\t81
6．2 事务调度与并发控制\t81
6．2．1 事务的调度方法\t81
6．2．2 并发控制策略\t82
6．3 服务器与操作系统\t83
6．3．1 服务器体系结构与发展\t83
6．3．2 操作系统的多任务机制\t87
6．4 事务的执行框架与模式\t90
6．4．1 通用系统模型与调度方法\t91
6．4．2 事务处理框架的设计模式\t91
6．5 系统框架的分析与性能优化\t94
第7章 物联网大数据存储与管理\t97
7．1 云文件系统的关键技术\t99
7．1．1 HDFS的目标和基本假设条件\t99
7．1．2 HDFS体系架构\t100
7．1．3 性能保障\t102
7．2 NoSQL数据库关键技术\t106
7．2．1 NoSQL数据库概述\t106
7．2．2 基于NoSQL数据库的物联网大数据存储与管理\t118
第8章 物联网大数据计算与分析\t123
8．1 物联网大数据批处理计算\t123
8．1．1 MapReduce的设计思想\t124
8．1．2 MapReduce的工作机制\t126
8．1．3 MapReduce在物联网大数据中的应用\t128
8．2 物联网大数据交互式查询\t130
8．2．1 原生SQL on HBase\t131
8．2．2 SQL on Hadoop\t132
8．2．3 基于HBase的交互式查询\t133
8．3 物联网大数据流式计算\t134
8．3．1 流式计算的需求特点\t134
8．3．2 流数据基本概念\t135
8．3．3 流数据查询操作\t140
8．3．4 流数据定制化服务\t142
8．3．5 评测基准\t145
8．3．6 Spark Streaming及其在物联网大数据中的应用\t146
8．4 物联网大数据分析\t150
8．4．1 物联网大数据OLAP多维分析\t151
8．4．2 物联网大数据深层次分析\t157
第3篇 产品研发篇
第9章 物联网网关CubeOne\t175
9．1 工业物联网网关\t175
9．1．1 CubeOne产品概述\t175
9．1．2 CubeOne功能特点\t176
9．1．3 CubeOne的应用领域\t178
9．2 无线传感器网络网关\t178
9．2．1 无线传感器网络概述\t178
9．2．2 ZigBee-WiFi网关\t180
9．2．3 ZigBee网络应用案例\t182
第10章 ChinDB感知数据库系统\t185
10．1 ChinDB系统概述\t185
10．2 ChinDB组成与功能特点\t186
10．3 ChinDB数据组织管理\t188
10．3．1 标签点及其属性\t188
10．3．2 标签点的组织方式\t189
10．3．3 关系数据管理\t190
10．3．4 历史数据管理\t190
10．4 ECA规则与实时计算\t191
10．5 ChinDB的HA方案\t192
10．5．1 HA概述及模式分类\t192
10．5．2 ChinDB HA的部署模式\t193
10．6 物联网应用平台\t195
10．6．1 物联网平台概述\t195
10．6．2 平台主要特点\t196
10．6．3 应用领域与应用案例\t198
第11章 DeCloud物联大数据云平台\t202
11．1 DeCloud组成\t202
11．1．1 软件概述\t202
11．1．2 通信服务\t204
11．1．3 计算服务\t206
11．1．4 存储服务\t207
11．1．5 数据发布/订阅服务\t208
11．2 DeCloud在智能交通领域的应用\t209
11．3 DeCloud在教育物联网云服务平台中的应用\t215
11．4 DeCloud在电厂设备故障预警的应用\t218
11．5 DeCloud在电梯安全监控中的应用\t222
11．6 DeCloud在高精度位置服务中的应用\t225
总结与展望