大数据技术与应用

　　当今互联网时代，大数据技术发展迅猛，它几乎可以应用于各个领域，凸显出其变革经济的力量以及社会意义。本书回应时代热点，从关键技术与实际应用两个方面对大数据做了系统的介绍与深入的分析。在关键技术部分，主要介绍了大数据的发展、技术与应用，大数据与云计算、物联网，大数据采集及预处理，大数据分析与大数据挖掘，大数据存储与管理，大数据可视化，大数据时代的安全与隐私保护七部分内容。在实际应用部分，集中剖析了大数据在电信、生物医学、物流、体育与娱乐、安全、城市管理等各个领域或行业的应用，其中穿插了大量的实用案例，突出了大数据技术的应用性。本书尊重理论，更重视应用，既维持了大数据相关信息技术本身应有的理论性和系统性，又具有较强的实用性和可操作性。

　　陈明2007年毕业于长春理工大学光信息科学与技术专业，获学士学位；2015年毕业于吉林大学软件工程专业，获硕士学位。2007年至今就职于国网吉林信通公司，从事信息建设、信息运行、信息调度、数据管理、数据分析与挖掘等工作，取得高级工程师资格。张凯毕业于东北电力大学，大学本科学历。现任国网吉林信通公司信息工程与数据中心副主任，高级工程师。从事信息专业工作14年，有丰富的信息系统建设管理工作经验；参与国网吉林电力SG186、SG-ERP等信息化项目建设工作。张丁文毕业于吉林大学计算机科学与技术学院，硕士研究生。2015年7月至今，在国网吉林省电力有限公司信息通信公司工作；2017年7月至2018年10月，抽调至国网信息化项目管理中心，负责信息化项目建设，参与《企业标准信息化项目概要设计内容深度规定》的制定。2017年12月取得电力工程技术工程师资格。

目录
第一章  大数据概述 •••1 
第一节  大数据的基本概念 •••3 
第二节  大数据的发展 •••10 
第三节  大数据技术 •••22 
第四节  大数据应用 •••24 
第五节  大数据带来的影响 •••30 
第二章  大数据与云计算、物联网 •••39 
第一节  云计算 •••41 
第二节  物联网 •••58 
第三节  大数据与云计算、物联网的关系 •••73
第三章  大数据采集及预处理 •••79 
第一节  大数据采集概述 •••81 
第二节  大数据采集方法 •••88 
第三节  大数据预处理 •••95 
第四节  大数据采集及处理平台 •••114 
第四章  大数据分析与数据挖掘 •••121 
第一节  大数据分析的基本概念 •••123 
第二节  大数据分析方法 •••127 
第三节  大数据与数据挖掘 •••130 
第四节  数据挖掘的高级分析方法 •••137 
第五节  数据挖掘项目的生命周期 •••145 
第五章  大数据存储与管理 •••151 
第一节  大数据存储 •••153 
第二节  分布式文件系统 •••161 
第三节  数据库 •••174
第四节  数据仓库 •••186 
第五节  数据管理 •••193 
第六章  大数据可视化 •••205 
第一节  大数据可视化概述 •••207 
第二节  大数据可视化工具 •••212 
第三节  大数据可视化应用 •••222 
第四节  大数据可视化面临的挑战 •••225 
第七章  大数据时代的安全与隐私保护 •••229 
第一节  大数据安全 •••231 
第二节  大数据隐私保护 •••240 
第三节  大数据在安全管理中的应用 •••251 
第四节  数据脱敏技术 •••266 
第八章  大数据在各领域/行业中的应用 •••269 
第一节  大数据在电信行业中的应用 •••271 
第二节  大数据在生物医学领域中的应用 •••284
第三节  大数据在物流领域中的应用 •••291 
第四节  大数据在体育和娱乐领域中的应用 •••298 
第五节  大数据在安全领域中的应用 •••302 
第六节  大数据在餐饮行业中的应用 •••305 
第七节  大数据在零售行业中的应用 •••309 
第八节  大数据在城市管理中的应用 •••313 
参考文献 •••319