本书全面介绍了数据开发利用技术，包括大数据计算、大数据管理、大数据安全、大数据可视化、数据自治、数据爬虫、知识图谱、大数据挖掘、深度学习、区块链等技术，还特别介绍了数据产品生产技术。这些技术涵盖了数据获取与管理、数据分析与应用、数据安全与流通等数据开发利用的各个环节，形成一个较为完整的大数据技术体系。

目  录

第1章 绪论 1

1.1 大数据的技术挑战 1

1.1.1 大数据的"大"1 

1.1.2 数据"大"的技术挑战 3 

1.1.3 大数据决策的技术挑战 5 

1.1.4 数据安全的技术问题 7 

1.2 大数据计算  8

1.2.1 大数据文件 9 

1.2.2 大数据计算框架  10 

1.2.3 大数据管理  11 

1.3 数据开发 12

1.3.1 数据获取  12 

1.3.2 数据分析  13 

1.3.3 数据可视化  14 

1.4 数据产业支持 15

1.4.1 数据产业需要的技术支持  15 

1.4.2 数据资产化 16 

1.4.3 数据产品及其质量  17 

1.4.4 数据流通与安全  18 

1.5 小结  19 

参考文献  19

第 2章 大数据计算  21

2.1 数据访问21

2.1.1 安全模型  21

2.1.2 访问控制策略  23 

2.1.3 访问控制与授权  24 

2.1.4 访问控制与审计  24 

2.2 分布式文件系统 24

2.2.1 GoogleFS  25 

2.2.2 HDFS  27 

2.2.3 GlusterFS  28 

2.2.4 CephFS  29 

2.3 大数据计算框架 30

2.3.1  批处理 30 

2.3.2 流数据计算  38 

2.3.3 增量计算模型  41 

2.3.4 新兴计算框架  44 

2.3.5 大数据计算框架的发展  46 

2.4 多地计算异地计算模式 48

2.4.1 概念48 

2.4.2 计算模型  49 

2.4.3 特点  49 2.5 小结 49 

参考文献  49

第 3章 大数据管理  51

3.1 概述 51 

3.2 分布式文件系统 HDFS  52

3.2.1  前提和设计目标 53 

3.2.2 数据块  53 

3.2.3  HDFS架构  54 

3.2.4 HDFS容错机制  54 

3.3 列式存储格式 Parquet  55

3.3.1 行存储与列存储文件格式  55 

3.3.2 Parquet 概述 56 

3.3.3 数据模型 56 

3.3.4 Parquet 文件的存储格式 57 

3.4 NOSOL  58

3.4.1 键值对数据库  58 

3.4.2 基于列族的数据库  59 

3.4.3 基于文档的数据库  59 

3.4.4 基于图的数据库  60

3.5 键值数据库 Redis 60

3.5.1 Redis简介 60 

3.5.2 Redis数据类型 61 3.5.3 Redis事务 63 

3.5.4 Redis 持久化机制 63 

3.6 HBase  63

3.6.1  HBase简介  63 

3.6.2 HBase访问接口 64 

3.6.3 HBase数据模型  64 

3.6.4 HBase系统架构  65 

3.6.5 HBase存储格式  66 

3.7 Dynamo67

3.7.1 Dynamo系统设计假设和前提  67 

3.7.2 Dynamo数据分布策略  68 

3.7.3 CAP原理  68 

3.7.4 Dynamo 的一致性实现技术  69 

3.7.5 Dynamo系统访问接口 69 

3.8 Cassandra  69 

3.9 MongoDB 70

3.9.1 MongoDB简介 70 

3.9.2 MongoDB数据模型70 

3.9.3 MongoDB基础操作71 

3.9.4 MongoDB聚集操作 73 

3.9.5 MongoDB复制机制75

3.9.6 MongoDB分片机制 76 

3.10 Neo4j  76

3.10.1 Neo4j简介 76 

3.10.2 Neo4j基础概念  77 

3.10.3 NeO4j的Cypher查询语言和模式 78