大數(shù)據(jù)技術(shù)體系詳解：原理、架構(gòu)與實踐

目　　錄?Contents
前　言
第一部分　概述篇
第1章　企業(yè)級大數(shù)據(jù)技術(shù)體系概述 2
1.1　大數(shù)據(jù)系統(tǒng)產(chǎn)生背景及應用場景 2
1.1.1　產(chǎn)生背景 2
1.1.2　常見大數(shù)據(jù)應用場景 3
1.2　企業(yè)級大數(shù)據(jù)技術(shù)框架 5
1.2.1　數(shù)據(jù)收集層 6
1.2.2　數(shù)據(jù)存儲層 7
1.2.3　資源管理與服務協(xié)調(diào)層 7
1.2.4　計算引擎層 8
1.2.5　數(shù)據(jù)分析層 9
1.2.6　數(shù)據(jù)可視化層 9
1.3　企業(yè)級大數(shù)據(jù)技術(shù)實現(xiàn)方案 9
1.3.1　Google大數(shù)據(jù)技術(shù)棧 10
1.3.2　Hadoop與Spark開源大數(shù)據(jù)技術(shù)棧 12
1.4　大數(shù)據(jù)架構(gòu)：Lambda Architecture 15
1.5　Hadoop與Spark版本選擇及安裝部署 16
1.5.1　Hadoop與Spark版本選擇 16
1.5.2　Hadoop與Spark安裝部署 17
1.6　小結(jié) 18
1.7　本章問題 18
第二部分　數(shù)據(jù)收集篇
第2章　關(guān)系型數(shù)據(jù)的收集 20
2.1　Sqoop概述 20
2.1.1　設計動機 20
2.1.2　Sqoop基本思想及特點 21
2.2　Sqoop基本架構(gòu) 21
2.2.1　Sqoop1基本架構(gòu) 22
2.2.2　Sqoop2基本架構(gòu) 23
2.2.3　Sqoop1與Sqoop2對比 24
2.3　Sqoop使用方式 25
2.3.1　Sqoop1使用方式 25
2.3.2　Sqoop2使用方式 28
2.4　數(shù)據(jù)增量收集CDC 31
2.4.1　CDC動機與應用場景 31
2.4.2　CDC開源實現(xiàn)Canal 32
2.4.3　多機房數(shù)據(jù)同步系統(tǒng)Otter 33
2.5　小結(jié) 35
2.6　本章問題 35
第3章　非關(guān)系型數(shù)據(jù)的收集 36
3.1　概述 36
3.1.1　Flume設計動機 36
3.1.2　Flume基本思想及特點 37
3.2　Flume NG基本架構(gòu) 38
3.2.1　Flume NG基本架構(gòu) 38
3.2.2　Flume NG高級組件 41
3.3　Flume NG數(shù)據(jù)流拓撲構(gòu)建方法 42
3.3.1　如何構(gòu)建數(shù)據(jù)流拓撲 42
3.3.2　數(shù)據(jù)流拓撲實例剖析 46
3.4　小結(jié) 50
3.5　本章問題 50
第4章　分布式消息隊列Kafka 51
4.1　概述 51
4.1.1　Kafka設計動機 51
4.1.2　Kafka特點 53
4.2　Kafka設計架構(gòu) 53
4.2.1　Kafka基本架構(gòu) 54
4.2.2　Kafka各組件詳解 54
4.2.3　Kafka關(guān)鍵技術(shù)點 58
4.3　Kafka程序設計 60
4.3.1　Producer程序設計 61
4.3.2　Consumer程序設計 63
4.3.3　開源Producer與Consumer實現(xiàn) 65
4.4　Kafka典型應用場景 65
4.5　小結(jié) 67
4.6　本章問題 67
第三部分　數(shù)據(jù)存儲篇
第5章　數(shù)據(jù)序列化與文件存儲格式 70
5.1　數(shù)據(jù)序列化的意義 70
5.2　數(shù)據(jù)序列化方案 72
5.2.1　序列化框架Thrift 72
5.2.2　序列化框架Protobuf 74
5.2.3　序列化框架Avro 76
5.2.4　序列化框架對比 78
5.3　文件存儲格式剖析 79
5.3.1　行存儲與列存儲 79
5.3.2　行式存儲格式 80
5.3.3　列式存儲格式ORC、Parquet與CarbonData 82
5.4　小結(jié) 88
5.5　本章問題 89
第6章　分布式文件系統(tǒng) 90
6.1　背景 90
6.2　文件級別和塊級別的分布式文件系統(tǒng) 91
6.2.1　文件級別的分布式系統(tǒng) 91
6.2.2　塊級別的分布式系統(tǒng) 92
6.3　HDFS基本架構(gòu) 93
6.4　HDFS關(guān)鍵技術(shù) 94
6.4.1　容錯性設計 95
6.4.2　副本放置策略 95
6.4.3　異構(gòu)存儲介質(zhì) 96
6.4.4　集中式緩存管理 97
6.5　HDFS訪問方式 98
6.5.1　HDFS shell 98
6.5.2　HDFS API 100
6.5.3　數(shù)據(jù)收集組件 101
6.5.4　計算引擎 102
6.6　小結(jié) 102
6.7　本章問題 103
第7章　分布式結(jié)構(gòu)化存儲系統(tǒng) 104
7.1　背景 104
7.2　HBase數(shù)據(jù)模型 105
7.2.1　邏輯數(shù)據(jù)模型 105
7.2.2　物理數(shù)據(jù)存儲 107
7.3　HBase基本架構(gòu) 108
7.3.1　HBase基本架構(gòu) 108
7.3.2　HBase內(nèi)部原理 110
7.4　HBase訪問方式 114
7.4.1　HBase shell 114
7.4.2　HBase API 116
7.4.3　數(shù)據(jù)收集組件 118
7.4.4　計算引擎 119
7.4.5　Apache Phoenix 119
7.5　HBase應用案例 120
7.5.1　社交關(guān)系數(shù)據(jù)存儲 120
7.5.2　時間序列數(shù)據(jù)庫OpenTSDB 122
7.6　分布式列式存儲系統(tǒng)Kudu 125
7.6.1　Kudu基本特點 125
7.6.2　Kudu數(shù)據(jù)模型與架構(gòu) 126
7.6.3　HBase與Kudu對比 126
7.7　小結(jié) 127
7.8　本章問題 127
第四部分　分布式協(xié)調(diào)與資源管理篇
第8章　分布式協(xié)調(diào)服務ZooKeeper 130
8.1　分布式協(xié)調(diào)服務的存在意義 130
8.1.1　leader選舉 130
8.1.2　負載均衡 131
8.2　ZooKeeper數(shù)據(jù)模型 132
8.3　ZooKeeper基本架構(gòu) 133
8.4　ZooKeeper程序設計 134
8.4.1　ZooKeeper API 135
8.4.2　Apache Curator 139
8.5　ZooKeeper應用案例 142
8.5.1　leader選舉 142
8.5.2　分布式隊列 143
8.5.3　負載均衡 143
8.6　小結(jié) 144
8.7　本章問題 145
第9章　資源管理與調(diào)度系統(tǒng)YARN 146
9.1　YARN產(chǎn)生背景 146
9.1.1　MRv1局限性 146
9.1.2　YARN設計動機 147
9.2　YARN設計思想 148
9.3　YARN的基本架構(gòu)與原理 149
9.3.1　YARN基本架構(gòu) 149
9.3.2　YARN高可用 152
9.3.3　YARN工作流程 153
9.4　YARN資源調(diào)度器 155
9.4.1　層級隊列管理機制 155
9.4.2　多租戶資源調(diào)度器產(chǎn)生背景 156
9.4.3　Capacity/Fair Scheduler 157
9.4.4　基于節(jié)點標簽的調(diào)度 160
9.4.5　資源搶占