Hadoop大數(shù)據(jù)開發(fā)技術(shù)

目錄



第1篇大數(shù)據(jù)開發(fā)技術(shù)平臺(tái)Hadoop
第1章Hadoop概述3
1.1大數(shù)據(jù)與Hadoop3
1.1.1大數(shù)據(jù)概述4
1.1.2什么是Hadoop6
1.1.3大數(shù)據(jù)與Hadoop的關(guān)系6
1.2Hadoop的發(fā)展歷史7
1.2.1Hadoop的產(chǎn)生7
1.2.2Hadoop的發(fā)展階段7
1.3Hadoop的體系結(jié)構(gòu)8
1.3.1Hadoop的Common8
1.3.2Hadoop的HDFS9
1.3.3Hadoop的YARN10
1.3.4Hadoop的MapReduce10
1.3.5Hadoop家族的其他成員11
1.4本章小結(jié)12
習(xí)題12第2章大數(shù)據(jù)開發(fā)平臺(tái)Hadoop環(huán)境的搭建13
2.1Linux系統(tǒng)下的參數(shù)配置13
2.1.1Linux系統(tǒng)的網(wǎng)絡(luò)配置13
2.1.2為Hadoop設(shè)置專門用戶15
2.1.3設(shè)置無(wú)密碼登錄用戶16
2.2基于Linux系統(tǒng)的JDK安裝與配置17
2.2.1Java開發(fā)工具JDK的下載與安裝17
2.2.2配置與Java有關(guān)的環(huán)境參數(shù)17
2.2.3基于Linux系統(tǒng)下Eclipse的安裝與配置19
2.2.4Eclipse集成環(huán)境——Java程序開發(fā)實(shí)例23
2.3Hadoop環(huán)境的搭建24
2.3.1單機(jī)模式25
2.3.2偽集群模式26
2.3.3集群模式32
2.4Hadoop服務(wù)的啟動(dòng)與測(cè)試38
2.5本章小結(jié)38
習(xí)題38第3章Hadoop通用命令與應(yīng)用編程原理39
3.1Hadoop命令概述39
3.2Hadoop管理命令41
3.2.1命令功能與命令格式41
3.2.2命令應(yīng)用實(shí)例41
3.3Hadoop用戶命令42
3.3.1建立與查看Hadoop的文檔42
3.3.2檢查Hadoop本地代碼可用性44
3.3.3classpath命令44
3.3.4credential命令44
3.3.5遞歸復(fù)制文件和目錄命令distcp46
3.3.6Hadoop的fs命令47
3.3.7Hadoop的jar命令47
3.3.8Hadoop的key命令47
3.3.9Hadoop的其他用戶命令48
3.4Hadoop編程原理49
3.4.1創(chuàng)建Java應(yīng)用項(xiàng)目49
3.4.2Hadoop分布式處理程序的設(shè)計(jì)原理53
3.5Hadoop編程實(shí)例53
3.5.1問題描述53
3.5.2求最大值的Hadoop程序設(shè)計(jì)54
3.6本章小結(jié)57
習(xí)題57第4章Hadoop分布式文件存儲(chǔ)58
4.1HDFS概述58
4.1.1HDFS的特點(diǎn)59
4.1.2HDFS的架構(gòu)59
4.1.3熟悉HDFS守護(hù)進(jìn)程61
4.1.4HDFS的規(guī)劃設(shè)計(jì)64
4.2HDFS 的shell命令66
4.2.1HDFS 的shell命令概述66
4.2.2管理命令67
4.2.3客戶端命令68
4.2.4HDFS的守護(hù)進(jìn)程命令73
4.3HDFS的API編程應(yīng)用74
4.3.1一個(gè)簡(jiǎn)單的HDFS API編程實(shí)例74
4.3.2HDFS的應(yīng)用編程接口76
4.3.3HDFS的編程應(yīng)用實(shí)例80
4.4本章小結(jié)84
習(xí)題84第5章作業(yè)調(diào)度與集群資源管理框架YARN86
5.1YARN概述86
5.1.1YARN簡(jiǎn)介86
5.1.2YARN的主要架構(gòu)87
5.1.3YARN架構(gòu)簡(jiǎn)析89
5.2YARN的命令及應(yīng)用89
5.2.1YARN命令概述89
5.2.2用戶命令90
5.2.3管理員命令95
5.3YARN的API應(yīng)用編程98
5.3.1YARN工作流程98
5.3.2YARN編程概述99
5.3.3YARN Client程序編寫100
5.3.4YARN AppicationMaster編寫101
5.3.5YARN Container工作程序104
5.4本章小結(jié)104
習(xí)題104第6章Hadoop分布式計(jì)算框架MapReduce105
6.1MapReduce結(jié)構(gòu)模型105
6.1.1MapReduce概述105
6.1.2Map和Reduce(映射和規(guī)約)106
6.1.3MapReduce的主要功能及技術(shù)特征106
6.2MapReduce的工作原理109
6.2.1Shuffle和Sort109
6.2.2任務(wù)的執(zhí)行113
6.2.3故障處理116
6.2.4作業(yè)調(diào)度118
6.3MapReduce的命令行應(yīng)用121
6.3.1命令概述121
6.3.2用戶命令121
6.3.3管理命令124
6.4MapReduce的API應(yīng)用編程125
6.4.1與數(shù)據(jù)輸入有關(guān)的類125
6.4.2Mapper/Reducer類129
6.4.3Job類及相關(guān)類131
6.4.4輸出格式類與記錄輸出類135
6.5MapReduce應(yīng)用實(shí)例135
6.5.1單詞計(jì)數(shù)程序設(shè)計(jì)135
6.5.2計(jì)算平均成績(jī)的程序設(shè)計(jì)138
6.6本章小結(jié)140
習(xí)題140
第2篇Hadoop家族的其他項(xiàng)目
第7章Hadoop數(shù)據(jù)庫(kù)HBase145
7.1HBase概述145
7.1.1HBase簡(jiǎn)介145
7.1.2HBase的特點(diǎn)146
7.2HBase體系結(jié)構(gòu)147
7.3HBase的數(shù)據(jù)模型148
7.3.1邏輯模型148
7.3.2物理模型150
7.4HBase的下載與安裝150
7.4.1HBase的下載150
7.4.2HBase的安裝151
7.5HBase shell154
7.5.1通用命令155
7.5.2數(shù)據(jù)定義語(yǔ)言155
7.5.3數(shù)據(jù)操作語(yǔ)言159
7.6HBase API164
7.6.1HBaseAdmin類164
7.6.2HTable類165
7.6.3HTableDescriptor類165
7.6.4HColumnDescriptor類166
7.6.5Get類166
7.6.6Put類166
7.6.7Delete類167
7.6.8Result類168
7.6.9ResultScanner類168
7.7HBase過濾器179
7.7.1過濾器Filter179
7.7.2過濾器的操作符179
7.7.3過濾器的比較器Comparator180
7.7.4過濾器的使用180
7.8本章小結(jié)184
習(xí)題184第8章Hadoop數(shù)據(jù)倉(cāng)庫(kù)Hive186
8.1Hive概述186
8.1.1Hive簡(jiǎn)介186
8.1.2Hive架構(gòu)186
8.1.3Hive的安裝187
8.2Hive數(shù)據(jù)類型192
8.2.1基本類型192
8.2.2復(fù)雜類型193
8.3Hive的數(shù)據(jù)模型194
8.3.1內(nèi)部表194
8.3.2外部表194
8.3.3分區(qū)表194
8.3.4桶表194
8.3.5視圖表195
8.4Hive內(nèi)置運(yùn)算符195
8.4.1關(guān)系運(yùn)算符195
8.4.2算術(shù)運(yùn)算符196
8.4.3邏輯運(yùn)算符196
8.4.4復(fù)雜運(yùn)算符197
8.5Hive shell操作197
8.5.1數(shù)據(jù)庫(kù)操作197
8.5.2表操作198
8.6Hive的內(nèi)置函數(shù)和UDF199
8.6.1內(nèi)置函數(shù)199
8.6.2用戶自定義函數(shù)200
8.7本章小結(jié)201
習(xí)題201第9章Hadoop數(shù)據(jù)的快速通用計(jì)算引擎Spark204
9.1Spark概述204
9.1.1理解Spark206
9.1.2安裝Spark 206
9.2快速啟動(dòng)Spark209
9.3Spark生態(tài)圈213
9.4Spark編程217
9.4.1Structured Streaming編程217
9.4.2Spark Streaming編程218
9.4.3機(jī)器學(xué)習(xí)庫(kù)和GraphX編程220
9.5本章小結(jié)223
習(xí)題223
第3篇大數(shù)據(jù)應(yīng)用開發(fā)綜合實(shí)例
第10章編程環(huán)境與數(shù)據(jù)集準(zhǔn)備227
10.1Zeppelin部署227
10.1.1Zeppelin安裝227
10.1.2Zeppelin配置228
10.1.3運(yùn)行Zeppelin231
10.1.4連接測(cè)試Zeppelin231
10.1.5用admin身份權(quán)限登錄232
10.2Zeppelin UI233
10.2.1首頁(yè)233
10.2.2菜單234
10.2.3筆記237
10.2.4Zeppelin配置中的典型錯(cuò)誤240
10.3獲取MovieLens數(shù)據(jù)集242
10.4本章小結(jié)246
習(xí)題246第11章大數(shù)據(jù)分析與數(shù)據(jù)可視化247
11.1數(shù)據(jù)處理247
11.1.1創(chuàng)建筆記247
11.1.2數(shù)據(jù)處理案例248
11.2數(shù)據(jù)分析與可視化252
11.2.1注冊(cè)臨時(shí)表users252
11.2.2瀏覽users252
11.2.3統(tǒng)計(jì)年齡分布253
11.2.4統(tǒng)計(jì)職業(yè)分布255
11.3復(fù)雜邏輯處理257
11.3.1評(píng)分統(tǒng)計(jì)分析257
11.3.2評(píng)分分布的條形圖259
11.4本章小結(jié)260
習(xí)題260第12章構(gòu)建推薦算法261
12.1協(xié)同過濾算法概述261
12.2協(xié)同過濾分類261
12.2.1基于用戶的協(xié)同過濾262
12.2.2基于物品的協(xié)同過濾262
12.3Spark推薦模型庫(kù)263
12.3.1顯式矩陣分解263
12.3.2隱式矩陣分解264
12.3.3交替最小二乘法264
12.4用Spark MLlib ALS構(gòu)建推薦算法265
12.4.1獲取ml1m.zip文件265
12.4.2創(chuàng)建RDD265
12.4.3創(chuàng)建DataFrame265
12.4.4構(gòu)建訓(xùn)練和測(cè)試數(shù)據(jù)集267
12.4.5構(gòu)建模型268
12.4.6使用推薦模型預(yù)測(cè)269
12.4.7用測(cè)試數(shù)據(jù)對(duì)模型進(jìn)行評(píng)估269
12.4.8衡量模型的準(zhǔn)確度270
12.5本章小結(jié)271
習(xí)題271