Hadoop與大數(shù)據(jù)挖掘

前言
第一篇　基礎(chǔ)篇
第1章　淺談大數(shù)據(jù)2
1.1　大數(shù)據(jù)概述3
1.2　大數(shù)據(jù)平臺(tái)4
1.3　本章小結(jié)5
第2章　大數(shù)據(jù)存儲(chǔ)與運(yùn)算利器—Hadoop6
2.1　Hadoop概述6
2.1.1　Hadoop簡介6
2.1.2　Hadoop存儲(chǔ)—HDFS8
2.1.3　Hadoop計(jì)算—MapReduce11
2.1.4　Hadoop資源管理—YARN13
2.1.5　Hadoop生態(tài)系統(tǒng)14
2.2　Hadoop配置及IDE配置17
2.2.1　準(zhǔn)備工作17
2.2.2　環(huán)境配置18
2.2.3　集群啟動(dòng)關(guān)閉與監(jiān)控24
2.2.4　動(dòng)手實(shí)踐：一鍵式Hadoop集群啟動(dòng)關(guān)閉25
2.2.5　動(dòng)手實(shí)踐：Hadoop IDE配置26
2.3　Hadoop集群命令28
2.3.1　HDFS常用命令hdfs dfs30
2.3.2　動(dòng)手實(shí)踐：hdfs dfs命令實(shí)戰(zhàn)31
2.3.3　MapReduce常用命令mapred job32
2.3.4　YARN常用命令yarn jar32
2.3.5　動(dòng)手實(shí)踐：運(yùn)行MapReduce任務(wù)33
2.4　Hadoop編程開發(fā)33
2.4.1　HDFS Java API操作33
2.4.2　MapReduce原理35
2.4.3　動(dòng)手實(shí)踐：編寫Word Count程序并打包運(yùn)行44
2.4.4　MapReduce組件分析與編程實(shí)踐46
2.5　K-Means算法原理及HadoopMapReduce實(shí)現(xiàn)53
2.5.1　K-Means算法原理53
2.5.2　動(dòng)手實(shí)踐：K-Means算法實(shí)現(xiàn)55
2.5.3　Hadoop K-Means算法實(shí)現(xiàn)思路55
2.5.4　Hadoop K-Means編程實(shí)現(xiàn)57
2.6　TF-IDF算法原理及HadoopMapReduce實(shí)現(xiàn)67
2.6.1　TF-IDF算法原理67
2.6.2　Hadoop TF-IDF編程思路67
2.6.3　Hadoop TF-IDF編程實(shí)現(xiàn)68
2.7　本章小結(jié)79
第3章　大數(shù)據(jù)查詢—Hive81
3.1　Hive概述81
3.1.1　Hive體系架構(gòu)82
3.1.2　Hive數(shù)據(jù)類型86
3.1.3　Hive安裝87
3.1.4　動(dòng)手實(shí)踐：Hive安裝配置91
3.1.5　動(dòng)手實(shí)踐：HiveQL基礎(chǔ)—SQL91
3.2　HiveQL語句93
3.2.1　數(shù)據(jù)庫操作94
3.2.2　Hive表定義94
3.2.3　數(shù)據(jù)導(dǎo)入100
3.2.4　數(shù)據(jù)導(dǎo)出103
3.2.5　HiveQL查詢104
3.3　動(dòng)手實(shí)踐：基于Hive的學(xué)生信息查詢108
3.4　基于Hive的航空公司客戶價(jià)值數(shù)據(jù)預(yù)處理及分析109
3.4.1　背景與挖掘目標(biāo)109
3.4.2　分析方法與過程111
3.5　本章小結(jié)115
第4章　大數(shù)據(jù)快速讀寫—HBase116
4.1　HBase概述116
4.2　配置HBase集群118
4.2.1　Zookeeper簡介及配置118
4.2.2　配置HBase121
4.2.3　動(dòng)手實(shí)踐：HBase安裝及運(yùn)行122
4.2.4　動(dòng)手實(shí)踐：ZooKeeper獲取HBase狀態(tài)122
4.3　HBase原理與架構(gòu)組件123
4.3.1　HBase架構(gòu)與組件123
4.3.2　HBase數(shù)據(jù)模型127
4.3.3　讀取/寫入HBase數(shù)據(jù)128
4.3.4　RowKey設(shè)計(jì)原則129
4.3.5　動(dòng)手實(shí)踐：HBase數(shù)據(jù)模型驗(yàn)證131
4.4　HBase Shell操作132
4.4.1　HBase常用Shell命令132
4.4.2　動(dòng)手實(shí)踐：HBase Shell操作136
4.5　Java API &MapReduce與HBase交互137
4.5.1　搭建HBase開發(fā)環(huán)境137
4.5.2　使用Java API操作HBase表144
4.5.3　動(dòng)手實(shí)踐：HBase Java API使用147
4.5.4　MapReduce與HBase交互147
4.5.5　動(dòng)手實(shí)踐：HBase表導(dǎo)入導(dǎo)出150
4.6　基于HBase的冠字號(hào)查詢系統(tǒng)151
4.6.1　案例背景151
4.6.2　功能指標(biāo)151
4.6.3　系統(tǒng)設(shè)計(jì)152
4.6.4　動(dòng)手實(shí)踐：構(gòu)建基于HBase的冠字號(hào)查詢系統(tǒng)162
4.7　本章小結(jié)175
第5章　大數(shù)據(jù)處理—Pig176
5.1　Pig概述176
5.1.1　Pig Latin簡介177
5.1.2　Pig數(shù)據(jù)類型179
5.1.3　Pig與Hive比較179
5.2　配置運(yùn)行Pig180
5.2.1　Pig配置181
5.2.2　Pig運(yùn)行模式181
5.3　常用Pig Latin操作182
5.3.1　數(shù)據(jù)加載182
5.3.2　數(shù)據(jù)存儲(chǔ)184
5.3.3　Pig參數(shù)替換185
5.3.4　數(shù)據(jù)轉(zhuǎn)換186
5.4　綜合實(shí)踐194
5.4.1　動(dòng)手實(shí)踐：訪問統(tǒng)計(jì)信息數(shù)據(jù)處理194
5.4.2　動(dòng)手實(shí)踐：股票交易數(shù)據(jù)處理195
5.5　本章小結(jié)196
第6章　大數(shù)據(jù)快速運(yùn)算與挖掘—Spark197
6.1　Spark概述197
6.2　Spark安裝集群199
6.2.1　3種運(yùn)行模式199
6.2.2　動(dòng)手實(shí)踐：配置Spark獨(dú)立集群199
6.2.3　3種運(yùn)行模式實(shí)例201
6.2.4　動(dòng)手實(shí)踐：Spark Streaming實(shí)時(shí)日志統(tǒng)計(jì)205
6.2.5　動(dòng)手實(shí)踐：Spark開發(fā)環(huán)境—Intellij IDEA配置207
6.3　Spark架構(gòu)與核心原理212
6.3.1　Spark架構(gòu)212
6.3.2　RDD原理213
6.3.3　深入理解Spark核心原理215
6.4　Spark編程技巧218
6.4.1　Scala基礎(chǔ)218
6.4.2　Spark基礎(chǔ)編程218
6.5　如何學(xué)習(xí)Spark MLlib225
6.5.1　確定應(yīng)用227
6.5.2　ALS算法直觀描述228
6.5.3　編程實(shí)現(xiàn)229
6.5.4　問題解決及模型調(diào)優(yōu)233
6.6　動(dòng)手實(shí)踐：基于Spark ALS電影推薦系統(tǒng)234
6.6.1　動(dòng)手實(shí)踐：生成算法包235
6.6.2　動(dòng)手實(shí)踐：完善推薦系統(tǒng)239
6.7　本章小結(jié)250
第7章　大數(shù)據(jù)工作流—Oozie252
7.1　Oozie簡介252
7.2　編譯配置并運(yùn)行Oozie253
7.2.1　動(dòng)手實(shí)踐：編譯Oozie253
7.2.2　動(dòng)手實(shí)踐：Oozie Server/client配置254
7.3　Oozie WorkFlow實(shí)踐257
7.3.1　定義及提交工作流257
7.3.2　動(dòng)手實(shí)踐：MapReduce Work-Flow定義及調(diào)度260
7.3.3　動(dòng)手實(shí)踐：Pig WorkFlow定義及調(diào)度263
7.3.4　動(dòng)手實(shí)踐：Hive WorkFlow定義及調(diào)度265
7.3.5　動(dòng)手實(shí)踐：Spark WorkFlow定義及調(diào)度267
7.3.6　動(dòng)手實(shí)踐：Spark On Yarn定義及調(diào)度268
7.4　Oozie Coordinator實(shí)踐270
7.4.1　動(dòng)手實(shí)踐：基于時(shí)間調(diào)度270
7.4