Hadoop大數(shù)據(jù)分析與挖掘?qū)崙?zhàn)

目錄
前　言
基　礎(chǔ)　篇
第1章　數(shù)據(jù)挖掘基礎(chǔ)2
　1.1　某知名連鎖餐飲企業(yè)的困惑2
　1.2　從餐飲服務(wù)到數(shù)據(jù)挖掘3
　1.3　數(shù)據(jù)挖掘的基本任務(wù)4
　1.4　數(shù)據(jù)挖掘建模過(guò)程4
1.4.1　定義挖掘目標(biāo)4
1.4.2　數(shù)據(jù)取樣5
1.4.3　數(shù)據(jù)探索6
1.4.4　數(shù)據(jù)預(yù)處理12
1.4.5　挖掘建模14
1.4.6　模型評(píng)價(jià)14
　1.5　餐飲服務(wù)中的大數(shù)據(jù)應(yīng)用15
　1.6　小結(jié)15
第2章　Hadoop基礎(chǔ)16
　2.1　概述16
2.1.1　Hadoop簡(jiǎn)介16
2.1.2　Hadoop生態(tài)系統(tǒng)17
　2.2　安裝與配置19
　2.3　Hadoop原理26
2.3.1　Hadoop HDFS原理26
2.3.2　Hadoop MapReduce原理27
2.3.3　Hadoop YARN原理28
　2.4　動(dòng)手實(shí)踐30
　2.5　小結(jié)33
第3章　Hadoop生態(tài)系統(tǒng)：Hive34
　3.1　概述34
3.1.1　Hive簡(jiǎn)介34
3.1.2　Hive安裝與配置35
　3.2　Hive原理38
3.2.1　Hive架構(gòu)38
3.2.2　Hive的數(shù)據(jù)模型40
　3.3　動(dòng)手實(shí)踐41
　3.4　小結(jié)45
第4章　Hadoop生態(tài)系統(tǒng)：HBase46
　4.1　概述46
4.1.1　HBase簡(jiǎn)介46
4.1.2　HBase安裝與配置47
　4.2　HBase原理50
4.2.1　HBase架構(gòu)50
4.2.2　HBase與RDBMS51
4.2.3　HBase訪問(wèn)接口52
4.2.4　HBase數(shù)據(jù)模型53
　4.3　動(dòng)手實(shí)踐54
　4.4　小結(jié)61
第5章　大數(shù)據(jù)挖掘建模平臺(tái)62
　5.1　常用的大數(shù)據(jù)平臺(tái)62
　5.2　TipDM-HB大數(shù)據(jù)挖掘建模平臺(tái)63
5.2.1　TipDM-HB大數(shù)據(jù)挖掘建模平臺(tái)的功能63
5.2.2　TipDM-HB大數(shù)據(jù)挖掘建模平臺(tái)操作流程及實(shí)例65
5.2.3　TipDM-HB大數(shù)據(jù)挖掘建模平臺(tái)的特點(diǎn)67
　5.3　小結(jié)68
第6章　挖掘建模69
　6.1　分類與預(yù)測(cè)69
6.1.1　實(shí)現(xiàn)過(guò)程69
6.1.2　常用的分類與預(yù)測(cè)算法70
6.1.3　決策樹(shù)71
6.1.4　Mahout中Random Forests算法的實(shí)現(xiàn)原理75
6.1.5　動(dòng)手實(shí)踐79
　6.2　聚類分析83
6.2.1　常用聚類分析算法83
6.2.2　K-Means聚類算法84
6.2.3　Mahout中K-Means算法的實(shí)現(xiàn)原理88
6.2.4　動(dòng)手實(shí)踐90
　6.3　關(guān)聯(lián)規(guī)則93
6.3.1　常用的關(guān)聯(lián)規(guī)則算法93
6.3.2　FP-Growth關(guān)聯(lián)規(guī)則算法94
6.3.3　Mahout中Parallel Frequent Pattern Mining算法的實(shí)現(xiàn)原理98
6.3.4　動(dòng)手實(shí)踐100
　6.4　協(xié)同過(guò)濾102
6.4.1　常用的協(xié)同過(guò)濾算法102
6.4.2　基于項(xiàng)目的協(xié)同過(guò)濾算法簡(jiǎn)介102
6.4.3　Mahout中Itembased Collaborative Filtering算法的實(shí)現(xiàn)原理103
6.4.4　動(dòng)手實(shí)踐106
　6.5　小結(jié)109
實(shí)　戰(zhàn)　篇
第7章　法律咨詢數(shù)據(jù)分析與服務(wù)推薦112
　7.1　背景與挖掘目標(biāo)112
　7.2　分析方法與過(guò)程114
7.2.1　數(shù)據(jù)抽取120
7.2.2　數(shù)據(jù)探索分析120
7.2.3　數(shù)據(jù)預(yù)處理125
7.2.4　模型構(gòu)建130
　7.3　上機(jī)實(shí)驗(yàn)139
　7.4　拓展思考140
　7.5　小結(jié)145
第8章　電商產(chǎn)品評(píng)論數(shù)據(jù)情感分析146
　8.1　背景與挖掘目標(biāo)146
　8.2　分析方法與過(guò)程146
8.2.1　評(píng)論數(shù)據(jù)采集147
8.2.2　評(píng)論預(yù)處理150
8.2.3　文本評(píng)論分詞155
8.2.4　構(gòu)建模型155
　8.3　上機(jī)實(shí)驗(yàn)167
　8.4　拓展思考168
　8.5　小結(jié)169
第9章　航空公司客戶價(jià)值分析170
　9.1　背景與挖掘目標(biāo)170
　9.2　分析方法與過(guò)程171
9.2.1　數(shù)據(jù)抽取174
9.2.2　數(shù)據(jù)探索分析174
9.2.3　數(shù)據(jù)預(yù)處理175
9.2.4　模型構(gòu)建177
　9.3　上機(jī)實(shí)驗(yàn)182
　9.4　拓展思考183
　9.5　小結(jié)183
第10章　基站定位數(shù)據(jù)商圈分析184
　10.1　背景與挖掘目標(biāo)184
　10.2　分析方法與過(guò)程186
10.2.1　數(shù)據(jù)抽取186
10.2.2　數(shù)據(jù)探索分析187
10.2.3　數(shù)據(jù)預(yù)處理188
10.2.4　構(gòu)建模型191
　10.3　上機(jī)實(shí)驗(yàn)194
　10.4　拓展思考195
　10.5　小結(jié)195
第11章　互聯(lián)網(wǎng)電影智能推薦196
　11.1　背景與挖掘目標(biāo)196
　11.2　分析方法與過(guò)程197
11.2.1　數(shù)據(jù)抽取199
11.2.2　構(gòu)建模型199
　11.3　上機(jī)實(shí)驗(yàn)201
　11.4　拓展思考202
　11.5　小結(jié)203
第12章　家電故障備件儲(chǔ)備預(yù)測(cè)分析204
　12.1　背景與挖掘目標(biāo)204
　12.2　分析方法與過(guò)程206
12.2.1　數(shù)據(jù)探索分析207
12.2.2　數(shù)據(jù)預(yù)處理209
12.2.3　構(gòu)建模型212
　12.3　上機(jī)實(shí)驗(yàn)216
　12.4　拓展思考217
　12.5　小結(jié)217
第13章　市供水混凝投藥量控制分析218
　13.1　背景與挖掘目標(biāo)218
　13.2　分析方法與過(guò)程220
13.2.1　數(shù)據(jù)抽取221
13.2.2　數(shù)據(jù)探索分析221
13.2.3　數(shù)據(jù)預(yù)處理223
13.2.4　構(gòu)建模型227
　13.3　上機(jī)實(shí)驗(yàn)237
　13.4　拓展思考238
　13.5　小結(jié)239
第14章　基于圖像處理的車輛壓雙黃線檢測(cè)240
　14.1　背景與挖掘目標(biāo)240
　14.2　分析方法與過(guò)程241
14.2.1　數(shù)據(jù)抽取242
14.2.2　數(shù)據(jù)探索分析242
14.2.3　數(shù)據(jù)預(yù)處理242
14.2.4　構(gòu)建模型249
　14.3　上機(jī)實(shí)驗(yàn)250
　14.4　拓展思考250
　14.5　小結(jié)251
高　級(jí)　篇
第15章　基于Mahout的大數(shù)據(jù)挖掘開(kāi)發(fā)254
　15.1　概述254
　15.2　環(huán)境配置255
　15.3　基于Mahout算法接口的二次開(kāi)發(fā)258
15.3.1　Mahout算法實(shí)例258
15.3.2　Mahout算法接口的二次開(kāi)發(fā)示例259
　15.4　小結(jié)271
第16章　基于TipDM-HB的數(shù)據(jù)挖掘二次開(kāi)發(fā)272
　16.1　概述272
16.1.1　TipDM-HB大數(shù)據(jù)挖掘建模平臺(tái)服務(wù)接口272
16.1.2　Apache CXF簡(jiǎn)介276
　16.2　TipDM-HB大數(shù)據(jù)挖掘建模平臺(tái)服務(wù)開(kāi)發(fā)實(shí)例277
16.2.1　環(huán)境配置277
16.2.2　開(kāi)發(fā)實(shí)例280
　16.3　小結(jié)288
參考資料289