大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)與實(shí)踐（微課版）

　　
項(xiàng)目1 大數(shù)據(jù)集群環(huán)境搭建 1
【項(xiàng)目知識(shí)】 2
知識(shí)1.1 大數(shù)據(jù)處理框架 2
1.1.1 大數(shù)據(jù)的基本概念 2
1.1.2 大數(shù)據(jù)處理框架分類 3
1.1.3 大數(shù)據(jù)處理框架的選擇 3
知識(shí)1.2 組件介紹 4
1.2.1 Hadoop分布式系統(tǒng)框架 4
1.2.2 Hadoop生態(tài)圈 4
1.2.3 Hadoop典型應(yīng)用架構(gòu) 5
【項(xiàng)目實(shí)施】 6
任務(wù)1 安裝Linux系統(tǒng) 6
【1】任務(wù)簡(jiǎn)介 6
【2】相關(guān)知識(shí) 6
【3】任務(wù)實(shí)施 6
【4】任務(wù)拓展 16
任務(wù)2 安裝JDK 1.8 16
【1】任務(wù)簡(jiǎn)介 16
【2】相關(guān)知識(shí) 16
【3】任務(wù)實(shí)施 16
【4】任務(wù)拓展 18
任務(wù)3 安裝Zookeeper 19
【1】任務(wù)簡(jiǎn)介 19
【2】相關(guān)知識(shí) 19
【3】任務(wù)實(shí)施 20
【4】任務(wù)拓展 22
任務(wù)4 安裝Hadoop 23
【1】任務(wù)簡(jiǎn)介 23
【2】相關(guān)知識(shí) 23
【3】任務(wù)實(shí)施 25
【4】任務(wù)拓展 29
任務(wù)5 安裝HBase 30
【1】任務(wù)簡(jiǎn)介 30
【2】相關(guān)知識(shí) 30
【3】任務(wù)實(shí)施 36
【4】任務(wù)拓展 40
任務(wù)6 安裝Spark 40
【1】任務(wù)簡(jiǎn)介 40
【2】相關(guān)知識(shí) 40
【3】任務(wù)實(shí)施 40
【4】任務(wù)拓展 43
任務(wù)7 安裝Sqoop 43
【1】任務(wù)簡(jiǎn)介 43
【2】相關(guān)知識(shí) 43
【3】任務(wù)實(shí)施 44
【4】任務(wù)拓展 46
任務(wù)8 安裝Flume 46
【1】任務(wù)簡(jiǎn)介 46
【2】相關(guān)知識(shí) 47
【3】任務(wù)實(shí)施 47
【4】任務(wù)拓展 48
項(xiàng)目2 數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建 49
【項(xiàng)目知識(shí)】 50
知識(shí)2.1 數(shù)據(jù)倉(cāng)庫(kù) 50
2.1.1 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 50
2.1.2 數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn) 50
2.1.3 數(shù)據(jù)倉(cāng)庫(kù)的建立過(guò)程 51
知識(shí)2.2 Hadoop環(huán)境下數(shù)據(jù)倉(cāng)庫(kù)的組件介紹 51
2.2.1 Hadoop MySQL Hive數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu) 51
2.2.2 MySQL介紹 52
2.2.3 Hive介紹 52
【項(xiàng)目實(shí)施】 54
任務(wù)1 安裝MySQL數(shù)據(jù)庫(kù) 54
【1】任務(wù)簡(jiǎn)介 54
【2】相關(guān)知識(shí) 54
【3】任務(wù)實(shí)施 54
【4】任務(wù)拓展 56
任務(wù)2 安裝Hive 57
【1】任務(wù)簡(jiǎn)介 57
【2】相關(guān)知識(shí) 57
【3】任務(wù)實(shí)施 57
【4】任務(wù)拓展 59
項(xiàng)目3 Java訪問(wèn)Hadoop實(shí)踐 61
【項(xiàng)目知識(shí)】 62
知識(shí)3.1 HDFS基礎(chǔ)知識(shí) 62
3.1.1 HDFS的基本概念 62
3.1.2 HDFS的Java訪問(wèn)接口 62
3.1.3 Java訪問(wèn)HDFS主要編程步驟 63
知識(shí)3.2 MapReduce基礎(chǔ)知識(shí) 63
3.2.1 MapReduce概述 63
3.2.2 MapReduce編程模型 63
3.2.3 MapReduce編程組件 64
【項(xiàng)目實(shí)施】 64
任務(wù)1 基礎(chǔ)開(kāi)發(fā)環(huán)境準(zhǔn)備 64
【1】任務(wù)簡(jiǎn)介 64
【2】相關(guān)知識(shí) 65
【3】任務(wù)實(shí)施 65
任務(wù)2 HDFS Java程序開(kāi)發(fā) 66
【1】任務(wù)簡(jiǎn)介 66
【2】相關(guān)知識(shí) 66
【3】任務(wù)實(shí)施 66
【4】任務(wù)拓展 69
任務(wù)3 基于HDFS實(shí)現(xiàn)網(wǎng)絡(luò)云盤(pán)開(kāi)發(fā) 70
【1】任務(wù)簡(jiǎn)介 70
【2】相關(guān)知識(shí) 70
【3】任務(wù)實(shí)施 71
【4】任務(wù)拓展 83
任務(wù)4 MapReduce離線計(jì)算之詞頻統(tǒng)計(jì) 83
【1】任務(wù)簡(jiǎn)介 83
【2】相關(guān)知識(shí) 83
【3】任務(wù)實(shí)施 84
【4】任務(wù)拓展 89
任務(wù)5 MapReduce離線計(jì)算之排序 90
【1】任務(wù)簡(jiǎn)介 90
【2】相關(guān)知識(shí) 90
【3】任務(wù)實(shí)施 90
【4】任務(wù)拓展 96

項(xiàng)目4 大數(shù)據(jù)采集實(shí)踐 97
【項(xiàng)目知識(shí)】 98
知識(shí)4.1 數(shù)據(jù)采集基礎(chǔ)知識(shí) 98
4.1.1 數(shù)據(jù)采集技術(shù)綜述 98
4.1.2 數(shù)據(jù)采集的方式 98
知識(shí)4.2 網(wǎng)絡(luò)爬蟲(chóng)基礎(chǔ)知識(shí) 98
4.2.1 網(wǎng)絡(luò)爬蟲(chóng)的定義 98
4.2.2 網(wǎng)絡(luò)爬蟲(chóng)的原理 99
4.2.3 網(wǎng)絡(luò)爬蟲(chóng)的分類 99
4.2.4 網(wǎng)絡(luò)爬取策略分類 100
4.2.5 簡(jiǎn)單網(wǎng)絡(luò)爬蟲(chóng)的架構(gòu) 100
4.2.6 網(wǎng)頁(yè)內(nèi)容解析技術(shù) 100
【項(xiàng)目實(shí)施】 101
任務(wù)1 Python開(kāi)發(fā)環(huán)境配置 101
【1】任務(wù)簡(jiǎn)介 101
【2】相關(guān)知識(shí) 101
【3】任務(wù)實(shí)施 101
【4】任務(wù)拓展 107
任務(wù)2 利用urllib獲取新聞信息 107
【1】任務(wù)簡(jiǎn)介 107
【2】相關(guān)知識(shí) 107
【3】任務(wù)實(shí)施 108
【4】任務(wù)拓展 111
任務(wù)3 利用Requests進(jìn)行圖片爬取 111
【1】任務(wù)簡(jiǎn)介 111
【2】相關(guān)知識(shí) 111
【3】任務(wù)實(shí)施 111
【4】任務(wù)拓展 112
任務(wù)4 瀏覽器偽裝與XPath解析 113
【1】任務(wù)介紹 113
【2】相關(guān)知識(shí) 113
【3】任務(wù)實(shí)施 113
【4】任務(wù)拓展 114
項(xiàng)目5 大數(shù)據(jù)清洗實(shí)踐 115
【項(xiàng)目知識(shí)】 116
知識(shí)5.1 大數(shù)據(jù)清洗的概念 116
知識(shí)5.2 大數(shù)據(jù)清洗的目的 117
知識(shí)5.3 大數(shù)據(jù)清洗的技術(shù) 118
知識(shí)5.4 大數(shù)據(jù)清洗的路徑 121
【項(xiàng)目實(shí)施】 122
任務(wù)1 基于Web信息的清洗 122
【1】任務(wù)簡(jiǎn)介 122
【2】相關(guān)知識(shí) 122
【3】任務(wù)實(shí)施 126
【4】任務(wù)拓展 136
任務(wù)2 基于Kettle的數(shù)據(jù)清洗 136
【1】任務(wù)簡(jiǎn)介 136
【2】相關(guān)知識(shí) 136
【3】任務(wù)實(shí)施 137
【4】任務(wù)拓展 140
項(xiàng)目6 大數(shù)據(jù)分析實(shí)踐 141
【項(xiàng)目知識(shí)】 142
知識(shí)6.1 大數(shù)據(jù)分析的概念 142
知識(shí)6.2 大數(shù)據(jù)分析的工具 142
知識(shí)6.3 大數(shù)據(jù)分析的方法 142
知識(shí)6.4 大數(shù)據(jù)分析的范疇 144
知識(shí)6.5 大數(shù)據(jù)分析的步驟 144
【項(xiàng)目實(shí)施】 145
任務(wù)1 利用Hive對(duì)電商數(shù)據(jù)進(jìn)行分析 145
【1】任務(wù)簡(jiǎn)介 145
【2】相關(guān)知識(shí) 146
【3】任務(wù)實(shí)施 148
【4】任務(wù)拓展 150
任務(wù)2 利用Spark SQL對(duì)MySQL數(shù)據(jù)進(jìn)行分析 150
【1】任務(wù)簡(jiǎn)介 150
【2】相關(guān)知識(shí) 150
【3】任務(wù)實(shí)施 152
【4】任務(wù)拓展 156
項(xiàng)目7 大數(shù)據(jù)可視化實(shí)踐 157
【項(xiàng)目知識(shí)】 158
知識(shí)7.1 大數(shù)據(jù)可視化的概念 158
知識(shí)7.2 大數(shù)據(jù)可視化常用工具 159
【項(xiàng)目實(shí)施】 172
任務(wù)1 利用Excel對(duì)數(shù)據(jù)進(jìn)行可視化 172
【1】任務(wù)簡(jiǎn)介 172
【2】相關(guān)知識(shí) 172
【3】任務(wù)實(shí)施 172
【4】任務(wù)拓展 176
任務(wù)2 利用ECharts對(duì)數(shù)據(jù)進(jìn)行可視化 176
【1】任務(wù)簡(jiǎn)介 176
【2】相關(guān)知識(shí) 176
【3】任務(wù)實(shí)施 179
【4】任務(wù)拓展 184
任務(wù)3 大數(shù)據(jù)分析處理可視化綜合實(shí)踐 184
【1】任務(wù)簡(jiǎn)介 184
【2】相關(guān)知識(shí) 185
【3】任務(wù)實(shí)施 185
【4】任務(wù)拓展 201
參考文獻(xiàn) 202