Spark大數(shù)據(jù)實(shí)時(shí)分析實(shí)戰(zhàn)

項(xiàng)目一 初識Spark技術(shù)
任務(wù)1．1 數(shù)據(jù)處理系統(tǒng)
1．1．1 數(shù)據(jù)存儲(chǔ)技術(shù)
1．1．2 數(shù)據(jù)分析技術(shù)
1．1．3 批數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)
1．1．4 數(shù)據(jù)價(jià)值挖掘
任務(wù)1．2 實(shí)時(shí)數(shù)據(jù)處理
1．2．1 實(shí)時(shí)數(shù)據(jù)的價(jià)值
1．2．2 實(shí)時(shí)數(shù)據(jù)處理技術(shù)
1．2．3 Spark實(shí)時(shí)數(shù)據(jù)處理
項(xiàng)目二 Spark集群的構(gòu)建與安裝
任務(wù)2．1 Spark集群搭建
2．1．1 平臺(tái)選擇
2．1．2 軟件選擇
2．1．3 Spark集群構(gòu)建流程
任務(wù)2．2 Spark集群規(guī)劃
2．2．1 Spark集群節(jié)點(diǎn)劃分
2．2．2 軟件要求
2．2．3 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)規(guī)劃
任務(wù)2．3 Spark安裝準(zhǔn)備
2．3．1 JDK安裝
2．3．2 節(jié)點(diǎn)間的配置
2．3．3 Spark安裝包下載
任務(wù)2．4 Spark集群搭建
2．4．1 配置Master節(jié)點(diǎn)
2．4．2 配置Worker節(jié)點(diǎn)
2．4．3 分發(fā)安裝包
2．4．4 啟動(dòng)集群
任務(wù)2．5 驗(yàn)證Spark
2．5．1 驗(yàn)證Spark進(jìn)程
2．5．2 驗(yàn)證WEBUI界面
2．5．3 驗(yàn)證集群功能
任務(wù)2．6 Spark客戶端搭建
2．6．1 客戶端介紹
2．6．2 客戶端搭建及使用
項(xiàng)目三 Spark基于Yarn搭建
任務(wù)3．1 基于Yarn構(gòu)建介紹
3．1．1 基于Yarn搭建環(huán)境配置
3．1．2 Hadoop集群
3．1．3 啟動(dòng)Hadoop集群
3．1．4 驗(yàn)證Hadoop集群節(jié)點(diǎn)
任務(wù)3．2 基于Yam搭建
3．2．1 節(jié)點(diǎn)劃分配置
3．2．2 配置Spark on Yarn
3．2．3 驗(yàn)證Spark on Yarn
項(xiàng)目四 日志服務(wù)器搭建
任務(wù)4．1 日志服務(wù)器配置
4．1．1 HDFS配置
4．1．2 Spark配置
4．1．3 啟動(dòng)日志服務(wù)器
4．1．4 查看日志
任務(wù)4．2 驗(yàn)證日志服務(wù)器
4．2．1 Spark-Shell介紹
4．2．2 查看運(yùn)行日志
4．2．3 啟動(dòng)日志服務(wù)器
4．2．4 查看日志
……
項(xiàng)目五 Kafka集群的構(gòu)建與安裝
項(xiàng)目六 Kafka集群測試