Hadoop MapReduce性能優(yōu)化

目錄
第1章 了解Hadoop MapReduce 1
1.1 MapReduce模型 1
1.2 Hadoop MapReduce概述 3
1.3 Hadoop MapReduce的工作原理 4
1.4 影響MapReduce性能的因素 5
1.5 小結(jié) 8
第2章 Hadoop參數(shù)概述 9
2.1 研究Hadoop參數(shù) 9
2.1.1 配置文件mapred-site.xml 10
2.1.2 配置文件hdfs-site.xml 15
2.1.3 配置文件core-site.xml 18
2.2 Hadoop MapReduce性能指標(biāo) 19
2.3 性能監(jiān)測工具 20
2.3.1 用Chukwa監(jiān)測Hadoop 21
2.3.2 使用Ganglia監(jiān)測Hadoop 21
2.3.3 使用Nagios監(jiān)測Hadoop 21
2.4 用Apache Ambari監(jiān)測Hadoop 22
2.5 小結(jié) 23
第3章 檢測系統(tǒng)瓶頸 25
3.1 性能調(diào)優(yōu) 25
3.2 創(chuàng)建性能基線 27
3.3 識別資源瓶頸 30
3.3.1 識別內(nèi)存瓶頸 30
3.3.2 識別CPU瓶頸 31
3.3.3 識別存儲瓶頸 32
3.3.4 識別網(wǎng)絡(luò)帶寬瓶頸 33
3.4 小結(jié) 34
第4章 識別資源薄弱環(huán)節(jié) 35
4.1 識別集群薄弱環(huán)節(jié) 35
4.1.1 檢查Hadoop集群節(jié)點的健康狀況 36
4.1.2 檢查輸入數(shù)據(jù)大小 37
4.1.3 檢查海量I/O和網(wǎng)絡(luò)阻塞 38
4.1.4 檢查并發(fā)任務(wù)不足 39
4.1.5 檢查CPU過飽和 40
4.2 量化Hadoop集群 41
4.3 正確配置集群 44
4.4 小結(jié) 47
第5章 強(qiáng)化map和reduce任務(wù) 49
5.1 強(qiáng)化map任務(wù) 49
5.1.1 輸入數(shù)據(jù)和塊大小的影響 51
5.1.2 處置小文件和不可拆分文件 51
5.1.3 在Map階段壓縮溢寫記錄 53
5.1.4 計算map任務(wù)的吞吐量 55
5.2 強(qiáng)化reduce任務(wù) 57
5.2.1 計算reduce任務(wù)的吞吐量 58
5.2.2 改善Reduce執(zhí)行階段 59
5.3 調(diào)優(yōu)map和reduce參數(shù) 60
5.4 小結(jié) 64
第6章 優(yōu)化MapReduce任務(wù) 65
6.1 使用Combiner 65
6.2 使用壓縮技術(shù) 68
6.3 使用正確Writable類型 72
6.4 明智地復(fù)用類型 74
6.5 優(yōu)化mapper和reducer的代碼 76
6.6 小結(jié) 78
第7章 最佳實踐與建議 81
7.1 硬件調(diào)優(yōu)與操作系統(tǒng)推薦 81
7.1.1 Hadoop集群檢查表 81
7.1.2 Bios調(diào)優(yōu)檢查表 82
7.1.3 OS配置建議 82
7.2 Hadoop最佳實踐與建議 83
7.2.1 部署Hadoop 83
7.2.2 Hadoop調(diào)優(yōu)建議 84
7.2.3 使用MapReduce模板類代碼 86
7.3 小結(jié) 90