Hadoop權(quán)威指南（第3版修訂版）

第1章 初識(shí)Hadoop
1.1 數(shù)據(jù)！數(shù)據(jù)！
1.2 數(shù)據(jù)的存儲(chǔ)與分析
1.3 相較于其他系統(tǒng)的優(yōu)勢
1.3.1 關(guān)系型數(shù)據(jù)庫管理系統(tǒng)
1.3.2 網(wǎng)格計(jì)算
1.3.3 志愿計(jì)算
1.4 Hadoop發(fā)展簡史
1.5 Apache Hadoop和Hadoop生態(tài)系統(tǒng)
1.6 Hadoop的發(fā)行版本
1.6.1 本書包含的內(nèi)容
1.6.2 兼容性
第2章 關(guān)于MapReduce
2.1 氣象數(shù)據(jù)集
2.2 使用Unix工具來分析數(shù)據(jù)
2.3 使用Hadoop來分析數(shù)據(jù)
2.3.1 map和reduce
2.3.2 Java MapReduce
2.4 橫向擴(kuò)展
2.4.1 數(shù)據(jù)流
2.4.2 combiner函數(shù)
2.4.3 運(yùn)行分布式的MapReduce作業(yè)
2.5 Hadoop Streaming
2.5.1 Ruby版本
2.5.2 Python版本
2.6 Hadoop Pipes
第3章 Hadoop分布式文件系統(tǒng)
3.1 HDFS的設(shè)計(jì)
3.2 HDFS的概念
3.2.1 數(shù)據(jù)塊
3.2.2 namenode和datanode
3.2.3 聯(lián)邦HDFS
3.2.4 HDFS的高可用性
3.3 命令行接口
3.4 Hadoop文件系統(tǒng)
3.5 Java接口
3.5.1 從Hadoop URL讀取數(shù)據(jù)
3.5.2 通過FileSystem API讀取數(shù)據(jù)
3.5.3 寫入數(shù)據(jù)
3.5.4 目錄
3.5.5 查詢文件系統(tǒng)
3.5.6 刪除數(shù)據(jù)
3.6 數(shù)據(jù)流
3.6.1 剖析文件讀取
3.6.2 剖析文件寫入
3.6.3 一致模型
3.7 通過Flume和Sqoop導(dǎo)入數(shù)據(jù)
3.8 通過distcp并行復(fù)制
3.9 Hadoop存檔
3.9.1 使用Hadoop存檔工具
3.9.2 不足
第4章 Hadoop的I/O操作
4.1 數(shù)據(jù)完整性
4.1.1 HDFS的數(shù)據(jù)完整性
4.1.2 LocalFileSystem
4.1.3 ChecksumFileSystem
4.2 壓縮
4.2.1 codec
4.2.2 壓縮和輸入分片
4.2.3 在MapReduce中使用壓縮
4.3 序列化
4.3.1 Writable接口
4.3.2 Writable類
4.3.3 實(shí)現(xiàn)定制的Writable集合
4.3 序列化框架
4.4 Avro
4.4.1 Avro數(shù)據(jù)類型和模式
4.4.2 內(nèi)存中的序列化和反序列化
4.4.3 Avro數(shù)據(jù)文件
4.4.4 互操作性
4.4.5 模式的解析
4.4.6 排列順序
4.4.7 關(guān)于Avro MapReduce
4.4.8 使用Avro MapReduce進(jìn)行排序
4.4.9 其他語言的Avro MapReduce
4.5 基于文件的數(shù)據(jù)結(jié)構(gòu)
4.5.1 關(guān)于SequenceFile
4.5.2 關(guān)于MapFile
第5章 MapReduce應(yīng)用開發(fā)
5.1 用于配置的API
5.1.1 資源合并
5.1.2 可變的擴(kuò)展
5.2 配置開發(fā)環(huán)境
5.2.1 管理配置
5.2.2 輔助類GenericOptionsParser，Tool和ToolRunner
5.3 用MRUnit來寫單元測試
5.3.1 關(guān)于Mapper
5.3.2 關(guān)于Reducer
5.4 本地運(yùn)行測試數(shù)據(jù)
5.4.1 在本地作業(yè)運(yùn)行器上運(yùn)行作業(yè)
5.4.2 測試驅(qū)動(dòng)程序
5.5 在集群上運(yùn)行
5.5.1 打包作業(yè)
5.5.2 啟動(dòng)作業(yè)
5.5.3 MapReduce的Web界面
5.5.4 獲取結(jié)果
5.5.5 作業(yè)調(diào)試
5.5.6 Hadoop日志
5.5.7 遠(yuǎn)程調(diào)試
5.6 作業(yè)調(diào)優(yōu)
5.7 MapReduce的工作流
5.7.1 將問題分解成MapReduce作業(yè)
5.7.2 關(guān)于JobControl
5.7.3 關(guān)于Apache Oozie
第6章 MapReduce的工作機(jī)制
6.1 剖析MapReduce作業(yè)運(yùn)行機(jī)制
6.1.1 經(jīng)典的MapReduce (MapReduce 1)
6.1.2 YARN (MapReduce 2)
6.2 失敗
6.2.1 經(jīng)典MapReduce中的失敗
6.2.2 YARN中的失敗
6.3 作業(yè)的調(diào)度
6.3.1 公平調(diào)度器
6.3.2 容量調(diào)度器
6.4 shuffle和排序
6.4.1 map端
6.4.2 reduce端
6.4.3 配置調(diào)優(yōu)
6.5 任務(wù)的執(zhí)行
6.5.1 任務(wù)執(zhí)行環(huán)境
6.5.2 推測執(zhí)行
6.5.3 關(guān)于OutputCommitters
6.5.4 任務(wù)JVM重用
6.5.5 跳過壞記錄
第7章 MapReduce的類型與格式
7.1 MapReduce的類型
7.1.1 默認(rèn)的MapReduce作業(yè)
7.1.2 默認(rèn)的Streaming作業(yè)
7.2 輸入格式
7.2.1 輸入分片與記錄
7.2.2 文本輸入
7.2.3 二進(jìn)制輸入
7.2.4 多個(gè)輸入
7.2.5 數(shù)據(jù)庫輸入(和輸出)
7.3 輸出格式
7.3.1 文本輸出
7.3.2 二進(jìn)制輸出
7.3.3 多個(gè)輸出
7.3.4 延遲輸出
7.3.5 數(shù)據(jù)庫輸出
第8章 MapReduce的特性
8.1 計(jì)數(shù)器
8.1.1 內(nèi)置計(jì)數(shù)器
8.1.2 用戶定義的Java計(jì)數(shù)器
8.1.3 用戶定義的Streaming計(jì)數(shù)器
8.2 排序
8.2.1 準(zhǔn)備
8.2.2 部分排序
8.2.3 全排序
8.2.4 輔助排序
8.3 連接
8.3.1 map端連接
8.3.2 reduce端連接
8.4 邊數(shù)據(jù)分布
8.4.1 利用JobConf來配置作業(yè)
8.4.2 分布式緩存
8.5 MapReduce庫類
第9章 構(gòu)建Hadoop集群
9.1 集群規(guī)范
9.2 集群的構(gòu)建和安裝
9.2.1 安裝Java
9.2.2 創(chuàng)建Hadoop用戶
9.2.3 安裝Hadoop
9.2.4 測試安裝
9.3 SSH配置
9.4 Hadoop配置
9.4.1 配置管理
9.4.2 環(huán)境設(shè)置
9.4.3 Hadoop守護(hù)進(jìn)程的關(guān)鍵屬性
9.4.4 Hadoop守護(hù)進(jìn)程的地址和端口
9.4.5 Hadoop的其他屬性
9.4.6 創(chuàng)建用戶帳號(hào)
9.5 YARN配置
9.5.1 YARN守護(hù)進(jìn)程的重要屬性
9.5.2 YARN守護(hù)進(jìn)程的地址和端口
9.6 安全性
9.6.1 Kerberos和Hadoop
9.6.2 委托令牌
9.6.3 其他安全性改進(jìn)
9.7 利用基準(zhǔn)評測程序測試Hadoop集群
9.7.1 Hadoop基準(zhǔn)評測程序
9.7.2 用戶作業(yè)
9.8 云端的Hadoop
第10章 管理Hadoop
10.1 HDFS
10.1.1 永久性數(shù)據(jù)結(jié)構(gòu)
10.1.2 安全模式
10.1.3 日志審計(jì)
10.1.4 工具
10.2 監(jiān)控
10.2.1 日志
10.2.2 度量
10.2.3 Java管理擴(kuò)展(JMX)
10.3 維護(hù)
10.3.1 日常管理過程
10.3.2 委任和解除節(jié)點(diǎn)
10.3.3 升級
第11章 關(guān)于Pig
11.1 安裝與運(yùn)行Pig
11.1.1 執(zhí)行類型
11.1.2 運(yùn)行Pig程序
11.1.3 Grunt
11.1.4 Pig Latin編輯器
11.2 示例
11.3 與數(shù)據(jù)庫進(jìn)行比較
11.4 Pig Latin
11.4.1 結(jié)構(gòu)
11.4.2 語句
11.4.3 表達(dá)式
11.4.4 類型
11.4.5 模式
11.4.6 函數(shù)
11.4.7 宏
11.5 用戶自定義函數(shù)
11.5.1 過濾UDF
11.5.2 計(jì)算UDF
11.5.3 加載UDF
11.6 數(shù)據(jù)處理操作
11.6.1 數(shù)據(jù)的加載和存儲(chǔ)
11.6.2 數(shù)據(jù)的過濾
11.6.3 數(shù)據(jù)的分組與連接
11.6.4 數(shù)據(jù)的排序
11.6.5 數(shù)據(jù)的組合和切分
11.7 Pig實(shí)戰(zhàn)
11.7.1 并行處理
11.7.2 參數(shù)代換
第12章 關(guān)于Hive
12.1 安裝Hive
12.2 示例
12.3 運(yùn)行Hive
12.3.1 配置Hive
12.3.2 Hive服務(wù)
12.3.3 Metastore
12.4 Hive與傳統(tǒng)數(shù)據(jù)庫相比
12.4.1 讀時(shí)模式vs.寫時(shí)模式
12.4.2 更新、事務(wù)和索引
12.5 HiveQL
12.5.1 數(shù)據(jù)類型
12.5.2 操作與函數(shù)
12.6 表
12.6.1 托管表和外部表
12.6.2 分區(qū)和桶
12.6.3 存儲(chǔ)格式
12.6.4 導(dǎo)入數(shù)據(jù)
12.6.5 表的修改
12.6.6 表的丟棄
12.7 查詢數(shù)據(jù)
12.7.1 排序和聚集
12.7.2 MapReduce腳本
12.7.3 連接
12.7.4 子查詢
12.7.5 視圖
12.8 用戶定義函數(shù)
12.8.1 寫UDF
12.8.2 寫UDAF
第13章 關(guān)于HBase
13.1 HBase基礎(chǔ)
13.2 概念
13.3.1 數(shù)據(jù)模型的"旋風(fēng)之旅"
13.3.2 實(shí)現(xiàn)
13.3 安裝
13.4 客戶端
13.4.1 Java
13.4.2 Avro、REST和Thrift
13.5 示例
13.5.1 模式
......