大數(shù)據(jù)系統(tǒng)運維

第1章 配置管理
1.1 配置管理內(nèi)容 2
1.1.1 配置管理術(shù)語定義 2
1.1.2 應(yīng)用軟件配置 3
1.1.3 硬件配置 4
1.2 配置管理方法 8
1.2.1 配置流程 9
1.2.2 配置自動發(fā)現(xiàn) 13
1.3 配置管理工具 14
1.3.1 CMDB數(shù)據(jù)庫介紹與實踐 14
1.3.2 自動配置工具 17
1.3.3 云時代下的CMDB 29
1.4 其他運維工具 29
1.4.1 Ambari 29
1.4.2 CLI工具 32
1.4.3 Ganglia 33
1.4.4 Cloudera Manager 34
1.4.5 其他工具 38
1.5 作業(yè)與練習(xí) 39
參考文獻 39
第2章 系統(tǒng)管理及日常巡檢
2.1 系統(tǒng)建設(shè) 40
2.1.1 技術(shù)方案 41
2.1.2 部署實施 43
2.1.3 測試驗收 47
2.2 系統(tǒng)管理對象 48
2.2.1 系統(tǒng)管理對象 48
2.2.2 系統(tǒng)軟件 49
2.2.3 系統(tǒng)硬件 61
2.2.4 系統(tǒng)數(shù)據(jù) 62
2.2.5 IT供應(yīng)商 62
2.3 系統(tǒng)管理內(nèi)容 63
2.3.1 事件管理 64
2.3.2 問題管理 64
2.3.3 配置管理 65
2.3.4 變更管理 66
2.3.5 發(fā)布管理 66
2.3.6 知識管理 67
2.3.7 日志管理 67
2.3.8 備份管理 68
2.4 系統(tǒng)管理工具 68
2.4.1 資產(chǎn)管理 69
2.4.2 監(jiān)控管理 69
2.4.3 流程管理 70
2.4.4 外包管理 71
2.5 系統(tǒng)管理制度規(guī)范 71
2.5.1 系統(tǒng)管理標(biāo)準(zhǔn) 71
2.5.2 系統(tǒng)管理制度 72
2.5.3 系統(tǒng)管理規(guī)范 72
2.6 日常巡檢 73
2.6.1 檢查內(nèi)容分類 73
2.6.2 巡檢方法分類 74
2.6.3 巡檢流程 75
2.7 作業(yè)與練習(xí) 76
參考文獻 77
第3章 故障管理
3.1 集群結(jié)構(gòu) 78
3.2 故障報告 80
3.2.1 發(fā)現(xiàn) 80
3.2.2 影響分析 81
3.3 故障處理 82
3.3.1 故障診斷 82
3.3.2 故障排除 83
3.4 故障后期管理 84
3.4.1 建立和更新知識庫 84
3.4.2 故障預(yù)防 85
3.5 作業(yè)與練習(xí) 86
參考文獻 86
第4章 性能管理
4.1 性能分析 87
4.1.1 性能因子 87
4.1.2 性能指標(biāo) 88
4.2 性能監(jiān)控工具 90
4.2.1 GUI 90
4.2.2 集群CLI 94
4.2.3 操作系統(tǒng)自帶工具 99
4.2.4 Ganglia 105
4.2.5 其他監(jiān)控工具 107
4.3 性能優(yōu)化 107
4.3.1 Hadoop集群配置規(guī)劃優(yōu)化 107
4.3.2 Hadoop性能優(yōu)化 108
4.3.3 作業(yè)優(yōu)化 112
4.4 作業(yè)與練習(xí) 120
參考文獻 120
第5章 安全管理
5.1 安全概述 121
5.2 資產(chǎn)安全管理 122
5.2.1 環(huán)境設(shè)施安全 122
5.2.2 設(shè)備安全 123
5.3 應(yīng)用安全 123
5.3.1 技術(shù)安全 123
5.3.2 數(shù)據(jù)安全 127
5.4 安全威脅 129
5.4.1 人為失誤 129
5.4.2 外部攻擊 131
5.4.3 信息泄密 132
5.4.4 災(zāi)害 133
5.5 安全措施 133
5.5.1 安全制度規(guī)范 133
5.5.2 安全防范措施 134
5.6 作業(yè)與練習(xí) 135
參考文獻 136
第6章 高可用性管理
6.1 高可用性概述 137
6.2 高可用性技術(shù) 138
6.2.1 系統(tǒng)架構(gòu) 138
6.2.2 容災(zāi) 140
6.2.3 監(jiān)控 140
6.2.4 故障轉(zhuǎn)移 148
6.3 業(yè)務(wù)連續(xù)性管理 149
6.3.1 災(zāi)備系統(tǒng) 149
6.3.2 應(yīng)急預(yù)案 153
6.3.3 日常演練 154
6.4 作業(yè)與練習(xí) 155
第7章 應(yīng)用變更管理
7.1 變更管理概述 156
7.1.1 變更管理目標(biāo) 156
7.1.2 變更管理范圍 156
7.1.3 變更管理的種類 157
7.1.4 變更管理的原則 157
7.2 變更管理流程 158
7.2.1 變更的組織架構(gòu) 158
7.2.2 變更的管理策略 158
7.2.3 變更的流程控制 158
7.2.4 變更管理流程 158
7.3 變更配置管理 161
7.4 作業(yè)與練習(xí) 161
參考文獻 161
第8章 升級管理
8.1 Hadoop升級管理 162
8.1.1 Hadoop升級風(fēng)險 163
8.1.2 HDFS的數(shù)據(jù)和元數(shù)據(jù)升級 163
8.1.3 YARN升級配置 164
8.2 Spark升級管理 164
8.2.1 Spark特性 165
8.2.2 Spark生態(tài)系統(tǒng) 166
8.3 Hive SQL升級管理 166
8.3.1 Hive SQL體系結(jié)構(gòu) 167
8.3.2 安裝配置 167
8.4 ZooKeeper升級管理 169
8.4.1 單機模式 169
8.4.2 集群模式 170
8.5 作業(yè)與練習(xí) 171
參考文獻 172
第9章 服務(wù)資源管理
9.1 業(yè)務(wù)能力管理 173
9.1.1 業(yè)務(wù)需求評估 173
9.1.2 業(yè)務(wù)需求趨勢預(yù)測 174
9.2 服務(wù)能力管理 176
9.2.1 人員能力動態(tài)管理 176
9.2.2 服務(wù)成本動態(tài)管理 177
9.2.3 技術(shù)與工具管理 179
9.3 服務(wù)資源整合 179
9.3.1 不同角色的責(zé)權(quán)劃分 179
9.3.2 用戶、供應(yīng)商、廠商的典型協(xié)作方式 181
9.4 作業(yè)與練習(xí) 183
參考文獻 184
附錄A 大數(shù)據(jù)和人工智能實驗環(huán)境
附錄B Hadoop環(huán)境要求
附錄C 名詞解釋