數(shù)據(jù)應(yīng)用工程：方法論與實踐

贊譽
前言
第一部分　行業(yè)分析
第1章 數(shù)字化時代的變革與挑戰(zhàn) 2
1.1 數(shù)字經(jīng)濟與生產(chǎn)變革 2
1.1.1 從農(nóng)業(yè)經(jīng)濟到數(shù)字經(jīng)濟，從土地到數(shù)據(jù) 3
1.1.2 從規(guī)?；a(chǎn)到個性化定制生產(chǎn)，從IT到DT 8
1.2 數(shù)字化時代的變革動能 10
1.2.1 技術(shù)發(fā)展創(chuàng)造變革 11
1.2.2 “新基建”提速變革 14
1.2.3 商業(yè)競爭驅(qū)動變革 16
1.2.4 社會治理需要變革 20
1.2.5 政府政策引導(dǎo)變革 22
1.3 數(shù)字化變革中的不確定性與挑戰(zhàn) 25
1.3.1 環(huán)境不確定性 25
1.3.2 數(shù)字化變革的挑戰(zhàn) 30
1.4 本章小結(jié) 37
第二部分　理論方法
第2章 技術(shù)變革與組織應(yīng)用技術(shù)的規(guī)律 40
2.1 組織面對技術(shù)變革的三大挑戰(zhàn) 40
2.1.1 新技術(shù)不斷涌現(xiàn)，技術(shù)選擇的挑戰(zhàn) 41
2.1.2 創(chuàng)新風(fēng)險很高，技術(shù)應(yīng)用發(fā)展規(guī)劃的挑戰(zhàn) 45
2.1.3 發(fā)展常遇瓶頸，持續(xù)提升的挑戰(zhàn) 47
2.2 事物發(fā)展的“第一性原理” 48
2.2.1 成熟度 48
2.2.2 成熟度模型 49
2.2.3 成熟度模型分類 51
2.3 技術(shù)創(chuàng)新規(guī)律與成熟度評估 56
2.3.1 技術(shù)發(fā)展生命周期規(guī)律 56
2.3.2 基于就緒水平的技術(shù)研發(fā)成熟度評估 57
2.3.3 考慮宣傳期望的技術(shù)發(fā)展成熟度曲線 59
2.4 組織技術(shù)應(yīng)用的發(fā)展規(guī)律與成熟度評估 61
2.4.1 指導(dǎo)早期信息化規(guī)劃的諾蘭成長階段模型 62
2.4.2 諾蘭模型在網(wǎng)絡(luò)時代與智能時代的擴展 63
2.5 組織技術(shù)應(yīng)用的能力建設(shè)規(guī)律與成熟度評估 65
2.5.1 從質(zhì)量方法發(fā)展來的能力成熟度模型 65
2.5.2 能力成熟度模型的基礎(chǔ)原理 68
2.5.3 軟件領(lǐng)域廣泛應(yīng)用的能力成熟度模型 73
2.5.4 數(shù)據(jù)領(lǐng)域廣泛應(yīng)用的能力成熟度模型 75
2.6 本章小結(jié) 81
第3章 數(shù)據(jù)應(yīng)用成熟度模型 82
3.1 模型開發(fā)背景 82
3.2 數(shù)據(jù)應(yīng)用成熟度模型框架 86
3.2.1 模型框架說明 86
3.2.2 模型階段與維度說明 87
3.3 數(shù)據(jù)應(yīng)用成熟度模型評估 88
3.3.1 發(fā)展評估—數(shù)據(jù)應(yīng)用維度 88
3.3.2 能力評估—數(shù)據(jù)工程維度 92
3.3.3 能力評估—數(shù)據(jù)治理維度 94
3.3.4 數(shù)據(jù)應(yīng)用成熟度綜合評估 96
3.4 數(shù)據(jù)應(yīng)用成熟度模型的運用 101
3.4.1 模型運用流程 101
3.4.2 成熟度進階建議和措施 102
3.5 數(shù)據(jù)工程過程 104
3.5.1 數(shù)據(jù)工程過程概述 105
3.5.2 數(shù)據(jù)理解過程 108
3.5.3 數(shù)據(jù)設(shè)計過程 111
3.5.4 數(shù)據(jù)處理過程—數(shù)據(jù)開發(fā) 114
3.5.5 數(shù)據(jù)處理過程—數(shù)據(jù)分析與數(shù)據(jù)科學(xué)建模 124
3.5.6 數(shù)據(jù)部署過程 129
3.5.7 數(shù)據(jù)運營過程 131
3.5.8 數(shù)據(jù)工程支持過程 133
3.6 數(shù)據(jù)治理過程?? 134
3.6.1 數(shù)據(jù)治理維度概述 134
3.6.2 宏觀決策域 135
3.6.3 核心治理域—基本治理過程 137
3.6.4 核心治理域—綜合治理過程 141
3.7 本章小結(jié) 143
第三部分　知識體系
第4章 數(shù)據(jù)治理與管理 146
4.1 元數(shù)據(jù)管理 147
4.1.1 元數(shù)據(jù)概述 147
4.1.2 元數(shù)據(jù)定義 147
4.1.3 元數(shù)據(jù)分類 148
4.1.4 元數(shù)據(jù)管理詳解 152
4.2 數(shù)據(jù)質(zhì)量管理 154
4.2.1 數(shù)據(jù)質(zhì)量概述 154
4.2.2 數(shù)據(jù)質(zhì)量問題 156
4.2.3 數(shù)據(jù)質(zhì)量測量與評價 159
4.2.4 數(shù)據(jù)質(zhì)量問題的解決方法 170
4.2.5 如何做好數(shù)據(jù)質(zhì)量管理 173
4.3 數(shù)據(jù)安全管理 175
4.3.1 數(shù)據(jù)安全的內(nèi)容與特點 175
4.3.2 數(shù)據(jù)安全管理流程 179
4.3.3 數(shù)據(jù)合規(guī)要求的法規(guī)體系 181
4.3.4 數(shù)據(jù)安全的基礎(chǔ)合規(guī)要求 183
4.3.5 個人信息處理的專門合規(guī)要求 186
4.3.6 數(shù)據(jù)安全管理的技術(shù)和方法 196
4.4 本章小結(jié) 207
第5章 大數(shù)據(jù)技術(shù)詳解 208
5.1 大數(shù)據(jù)技術(shù)的方法和流行開源組件 208
5.1.1 大數(shù)據(jù)的4V特性與技術(shù)挑戰(zhàn) 208
5.1.2 大數(shù)據(jù)技術(shù)的主要方法 209
5.1.3 大數(shù)據(jù)技術(shù)的流行開源組件 211
5.2 大數(shù)據(jù)系統(tǒng)架構(gòu) 212
5.2.1 MPP數(shù)據(jù)庫架構(gòu) 212
5.2.2 Hadoop體系的架構(gòu) 215
5.2.3 兩種架構(gòu)的對比 218
5.2.4 存儲與計算分離及云化的未來架構(gòu) 220
5.3 大數(shù)據(jù)存儲技術(shù) 221
5.3.1 分布式文件存儲系統(tǒng) 222
5.3.2 分布式數(shù)據(jù)庫系統(tǒng) 225
5.3.3 分布式消息傳遞系統(tǒng) 232
5.4 大數(shù)據(jù)計算技術(shù) 234
5.4.1 離線批處理 234
5.4.2 實時流處理 236
5.5 大數(shù)據(jù)分析技術(shù) 239
5.5.1 OLAP技術(shù)介紹 239
5.5.2 實時OLAP系統(tǒng)的兩種架構(gòu)模型 240
5.5.3 OLAP相關(guān)技術(shù)分類 241
5.5.4 OLAP技術(shù)典型流行產(chǎn)品示例 242
5.6 數(shù)據(jù)科學(xué)技術(shù) 244
5.6.1 機器學(xué)習(xí)的基礎(chǔ)概念 244
5.6.2 有監(jiān)督機器學(xué)習(xí)算法 250
5.6.3 無監(jiān)督機器學(xué)習(xí)算法 260
5.7 本章小結(jié) 264
第四部分　實踐案例
第6章 數(shù)據(jù)工程與治理案例——移動大數(shù)據(jù)的數(shù)據(jù)處理實踐 266
6.1 統(tǒng)一的大數(shù)據(jù)工程與治理架構(gòu) 266
6.2 數(shù)據(jù)倉庫設(shè)計 268
6.2.1 數(shù)據(jù)模型架構(gòu)設(shè)計 269
6.2.2 數(shù)據(jù)管理規(guī)范設(shè)計 ......