數(shù)據(jù)治理實踐者手記

第一篇　理論與方法
第1章 為什么數(shù)據(jù)治理如此重要 2
1.1　科技特征及演化趨勢 3
1.1.1　組織進化與數(shù)智化轉(zhuǎn)型 6
1.1.2　技術(shù)進化與劇烈“內(nèi)卷” 10
1.1.3　數(shù)據(jù)消費場景的演進 11
1.2　數(shù)據(jù)資產(chǎn)的特征 15
1.2.1　通用資產(chǎn)的特征 15
1.2.2　數(shù)據(jù)的保鮮期 16
1.2.3　數(shù)據(jù)可能是負資產(chǎn) 17
1.2.4　數(shù)據(jù)資產(chǎn)的特殊性 17
1.3　數(shù)據(jù)之“痛”，“痛”在哪里 18
1.3.1　找不到關(guān)鍵數(shù)據(jù) 20
1.3.2　數(shù)據(jù)質(zhì)量差 21
1.3.3　分析手段舊 23
1.3.4　分析效率低 24
1.3.5　數(shù)據(jù)雜亂 25
1.3.6　響應業(yè)務變化慢 26
1.3.7　非結(jié)構(gòu)化數(shù)據(jù)的信息密度低 27
1.4　數(shù)據(jù)治理，治理什么 28
1.4.1　改善數(shù)據(jù)質(zhì)量 29
1.4.2　優(yōu)化數(shù)據(jù)時效 30
1.4.3　提升數(shù)據(jù)消費 30
1.4.4　貫徹數(shù)據(jù)標準 31
1.4.5　降低持有成本 31
1.4.6　完善治理組織 32
1.5　本章小結(jié) 32
第2章 敏捷數(shù)據(jù)治理方法論 33
2.1　什么是敏捷數(shù)據(jù)治理 34
2.1.1　統(tǒng)計報表的局限性 36
2.1.2　非數(shù)字原生企業(yè)的轉(zhuǎn)型挑戰(zhàn) 39
2.1.3　常見數(shù)據(jù)治理框架的局限性 40
2.1.4　數(shù)據(jù)標準化面臨的困難 42
2.1.5　數(shù)據(jù)治理的常見誤區(qū) 43
2.2　敏捷數(shù)據(jù)治理的總體框架、執(zhí)行要點及主要特性 45
2.2.1　敏捷數(shù)據(jù)治理的總體框架 46
2.2.2　敏捷數(shù)據(jù)治理的執(zhí)行要點 49
2.2.3　敏捷數(shù)據(jù)治理的主要特性 52
2.3　確定目標、厘清現(xiàn)狀 53
2.3.1　調(diào)研及評估 54
2.3.2　如何獲得高層管理者的支持 56
2.3.3　如何獲得業(yè)務部門的支持 58
2.3.4　常見的數(shù)據(jù)治理切入點 60
2.4　數(shù)據(jù)治理平臺規(guī)劃 65
2.4.1　有效的數(shù)據(jù)治理計劃 66
2.4.2　技術(shù)路徑選擇 70
2.4.3　組織保障體系 72
2.5　本章小結(jié) 75
第二篇　平臺建設與工具
第3章 敏捷數(shù)據(jù)治理平臺的技術(shù)規(guī)劃 78
3.1　技術(shù)框架的總體思考 79
3.1.1　彼之蜜糖，汝之砒霜 80
3.1.2　數(shù)據(jù)的處理與存儲方式 83
3.1.3　數(shù)據(jù)庫、數(shù)據(jù)倉庫與數(shù)據(jù)中臺 86
3.1.4　數(shù)據(jù)特性的治理差異 88
3.1.5　云原生 89
3.1.6　微服務 90
3.1.7　應用性能監(jiān)控 91
3.2　數(shù)據(jù)存儲 92
3.2.1　規(guī)劃要點 93
3.2.2　存儲備份 94
3.2.3　實操經(jīng)驗 96
3.3　數(shù)據(jù)技術(shù)底座 98
3.3.1　公有云套件 99
3.3.2　私有化部署 101
3.4　數(shù)據(jù)ETL 103
3.4.1　多源異構(gòu) 104
3.4.2　任務調(diào)度 105
3.4.3　數(shù)據(jù)清洗 106
3.5　產(chǎn)品選型建議 107
3.5.1　技術(shù)架構(gòu) 108
3.5.2　成本預算 110
3.5.3　供應商綜合實力 112
3.6　本章小結(jié) 114
第4章 敏捷數(shù)據(jù)治理平臺的功能分析 115
4.1　智能數(shù)據(jù)應用 115
4.1.1　自助式BI分析 116
4.1.2　數(shù)據(jù)分析洞察 118
4.1.3　數(shù)據(jù)預警 120
4.2　數(shù)據(jù)指標體系 121
4.2.1　數(shù)據(jù)梳理：自上而下 122
4.2.2　數(shù)據(jù)梳理：自下而上 125
4.2.3　可視化指標管理 127
4.3　模型構(gòu)建 129
4.3.1　指標模型 130
4.3.2　數(shù)據(jù)模型 136
4.3.3　算法模型 138
4.3.4　展示模型 140
4.4　主數(shù)據(jù)管理 143
4.4.1　主數(shù)據(jù)編碼 144
4.4.2　主數(shù)據(jù)集成 148
4.4.3　主數(shù)據(jù)范圍識別及難點分析 149
4.5　元數(shù)據(jù)管理 153
4.5.1　應用場景 156
4.5.2　難點及案例分析 156
4.6　數(shù)據(jù)標準管理 160
4.6.1　標準制定 162
4.6.2　標準落地 163
4.6.3　常見問題 170
4.6.4　難點分析 172
4.6.5　術(shù)語辨析 175
4.7　數(shù)據(jù)質(zhì)量管理 177
4.7.1　質(zhì)量指標 178
4.7.2　事前預防 180
4.7.3　事中控制 181
4.7.4　事后補救 181
4.7.5　難點分析 183
4.8　本章小結(jié) 184
第5章 數(shù)據(jù)治理項目的落地實施 185
5.1　項目實施過程管理 187
5.1.1　項目啟動 188
5.1.2　例行會議 189
5.1.3　管理要點 190
5.2　長效運營與持續(xù)改善 192
5.2.1　組織挑戰(zhàn) 193
5.2.2　文化挑戰(zhàn) 194
5.3　項目實踐中的難點 195
5.4　本章小結(jié) 199
第6章 數(shù)據(jù)治理工具箱 201
6.1　數(shù)據(jù)ETL工具 203
6.1.1　功能與特點 204
6.1.2　開源ETL產(chǎn)品 206
6.1.3　商業(yè)ETL產(chǎn)品 208
6.1.4　缺陷評述 209
6.1.5　選型建議 210
6.2　主數(shù)據(jù)管理工具 212
6.2.1　功能與特點 212
6.2.2　開源MDM產(chǎn)品 214
6.2.3　商業(yè)MDM產(chǎn)品 214
6.2.4　缺陷評述 215
6.2.5　選型建議 216
6.3　元數(shù)據(jù)管理工具 218
6.3.1　功能與特點 219
6.3.2　開源元數(shù)據(jù)管理產(chǎn)品 220
6.3.3　商業(yè)元數(shù)據(jù)管理產(chǎn)品 221
6.3.4　缺陷評述 222
6.3.5　選型建議 224
6.4　數(shù)據(jù)標準管理工具 224
6.4.1　功能與特點 225
6.4.2　產(chǎn)品介紹 226
6.5　數(shù)據(jù)質(zhì)量管理工具 226
6.5.1　功能與特點 227
6.5.2　開源數(shù)據(jù)質(zhì)量管理產(chǎn)品 229
6.5.3　商業(yè)數(shù)據(jù)質(zhì)量管理產(chǎn)品 230
6.5.4　缺陷評述 231
6.5.5　選型建議 232
6.6　數(shù)據(jù)共享與開放工具 233
6.6.1　數(shù)據(jù)資產(chǎn)目錄 233
6.6.2　BI報表 236
6.7　本章小結(jié) 241
第三篇　場景解讀
第7章 應用場景 244
7.1　大型集團/企業(yè) 245
7.1.1　案例：A集團的協(xié)同管控之路 245
7.1.2　難點解析 247
7.1.3　應對策略 249
7.1.4　實現(xiàn)效果 250
7.2　零售與分銷行業(yè) 252
7.2.1　案例：B零售公司數(shù)據(jù)治理助推數(shù)字化轉(zhuǎn)型 252
7.2.2　難點解析 254
7.2.3　應對策略 256
7.2.4　實現(xiàn)效果 257
7.3　制造業(yè) 258
7.3.1　案例：C零部件制造企業(yè)數(shù)據(jù)驅(qū)動的業(yè)務優(yōu)化 259
7.3.2　難點解析 260
7.3.3　應對策略 260
7.3.4　實現(xiàn)效果 261
7.4　電商行業(yè) 263
7.4.1　案例：D電商公司數(shù)據(jù)治理支持精準營銷 263
7.4.2　難點解析 264
7.4.3　應對策略 265
7.4.4　實現(xiàn)效果 266
7.5　政府、金融和能源等領域 268
7.5.1　案例：數(shù)據(jù)開放與治理 268
7.5.2　難點解析 270
7.5.3　應對策略 271
7.5.4　實現(xiàn)效果 273
7.6　本章小結(jié) 275
第8章 技術(shù)場景 276
8.1　混合云架構(gòu)下的數(shù)據(jù)治理 277
8.1.1　案例：E醫(yī)療集團的數(shù)據(jù)治理 277
8.1.2　難點解析 278
8.1.3　應對策略 279
8.1.4　實現(xiàn)效果 280
8.2　大數(shù)據(jù)架構(gòu)下的數(shù)據(jù)治理 282
8.2.1　案例：F廣告公司的大數(shù)據(jù)營銷平臺 282
8.2.2　難點解析 283
8.2.3　應對策略 284
8.2.4　實現(xiàn)效果 285
8.3　微服務架構(gòu)下的數(shù)據(jù)治理 287
8.3.1　案例：G烘焙公司的數(shù)據(jù)一體化平臺 287
8.3.2　難點解析 288
8.3.3　應對策略 290
8.3.4　實現(xiàn)效果 291
8.4　本章小結(jié) 293
第9章 業(yè)務場景 294
9.1　財務數(shù)據(jù)治理與應用 295
9.1.1　案例：H集團的業(yè)財一體化平臺建設 295
9.1.2　難點解析 297
9.1.3　應對策略 298
9.1.4　實現(xiàn)效果 299
9.2　供應鏈數(shù)據(jù)治理與應用 300
9.2.1　案例：J零售連鎖企業(yè)集成供應鏈協(xié)同優(yōu)化 300
9.2.2　難點解析 302
9.2.3　應對策略 303
9.2.4　實現(xiàn)效果 305
9.3　營銷數(shù)據(jù)治理與應用 306
9.3.1　案例：K電子商務公司的精準營銷 307
9.3.2　難點解析 308
9.3.3　相關(guān)技術(shù) 309
9.3.4　應對策略 310
9.3.5　實現(xiàn)效果 311
9.4　生產(chǎn)數(shù)據(jù)治理與應用 312
9.4.1　案例：M機械制造企業(yè)的生產(chǎn)效率提升 313
9.4.2　難點解析 314
9.4.3　相關(guān)技術(shù) 315
9.4.4　應對策略 316
9.4.5　實現(xiàn)效果 318
9.5　本章小結(jié) 320
后記 總結(jié)與展望 321