大數據項目管理 從規(guī)劃到實現

前言 ix
第 1章　數據項目的主要類型及考慮因素 1
1．1　數據項目的主要類型 1
1．2　數據管道和數據暫存 3
1．2．1　主要考慮因素和風險管理 4
1．2．2　數據管道和數據暫存團隊的人員組成 13
1．3　數據的處理和分析 14
1．3．1　主要考慮因素和風險管理 14
1．3．2　數據處理和分析團隊的人員組成 17
1．4　應用程序開發(fā) 17
1．4．1　主要考慮因素和風險管理 18
1．4．2　應用程序開發(fā)團隊的人員組成 22
1．5　小結 22
第 2章　評估和選擇數據管理解決方案 25
2．1　開源項目的階段 26
2．1．1　孵化階段 27
2．1．2　發(fā)布階段 27
2．1．3　“治愈癌癥”階段 27
2．1．4　打破承諾階段 28
2．1．5　強化階段 29
2．1．6　企業(yè)階段 30
2．1．7　終結階段 30
2．2　開源項目的常見生命周期 31
2．2．1　使產品起死回生 32
2．2．2　追隨者 33
2．3　評估基準測試 34
2．4　技術選型的考慮因素 35
2．4．1　了解構建塊 36
2．4．2　尋求建議 37
2．4．3　從分析師那里獲得見解 37
2．4．4　研究市場趨勢 37
2．5　小結 39
第3章　數據項目的風險管理 41
3．1　風險類型 41
3．1．1　技術風險 41
3．1．2　團隊風險 42
3．1．3　需求風險 42
3．2　風險管理 42
3．2．1　對架構中的風險進行分類 42
3．2．2　技術風險 45
3．2．3　團隊的優(yōu)勢 45
3．2．4　外部團隊風險 47
3．2．5　需求風險 47
3．2．6　融會貫通 47
3．3　使用原型和PoC 50
3．3．1　找到兩三種方法 50
3．3．2　進行PoC，然后丟棄 50
3．3．3　部署的注意事項 50
3．4　使用接口 51
3．5　盡早開始構建 52
3．6　頻繁測試并保留記錄 52
3．7　監(jiān)控和警報 53
3．8　溝通風險 54
3．8．1　合作并獲得信任 54
3．8．2　公開風險 54
3．9　將風險作為談判工具 55
3．10　小結 55
第4章　接口設計 57
4．1　人體 57
4．1．1　人體與數據架構 57
4．1．2　解耦 61
4．1．3　解耦的注意事項 63
4．1．4　專門化 64
4．2　什么造就了好的接口設計 64
4．2．1　合約 64
4．2．2　抽象 64
4．2．3　版本控制 65
4．2．4　防御 65
4．2．5　接口的文檔和命名 66
4．3　非功能性考慮因素 67
4．3．1　可用性 67
4．3．2　響應時間 68
4．3．3　負載容量 68
4．3．4　使用測試來確定SLA 69
4．4　通用接口示例 69
4．4．1　發(fā)布–訂閱 69
4．4．2　異步請求–響應 71
4．4．3　同步請求–響應 72
4．5　小結 73
第5章　分布式存儲系統(tǒng) 75
5．1　分布式存儲系統(tǒng)的屬性 75
5．1．1　譜系 76
5．1．2　分區(qū) 77
5．1．3　處理數據變更 78
5．1．4　讀取路徑 80
5．1．5　可用性與一致性 84
5．1．6　主要用例 85
5．2　存儲系統(tǒng)細分 85
5．2．1　HDFS 86
5．2．2　S3和對象存儲系統(tǒng) 87
5．2．3　Apache HBase 89
5．2．4　Apache Cassandra 90
5．2．5　Elasticsearch和Apache Solr 94
5．2．6　新進者：Apache Kudu和CockroachDB 95
5．2．7　內存存儲系統(tǒng) 96
5．3　小結 99
第6章　企業(yè)元數據 101
6．1　為什么要關注元數據 102
6．1．1　數據可見性 102
6．1．2　數據之間的關系 103
6．1．3　數據監(jiān)管 104
6．2　數據架構中的元數據類型 105
6．2．1　靜態(tài)數據 106
6．2．2　動態(tài)數據 107
6．2．3　數據源的元數據 110
6．2．4　有關數據處理的元數據 111
6．2．5　報告和儀表盤 112
6．3　元數據收集 112
6．3．1　聲明式元數據收集 113
6．3．2　發(fā)現式元數據收集 114
6．4　元數據管理實踐 115
6．5　小結 116
第7章　確保數據完整性 117
7．1　構建數據管道 118
7．2　驗證數據管道 123
7．2．1　行數 123
7．2．2　唯一計數 124
7．2．3　全字節(jié)比較 124
7．2．4　校驗和比較 125
7．3　小結 126
第8章　數據處理 127
8．1　處理引擎的屬性 127
8．1．1　DAG管理 128
8．1．2　計算隔離 130
8．1．3　性能 132
8．1．4　容錯 132
8．1．5　交互模型 135
8．1．6　批處理或流處理 135
8．2　數據處理演變史 136
8．3　小結 138
關于作者 139
關于封面 139