算法與數(shù)據(jù)中臺(tái)：基于Google、Facebook與微博實(shí)踐

第1章 算法與數(shù)據(jù)中臺(tái)概述 1
1.1 中臺(tái)的背景和意義 1
1.2 算法與數(shù)據(jù)中臺(tái)的功能價(jià)值 3
1.3 算法與數(shù)據(jù)中臺(tái)的技術(shù)體系 4
1.4 算法與數(shù)據(jù)中臺(tái)的實(shí)踐場(chǎng)景 6
1.5 算法與數(shù)據(jù)中臺(tái)的應(yīng)用前景 7
1.6 本章總結(jié) 8
第2章 中臺(tái)技術(shù)之基礎(chǔ)設(shè)施 10
2.1 研發(fā)效率系統(tǒng) 10
2.1.1 代碼組織和構(gòu)建 11
2.1.2 代碼審查和任務(wù)管理 13
2.1.3 持續(xù)集成 15
2.1.4 通用壓測(cè)平臺(tái) 17
2.2 服務(wù)通信系統(tǒng) 19
2.2.1 跨進(jìn)程通信框架 20
2.2.2 服務(wù)注冊(cè)與發(fā)現(xiàn) 21
2.2.3 服務(wù)治理 24
2.3 監(jiān)控報(bào)警系統(tǒng) 25
2.3.1 通用系統(tǒng)架構(gòu) 25
2.3.2 指標(biāo)計(jì)算模型 26
2.3.3 開源解決方案 27
2.4 鏈路跟蹤系統(tǒng) 29
2.4.1 應(yīng)用場(chǎng)景與設(shè)計(jì)目標(biāo) 30
2.4.2 系統(tǒng)架構(gòu) 30
2.5 本章總結(jié) 32
第3章 中臺(tái)技術(shù)之在線算法系統(tǒng) 33
3.1 物料檢索系統(tǒng) 34
3.1.1 倒排檢索 35
3.1.2 倒排索引實(shí)例 37
3.1.3 相似檢索 38
3.1.4 相似檢索實(shí)例 40
3.1.5 模型粗排 40
3.2 模型預(yù)估服務(wù) 41
3.2.1 整體架構(gòu) 42
3.2.2 多框架支持 43
3.2.3 模型上線 44
3.2.4 在線預(yù)估 45
3.2.5 異構(gòu)設(shè)備 46
3.2.6 性能優(yōu)化 47
3.2.7 效果監(jiān)控 49
3.3 策略機(jī)制引擎 50
3.3.1 整體架構(gòu) 50
3.3.2 計(jì)算流解釋器 51
3.3.3 Lua 解釋器 52
3.4 集群管理平臺(tái) 53
3.4.1 多租戶架構(gòu) 53
3.4.2 集群動(dòng)態(tài)管理 54
3.4.3 集群性能監(jiān)控 57
3.4.4 配置動(dòng)態(tài)分發(fā) 59
3.5 效果評(píng)估系統(tǒng) 60
3.5.1 背景介紹 61
3.5.2 設(shè)計(jì)模式 61
3.5.3 系統(tǒng)架構(gòu) 62
3.5.4 指標(biāo)計(jì)算 64
3.6 本章總結(jié) 65
第4章 中臺(tái)技術(shù)之機(jī)器學(xué)習(xí)平臺(tái) 66
4.1 機(jī)器學(xué)習(xí)平臺(tái)簡介 66
4.1.1 機(jī)器學(xué)習(xí)的研發(fā)流程 67
4.1.2 機(jī)器學(xué)習(xí)的研發(fā)挑戰(zhàn) 69
4.1.3 機(jī)器學(xué)習(xí)的研發(fā)技術(shù) 69
4.2 傳統(tǒng)機(jī)器學(xué)習(xí)算法 73
4.2.1 線性算法 73
4.2.2 因子分解機(jī)算法 77
4.2.3 決策樹算法 81
4.3 深度學(xué)習(xí)算法 84
4.3.1 發(fā)展簡史 85
4.3.2 神經(jīng)元模型 86
4.3.3 神經(jīng)網(wǎng)絡(luò)模型 87
4.3.4 神經(jīng)網(wǎng)絡(luò)的算法原理 88
4.4 模型框架基本原理 94
4.4.1 分布式計(jì)算架構(gòu) 94
4.4.2 并行計(jì)算的同步機(jī)制 99
4.4.3 梯度更新算法 102
4.5 層結(jié)構(gòu)的模型框架 108
4.5.1 Caffe 109
4.5.2 DistBelief 110
4.5.3 WBLEngine 112
4.5.4 小結(jié) 116
4.6 數(shù)據(jù)流結(jié)構(gòu)的模型框架 116
4.6.1 TensorFlow 116
4.6.2 PyTorch 122
4.6.3 小結(jié) 126
4.7 復(fù)合結(jié)構(gòu)的模型框架 126
4.7.1 場(chǎng)景特點(diǎn) 126
4.7.2 設(shè)計(jì)思路 127
4.7.3 架構(gòu)與實(shí)現(xiàn) 128
4.7.4 性能優(yōu)化 131
4.7.5 小結(jié) 132
4.8 機(jī)器學(xué)習(xí)平臺(tái)簡介 132
4.8.1 單業(yè)務(wù)線開發(fā)階段 132
4.8.2 平臺(tái)化建設(shè)階段 133
4.8.3 業(yè)界知名產(chǎn)品 134
4.9 新浪微博 WBL 機(jī)器學(xué)習(xí)平臺(tái) 135
4.9.1 用戶操作界面 136
4.9.2 管理中心 138
4.9.3 數(shù)據(jù)中心 140
4.9.4 調(diào)度中心 141
4.9.5 智能中心 144
4.9.6 模型中心 145
4.10 本章總結(jié) 147
第5章 中臺(tái)技術(shù)之分布式數(shù)據(jù)庫 148
5.1 分布式數(shù)據(jù)庫概述 148
5.1.1 SQL 數(shù)據(jù)庫 148
5.1.2 NoSQL 數(shù)據(jù)庫 149
5.1.3 NewSQL 數(shù)據(jù)庫 150
5.2 分布式數(shù)據(jù)庫技術(shù) 150
5.2.1 ACID 理論 151
5.2.2 CAP 理論 151
5.2.3 BASE 理論 153
5.2.4 數(shù)據(jù)分片策略 154
5.2.5 數(shù)據(jù)復(fù)制策略 157
5.2.6 Gossip 協(xié)議 158
5.2.7 分布式一致性協(xié)議 160
5.2.8 分布式事務(wù)協(xié)議 167
5.3 分布式數(shù)據(jù)庫產(chǎn)品 170
5.3.1 Redis 170
5.3.2 Google BigTable 170
5.3.3 Google Spanner 173
5.4 LaserDB 分布式數(shù)據(jù)庫 177
5.4.1 系統(tǒng)架構(gòu) 178
5.4.2 數(shù)據(jù)模型 179
5.4.3 分片策略 180
5.4.4 批量加載 181
5.4.5 同步機(jī)制 182
5.4.6 高可用架構(gòu) 184
5.4.7 高性能方案 185
5.5 LaserDB 應(yīng)用案例分析 188
5.5.1 數(shù)據(jù)緩存 188
5.5.2 特征服務(wù) 189
5.5.3 向量存儲(chǔ) 190
5.5.4 樣本拼接 190
5.6 本章總結(jié) 191
第6章 中臺(tái)技術(shù)之大數(shù)據(jù)平臺(tái) 192
6.1 大數(shù)據(jù)平臺(tái)概述 192
6.1.1 大數(shù)據(jù)的特點(diǎn) 192
6.1.2 大數(shù)據(jù)平臺(tái)的技術(shù)棧 193
6.2 分布式協(xié)調(diào)系統(tǒng) 194
6.2.1 Google Chubby 195
6.2.2 Apache ZooKeeper 196
6.2.3 Consul 197
6.3 集群管理系統(tǒng) 199
6.3.1 Google Borg 200
6.3.2 Kubernetes 202
6.3.3 Apache YARN 203
6.4 分布式文件系統(tǒng) 205
6.4.1 Google GFS 205
6.4.2 Apache HDFS 207
6.4.3 Dropbox MagicPocket 209
6.5 消息管道系統(tǒng) 210
6.5.1 Google PubSub 211
6.5.2 Apache Kafka 213
6.6 分布式計(jì)算系統(tǒng) 214
6.6.1 MapReduce 214
6.6.2 Apache Spark 216
6.6.3 Apache Flink 218
6.6.4 Apache Beam 220
6.7 數(shù)據(jù)倉庫與分布式查詢系統(tǒng) 221
6.7.1 Google BigQuery 222
6.7.2 Apache Hive 223
6.7.3 Facebook Presto 224
6.7.4 Facebook Scuba 226
6.8 本章總結(jié) 227
第7章 中臺(tái)實(shí)踐之推薦系統(tǒng) 228
7.1 推薦系統(tǒng)的背景簡介 228
7.1.1 場(chǎng)景概況 229
7.1.2 整體架構(gòu) 230
7.1.3 推薦思路 233
7.2 推薦系統(tǒng)的算法模型 235
7.2.1 GBDT-LR 融合模型 235
7.2.2 Wide & Deep 模型 237
7.2.3 DeepFM 模型 238
7.2.4 雙塔模型 238
7.2.5 多任務(wù)模型 239
7.2.6 算法的發(fā)展趨勢(shì) 241
7.3 推薦系統(tǒng)的效果度量 244
7.3.1 體驗(yàn)指標(biāo) 244
7.3.2 算法指標(biāo) 245
7.4 Facebook 信息流推薦簡介 250
7.4.1 數(shù)據(jù)分發(fā)系統(tǒng) 251
7.4.2 特征服務(wù) 252
7.4.3 索引系統(tǒng) 254
7.4.4 預(yù)估與排序服務(wù) 255
7.4.5 實(shí)時(shí)樣本拼接服務(wù) 256
7.4.6 模型訓(xùn)練平臺(tái) 257
7.5 本章總結(jié) 258
第8章 中臺(tái)實(shí)踐之?dāng)?shù)字廣告 259
8.1 數(shù)字廣告的背景簡介 259
8.1.1 核心概念 260
8.1.2 合約廣告 261
8.1.3 競價(jià)廣告 262
8.1.4 程序化交易廣告 263
8.2 數(shù)字廣告系統(tǒng)架構(gòu) 264
8.2.1 業(yè)務(wù)平臺(tái) 265
8.2.2 算法與數(shù)據(jù)中臺(tái) 265
8.3 數(shù)字廣告系統(tǒng)中的數(shù)據(jù)管理 266
8.3.1 站內(nèi)數(shù)據(jù) 267
8.3.2 站外數(shù)據(jù) 267
8.4 數(shù)字廣告系統(tǒng)中的受眾定向 268
8.4.1 內(nèi)容定向 268
8.4.2 用戶標(biāo)簽定向 269
8.4.3 定制化標(biāo)簽定向 269
8.4.4 社交關(guān)系定向 270
8.4.5 智能定向 270
8.5 數(shù)字廣告系統(tǒng)中的策略機(jī)制 270
8.5.1 流量預(yù)測(cè) 271
8.5.2 在線分配 271
8.5.3 頻次控制 272
8.5.4 平滑投放 272
8.5.5 探索策略 273
8.5.6 智能出價(jià) 274
8.5.7 廣告競價(jià) 276
8.5.8 反作弊機(jī)制 277
8.6 本章總結(jié) 277
第9章 中臺(tái)實(shí)踐之網(wǎng)約車平臺(tái) 278
9.1 業(yè)務(wù)簡介 279
9.1.1 業(yè)務(wù)背景 279
9.1.2 運(yùn)作流程 281
9.1.3 用戶體驗(yàn) 281
9.2 技術(shù)架構(gòu) 282
9.2.1 分層系統(tǒng)架構(gòu) 282
9.2.2 業(yè)務(wù)中臺(tái) 283
9.2.3 算法與數(shù)據(jù)中臺(tái) 285
9.3 打車定價(jià)場(chǎng)景 286
9.3.1 場(chǎng)景描述 286
9.3.2 價(jià)格動(dòng)態(tài)下浮策略 287
9.3.3 價(jià)格動(dòng)態(tài)上浮策略 289
9.3.4 小結(jié) 290
9.4 打車排隊(duì)場(chǎng)景 290
9.4.1 場(chǎng)景描述 290
9.4.2 排隊(duì)時(shí)間預(yù)估策略 291
9.4.3 小結(jié) 292
9.5 打車安全場(chǎng)景 292
9.5.1 場(chǎng)景描述 292
9.5.2 安全策略 293
9.5.3 小結(jié) 294
9.6 本章總結(jié) 294
參考文獻(xiàn) 295