深度卷積網(wǎng)絡(luò)：原理與實(shí)踐

Contents 目　　錄
前言
引子·神之一手1
第1章　走進(jìn)深度學(xué)習(xí)的世界5
1.1　從人工智能到深度學(xué)習(xí)5
1.2　深度神經(jīng)網(wǎng)絡(luò)的威力：以AlphaGo為例8
1.2.1　策略網(wǎng)絡(luò)簡述9
1.2.2　泛化：看棋譜就能學(xué)會(huì)下圍棋11
1.2.3　擬合與過擬合11
1.2.4　深度神經(jīng)網(wǎng)絡(luò)的速度優(yōu)勢12
1.3　深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用大觀13
1.3.1　圖像分類問題的難度所在13
1.3.2　用深度神經(jīng)網(wǎng)絡(luò)理解圖像15
1.3.3　AlphaGo中的深度神經(jīng)網(wǎng)絡(luò)17
1.3.4　自動(dòng)發(fā)現(xiàn)規(guī)律：從數(shù)據(jù)A到答案B17
1.3.5　深度神經(jīng)網(wǎng)絡(luò)的更多應(yīng)用18
1.3.6　從分而治之，到端對(duì)端學(xué)習(xí)24
1.4　親自體驗(yàn)深度神經(jīng)網(wǎng)絡(luò)25
1.4.1　TensorFlow游樂場25
1.4.2　MNIST數(shù)字識(shí)別實(shí)例：LeNet-527
1.4.3　策略網(wǎng)絡(luò)實(shí)例28
1.4.4　簡筆畫：Sketch-RNN29
1.4.5　用GAN生成動(dòng)漫頭像30
1.5　深度神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn)31
1.5.1　兩大助力：算力、數(shù)據(jù)31
1.5.2　從特征工程，到逐層抽象32
1.5.3　深度神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)的是什么35
1.6　人工智能與神經(jīng)網(wǎng)絡(luò)的歷史36
1.6.1　人工智能的兩大學(xué)派：邏輯與統(tǒng)計(jì)37
1.6.2　人工智能與神經(jīng)網(wǎng)絡(luò)的現(xiàn)代編年史37
第2章　深度卷積網(wǎng)絡(luò)：第一課42
2.1　神經(jīng)元：運(yùn)作和訓(xùn)練43
2.1.1　運(yùn)作：從實(shí)例說明43
2.1.2　訓(xùn)練：梯度下降的思想44
2.1.3　訓(xùn)練：梯度下降的公式46
2.1.4　訓(xùn)練：找大小問題的初次嘗試48
2.1.5　訓(xùn)練：Excel的實(shí)現(xiàn) 50
2.1.6　重要知識(shí)：批大小、mini-batch、epoch51
2.2　深度學(xué)習(xí)框架MXNet：安裝和使用51
2.2.1　計(jì)算圖：動(dòng)態(tài)與靜態(tài)52
2.2.2　安裝MXNet：準(zhǔn)備工作53
2.2.3　在Windows下安裝MXNet54
2.2.4　在macOS下安裝MXNet：CPU版57
2.2.5　在macOS下安裝MXNet：GPU版58
2.2.6　在Linux下安裝MXNet59
2.2.7　安裝Jupyter演算本59
2.2.8　實(shí)例：在MXNet訓(xùn)練神經(jīng)元并體驗(yàn)調(diào)參60
2.3　神經(jīng)網(wǎng)絡(luò)：運(yùn)作和訓(xùn)練63
2.3.1　運(yùn)作：前向傳播，與非線性激活的必要性63
2.3.2　運(yùn)作：非線性激活64
2.3.3　訓(xùn)練：梯度的計(jì)算公式66
2.3.4　訓(xùn)練：實(shí)例69
2.3.5　訓(xùn)練：Excel的實(shí)現(xiàn)70
2.3.6　訓(xùn)練：反向傳播71
2.3.7　重要知識(shí)：梯度消失，梯度爆炸72
2.3.8　從幾何觀點(diǎn)理解神經(jīng)網(wǎng)絡(luò)72
2.3.9　訓(xùn)練：MXNet的實(shí)現(xiàn)73
第3章　深度卷積網(wǎng)絡(luò)：第二課 77
3.1　重要理論知識(shí)77
3.1.1　數(shù)據(jù)：訓(xùn)練集、驗(yàn)證集、測試集77
3.1.2　訓(xùn)練：典型過程79
3.1.3　有監(jiān)督學(xué)習(xí)：回歸、分類、標(biāo)簽、排序、Seq2Seq79
3.1.4　無監(jiān)督學(xué)習(xí)：聚類、降維、自編碼、生成模型、推薦81
3.1.5　訓(xùn)練的障礙：欠擬合、過擬合82
3.1.6　訓(xùn)練的細(xì)節(jié)：局部極值點(diǎn)、鞍點(diǎn)、梯度下降算法83
3.2　神經(jīng)網(wǎng)絡(luò)的正則化85
3.2.1　修改損失函數(shù)：L2和L1正則化85
3.2.2　修改網(wǎng)絡(luò)架構(gòu)：Dropout正則化86
3.2.3　更多技巧：集合、多任務(wù)學(xué)習(xí)、參數(shù)共享等86
3.2.4　數(shù)據(jù)增強(qiáng)與預(yù)處理88
3.3　神經(jīng)網(wǎng)絡(luò)的調(diào)參89
3.3.1　學(xué)習(xí)速率89
3.3.2　批大小90
3.3.3　初始化方法92
3.3.4　調(diào)參實(shí)戰(zhàn)：重返TensorFlow游樂場93
3.4　實(shí)例：MNIST問題95
3.4.1　重要知識(shí)：SoftMax層、交叉熵?fù)p失96
3.4.2　訓(xùn)練代碼與網(wǎng)絡(luò)架構(gòu)98
3.4.3　超越MNIST：最新的Fashion-MNIST數(shù)據(jù)集101
3.5　網(wǎng)絡(luò)訓(xùn)練的常見bug和檢查方法103
3.6　網(wǎng)絡(luò)訓(xùn)練性能的提高104
第4章　深度卷積網(wǎng)絡(luò)：第三課106
4.1　卷積網(wǎng)絡(luò)：從實(shí)例說明106
4.1.1　實(shí)例：找橘貓，最原始的方法107
4.1.2　實(shí)例：找橘貓，更好的方法108
4.1.3　實(shí)例：卷積和池化108
4.1.4　卷積網(wǎng)絡(luò)的運(yùn)作111
4.2　運(yùn)作：AlphaGo眼中的棋盤112
4.2.1　棋盤的編碼113
4.2.2　最簡化的策略網(wǎng)絡(luò)115
4.2.3　最簡化的策略網(wǎng)絡(luò)：特征層和卷積后的結(jié)果116
4.3　卷積神經(jīng)網(wǎng)絡(luò)：進(jìn)一步了解122
4.3.1　卷積核、濾波器與參數(shù)量的計(jì)算122
4.3.2　運(yùn)作和訓(xùn)練的計(jì)算123
4.3.3　外襯與步長124
4.3.4　縮小圖像：池化與全局池化126
4.3.5　放大圖像：轉(zhuǎn)置卷積127
4.4　實(shí)例：用卷積網(wǎng)絡(luò)解決MNIST問題128
4.4.1　網(wǎng)絡(luò)架構(gòu)的定義與參數(shù)量的計(jì)算129
4.4.2　訓(xùn)練MNIST網(wǎng)絡(luò)130
4.4.3　在MXNet運(yùn)行訓(xùn)練后的網(wǎng)絡(luò)131
4.4.4　調(diào)參實(shí)例133
4.4.5　在Fashion-MNIST數(shù)據(jù)集的結(jié)果133
4.5　MXNet的使用技巧134
4.5.1　快速定義多個(gè)層134
4.5.2　網(wǎng)絡(luò)的保存與讀取135
4.5.3　圖像數(shù)據(jù)的打包和載入135
4.5.4　深入MXNet訓(xùn)練細(xì)節(jié)136
4.5.5　在瀏覽器和移動(dòng)設(shè)備運(yùn)行神經(jīng)網(wǎng)絡(luò)139
第5章　深度卷積網(wǎng)絡(luò)：第四課141
5.1　經(jīng)典的深度卷積網(wǎng)絡(luò)架構(gòu)142
5.1.1　深度學(xué)習(xí)革命的揭幕者：AlexNet142
5.1.2　常用架構(gòu)：VGG系列145
5.1.3　去掉全連接層：DarkNet系列147
5.2　網(wǎng)絡(luò)的可視化：以AlexNet為例150
5.3　遷移學(xué)習(xí)：精調(diào)、預(yù)訓(xùn)練等155
5.4　架構(gòu)技巧：基本技巧157
5.4.1　感受野與縮小卷積核157
5.4.2　使用1×1卷積核158
5.4.3　批規(guī)范化160
5.4.4　實(shí)例：回顧Fashion-MNIST問題161
5.4.5　實(shí)例：訓(xùn)練CIFAR-10模型164
5.5　架構(gòu)技巧：殘差網(wǎng)絡(luò)與通道組合169
5.5.1　殘差網(wǎng)絡(luò)：ResNet的思想169
5.5.2　殘差網(wǎng)絡(luò)：架構(gòu)細(xì)節(jié)171
5.5.3　殘差網(wǎng)絡(luò)：來自于集合的理解與隨機(jī)深度172
5.5.4　殘差網(wǎng)絡(luò)：MXNet實(shí)現(xiàn)，以策略網(wǎng)絡(luò)為例173
5.5.5　通道組合：Inception模組174
5.5.6　通道組合：XCeption架構(gòu)，深度可分卷積177
5.5.7　實(shí)例：再次訓(xùn)練CIFAR-10模型178
5.6　架構(gòu)技巧：更多進(jìn)展181
5.6.1　殘差網(wǎng)絡(luò)進(jìn)展：ResNext、Pyramid Net、DenseNet181
5.6.2　壓縮網(wǎng)絡(luò)：SqueezeNet、MobileNet、ShuffleNet183
5.6.3　卷積核的變形188
5.7　物體檢測與圖像分割189
5.7.1　YOLO v1：實(shí)時(shí)的物體檢測網(wǎng)絡(luò)190
5.7.2　YOLO v2：更快、更強(qiáng)192
5.7.3　Faster R-CNN：準(zhǔn)確的物體檢測網(wǎng)絡(luò)194
5.7.4　Mask-RCNN：準(zhǔn)確的圖像分割網(wǎng)絡(luò)195
5.8　風(fēng)格轉(zhuǎn)移197
第6章　AlphaGo架構(gòu)綜述200
6.1　從AlphaGo到AlphaZero201
6.1.1　AlphaGo v13與AlphaGo v18201
6.1.2　AlphaGo Master與AlphaGoZero202
6.1.3　解決一切棋類：AlphaZero204
6.2　AlphaGo的對(duì)弈過程205
6.2.1　策略網(wǎng)絡(luò)205
6.2.2　來自人類的思路208
6.2.3　蒙特卡洛樹搜索與估值問題209
6.2.4　從快速走子估值到價(jià)值網(wǎng)絡(luò)211
6.2.5　從搜索樹看策略與價(jià)值網(wǎng)絡(luò)的作用213
6.2.6　策略與價(jià)值網(wǎng)絡(luò)的運(yùn)作實(shí)例215
6.3　AlphaGo中的深度卷積網(wǎng)絡(luò)架構(gòu)217
6.4　AlphaGo的訓(xùn)練過程219
6.4.1　原版AlphaGo：策略梯度方法219
6.4.2　新版AlphaGo：從蒙特卡洛樹搜索學(xué)習(xí)220
6.5　AlphaGo方法的推廣221
第7章　訓(xùn)練策略網(wǎng)絡(luò)與實(shí)戰(zhàn)224
7.1　訓(xùn)練前的準(zhǔn)備工作224
7.1.1　棋譜數(shù)據(jù)225
7.1.2　落子模擬226
7.1.3　終局判斷226
7.2　訓(xùn)練代碼227
7.2.1　主程序：train.py227
7.2.2　訓(xùn)練參數(shù)：config.py233
7.2.3　輔助函數(shù)：util.py234
7.2.4　棋盤隨機(jī)變換：symmetry.py235
7.2.5　訓(xùn)練實(shí)例236
7.3　對(duì)弈實(shí)戰(zhàn)237
第8章　生成式對(duì)抗網(wǎng)絡(luò)：GAN240
8.1　GAN的起源故事240
8.2　GAN的基本原理242
8.2.1　生成模型：從圖像到編碼，從編碼到圖像242
8.2.2　GAN的基本效果243
8.2.3　GAN的訓(xùn)練方法246
8.3　實(shí)例：DCGAN及訓(xùn)練過程248
8.3.1　網(wǎng)絡(luò)架構(gòu)248
8.3.2　訓(xùn)練代碼249
8.4　GAN的更多架構(gòu)和應(yīng)用255
8.4.1　圖像轉(zhuǎn)移：CycleGAN系列255
8.4.2　生成高分辨率圖像：nVidia的改進(jìn)260
8.4.3　自動(dòng)提取信息：InfoGAN261
8.4.4　更多應(yīng)用264
8.5　更多的生成模型方法266
8.5.1　自編碼器：從AE到VAE266
8.5.2　逐點(diǎn)生成：PixelRNN和PixelCNN系列267
8.5.3　將VAE和GAN結(jié)合：CVAE-GAN268
第9章　通向智能之秘272
9.1　計(jì)算機(jī)視覺的難度272
9.2　對(duì)抗樣本，與深度網(wǎng)絡(luò)的特點(diǎn)276
9.3　人工智能的挑戰(zhàn)與機(jī)遇278
9.3.1　棋類游戲中的電腦陷阱278
9.3.2　偏見、過濾氣泡與道德困境280
9.3.3　語言的迷局283
9.3.4　強(qiáng)化學(xué)習(xí)、機(jī)器人與目標(biāo)函數(shù)286
9.3.5　創(chuàng)造力、審美與意識(shí)之謎290
9.3.6　預(yù)測學(xué)習(xí)：機(jī)器學(xué)習(xí)的前沿293
9.4　深度學(xué)習(xí)的理論發(fā)展295
9.4.1　超越反向傳播：預(yù)測梯度與生物模型295
9.4.2　超越神經(jīng)網(wǎng)絡(luò)：Capsule與gcForest297
9.4.3　泛化問題300
9.5　深度學(xué)習(xí)與人工智能的展望304
9.5.1　工程層面304
9.5.2　理論層面304
9.5.3　應(yīng)用層面305
跋　人工智能與我們的未來306
附錄　深度學(xué)習(xí)與AI的網(wǎng)絡(luò)資源310