深度學習原理與實踐（Python）

第 1章　初探深度學習　　1
1．1　什么是深度學習　2
1．1．1　機器學習的一般方法　4
1．1．2　選擇深度學習的原因　5
1．1．3　深度學習前的思考　6
1．2　深度學習的應用　7
1．3　深度學習的硬件加速器　10
1．3．1　GPU比CPU更適合深度學習　10
1．3．2　GPU硬件選擇　13
1．4　深度學習的軟件框架　15
1．5　本章小結　19
引用/參考　19
第　2章 人工神經(jīng)網(wǎng)絡　21
2．1　人工神經(jīng)網(wǎng)絡概述　22
2．1．1　歷史背景　22
2．1．2　基本單位—神經(jīng)元　24
2．1．3　線性模型與激活函數(shù)　25
2．1．4　多層神經(jīng)網(wǎng)絡　26
2．2　訓練與預測　28
2．2．1　訓練　28
2．2．2　預測　29
2．3　核心算法　29
2．3．1　梯度下降算法　29
2．3．2　向前傳播算法　31
2．3．3　反向傳播算法　33
2．4　示例：醫(yī)療數(shù)據(jù)診斷　42
2．4．1　從醫(yī)療數(shù)據(jù)到數(shù)學模型　43
2．4．2　準備數(shù)據(jù)　44
2．4．3　線性分類　45
2．4．4　建立人工神經(jīng)網(wǎng)絡模型　46
2．4．5　隱層節(jié)點數(shù)對人工神經(jīng)網(wǎng)絡模型的影響　53
2．5　本章小結　55
引用/參考　56
第3章　深度學習基礎及技巧　58
3．1　激活函數(shù)　59
3．1．1　線性函數(shù)　60
3．1．2　Sigmoid函數(shù)　61
3．1．3　雙曲正切函數(shù)　62
3．1．4　ReLU函數(shù)　63
3．1．5　Softmax函數(shù)　64
3．1．6　激活函數(shù)的選擇　65
3．2　損失函數(shù)　65
3．2．1　損失函數(shù)的定義　66
3．2．2　回歸損失函數(shù)　67
3．2．3　分類損失函數(shù)　69
3．2．4　神經(jīng)網(wǎng)絡中常用的損失函數(shù)　70
3．3　超參數(shù)　71
3．3．1　學習率　71
3．3．2　動量　72
3．4　深度學習的技巧　73
3．4．1　數(shù)據(jù)集準備　73
3．4．2　數(shù)據(jù)集擴展　74
3．4．3　數(shù)據(jù)預處理　76
3．4．4　網(wǎng)絡的初始化　81
3．4．5　網(wǎng)絡過度擬合　84
3．4．6　正則化方法　85
3．4．7　GPU的使用　88
3．4．8　訓練過程的技巧　89
3．5　本章小結　91
引用/參考　92
第4章　卷積神經(jīng)網(wǎng)絡　93
4．1　卷積神經(jīng)網(wǎng)絡概述　94
4．1．1　卷積神經(jīng)網(wǎng)絡的應用　95
4．1．2　卷積神經(jīng)網(wǎng)絡的結構　99
4．1．3　卷積神經(jīng)網(wǎng)絡與人工神經(jīng)網(wǎng)絡的聯(lián)系　101
4．2　卷積操作　103
4．2．1　滑動窗口卷積操作　104
4．2．2　網(wǎng)絡卷積層操作　105
4．2．3　矩陣快速卷積　107
4．3　卷積神經(jīng)網(wǎng)絡三大核心思想　110
4．3．1　傳統(tǒng)神經(jīng)網(wǎng)絡的缺點　110
4．3．2　局部感知　111
4．3．3　權值共享　112
4．3．4　下采樣　113
4．4　設計卷積神經(jīng)網(wǎng)絡架構　115
4．4．1　網(wǎng)絡層間排列規(guī)律　116
4．4．2　網(wǎng)絡參數(shù)設計規(guī)律　116
4．5　示例1：可視化手寫字體網(wǎng)絡特征　117
4．5．1　MNIST手寫字體數(shù)據(jù)庫　118
4．5．2　LeNet5網(wǎng)絡模型　119
4．5．3　LeNet5網(wǎng)絡訓練　122
4．5．4　可視化特征向量　124
4．6　示例2：少樣本卷積神經(jīng)網(wǎng)絡分類　127
4．6．1　Kaggle貓狗數(shù)據(jù)庫　128
4．6．2　AlexNet模型　130
4．6．3　AlexNet訓練　134
4．6．4　AlexNet預測　136
4．6．5　微調網(wǎng)絡　137
4．7　本章小結　140
引用/參考　141
第5章　卷積神經(jīng)網(wǎng)絡視覺盛宴　143
5．1　圖像目標檢測　144
5．1．1　傳統(tǒng)目標檢測方法　146
5．1．2　基于區(qū)域的網(wǎng)絡　147
5．1．3　基于回歸的網(wǎng)絡　157
5．1．4　目標檢測小結　163
5．2　圖像語義分割　165
5．2．1　傳統(tǒng)圖像分割方法　165
5．2．2　全卷積神經(jīng)網(wǎng)絡　167
5．2．3　SegNet網(wǎng)絡　171
5．2．4　DeepLab網(wǎng)絡　173
5．3　示例1：NMS確定候選框　176
5．4　示例2：SS算法提取候選框　179
5．4．1　圖像復雜度　179
5．4．2　算法核心思想　180
5．4．3　區(qū)域相似度計算　184
5．5　本章小結　189
引用/參考　190
第6章　卷積神經(jīng)網(wǎng)絡進階示例　192
6．1　示例1：全卷積網(wǎng)絡圖像語義分割　193
6．1．1　VGG連續(xù)小核卷積層　193
6．1．2　VGG網(wǎng)絡模型　195
6．1．3　全卷積網(wǎng)絡模型　199
6．1．4　全卷積網(wǎng)絡語義分割　204
6．2　示例2：深度可視化網(wǎng)絡　209
6．2．1　梯度上升法　210
6．2．2　可視化所有卷積層　213
6．2．3　可視化輸出層　218
6．2．4　卷積神經(jīng)網(wǎng)絡真能理解視覺嗎　219
6．3　示例3：卷積神經(jīng)網(wǎng)絡藝術繪畫　220
6．3．1　算法思想　221
6．3．2　圖像風格定義　222
6．3．3　圖像內(nèi)容定義　224
6．3．4　算法實現(xiàn)　225
引用/參考　229
第7章　循環(huán)神經(jīng)網(wǎng)絡　231
7．1　初識循環(huán)神經(jīng)網(wǎng)絡　232
7．1．1　前饋式神經(jīng)網(wǎng)絡的缺點　233
7．1．2　什么是序列數(shù)據(jù)　234
7．2　循環(huán)神經(jīng)網(wǎng)絡的應用　235
7．3　循環(huán)神經(jīng)網(wǎng)絡的模型結構　237
7．3．1　序列數(shù)據(jù)建?！?37
7．3．2　基本結構　238
7．3．3　其他結構　239
7．4　循環(huán)神經(jīng)網(wǎng)絡的核心算法　241
7．4．1　模型詳解　241
7．4．2　向前傳播　243
7．4．3　損失函數(shù)　245
7．4．4　時間反向傳播算法　246
7．4．5　梯度消失與梯度爆炸　251
7．5　示例：使用循環(huán)神經(jīng)網(wǎng)絡預測文本數(shù)據(jù)　254
7．5．1　定義網(wǎng)絡模型　254
7．5．2　序列數(shù)據(jù)預處理　255
7．5．3　準備輸入輸出數(shù)據(jù)　258
7．5．4　實現(xiàn)簡單的循環(huán)神經(jīng)網(wǎng)絡模型　260
7．6　本章小結　263
引用/參考　264
第8章　循環(huán)神經(jīng)網(wǎng)絡進階序列長期記憶　265
8．1　長期依賴問題　266
8．2　長短期記憶網(wǎng)絡　269
8．2．1　LSTM網(wǎng)絡結構　269
8．2．2　LSTM記憶單元　270
8．2．3　LSTM記憶方式　274
8．3　門控循環(huán)單元　274
8．3．1　GRU記憶單元　275
8．3．2　GRU實現(xiàn)　276
8．3．3　GRU與LSTM比較　277
8．4　示例1：神奇的機器翻譯　278
8．4．1　基于統(tǒng)計的機器翻譯　279
8．4．2　基于神經(jīng)網(wǎng)絡的機器翻譯　282
8．4．3　編碼-解碼模型　283
8．4．4　平衡語料數(shù)據(jù)集　287
8．4．5　機器翻譯的未來　292
8．5　示例2：智能對話機器人　293
8．5．1　Seq2Seq模型　294
8．5．2　Seq2Seq模型的缺點　295
8．5．3　超越Seq2Seq框架　296
8．6　示例3：智能語音識別音箱　299
8．6．1　語音識別框架　300
8．6．2　準備語音數(shù)據(jù)　302
8．6．3　語音特征提取　306
8．6．4　聲學模型　311
8．6．5　語言模型　323
8．6．6　語音識別的展望　323
8．7　本章小結　324
引用/參考　325