深度學(xué)習(xí)TensorFlow編程實戰(zhàn)

第1章 TensorFlow介紹 1
1.1 深度學(xué)習(xí)與TensorFlow簡介 2
1.1.1 深度學(xué)習(xí)簡介 2
1.1.2 TensorFlow簡介 3
1.2 TensorFlow的安裝 6
1.2.1 Anaconda下載 6
1.2.2 在Windows平臺安裝TensorFlow 7
1.2.3 在Linux Ubuntu下安裝TensorFlow 8
1.2.4 Anaconda管理 9
1.3 常用數(shù)據(jù)集 13
1.3.1 MNIST數(shù)據(jù)集 13
1.3.2 Fashion-MNIST數(shù)據(jù)集 14
1.3.3 IMDB數(shù)據(jù)集 16
1.3.4 CIFAR-10數(shù)據(jù)集 18
1.3.5 REUTERS數(shù)據(jù)集 20
1.3.6 QIQC數(shù)據(jù)集 22
1.3.7 Dogs vs. Cats數(shù)據(jù)集 23
第2章 TensorFlow文件操作 25
2.1 CSV文件操作 26
2.1.1 讀取CSV文件 26
2.1.2 生成CSV文件 27
2.2 編寫網(wǎng)絡(luò)下載程序 28
2.3 TFRecords文件操作 30
2.3.1 生成TFRecords文件 30
2.3.2 讀取TFRecords文件 33
2.4 數(shù)據(jù)集API 35
2.4.1 數(shù)據(jù)集對象 35
2.4.2 讀取內(nèi)存數(shù)據(jù) 36
2.4.3 讀取文本文件 38
2.4.4 讀取CSV文件 39
2.4.5 讀取圖像文件 41
第3章 BP神經(jīng)網(wǎng)絡(luò)原理與實現(xiàn) 45
3.1 神經(jīng)網(wǎng)絡(luò)構(gòu)件 46
3.1.1 神經(jīng)元 46
3.1.2 激活函數(shù) 47
3.2 神經(jīng)網(wǎng)絡(luò)原理 52
3.2.1 神經(jīng)網(wǎng)絡(luò)表示 52
3.2.2 前向傳播 54
3.2.3 代價函數(shù) 58
3.2.4 梯度下降 58
3.2.5 反向傳播 60
3.3 BP神經(jīng)網(wǎng)絡(luò)的Python實現(xiàn) 62
3.3.1 輔助函數(shù) 62
3.3.2 前向傳播實現(xiàn) 66
3.3.3 反向傳播實現(xiàn) 68
3.3.4 模型訓(xùn)練和預(yù)測 72
3.3.5 主函數(shù)和運行結(jié)果 74
3.4 BP神經(jīng)網(wǎng)絡(luò)的TensorFlow實現(xiàn) 76
3.4.1 加載數(shù)據(jù)集 76
3.4.2 模型訓(xùn)練和預(yù)測 77
第4章 TensorFlow基礎(chǔ)編程 79
4.1 TensorFlow的編程環(huán)境 80
4.2 TensorFlow計算圖 81
4.3 核心概念 81
4.3.1 變量與占位符 81
4.3.2 矩陣運算 85
4.3.3 常用運算符 86
4.3.4 圖、會話及運行 87
4.4 通過實例學(xué)習(xí)TensorFlow 90
4.4.1 異或問題描述與解決思路 90
4.4.2 低級API解決異或問題 91
4.4.3 用Keras解決異或問題 93
4.4.4 用Estimators解決異或問題 94
4.5 一個簡單的文本分類示例 97
4.6 TensorBoard可視化工具 101
4.6.1 啟動TensorBoard 101
4.6.2 在瀏覽器中查看 103
第5章 神經(jīng)網(wǎng)絡(luò)訓(xùn)練與優(yōu)化 107
5.1 神經(jīng)網(wǎng)絡(luò)迭代概述 108
5.1.1 訓(xùn)練誤差與泛化誤差 108
5.1.2 訓(xùn)練集、驗證集和測試集的劃分 109
5.1.3 偏差與方差 111
5.2 正則化方法 112
5.2.1 提前終止 113
5.2.2 正則化 113
5.2.3 Dropout 115
5.3 優(yōu)化算法 117
5.3.1 小批量梯度下降 117
5.3.2 Momentum算法 119
5.3.3 RMSProp算法 121
5.3.4 Adam算法 124
第6章 卷積神經(jīng)網(wǎng)絡(luò)原理 127
6.1 CNN介紹 128
6.1.1 CNN與圖像處理 128
6.1.2 卷積的基本原理 128
6.1.3 池化的基本原理 138
6.2 Keras實現(xiàn)LeNet-5網(wǎng)絡(luò) 142
6.2.1 LeNet-5介紹 142
6.2.2 使用Keras實現(xiàn)LeNet-5網(wǎng)絡(luò) 143
6.3 用Estimator實現(xiàn)CIFAR-10圖像識別 147
6.3.1 預(yù)創(chuàng)建的Estimator 147
6.3.2 定制 Estimator 151
6.3.3 用TensorBoard查看 157
第7章 卷積神經(jīng)網(wǎng)絡(luò)示例 161
7.1 經(jīng)典CNN案例 162
7.1.1 VGG 162
7.1.2 ResNet 163
7.1.3 Inception 165
7.1.4 Xception 168
7.2 使用預(yù)訓(xùn)練的CNN 169
7.2.1 直接使用預(yù)訓(xùn)練CNN 169
7.2.2 數(shù)據(jù)生成器 172
7.2.3 特征提取 173
7.2.4 微調(diào) 181
7.3 CNN可視化 183
7.3.1 中間激活可視化 183
7.3.2 過濾器可視化 190
第8章 詞嵌入模型 195
8.1 詞嵌入模型介紹 196
8.1.1 獨熱碼 196
8.1.2 詞嵌入 202
8.2 詞嵌入學(xué)習(xí) 204
8.2.1 詞嵌入學(xué)習(xí)的動機 204
8.2.2 Skip-Gram算法 205
8.2.3 CBOW算法 207
8.2.4 負采樣 208
8.2.5 GloVe算法 211
8.3 Word2Vec算法實現(xiàn) 212
8.3.1 Skip-Gram算法實現(xiàn) 212
8.3.2 CBOW算法實現(xiàn) 218
8.3.3 負采樣Skip-Gram算法實現(xiàn) 220
第9章 循環(huán)神經(jīng)網(wǎng)絡(luò)原理 229
9.1 RNN介紹 230
9.1.1 有記憶的神經(jīng)網(wǎng)絡(luò) 230
9.1.2 RNN的用途 233
9.2 基本的RNN模型 236
9.2.1 基本RNN的原理 236
9.2.2 基本RNN的訓(xùn)練問題 241
9.2.3 基本RNN示例 243
9.3 LSTM 246
9.3.1 LSTM原理 246
9.3.2 LSTM示例 250
9.4 GRU 251
9.4.1 GRU原理 251
9.4.2 GRU示例 253
第10章 循環(huán)神經(jīng)網(wǎng)絡(luò)示例 255
10.1 情感分析 256
10.2 文本序列數(shù)據(jù)生成 262
10.2.1 向莎士比亞學(xué)寫詩 262
10.2.2 神經(jīng)機器翻譯 268
參考文獻 282