深度學(xué)習(xí)及加速技術(shù)：入門與實(shí)踐

CONTENTS
目　　錄
前言
理論篇
第1章　人工智能簡介 2
1.1　人工智能概念 2
1.1.1　人工智能定義 2
1.1.2　人工智能發(fā)展歷程 3
1.2　人工智能與深度學(xué)習(xí) 4
1.2.1　人工智能與深度學(xué)習(xí)之間
的關(guān)系 4
1.2.2　圖靈機(jī)與丘奇-圖靈論題 5
1.3　人工智能發(fā)展階段 6
1.3.1　人工智能1.0——知識(shí)＋
算法＋算力 6
1.3.2　人工智能2.0——數(shù)據(jù)＋
算法＋算力 7
1.3.3　人工智能3.0——知識(shí)＋
數(shù)據(jù)＋算法＋算力 7
1.3.4　人工智能4.0——存算
一體化 8
1.4　人工智能應(yīng)用 9
1.4.1　工業(yè)零部件尺寸測量與
缺陷檢測 9
1.4.2　目標(biāo)檢測與跟蹤 9
1.4.3　人臉比對(duì)與識(shí)別 10
1.4.4　三維影像重構(gòu) 10
第2章　神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)基礎(chǔ) 12
2.1　線性向量空間 12
2.2　內(nèi)積 14
2.3　線性變換與矩陣表示 15
2.4　梯度 17
第3章　神經(jīng)網(wǎng)絡(luò)與學(xué)習(xí)規(guī)則 20
3.1　神經(jīng)元模型與網(wǎng)絡(luò)結(jié)構(gòu) 20
3.1.1　神經(jīng)元模型 20
3.1.2　神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 22
3.2　感知機(jī)學(xué)習(xí) 24
3.2.1　感知機(jī)定義及結(jié)構(gòu) 24
3.2.2　感知機(jī)學(xué)習(xí)規(guī)則 25
3.3　Hebb學(xué)習(xí) 28
3.3.1　無監(jiān)督Hebb學(xué)習(xí) 28
3.3.2　有監(jiān)督Hebb學(xué)習(xí) 29
3.4　性能學(xué)習(xí) 30
3.4.1　性能指數(shù) 30
3.4.2　梯度下降法 31
3.4.3　隨機(jī)梯度下降法 32
第4章　反向傳播 33
4.1　LMS算法 33
4.2　反向傳播算法 35
4.2.1　性能指數(shù) 36
4.2.2　鏈?zhǔn)椒▌t 36
4.2.3　反向傳播計(jì)算敏感性 38
4.2.4　反向傳播算法總結(jié) 39
4.3　反向傳播算法變形 39
4.3.1　批數(shù)據(jù)訓(xùn)練法 40
4.3.2　動(dòng)量訓(xùn)練法 40
4.3.3　標(biāo)準(zhǔn)數(shù)值優(yōu)化技術(shù) 42
4.4　反向傳播算法實(shí)例分析 42
第5章　卷積神經(jīng)網(wǎng)絡(luò) 45
5.1　卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 45
5.1.1　全連接神經(jīng)網(wǎng)絡(luò)與卷積
神經(jīng)網(wǎng)絡(luò) 45
5.1.2　卷積神經(jīng)網(wǎng)絡(luò)組成結(jié)構(gòu) 46
5.1.3　卷積神經(jīng)網(wǎng)絡(luò)進(jìn)化史 50
5.2　LeNet 50
5.2.1　LeNet結(jié)構(gòu) 51
5.2.2　LeNet特點(diǎn) 52
5.3　AlexNet 52
5.3.1　AlexNet結(jié)構(gòu) 52
5.3.2　AlexNet特點(diǎn) 54
5.4　VGGNet 54
5.4.1　VGG16結(jié)構(gòu) 55
5.4.2　VGG16特點(diǎn) 57
5.5　GoogLeNet 57
5.5.1　Inception結(jié)構(gòu) 57
5.5.2　GoogLeNet結(jié)構(gòu)——基于Inception V1模塊 59
5.5.3　GoogLeNet特點(diǎn) 62
5.6　ResNet 62
5.6.1　ResNet殘差塊結(jié)構(gòu) 63
5.6.2　ResNet結(jié)構(gòu) 63
5.6.3　ResNet特點(diǎn) 66
第6章　目標(biāo)檢測與識(shí)別 67
6.1　R-CNN 67
6.1.1　基于SS方法的候選區(qū)域
選擇 68
6.1.2　候選區(qū)域預(yù)處理 68
6.1.3　CNN特征提取 69
6.1.4　SVM目標(biāo)分類 69
6.1.5　Bounding box回歸 70
6.2　Fast R-CNN 70
6.2.1　基于SS方法的候選區(qū)域
生成 71
6.2.2　CNN分類與回歸 71
6.2.3　Fast R-CNN目標(biāo)檢測
　算法特點(diǎn) 72
6.3　Faster R-CNN 73
6.3.1　CNN特征提取 73
6.3.2　RPN候選框生成 74
6.3.3　CNN分類與回歸 74
6.3.4　Faster R-CNN目標(biāo)檢測
算法特點(diǎn) 75
6.4　YOLO 75
6.4.1　YOLOv1 75
6.4.2　YOLOv2 77
6.4.3　YOLOv3 80
第7章　深度學(xué)習(xí)優(yōu)化技術(shù) 83
7.1　梯度消失 83
7.2　過擬合 85
7.2.1　增加訓(xùn)練數(shù)據(jù)集 85
7.2.2　regularization 86
7.2.3　dropout技術(shù) 88
7.3　初始值與學(xué)習(xí)速度 89
7.3.1　初始值選擇規(guī)則 89
7.3.2　可變的學(xué)習(xí)速度 91
7.4　損失函數(shù) 92
7.4.1　均方誤差損失函數(shù) 92
7.4.2　cross-entropy損失函數(shù) 93
7.4.3　log-likelyhood損失函數(shù) 95
第8章　深度學(xué)習(xí)加速技術(shù) 96
8.1　軟件模型優(yōu)化技術(shù) 96
8.1.1　網(wǎng)絡(luò)模型優(yōu)化 96
8.1.2　計(jì)算精度降低 97
8.1.3　網(wǎng)絡(luò)剪枝技術(shù) 97
8.2　GPU加速技術(shù) 98
8.3　TPU加速技術(shù) 100
8.4　FPGA加速技術(shù) 102
8.4.1　全連接神經(jīng)網(wǎng)絡(luò)加速 102
8.4.2　卷積神經(jīng)網(wǎng)絡(luò)加速 103
應(yīng)用篇
第9章　基于OpenCL的FPGA異構(gòu)
并行計(jì)算技術(shù) 106
9.1　OpenCL技術(shù)基礎(chǔ)與環(huán)境搭建 106
9.1.1　OpenCL技術(shù)基礎(chǔ) 106
9.1.2　OpenCL環(huán)境搭建 107
9.2　OpenCL異構(gòu)并行計(jì)算架構(gòu) 115
9.2.1　平臺(tái)模型 116
9.2.2　執(zhí)行模型 116
9.2.3　內(nèi)存模型 117
9.3　OpenCL C語言基本語法與程序
設(shè)計(jì) 118
9.3.1　基本語法與關(guān)鍵字 118
9.3.2　數(shù)據(jù)類型 119
9.3.3　維度與工作項(xiàng) 122
9.3.4　其他注意事項(xiàng) 123
9.4　基于OpenCL的FPGA異構(gòu)并行
計(jì)算實(shí)現(xiàn)方法 123
9.4.1　主程序設(shè)計(jì) 123
9.4.2　內(nèi)核程序設(shè)計(jì) 139
第10章　基于OpenCL的FPGA異構(gòu)
并行計(jì)算應(yīng)用案例 140
10.1　整體描述 140
10.2　內(nèi)核