智能計(jì)算系統(tǒng)

序言一

序言二

前　言第1章　概述1

　1.1　人工智能1

　　　1.1.1　什么是人工智能1

　　　1.1.2　人工智能的發(fā)展歷史1

　　　1.1.3　人工智能的主要方法4

　1.2　智能計(jì)算系統(tǒng)8

　　　1.2.1　什么是智能計(jì)算系統(tǒng)8

　　　1.2.2　為什么需要智能計(jì)算系統(tǒng)8

　　　1.2.3　智能計(jì)算系統(tǒng)的發(fā)展8

　1.3　驅(qū)動范例11

　1.4　本章小結(jié)13

　習(xí)題13

第2章　神經(jīng)網(wǎng)絡(luò)基礎(chǔ)14

　2.1　從機(jī)器學(xué)習(xí)到神經(jīng)網(wǎng)絡(luò)14

　　　2.1.1　基本概念14

　　　2.1.2　線性回歸15

　　　2.1.3　感知機(jī)17

　　　2.1.4　兩層神經(jīng)網(wǎng)絡(luò)——多層感知機(jī)19

　　　2.1.5　深度學(xué)習(xí)（深層神經(jīng)網(wǎng)絡(luò)）20

　　　2.1.6　神經(jīng)網(wǎng)絡(luò)發(fā)展歷程21

　2.2　神經(jīng)網(wǎng)絡(luò)訓(xùn)練23

　　　2.2.1　正向傳播24

　　　2.2.2　反向傳播25

　2.3　神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)原則27

　　　2.3.1　網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)27

　　　2.3.2　激活函數(shù)27

　　　2.3.3　損失函數(shù)30

　2.4　過擬合與正則化32

　　　2.4.1　過擬合33

　　　2.4.2　正則化34

　2.5　交叉驗(yàn)證37

　2.6　本章小結(jié)39

　習(xí)題39

第3章　深度學(xué)習(xí)41

　3.1　適合圖像處理的卷積神經(jīng)網(wǎng)絡(luò)41

　　　3.1.1　卷積神經(jīng)網(wǎng)絡(luò)的組成42

　　　3.1.2　卷積層43

　　　3.1.3　池化層48

　　　3.1.4　全連接層49

　　　3.1.5　softmax層50

　　　3.1.6　卷積神經(jīng)網(wǎng)絡(luò)總體結(jié)構(gòu)50

　3.2　基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類算法52

　　　3.2.1　AlexNet53

　　　3.2.2　VGG56

　　　3.2.3　Inception59

　　　3.2.4　ResNet66

　3.3　基于卷積神經(jīng)網(wǎng)絡(luò)的圖像目標(biāo)檢測算法69

　　　3.3.1　評價(jià)指標(biāo)69

　　　3.3.2　RCNN系列72

　　　3.3.3　YOLO78

　　　3.3.4　SSD81

　　　3.3.5　小結(jié)83

 3.4　序列模型：循環(huán)神經(jīng)網(wǎng)絡(luò)83

　　　3.4.1　RNN84

　　　3.4.2　LSTM88

　　　3.4.3　GRU89

　　　3.4.4　小結(jié)90

　3.5　生成對抗網(wǎng)絡(luò)91

　　　3.5.1　模型組成91

　　　3.5.2　GAN訓(xùn)練92

　　　3.5.3　GAN結(jié)構(gòu)94

　3.6　驅(qū)動范例96

　　　3.6.1　基于卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移算法96

　　　3.6.2　實(shí)時(shí)圖像風(fēng)格遷移算法98

　3.7　本章小結(jié)100

　習(xí)題100

第4章　編程框架使用101

　4.1　為什么需要編程框架101

　4.2　編程框架概述102

　　　4.2.1　通用編程框架概述102

　　　4.2.2　TensorFlow概述102

　4.3　TensorFlow編程模型及基本用法103

　　　4.3.1　計(jì)算圖104

　　　4.3.2　操作105

　　　4.3.3　張量106

　　　4.3.4　會話110

　　　4.3.5　變量114

　　　4.3.6　占位符116

　　　4.3.7　隊(duì)列117

　4.4　基于TensorFlow實(shí)現(xiàn)深度學(xué)習(xí)預(yù)測117

　　　4.4.1　讀取輸入樣本118

　　　4.4.2　定義基本運(yùn)算單元118

　　　4.4.3　創(chuàng)建神經(jīng)網(wǎng)絡(luò)模型122

　　　4.4.4　計(jì)算神經(jīng)網(wǎng)絡(luò)模型輸出123

　4.5　基于TensorFlow實(shí)現(xiàn)深度學(xué)習(xí)訓(xùn)練123

　　　4.5.1　加載數(shù)據(jù)123

　　　4.5.2　模型訓(xùn)練129

　　　4.5.3　模型保存135

　　　4.5.4　圖像風(fēng)格遷移訓(xùn)練的實(shí)現(xiàn)137

　4.6　本章小結(jié)139

　習(xí)題139

第5章　編程框架機(jī)理141

　5.1　TensorFlow設(shè)計(jì)原則141

　　　5.1.1　高性能141

　　　5.1.2　易開發(fā)142

　　　5.1.3　可移植142

　5.2　TensorFlow計(jì)算圖機(jī)制142

　　　5.2.1　一切都是計(jì)算圖143

　　　5.2.2　計(jì)算圖本地執(zhí)行150

　　　5.2.3　計(jì)算圖分布式執(zhí)行154

　5.3　TensorFlow系統(tǒng)實(shí)現(xiàn)155

　　　5.3.1　整體架構(gòu)155

　　　5.3.2　計(jì)算圖執(zhí)行模塊156

　　　5.3.3　設(shè)備抽象和管理161

　　　5.3.4　網(wǎng)絡(luò)和通信162

　　　5.3.5　算子實(shí)現(xiàn)167

　5.4　編程框架對比169

　　　5.4.1　TensorFlow170

　　　5.4.2　PyTorch171

　　　5.4.3　MXNet171

　　　5.4.4　Caffe172

　5.5　本章小結(jié)172

　習(xí)題172

第6章　深度學(xué)習(xí)處理器原理174

　6.1　深度學(xué)習(xí)處理器概述174

　　　6.1.1　深度學(xué)習(xí)處理器的意義174

　　　6.1.2　深度學(xué)習(xí)處理器的發(fā)展歷史175

　　　6.1.3　設(shè)計(jì)思路177

　6.2　目標(biāo)算法分析178

　　　6.2.1　計(jì)算特征178

　　　6.2.2　訪存特征181

　6.3　深度學(xué)習(xí)處理器DLP結(jié)構(gòu)186

　　　6.3.1　指令集186

　　　6.3.2　流水線190

　　　6.3.3　運(yùn)算部件190

　　　6.3.4　訪存部件193

　　　6.3.5　算法到芯片的映射194

　　　6.3.6　小結(jié)195

　6.4　優(yōu)化設(shè)計(jì)195

　　　6.4.1　基于標(biāo)量MAC的運(yùn)算

部件195

　　　6.4.2　稀疏化198

　　　6.4.3　低位寬199

　6.5　性能評價(jià)201

　　　6.5.1　性能指標(biāo)201

　　　6.5.2　測試基準(zhǔn)程序202

　　　6.5.3　影響性能的因素203

　6.6　其他加速器203

　　　6.6.1　GPU架構(gòu)簡述204

　　　6.6.2　FPGA架構(gòu)簡述204

　　　6.6.3　DLP與GPU、FPGA的對比205

　6.7　本章小結(jié)206

　習(xí)題206

第7章　深度學(xué)習(xí)處理器架構(gòu)207

　7.1　單核深度學(xué)習(xí)處理器207

　　　7.1.1　總體架構(gòu)208

　　　7.1.2　控制模塊209

　　　7.1.3　運(yùn)算模塊212

　　　7.1.4　存儲單元215

　　　7.1.5　小結(jié)215

　7.2　多核深度學(xué)習(xí)處理器216

　　　7.2.1　總體架構(gòu)216

　　　7.2.2　Cluster架構(gòu)217

　　　7.2.3　互聯(lián)架構(gòu)223

　　　7.2.4　小結(jié)224

　7.3　本章小結(jié)225

　習(xí)題225

第8章　智能編程語言227

　8.1　為什么需要智能編程語言227

　　　8.1.1　語義鴻溝228

　　　8.1.2　硬件鴻溝230

　　　8.1.3　平臺鴻溝232

　　　8.1.4　小結(jié)233

　8.2　智能計(jì)算系統(tǒng)抽象架構(gòu)234

　　　8.2.1　抽象硬件架構(gòu)234

　　　8.2.2　典型智能計(jì)算系統(tǒng)235

　　　8.2.3　控制模型236

　　　8.2.4　計(jì)算模型236

　　　8.2.5　存儲模型237

　8.3　智能編程模型238

　　　8.3.1　異構(gòu)編程模型239

　　　8.3.2　通用智能編程模型242

　8.4　智能編程語言基礎(chǔ)247

　　　8.4.1　語法概述247

　　　8.4.2　數(shù)據(jù)類型248

　　　8.4.3　宏、常量與內(nèi)置變量250

　　　8.4.4　I/O操作語句250

　　　8.4.5　標(biāo)量計(jì)算語句252

　　　8.4.6　張量計(jì)算語句252

　　　8.4.7　控制流語句252

　　　8.4.8　串行程序示例253

　　　8.4.9　并行程序示例254

　8.5　智能應(yīng)用編程接口255

　　　8.5.1　Kernel函數(shù)接口255

　　　8.5.2　運(yùn)行時(shí)接口257

　　　8.5.3　使用示例259

　8.6　智能應(yīng)用功能調(diào)試262

　　　8.6.1　功能調(diào)試方法262

　　　8.6.2　功能調(diào)試接口266

　　　8.6.3　功能調(diào)試工具269

　　　8.6.4　精度調(diào)試方法272

　　　8.6.5　功能調(diào)試實(shí)踐272

　8.7　智能應(yīng)用性能調(diào)優(yōu)280

　　　8.7.1　性能調(diào)優(yōu)方法280

　　　8.7.2　性能調(diào)優(yōu)接口282

　　　8.7.3　性能調(diào)優(yōu)工具286

　　　8.7.4　性能調(diào)優(yōu)實(shí)踐287

　8.8　基于智能編程語言的系統(tǒng)開發(fā)294

　　　8.8.1　高性能庫算子開發(fā)294

　　　8.8.2　編程框架算子開發(fā)300

　　　8.8.3　系統(tǒng)開發(fā)與優(yōu)化實(shí)踐304

　習(xí)題321

第9章　實(shí)驗(yàn)323

　9.1　基礎(chǔ)實(shí)驗(yàn)：圖像風(fēng)格遷移323

　　　9.1.1　基于智能編程語言的算子實(shí)現(xiàn)323

　　　9.1.2　圖像風(fēng)格遷移的實(shí)現(xiàn)326

　　　9.1.3　風(fēng)格遷移實(shí)驗(yàn)的操作步驟330

　9.2　拓展實(shí)驗(yàn)：物體檢測333

　　　9.2.1　基于智能編程語言的算子實(shí)現(xiàn)333

　　　9.2.2　物體檢測的實(shí)現(xiàn)337

　9.3　拓展練習(xí)337

附錄A　計(jì)算機(jī)體系結(jié)構(gòu)基礎(chǔ)340

附錄B　實(shí)驗(yàn)環(huán)境說明345

參考文獻(xiàn)348

后記356