深度學(xué)習(xí)原理及實踐：詳解圖像處理和信號識別領(lǐng)域的14個案例

第一篇深度學(xué)習(xí)基礎(chǔ)篇
第1章深度學(xué)習(xí)概述
1.1人工智能
1.1.1人工智能概念
1.1.2人工智能發(fā)展歷程
1.1.3人工智能學(xué)派
1.2機(jī)器學(xué)習(xí)
1.2.1機(jī)器學(xué)習(xí)問題描述
1.2.2機(jī)器學(xué)習(xí)理論基礎(chǔ)
1.2.3機(jī)器學(xué)習(xí)基本流程
1.2.4機(jī)器學(xué)習(xí)知識框架
1.2.5機(jī)器學(xué)習(xí)三要素
1.2.6機(jī)器學(xué)習(xí)路線圖
1.3表示學(xué)習(xí)
1.3.1表示學(xué)習(xí)基本概念
1.3.2表示學(xué)習(xí)理論基礎(chǔ)
1.3.3網(wǎng)絡(luò)表示學(xué)習(xí)流程
1.4深度學(xué)習(xí)
1.4.1深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)處理過程
1.4.2深度學(xué)習(xí)訓(xùn)練算法
1.4.3深度學(xué)習(xí)知識體系
1.4.4深度學(xué)習(xí)與機(jī)器學(xué)習(xí)、人工智能的關(guān)系
第2章深度學(xué)習(xí)的數(shù)學(xué)與優(yōu)化基礎(chǔ)
2.1導(dǎo)數(shù)與梯度
2.1.1導(dǎo)數(shù)
2.1.2方向?qū)?shù)
2.1.3梯度
2.2線性代數(shù)
2.2.1線性變換
2.2.2矩陣
2.2.3基變換
2.2.4特征值和特征向量
2.3概率論
2.3.1概率
2.3.2隨機(jī)變量及其分布
2.3.3隨機(jī)變量的數(shù)字特征
2.3.4隨機(jī)信號中的常見分布律
2.4學(xué)習(xí)規(guī)則
2.4.1赫布規(guī)則
2.4.2性能曲面和最佳點(diǎn)
2.5性能優(yōu)化
2.5.1最速下降法
2.5.2牛頓法
2.5.3共軛梯度法
2.6信息與熵
2.6.1信息及信息量
2.6.2信息熵
2.6.3聯(lián)合熵與條件熵
2.6.4相對熵與交叉熵
2.6.5重要定理
2.6.6隨機(jī)過程的熵率
第二篇神經(jīng)網(wǎng)絡(luò)篇
第3章人工神經(jīng)網(wǎng)絡(luò)
3.1神經(jīng)網(wǎng)絡(luò)
3.1.1神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與神經(jīng)元
3.1.2McCullochPitts網(wǎng)絡(luò)
3.1.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)
3.1.4人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式
3.2感知器
3.2.1單層感知器
3.2.2雙層感知器
3.2.3多層感知器
3.3BP學(xué)習(xí)算法
3.4案例1： 基于PCABP神經(jīng)網(wǎng)絡(luò)的數(shù)字儀器識別技術(shù)
3.4.1表盤區(qū)域提取
3.4.2圖像預(yù)處理
3.4.3字符分割
3.4.4字符識別的神經(jīng)網(wǎng)絡(luò)
3.4.5實驗設(shè)計
第4章Hopfield神經(jīng)網(wǎng)絡(luò)
4.1離散Hopfield神經(jīng)網(wǎng)絡(luò)
4.1.1網(wǎng)絡(luò)原理
4.1.2網(wǎng)絡(luò)架構(gòu)
4.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)
4.2.1能量函數(shù)與狀態(tài)方程
4.2.2網(wǎng)絡(luò)架構(gòu)
4.2.3優(yōu)化架構(gòu)
4.3案例2： 基于連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)的三維地形路徑規(guī)劃算法
4.3.1地形函數(shù)模型
4.3.2三維地形建模
4.3.3三維地形下路徑規(guī)劃算法
4.3.4仿真實驗與結(jié)果分析
第5章脈沖耦合神經(jīng)網(wǎng)絡(luò)
5.1脈沖耦合神經(jīng)網(wǎng)絡(luò)模型
5.1.1Eckhorn神經(jīng)元模型
5.1.2脈沖耦合神經(jīng)網(wǎng)絡(luò)模型原理
5.1.3PCNN參數(shù)的作用
5.2PCNN點(diǎn)火行為
5.2.1無耦合連接
5.2.2耦合連接
5.3PCNN的特性
5.3.1變閾值特性
5.3.2捕獲特性
5.3.3動態(tài)特性
5.3.4同步脈沖發(fā)放特性
5.4交叉皮層模型
5.5貝葉斯連接域神經(jīng)網(wǎng)絡(luò)模型
5.5.1帶噪聲的神經(jīng)元發(fā)放方式
5.5.2神經(jīng)元輸入的貝葉斯耦合方式
5.5.3神經(jīng)元之間的競爭關(guān)系
5.6案例3： 基于PCNN和圖像熵的各向異性擴(kuò)散模型
5.6.1各向異性擴(kuò)散模型
5.6.2IEAD模型
5.6.3PCNNIEAD模型
5.6.4仿真實驗與結(jié)果分析
第三篇卷積神經(jīng)網(wǎng)絡(luò)篇
第6章深度卷積神經(jīng)網(wǎng)絡(luò)
6.1深度學(xué)習(xí)框架
6.2卷積神經(jīng)網(wǎng)絡(luò)模型
6.2.1卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
6.2.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
6.3卷積神經(jīng)網(wǎng)絡(luò)原理
6.3.1標(biāo)準(zhǔn)卷積
6.3.2卷積連接
6.3.3卷積層
6.3.4池化層
6.4激活函數(shù)
6.5學(xué)習(xí)策略
6.5.1損失函數(shù)
6.5.2批標(biāo)準(zhǔn)化
6.5.3多監(jiān)督學(xué)習(xí)
6.6規(guī)范化技術(shù)
6.7常見的幾種卷積神經(jīng)網(wǎng)絡(luò)
6.7.1殘差網(wǎng)絡(luò)
6.7.2遞歸結(jié)構(gòu)
6.7.3多路徑結(jié)構(gòu)
6.7.4稠密連接結(jié)構(gòu)
6.7.5LeNet 5
6.7.6AlexNet
6.7.7GoogLeNet
6.8案例4： 基于卷積神經(jīng)網(wǎng)絡(luò)的調(diào)制信號識別算法
6.8.1信號模型和累積量特征
6.8.2基于卷積神經(jīng)網(wǎng)絡(luò)的調(diào)制信號識別算法
6.8.3仿真實驗與結(jié)果分析
6.9案例5： 基于深度學(xué)習(xí)的信號性能特征分析
6.9.1通信信號分類特征
6.9.2基于深度神經(jīng)網(wǎng)絡(luò)的有限元判別分析
6.9.3仿真實驗與結(jié)果分析
第7章混合空洞卷積神經(jīng)網(wǎng)絡(luò)
7.1空洞卷積
7.1.1增加卷積多樣性的方法
7.1.2卷積多樣性的表征
7.2空洞卷積神經(jīng)網(wǎng)絡(luò)
7.2.1空洞卷積的原理
7.2.2空洞卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計
7.2.3空洞卷積神經(jīng)網(wǎng)絡(luò)模型性能評價
7.2.4模型架構(gòu)
7.3混合空洞卷積神經(jīng)網(wǎng)絡(luò)
7.3.1混合空洞卷積神經(jīng)網(wǎng)絡(luò)原理
7.3.2混合空洞卷積神經(jīng)網(wǎng)絡(luò)設(shè)計
7.3.3混合空洞卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)
7.4混合空洞Faster RCNN模型
7.4.1RCNN模型
7.4.2Fast RCNN模型
7.4.3Faster RCNN模型
7.4.4混合空洞Faster RCNN模型原理
7.4.5HDFRCNN模型設(shè)計
7.4.6HDFRCNN模型架構(gòu)
7.5多尺度空洞卷積神經(jīng)網(wǎng)絡(luò)
7.6多尺度多深度空洞卷積神經(jīng)網(wǎng)絡(luò)
7.7案例6： 基于多尺度空洞卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像融合算法
7.7.1常用的遙感圖像融合算法
7.7.2基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重構(gòu)算法
7.7.3超分辨率多尺度空洞卷積神經(jīng)網(wǎng)絡(luò)
7.7.4仿真實驗與結(jié)果分析
7.8案例7： 基于多尺度多深度空洞卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像融合算法
7.8.1多尺度多深度空洞卷積神經(jīng)網(wǎng)絡(luò)
7.8.2仿真實驗與結(jié)果分析
第8章深度生成對抗與強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)
8.1概率生成模型
8.1.1依概率分類
8.1.2密度估計
8.1.3生成樣本
8.1.4生成模型與判別模型
8.2變分自編碼器
8.2.1含隱變量的生成模型
8.2.2推斷網(wǎng)絡(luò)
8.2.3生成網(wǎng)絡(luò)
8.2.4綜合模型
8.2.5再參數(shù)化
8.2.6訓(xùn)練
8.3生成對抗網(wǎng)絡(luò)
8.3.1顯式與隱式密度模型
8.3.2網(wǎng)絡(luò)分解
8.4深度強(qiáng)化對抗學(xué)習(xí)網(wǎng)絡(luò)
8.4.1Exposure圖像增強(qiáng)模型
8.4.2相對對抗學(xué)習(xí)及獎勵函數(shù)
8.4.3評論家正則化策略梯度算法
8.4.4網(wǎng)絡(luò)結(jié)構(gòu)
8.5循環(huán)生成對抗網(wǎng)絡(luò)
8.5.1CycleGAN結(jié)構(gòu)
8.5.2CycleGAN的損失函數(shù)
8.5.3改進(jìn)的CycleGAN
8.6案例8： 基于生成對抗網(wǎng)絡(luò)的高動態(tài)范圍圖像生成技術(shù)
8.6.1網(wǎng)絡(luò)模型及相關(guān)模塊
8.6.2HDRGAN目標(biāo)函數(shù)
8.6.3仿真實驗與結(jié)果分析
第四篇循環(huán)遞歸神經(jīng)網(wǎng)絡(luò)篇
第9章循環(huán)神經(jīng)網(wǎng)絡(luò)
9.1RNN模型
9.1.1RNN原理
9.1.2RNN的損失函數(shù)
9.1.3BPTT算法
9.2基于SGD優(yōu)化的RNN算法 
9.3基于RLS優(yōu)化的RNN算法
9.3.1RLS算法
9.3.2RLS算法優(yōu)化RNN
9.3.3RLSRNN的改進(jìn) 
9.4案例9： 一種關(guān)聯(lián)RNN的非侵入式負(fù)荷辨識算法
9.4.1關(guān)聯(lián)RNN的負(fù)荷辨識算法
9.4.2仿真實驗與結(jié)果分析
9.5案例10： 基于DTCWT和RNN編碼器的圖像壓縮算法
9.5.1數(shù)學(xué)模型
9.5.2仿真實驗與結(jié)果分析
第10章深度遞歸級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)
10.1深度遞歸卷積神經(jīng)網(wǎng)絡(luò)
10.1.1遞歸卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
10.1.2深度遞歸級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)框架
10.2雙線性遞歸神經(jīng)網(wǎng)絡(luò)
10.2.1BRNN結(jié)構(gòu)
10.2.2粒子群算法優(yōu)化BRNN
10.33D卷積遞歸神經(jīng)網(wǎng)絡(luò) 
10.3.13DCNN提取空間特征 
10.3.2BiRNN模型
10.3.33DCRNN結(jié)構(gòu)
10.4案例11： 基于注意力機(jī)制與門控循環(huán)單元的圖像去雨算法
10.4.1圖像去雨的注意力機(jī)制與門控循環(huán)網(wǎng)絡(luò)模型
10.4.2仿真實驗與結(jié)果分析
10.5案例12： 基于級聯(lián)遞歸殘差卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像超分辨率算法
10.5.1網(wǎng)絡(luò)架構(gòu)
10.5.2三層跳接遞歸殘差網(wǎng)絡(luò)架構(gòu)
10.5.3仿真實驗與結(jié)果分析
第11章長短期記憶神經(jīng)網(wǎng)絡(luò)
11.1長短期記憶神經(jīng)網(wǎng)絡(luò)
11.1.1前向計算
11.1.2LSTM網(wǎng)絡(luò)的BPTT算法
11.1.3誤差項沿時間反向傳遞
11.1.4權(quán)重梯度計算
11.2雙路卷積長短期記憶神經(jīng)網(wǎng)絡(luò)
11.3案例13： 基于LSTM網(wǎng)絡(luò)的非合作水聲信號調(diào)制識別算法
11.3.1基于通信信號瞬時特征的LSTM分類器
11.3.2評估標(biāo)準(zhǔn)
11.3.3抗噪聲性能
11.3.4仿真實驗與結(jié)果分析
11.4案例14： 混合長短期記憶網(wǎng)絡(luò)的指紋室外定位算法
11.4.1數(shù)據(jù)集和模型
11.4.2仿真實驗與結(jié)果分析
附錄
參考文獻(xiàn)