深度學(xué)習(xí)：原理及遙感地學(xué)分析

目錄
前言
基礎(chǔ)篇
第1章　概率論　3
1.1　概率的本質(zhì)　3
1.2　典型概率分布　6
1.2.1　伯努利分布　6
1.2.2　二項(xiàng)分布　7
1.2.3　貝塔分布　7
1.2.4　多項(xiàng)分布　8
1.2.5　狄利克雷分布　9
1.2.6　高斯分布　10
1.2.7　學(xué)生t分布　13
1.2.8　指數(shù)及拉普拉斯分布　14
1.3　隨機(jī)變量的數(shù)字特征及信息測(cè)度　15
1.4　指數(shù)族分布函數(shù)　17
1.5　混合分布　18
1.6　小結(jié)　19
參考文獻(xiàn)　20
第2章　線性代數(shù)　21
2.1　基本數(shù)據(jù)類型　21
2.2　基本運(yùn)算　22
2.3　求導(dǎo)運(yùn)算　24
2.4　特征值提取及主成分分析　27
2.5　奇異值分解　31
2.6　小結(jié)　33
參考文獻(xiàn)　34
第3章　MCMC隨涵擬　35
3.1　問(wèn)題的提出　35
3.2　蒙特卡羅方法　36
3.2.1　方法基礎(chǔ)　36
3.2.2　拒絕性抽樣　37
3.2.3　重要性抽樣　38
3.3　MCMC方法　39
3.4　M-H采樣　40
3.5　Gibbs采樣　42
3.6　應(yīng)用實(shí)例　44
3.6.1　模擬Beta分布的概率分布　44
3.6.2　采用Gibbs抽樣模擬二維正態(tài)分布　45
3.6.3　模擬退火求極值問(wèn)題　45
3.7　小結(jié)　46
參考文獻(xiàn)　46
第4章　變分優(yōu)化法　48
4.1　問(wèn)題的提出　48
4.2　泛函　49
4.3　變分法　50
4.4　EM算法　53
4.5　*大熵變分方法　55
4.6　求后驗(yàn)分布的變分推斷　57
4.7　小結(jié)　60
參考文獻(xiàn)　61
第5章　懸學(xué)習(xí)基礎(chǔ)　62
5.1　學(xué)習(xí)目標(biāo)　62
5.2　評(píng)價(jià)標(biāo)準(zhǔn)　64
5.2.1　基于概率的評(píng)價(jià)標(biāo)準(zhǔn)　64
5.2.2　基于損失函數(shù)的評(píng)價(jià)標(biāo)準(zhǔn)　65
5.2.3　基于信息論的評(píng)價(jià)標(biāo)準(zhǔn)　67
5.3　監(jiān)督學(xué)習(xí)方法　68
5.3.1　單學(xué)習(xí)器　68
5.3.2　集成學(xué)習(xí)器　72
5.4　非監(jiān)督學(xué)習(xí)方法　83
5.4.1　主成分分析　84
5.4.2　高斯混合模型　84
5.5　偏差與方差：提高模型泛化能力　87
5.5.1　偏差與方差　87
5.5.2　正則化　88
5.5.3　貝葉斯統(tǒng)計(jì)學(xué)方法　90
5.5.4　MAP點(diǎn)估計(jì)　90
5.6　機(jī)器學(xué)習(xí)流程　91
5.7　向深度學(xué)習(xí)器的演化　92
5.8　小結(jié)　93
參考文獻(xiàn)　93
方法篇
第6章　前饋神經(jīng)網(wǎng)絡(luò)　97
6.1　主要構(gòu)成要素　97
6.1.1　目標(biāo)函數(shù)　97
6.1.2　輸入及隱藏層　98
6.1.3　輸出層　102
6.2　深層系統(tǒng)架構(gòu)　107
6.3　反向傳播算法原理　108
6.3.1　全微分　108
6.3.2　復(fù)合函數(shù)求導(dǎo)　110
6.3.3　反向傳播算法　111
6.4　自動(dòng)微分　113
6.4.1　不同的微分方法　114
6.4.2　后向梯度計(jì)算模式　115
6.4.3　前向及后向傳播過(guò)程　117
6.4.4　高效的計(jì)算圖及其實(shí)現(xiàn)算法　119
6.5　小結(jié)　125
參考文獻(xiàn)　125
第7章　模型訓(xùn)練及優(yōu)化　127
7.1　參數(shù)正則化　127
7.2　限制性優(yōu)化　134
7.3　數(shù)據(jù)增強(qiáng)　139
7.4　遷移學(xué)習(xí)　140
7.5　多任務(wù)學(xué)習(xí)及參數(shù)共享　141
7.6　集成學(xué)習(xí)方法　144
7.7　Dropout方法　145
7.8　Early Stopping方法　147
7.9　mini batch梯度下降法　149
7.10　批正則化　152
7.11　優(yōu)化算法主要挑戰(zhàn)　155
7.12　參數(shù)初始化　157
7.13　基本梯度學(xué)習(xí)方法　159
7.14　適應(yīng)性梯度學(xué)習(xí)方法　162
7.15　高階優(yōu)化　167
7.16　算法優(yōu)化策略　168
7.17　小結(jié)　170
參考文獻(xiàn)　172
第8章　卷積神經(jīng)網(wǎng)絡(luò)　174
8.1　神經(jīng)生物學(xué)基礎(chǔ)　174
8.2　感受野　175
8.3　卷積運(yùn)算　175
8.3.1　離散卷積　175
8.3.2　卷積神經(jīng)網(wǎng)絡(luò)中的卷積運(yùn)算　176
8.3.3　填充　177
8.4　CNN基本結(jié)構(gòu)　178
8.4.1　卷積層　178
8.4.2　池化層（下采樣層）　180
8.4.3　全連接層　181
8.4.4　激活函數(shù)　181
8.4.5　損失函數(shù)與優(yōu)化方法　181
8.5　卷積神經(jīng)網(wǎng)絡(luò)發(fā)展歷史　182
8.5.1　LeNet-5模型　183
8.5.2　AlexNet模型　184
8.5.3　VGGNet模型　186
8.5.4　GoogleLeNet模型　187
8.5.5　ResNet模型　187
8.6　卷積神經(jīng)網(wǎng)絡(luò)在遙感地學(xué)方面的應(yīng)用　189
8.7　小結(jié)　190
參考文獻(xiàn)　190
第9章　循環(huán)神經(jīng)網(wǎng)絡(luò)　194
9.1　循環(huán)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)及原理　194
9.1.1　單向循環(huán)神經(jīng)網(wǎng)絡(luò)　195
9.1.2　時(shí)序反向傳播算法　196
9.1.3雙向循環(huán)神經(jīng)網(wǎng)絡(luò)　198
9.2　長(zhǎng)短期記憶網(wǎng)絡(luò)及其變體　199
9.2.1　長(zhǎng)短期記憶網(wǎng)絡(luò)　200
9.2.2　門控循環(huán)單元　201
9.2.3　RNN其他變體　202
9.3　混合神經(jīng)網(wǎng)絡(luò)　203
9.4　循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用　204
9.4.1　自然語(yǔ)言處理　204
9.4.2　地球科學(xué)　205
9.4.3　其他　206
9.5　小結(jié)　206
參考文獻(xiàn)　207
第10章　其他網(wǎng)絡(luò)建模方法　211
10.1　反卷積神經(jīng)網(wǎng)絡(luò)　211
10.2　自動(dòng)編碼器　212
10.3　t-SNE方法　213
10.4　變分自動(dòng)編碼器　214
10.5　生成對(duì)抗網(wǎng)絡(luò)　218
10.6　深度信任網(wǎng)絡(luò)　220
10.7　注意力機(jī)制　223
10.8　圖網(wǎng)絡(luò)　227
10.9　自然語(yǔ)言處理的網(wǎng)絡(luò)模型　232
10.9.1　基本語(yǔ)言模型　232
10.9.2　tf-ldf重要性提取　233
10.9.3　word2vec方法　234
10.9.4神經(jīng)概率語(yǔ)言模型　236
10.9.5　基于Hierarchical Softmax的模型　238
10.9.6　CBOM模型　239
10.9.7　sklp-gram模型　241
10.10　小結(jié)　242
參考文獻(xiàn)　243
遙感地學(xué)分析篇
第11章　遙感地學(xué)分析概述　247
11.1　背景介紹　247
11.2　遙感地學(xué)智能分析的系統(tǒng)框架　250
參考文獻(xiàn)　254
第12章　遙感圖像土地利用分類　256
12.1　遙感圖像土地利用分類方法綜述　256
12.1.1　遙感圖像土地利用分類方法　256
12.1.2　基于深度學(xué)習(xí)的遙感圖像語(yǔ)義分割　258
12.2　相關(guān)工作　259
12.2.1　殘差學(xué)習(xí)　260
12.2.2　多尺度　261
12.2.3　基于深度學(xué)習(xí)的語(yǔ)義分割　262
12.3　多尺度深度殘差自動(dòng)編碼　263
12.3.1　基于自動(dòng)編碼器的結(jié)構(gòu)　263
12.3.2　兩種殘差連接　264
12.3.3　空洞卷積和多尺度的融合　265
12.3.4　訓(xùn)練集的采樣和邊界效應(yīng)　266
12.3.5　衡量指標(biāo)和損失函數(shù)　267
12.3.6　執(zhí)行過(guò)程　268
12.4數(shù)據(jù)集與訓(xùn)練　269
12.4.1　數(shù)據(jù)集　270
12.4.2　訓(xùn)練及測(cè)試　271
12.5　土地利用分類結(jié)果及討論　271
12.6　小結(jié)　278
參考文獻(xiàn)　279
第13章　建筑物識(shí)別　286
13.1　遙感圖像建筑物識(shí)別方法研究　286
13.2　基于形狀表示和多尺度的深度殘差分割方法　287
13.2.1　U-Net結(jié)構(gòu)　287
13.2.2　殘差學(xué)習(xí)　289
13.2.3　ASPP　289
13.2.4　形狀表示自動(dòng)編碼器的正則化方法　290
13.2.5　損失函數(shù)，多尺度和邊界效應(yīng)　291
13.3　實(shí)驗(yàn)數(shù)據(jù)集和評(píng)估　292
13.3.1　研究區(qū)域　293
13.3.2　評(píng)估　293
13.4　建筑物識(shí)別結(jié)果　294
13.5　小結(jié)　301
參考文獻(xiàn)　302
第14章　氣象參數(shù)預(yù)測(cè)　306
14.1　應(yīng)用綜述　306
14.2　中國(guó)大陸風(fēng)速時(shí)空數(shù)據(jù)　307
14.2.1　研究區(qū)域　308
14.2.2　測(cè)量數(shù)據(jù)　308
14.2.3　協(xié)變量　308
14.3　研究方法　309
14.3.1　階段1：地理加權(quán)學(xué)習(xí)　310
14.3.2　階段2：基于深度殘差網(wǎng)絡(luò)的降尺度　314
14.3.3　超參數(shù)優(yōu)化與驗(yàn)證　315
14.4　風(fēng)速預(yù)測(cè)結(jié)果　315
14.4.1　數(shù)據(jù)總結(jié)和預(yù)處理　315
14.4.2　階段1的訓(xùn)練模型　316
14.4.3　階段2的預(yù)測(cè)和降尺度　318
14.5　小結(jié)　322
參考文獻(xiàn)　324
第15章　遙感氣溶膠數(shù)據(jù)缺值處理　327
15.1　缺值數(shù)據(jù)插補(bǔ)方法概述　327
15.2　MAIAC AOD數(shù)據(jù)　328
15.2.1　案例研究區(qū)域　328
15.2.2　數(shù)據(jù)變量　329
15.3　降尺度與深度學(xué)習(xí)結(jié)合的插補(bǔ)方法　330
15.3.1　MAIAC AOD預(yù)處理　330
15.3.2　基于自動(dòng)編碼器的深度殘差網(wǎng)絡(luò)　331
15.3.3　基于深度殘差網(wǎng)絡(luò)的MERRA-2GMI重放模擬AOD降尺度　335
15.3.4　全模型和非全模型　336
15.3.5　超參數(shù)調(diào)整與驗(yàn)證　336
15.3.6　利用AERONET數(shù)據(jù)進(jìn)行偏差校正　337
15.4　插補(bǔ)結(jié)果　338
15.4.1　衛(wèi)星AOD和協(xié)變量概要　338
15.4.2　MERRA-2GMI重放模擬AOD降尺度　339
15.4.3　插補(bǔ)　343
15.4.4　用AERONET數(shù)據(jù)驗(yàn)證模型并校正偏差　344
15.5　小結(jié)　346
參考文獻(xiàn)　348
第16章　地表參數(shù)反演　352
16.1　遙感反演模型概述　352
16.2　利用自動(dòng)微分法轉(zhuǎn)換衛(wèi)星AOD與GAC　353
16.3　GAC模擬的材料和方法　354
16.3.1　案例研究區(qū)域　354
16.3.2　數(shù)據(jù)集　354
16.3.3　地面氣溶膠消光系數(shù)的模擬　355
16.3.4　自動(dòng)微分法求解　357
16.3.5　驗(yàn)證和比較　361
16.4　GAC模擬結(jié)果　361
16.4.1　描述性統(tǒng)計(jì)　361
16.4.2　學(xué)習(xí)和驗(yàn)證　362
16.4.3　方法比較　363
16.4.4　地面氣溶膠系數(shù)模擬值和PMu預(yù)測(cè)值的空間分布　3