超限學(xué)習(xí)機(jī)理論技術(shù)與應(yīng)用

第1章 緒論\t1
1．1　引言　1
1．2　ELM研究背景　2
1．3　ELM概念與內(nèi)涵　3
1．3．1　快速前饋神經(jīng)網(wǎng)絡(luò)　3
1．3．2　通用機(jī)器學(xué)習(xí)單元　4
1．3．3　可信生物學(xué)習(xí)機(jī)制　5
1．4　ELM的發(fā)展歷程　6
1．4．1　第一階段（2006—2010年）：新型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與理論　6
1．4．2　第二階段（2011—2015年）：通用學(xué)習(xí)模型構(gòu)建與解釋　7
1．4．3　第三階段（2016—至今）：生物學(xué)習(xí)機(jī)制研究與硬件實(shí)現(xiàn)　7
1．5　本書內(nèi)容具體安排　8
參考文獻(xiàn)　8
第2章　超限學(xué)習(xí)機(jī)理論　11
2．1　ELM網(wǎng)絡(luò)模型　11
2．1．1　網(wǎng)絡(luò)結(jié)構(gòu)描述　11
2．1．2　網(wǎng)絡(luò)參數(shù)學(xué)習(xí)　13
2．2　ELM網(wǎng)絡(luò)性能分析　14
2．2．1　有效擬合：隨機(jī)投影與通用逼近　15
2．2．2　快速學(xué)習(xí)：等式約束優(yōu)化　19
2．3　ELM學(xué)習(xí)機(jī)制通用性分析　23
2．3．1　顯式映射形式與參數(shù)求解策略　24
2．3．2　核化映射形式與參數(shù)對(duì)偶表示　25
2．3．3　“顯式”與“核化”的統(tǒng)一　27
2．4　本章小結(jié)　29
參考文獻(xiàn)　30
第3章　超限學(xué)習(xí)機(jī)分類與回歸　32
3．1　分類與回歸——ELM的統(tǒng)一性解決策略　32
3．1．1　均方誤差代價(jià)函數(shù)：分類與回歸的統(tǒng)一　33
3．1．2　等式優(yōu)化約束項(xiàng)：二分類與多分類的統(tǒng)一　34
3．2　標(biāo)簽不平衡——加權(quán)ELM　35
3．2．1　加權(quán)ELM模型構(gòu)建　36
3．2．2　加權(quán)ELM機(jī)理分析　37
3．2．3　加權(quán)ELM性能評(píng)估　39
3．3　標(biāo)簽缺失——弱監(jiān)督ELM　40
3．3．1　弱監(jiān)督ELM模型構(gòu)建　41
3．3．2　弱監(jiān)督ELM機(jī)理分析　45
3．3．3　弱監(jiān)督ELM性能評(píng)估　45
3．4　樣本動(dòng)態(tài)更迭——在線序貫ELM　53
3．4．1　在線序貫ELM模型構(gòu)建　54
3．4．2　在線序貫ELM機(jī)理分析　56
3．4．3　在線序貫ELM性能評(píng)估　56
3．5　樣本含噪——濾波型ELM　59
3．5．1　濾波型ELM模型構(gòu)建　59
3．5．2　濾波型ELM機(jī)理分析　62
3．5．3　濾波型ELM性能評(píng)估　63
3．6　本章小結(jié)　66
參考文獻(xiàn)　66
第4章　超限學(xué)習(xí)機(jī)特征學(xué)習(xí)　69
4．1　ELM特征選擇　69
4．1．1　ELM包裹式特征選擇　71
4．1．2　ELM嵌入式特征選擇　77
4．2　ELM單隱藏層特征映射學(xué)習(xí)　80
4．2．1　有監(jiān)督隨機(jī)特征映射　81
4．2．2　無(wú)監(jiān)督特征自編碼器　87
4．3　ELM層次化特征映射學(xué)習(xí)　92
4．3．1　隨機(jī)特征映射遞歸　93
4．3．2　特征自編碼器棧式堆疊　97
4．4　ELM層次化特征映射學(xué)習(xí)與深度學(xué)習(xí)的聯(lián)系　100
4．4．1　特征映射建模：普適性與自適應(yīng)性　100
4．4．2　特征優(yōu)化方法：凸優(yōu)化與非凸尋優(yōu)　102
4．5　本章小結(jié)　104
參考文獻(xiàn)　105
第5章　超限學(xué)習(xí)機(jī)工程實(shí)現(xiàn)　107
5．1　面向模型訓(xùn)練的并行加速技術(shù)　107
5．1．1　分布式軟件架構(gòu)加速　108
5．1．2　GPU平臺(tái)加速　121
5．1．3　云端集群計(jì)算平臺(tái)加速　124
5．2　面向模型測(cè)試的嵌入式實(shí)時(shí)處理系統(tǒng)設(shè)計(jì)　127
5．2．1　基于FPGA平臺(tái)的ELM模擬驗(yàn)證系統(tǒng)　128
5．2．2　基于ASIC平臺(tái)的ELM實(shí)際架構(gòu)系統(tǒng)　132
5．3　本章小結(jié)　146
參考文獻(xiàn)　147
第6章　超限學(xué)習(xí)機(jī)領(lǐng)域應(yīng)用　149
6．1　智能安防應(yīng)用實(shí)例　149
6．1．1　監(jiān)控系統(tǒng)的目標(biāo)跟蹤　149
6．1．2　門禁系統(tǒng)的人臉識(shí)別　154
6．1．3　報(bào)警系統(tǒng)的行為識(shí)別　159
6．2　衛(wèi)星遙感應(yīng)用實(shí)例　163
6．2．1　SAR圖像在軌變化檢測(cè)　163
6．2．2　高光譜圖像農(nóng)作物分類　170
6．2．3　可見(jiàn)光氣象影像云圖分類識(shí)別　176
6．3　生物醫(yī)藥應(yīng)用實(shí)例　182
6．3．1　運(yùn)動(dòng)想像腦電信號(hào)分類　182
6．3．2　骨髓細(xì)胞分類　187
6．3．3　基因表達(dá)數(shù)據(jù)分類　192
6．4　本章小結(jié)　195
參考文獻(xiàn)　196
第7章　研究總結(jié)與未來(lái)展望　199
7．1　研究總結(jié)與結(jié)論　200
7．2　發(fā)展趨勢(shì)分析　200
7．2．1　應(yīng)用前景　201
7．2．2　技術(shù)走向　201
7．2．3　難點(diǎn)與挑戰(zhàn)　203
7．3　本章小結(jié)　206
參考文獻(xiàn)　206
附錄A　矩陣與最優(yōu)化　208
A．1　范數(shù)及最小化　208
A．2　流形假設(shè)與圖拉普拉斯矩陣　210
A．2．1　流形假設(shè)　210
A．2．2　圖拉普拉斯矩陣　210
附錄B　概率與不等式　213
B．1　高斯分布與投影結(jié)果分析　213
B．2　不等式與投影結(jié)果的穩(wěn)定性描述　214
名詞索引　217