機(jī)器學(xué)習(xí)、理論、實(shí)踐與提高

目錄
第 1 章 機(jī)器學(xué)習(xí)理論簡述 1
1 1 經(jīng)驗(yàn)誤差最小化 2
1 1 1 假設(shè)與定義 2
1 1 2 原理陳述 4
1 2 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原理的一致性 4
1 2 1 在測試集上估計(jì)泛化誤差 6
1 2 2 泛化誤差的一致邊界 7
1 2 3 結(jié)構(gòu)風(fēng)險(xiǎn)最小化 15
1 3 依賴于數(shù)據(jù)的泛化誤差界 17
1 3 1 Rademacher 復(fù)雜度 17
1 3 2 Rademacher 復(fù)雜度和 VC 維的聯(lián)系 17
1 3 3 利用 Rademacher 復(fù)雜度獲取泛化界的步驟 19
1 3 4 Rademacher 復(fù)雜度的性質(zhì) 23
第 2 章 無約束凸優(yōu)化算法 26
2 1 梯度法 29
2 1 1 批處理模式 29
2 1 2 在線模式 31
2 2 擬牛頓法 32
2 2 1 牛頓方向 32
2 2 2 Broyden-Fletcher-Goldfarb-Shanno 公式 33
2 3 線搜索 36
2 3 1 Wolfe 條件 37
2 3 2 基于回溯策略的線搜索 41
2 4 共軛梯度法 43
2 4 1 共軛方向 43
2 4 2 共軛梯度算法 46
第 3 章 二類分類 48
3 1 感知機(jī) 48
3 1 1 感知機(jī)的收斂性定理 51
3 1 2 帶間隔感知機(jī)及其與經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原理的聯(lián)系 53
3 2 Adaline 54
3 2 1 與線性回歸和經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原理的聯(lián)系 54
3 3 Logistic 回歸 56
3 3 1 與經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原理的聯(lián)系 57
3 4 支持向量機(jī) 58
3 4 1 硬間隔 58
3 4 2 軟間隔 63
3 4 3 基于間隔的泛化誤差界 66
3 5 AdaBoost 68
3 5 1 與經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原理的聯(lián)系 70
3 5 2 拒絕法抽樣 72
3 5 3 理論研究 73
第 4 章 多類分類 76
4 1 形式表述 76
4 1 1 分類誤差 77
4 1 2 泛化誤差界 77
4 2 單一法 80
4 2 1 多類支持向量機(jī) 80
4 2 2 多類 AdaBoost 84
4 2 3 多層感知機(jī) 87
4 3 組合二類分類算法的模型 91
4 3 1 一對(duì)全 91
4 3 2 一對(duì)一 92
4 3 3 糾錯(cuò)碼 93
第 5 章 半監(jiān)督學(xué)習(xí) 95
5 1 無監(jiān)督框架和基本假設(shè) 95
5 1 1 混合密度模型 96
5 1 2 估計(jì)混合參數(shù) 96
5 1 3 半監(jiān)督學(xué)習(xí)的基本假設(shè) 102
5 2 生成法 104
5 2 1 似然準(zhǔn)則在半監(jiān)督學(xué)習(xí)情形的推廣 104
5 2 2 半監(jiān)督 CEM 算法 105
5 2 3 應(yīng)用：樸素貝葉斯分類器的半監(jiān)督學(xué)習(xí) 106
5 3 判別法 108
5 3 1 自訓(xùn)練算法 109
5 3 2 轉(zhuǎn)導(dǎo)支持向量機(jī) 111
5 3 3 貝葉斯分類器誤差的轉(zhuǎn)導(dǎo)界 113
5 3 4 基于偽標(biāo)注的多視角學(xué)習(xí) 116
5 4 圖法 118
5 4 1 標(biāo)注的傳播 119
5 4 2 馬爾可夫隨機(jī)游動(dòng) 121
第 6 章 排序?qū)W習(xí) 123
6 1 形式表述 123
6 1 1 排序誤差函數(shù) 124
6 1 2 樣例排序 127
6 1 3 備擇排序 128
6 2 方法 130
6 2 1 單點(diǎn)法 130
6 2 2 成對(duì)法 135
6 3 互相關(guān)數(shù)據(jù)的學(xué)習(xí) 144
6 3 1 測試界 146
6 3 2 泛化界 146
6 3 3 一些具體例子中的界的估計(jì) 151
附錄 回顧和補(bǔ)充 155
附錄 A 概率論回顧 156
A 1 概率測度 156
A 1 1 可概率化空間 156
A 1 2 概率空間 157
A 2 條件概率 158
A 2 1 貝葉斯公式 158
A 2 2 獨(dú)立性 159
A 3 實(shí)隨機(jī)變量 159
A 3 1 分布函數(shù) 160
A 3 2 隨機(jī)變量的期望和方差 161
A 3 3 集中不等式 162
附錄 B 程序代碼 166
B 1 數(shù)據(jù)結(jié)構(gòu) 166
B 1 1 數(shù)據(jù)集 166
B 1 2 超參數(shù)結(jié)構(gòu) 167
B 2 稀疏表示 168
B 3 程序運(yùn)行 170
B 4 代碼 172
B 4 1 BGFS 算法（ 2 2 2 節(jié)） 172
B 4 2 線搜索（ 2 3 節(jié)） 175
B 4 3 共軛梯度法（ 2 4 節(jié)） 178
B 4 4 感知機(jī)（ 3 1 節(jié)） 180
B 4 5 Adaline 算法（ 3 2 節(jié)） 181
B 4 6 Logistic 回歸（ 3 3 節(jié)） 182
B 4 7 AdaBoost 算法（ 3 5 節(jié)） 184
B 4 8 AdaBoost M2 算法（ 4 2 2 節(jié)） 188
B 4 9 多層感知機(jī)（ 4 2 3 節(jié)） 192
B 4 10 K- 均值算法（ 5 1 2 節(jié)） 195
B 4 11 半監(jiān)督樸素貝葉斯（ 5 2 3 節(jié)） 197
B 4 12 自學(xué)習(xí)（ 5 3 1 節(jié)） 201
B 4 13 一次性自學(xué)習(xí)（ 5 3 1 節(jié)） 204
B 4 14 PRank 算法（ 6 2 1 節(jié)） 205
B 4 15 RankBoost 算法（ 6 2 2 節(jié)） 207
參考文獻(xiàn) 211