現(xiàn)代回歸分析方法引論

目錄 
前言 
第1章 引言 1 
1.1 相關(guān)關(guān)系 1 
1.2 回歸模型的一般形式 2 
1.3 回歸模型的建模過(guò)程 2 
第2章 預(yù)備知識(shí) 4 
2.1 一元線(xiàn)性回歸 4 
2.1.1 散點(diǎn)圖，回歸模型，矩陣表達(dá) 4 
2.1.2 模型的建立——參數(shù)估計(jì) 4 
2.1.3 最小二乘估計(jì)的性質(zhì) 5 
2.1.4 一元線(xiàn)性回歸模型的顯著性檢驗(yàn) 7 
2.2 線(xiàn)性模型的最小二乘估計(jì) 9 
2.2.1 最小二乘估計(jì) 9 
2.2.2 最小二乘估計(jì)的統(tǒng)計(jì)性質(zhì) 12 
2.2.3 最小二乘估計(jì)的最優(yōu)性 17 
2.2.4 帶約束的最小二乘估計(jì) 20 
2.3 假設(shè)檢驗(yàn) 21 
2.3.1 一般線(xiàn)性檢驗(yàn) 21 
2.3.2 回歸方程的顯著性檢驗(yàn) 24 
2.3.3 回歸系數(shù)的顯著性檢驗(yàn) 24 
2.4 有偏估計(jì)||嶺回歸和主成分回歸 25 
2.4.1 復(fù)共線(xiàn)性 25 
2.4.2 嶺回歸 29 
2.4.3 主成分回歸 33 
第3章 變量選擇和貝葉斯線(xiàn)性模型 37 
3.1 全模型和選模型 37 
3.1.1 減少自變量對(duì)模型參數(shù)估計(jì)的影響 38 
3.1.2 減少自變量對(duì)預(yù)測(cè)的影響 39 
3.2 變量選擇 41 
3.2.1 最優(yōu)子集回歸 41
3.2.2 逐步回歸 43 
3.2.3 前向分段回歸 44 
3.3 壓縮方法 45 
3.3.1 嶺回歸 45 
3.3.2 lasso 46 
3.3.3 正交設(shè)計(jì)下 lasso 的解 47 
3.3.4 嶺回歸、lasso 和最優(yōu)子集 49 
3.4 貝葉斯線(xiàn)性模型 51 
3.4.1 最小二乘估計(jì)與極大似然估計(jì) 51 
3.4.2 貝葉斯線(xiàn)性模型與嶺回歸 52 
3.4.3 貝葉斯線(xiàn)性模型學(xué)習(xí)過(guò)程 54 
3.4.4 預(yù)測(cè)分布 58 
第4章 e1 正則化邏輯回歸的隨機(jī)坐標(biāo)下降算法 60 
4.1 引言 60 
4.2 RCSUM 算法及其在 e1 正則化邏輯回歸上的應(yīng)用 62 
4.2.1 問(wèn)題描述及假設(shè) 62 
4.2.2 RCSUM 算法 63 
4.2.3 收斂性分析 64 
4.2.4 RCSUM 求解 e1 范數(shù)正則化邏輯回歸 68 
4.3 加速隨機(jī)算法 APCG 求解 e1 范數(shù)邏輯回歸 71 
4.4 數(shù)值實(shí)驗(yàn) 72 
4.4.1 模擬數(shù)據(jù) 73 
4.4.2 實(shí)驗(yàn)結(jié)果及分析 74 
4.4.3 乳腺癌數(shù)據(jù) 80 
4.5 總結(jié) 81 
第5章 并行坐標(biāo)下降 82 
5.1 引言 82 
5.1.1 相關(guān)工作 82 
5.1.2 動(dòng)機(jī) 83 
5.1.3 貢獻(xiàn) 83 
5.2 PSUM 以及 RPSUM 算法 84 
5.2.1 預(yù)備知識(shí) 84 
5.2.2 主要假設(shè) 85 
5.2.3 PSUM 算法 85 
5.2.4 RPSUM 算法 86
5.3 PSUM 以及 RPSUM 的收斂性分析 87 
5.3.1 PSUM 的收斂性分析 87 
5.3.2 RPSUM 的收斂性分析 91 
5.4 應(yīng)用 94 
5.4.1 RPSUM 解e1 范數(shù)正則化邏輯回歸 95 
5.4.2 實(shí)驗(yàn) 96 
5.4.3 討論 99 
5.4.4 結(jié)論 101 
第6章 隨機(jī)優(yōu)化 102 
6.1 隨機(jī)優(yōu)化問(wèn)題 102 
6.2 在線(xiàn)算法 103 
6.2.1 隨機(jī)梯度法 103 
6.2.2 對(duì)偶平均方法 104 
6.3 帶正則化項(xiàng)的隨機(jī)優(yōu)化問(wèn)題 105 
6.3.1 向前向后分裂算法簡(jiǎn)介 105 
6.3.2 向前向后分裂算法的收斂性 107 
6.4 向前向后分裂算法求解 e1 正則化邏輯回歸 112 
6.5 實(shí)驗(yàn) 114 
6.6 結(jié)論 117 
參考文獻(xiàn) 118 
附錄 A 凸優(yōu)化 121 
A.1 介紹 121 
A.2 凸集 121 
A.3 凸函數(shù) 123 
A.4 凸優(yōu)化問(wèn)題 125 
A.5 拉格朗日對(duì)偶 128 
附錄 B 常用分布表 133 
B.1 t 分布表 133 
B.2 F 分布表 134 
B.3 2 分布表 144