R語(yǔ)言：大數(shù)據(jù)分析中的統(tǒng)計(jì)方法及應(yīng)用

第1章 R語(yǔ)言與統(tǒng)計(jì)分析概述 1

1．1 寫在前面的話 1

1．1．1 大數(shù)據(jù)的廣義概念 1

1．1．2 目標(biāo)定位 2

1．1．3 初識(shí)R 3

1．2 R語(yǔ)言入門 3

1．2．1 R中的基本概念 3

1．2．2 R的下載安裝 5

1．2．3 R程序的運(yùn)行 6

1．2．4 R使用的其他方面 10

1．3 Rstudio簡(jiǎn)介 12

1．4 從大數(shù)據(jù)分析案例看統(tǒng)計(jì)分析的基本框架 13

1．4．1 數(shù)據(jù)集 14

1．4．2 分析目標(biāo)和數(shù)據(jù)預(yù)處理 16

1．4．3 數(shù)據(jù)的基本分析 17

1．4．4 總體特征的推斷 17

1．4．5 推斷多個(gè)變量間的總體相關(guān)性 18

1．4．6 數(shù)據(jù)的聚類 19

1．5 本章涉及的R函數(shù) 19

第2章 R的數(shù)據(jù)組織 20

2．1 R的數(shù)據(jù)對(duì)象 20

2．1．1 R對(duì)象的類型劃分 20

2．1．2 創(chuàng)建和管理R對(duì)象 21

2．2 R數(shù)據(jù)組織的基本方式 22

2．2．1 R向量及其創(chuàng)建與訪問 22

2．2．2 R矩陣和數(shù)組及其創(chuàng)建與訪問 27

2．2．3 R數(shù)據(jù)框及其創(chuàng)建與訪問 32

2．2．4 R列表及其創(chuàng)建與訪問 36

2．3 R數(shù)據(jù)組織的其他問題 37

2．3．1 R對(duì)象數(shù)據(jù)的保存 37

2．3．2 通過(guò)鍵盤讀入數(shù)據(jù) 38

2．3．3 共享R自帶的數(shù)據(jù)包 39

2．4 大數(shù)據(jù)案例的數(shù)據(jù)結(jié)構(gòu)和R組織 39

2．4．1 讀文本文件數(shù)據(jù)到R數(shù)據(jù)框 39

2．4．2 大數(shù)據(jù)分析案例：北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù) 40

2．4．3 大數(shù)據(jù)分析案例：美食餐館食客點(diǎn)評(píng)數(shù)據(jù) 41

2．4．3 大數(shù)據(jù)分析案例：超市顧客購(gòu)買行為數(shù)據(jù) 42

2．5 本章涉及的R函數(shù) 43

第3章 R的數(shù)據(jù)整理和編程基礎(chǔ) 45

3．1 從大數(shù)據(jù)分析案例看數(shù)據(jù)整理 45

3．1．1 美食餐館食客點(diǎn)評(píng)數(shù)據(jù)的整理問題 45

3．1．2 超市顧客購(gòu)買行為數(shù)據(jù)的整理問題 45

3．1．3 北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)的整理問題 46

3．2 數(shù)據(jù)的初步整理 46

3．2．1 數(shù)據(jù)整合 46

3．2．2 數(shù)據(jù)篩選 46

3．2．3 大數(shù)據(jù)分析案例：美食餐館食客點(diǎn)評(píng)數(shù)據(jù)的初步整理 47

3．3 數(shù)據(jù)質(zhì)量評(píng)估 49

3．3．1 缺失數(shù)據(jù)報(bào)告 49

3．3．2 異常值排查 50

3．3．3 大數(shù)據(jù)分析案例：美食餐館食客點(diǎn)評(píng)數(shù)據(jù)的質(zhì)量評(píng)估 50

3．4 數(shù)據(jù)加工 52

3．4．1 數(shù)據(jù)加工管理中的常用函數(shù) 53

3．4．2 數(shù)據(jù)分組和重編碼 59

3．4．3 大數(shù)據(jù)分析案例：利用數(shù)據(jù)加工尋找“人氣”餐館 60

3．5 數(shù)據(jù)管理中的R編程基礎(chǔ) 61

3．5．1 分支結(jié)構(gòu)的流程控制及示例――促銷折扣的計(jì)算 61

3．5．2 循環(huán)結(jié)構(gòu)的流程控制及示例：等差數(shù)列的求和 63

3．5．3 用戶自定義函數(shù)及示例：匯總數(shù)據(jù)還原為原始數(shù)據(jù) 65

3．5．4 R編程大數(shù)據(jù)分析案例：超市顧客購(gòu)買行為數(shù)據(jù)的RFM計(jì)算 67

3．5．5 R編程大數(shù)據(jù)分析案例：北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)的整理 68

3．6 本章涉及的R函數(shù) 70

第4章 R的基本分析和統(tǒng)計(jì)圖形 71

4．1 從大數(shù)據(jù)分析案例看數(shù)據(jù)基本分析 71

4．1．1 美食餐館食客點(diǎn)評(píng)數(shù)據(jù)的基本分析 71

4．1．2 北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)的基本分析 72

4．2 R的繪圖基礎(chǔ) 73

4．2．1 圖形設(shè)備和圖形文件 73

4．2．2 圖形組成和圖形參數(shù) 74

4．3 分類型單變量的基本分析 78

4．3．1 計(jì)算頻數(shù)分布表 78

4．3．2 分類型變量的基本統(tǒng)計(jì)圖形 78

4．3．3 大數(shù)據(jù)分析案例：主打菜的餐館分布有怎樣的特點(diǎn) 79

4．4 數(shù)值型單變量的基本分析 80

4．4．1 計(jì)算基本描述統(tǒng)計(jì)量 80

4．4．2 數(shù)值型變量的基本統(tǒng)計(jì)圖形 81

4．4．3 大數(shù)據(jù)分析案例：餐館評(píng)分的分布有怎樣的特點(diǎn) 83

4．5 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)的基本分析 85

4．6 本章涉及的R函數(shù) 88

第5章 R的變量相關(guān)性分析和統(tǒng)計(jì)圖形 89

5．1 分類型變量相關(guān)性的分析 89

5．1．1 分類型變量相關(guān)性的描述 89

5．1．2 分類型變量相關(guān)性的統(tǒng)計(jì)圖形 93

5．1．3 大數(shù)據(jù)分析案例：餐館的區(qū)域分布與主打菜分布是否具有相關(guān)性 93

5．2 數(shù)值型變量相關(guān)性的分析 94

5．2．1 數(shù)值型變量相關(guān)性的描述 94

5．2．2 數(shù)值型變量相關(guān)性的統(tǒng)計(jì)圖形 95

5．2．3 大數(shù)據(jù)分析案例：餐館各打分之間、打分與人均消費(fèi)之間是否具有相關(guān)性 96

5．3 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)的相關(guān)性分析 100

5．4 本章涉及的R函數(shù) 102

第6章 R的均值檢驗(yàn)：?jiǎn)蝹€(gè)總體的均值推斷及兩個(gè)總體均值的對(duì)比 104

6．1 從大數(shù)據(jù)分析案例看推斷統(tǒng)計(jì) 104

6．1．1 美食餐館食客點(diǎn)評(píng)數(shù)據(jù)分析中的推斷統(tǒng)計(jì)問題 104

6．1．2 北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析中的推斷統(tǒng)計(jì)問題 105

6．2 單個(gè)總體的均值推斷 106

6．2．1 以PM2．5總體均值推斷為例看假設(shè)檢驗(yàn)基本原理 106

6．2．2 大數(shù)據(jù)案例分析：估計(jì)供暖季北京市PM2．5濃度的總體均值 110

6．3 兩個(gè)總體均值的對(duì)比：基于獨(dú)立樣本的常規(guī)t檢驗(yàn) 111

6．3．1 兩個(gè)獨(dú)立樣本均值t檢驗(yàn)的原理和R實(shí)現(xiàn) 111

6．3．2 深入問題：方差齊性檢驗(yàn)和R實(shí)現(xiàn) 114

6．3．3 大數(shù)據(jù)分析案例：兩個(gè)區(qū)域美食餐館人均消費(fèi)金額是否存在差異 115

6．4 兩個(gè)總體均值的對(duì)比：置換檢驗(yàn) 117

6．4．1 兩個(gè)獨(dú)立樣本均值差的置換檢驗(yàn)原理和R實(shí)現(xiàn) 117

6．4．2 大數(shù)據(jù)分析案例：利用置換檢驗(yàn)對(duì)比兩個(gè)區(qū)域美食餐館人均消費(fèi)金額的總體均值 118

6．5 兩個(gè)總體的均值對(duì)比：自舉法檢驗(yàn) 118

6．5．1 兩個(gè)獨(dú)立樣本均值差的自舉法檢驗(yàn)原理和R實(shí)現(xiàn) 118

6．5．2 大數(shù)據(jù)分析案例：利用自舉法對(duì)比兩個(gè)區(qū)域美食餐館人均消費(fèi)金額的總體均值 120

6．6 兩個(gè)總體的均值對(duì)比：基于配對(duì)樣本的常規(guī)t檢驗(yàn) 121

6．6．1 兩個(gè)配對(duì)樣本均值t檢驗(yàn)的原理和R實(shí)現(xiàn) 121

6．6．2 大數(shù)據(jù)分析案例：兩個(gè)區(qū)域美食餐館口味評(píng)分與就餐環(huán)境評(píng)分的均值是否存在差異 122

6．7 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)的均值研究 123

6．8 本章涉及的R函數(shù) 125

第7章 R的方差分析：多個(gè)總體均值的對(duì)比 127

7．1 從大數(shù)據(jù)分析案例看方差分析 127

7．1．1 美食餐館食客點(diǎn)評(píng)數(shù)據(jù)分析中的方差分析問題 127

7．1．2 北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析中的方差分析問題 128

7．2 多個(gè)總體均值的對(duì)比：?jiǎn)我蛩胤讲罘治?128

7．2．1 單因素方差分析原理和R實(shí)現(xiàn) 128

7．2．2 深入問題：方差齊性檢驗(yàn)和多重比較檢驗(yàn) 131

7．2．3 大數(shù)據(jù)分析案例：利用單因素方差分析對(duì)比不同主打菜餐館人均消費(fèi)金額的

總體均值 131

7．3 多個(gè)總體均值的對(duì)比：多因素方差分析 135

7．3．1 多因素方差分析原理和R實(shí)現(xiàn) 135

7．3．2 大數(shù)據(jù)分析案例：利用多因素方差分析對(duì)比不同主打菜餐館人均消費(fèi)金額的

總體均值 137

7．4 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)的均值研究 140

7．5 本章涉及的R函數(shù) 142

第8章 R的線性回歸分析：對(duì)數(shù)值變量影響程度的度量和預(yù)測(cè) 143

8．1 從數(shù)據(jù)分析案例看線性回歸分析 143

8．1．1 美食餐館食客點(diǎn)評(píng)數(shù)據(jù)分析中的回歸分析問題 143

8．1．2 北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析中的回歸分析問題 143

8．1．3 線性回歸分析的一般步驟 143

8．2 建立回歸方程 145

8．2．1 線性回歸模型和線性回歸方程 145

8．2．2 線性回歸方程的參數(shù)估計(jì)和R實(shí)現(xiàn) 145

8．2．3 大數(shù)據(jù)分析案例：建立美食餐館食客評(píng)分的線性回歸模型 146

8．3 回歸方程的檢驗(yàn) 147

8．3．1 回歸方程的顯著性檢驗(yàn) 148

8．3．2 回歸系數(shù)的顯著性檢驗(yàn) 149

8．3．3 大數(shù)據(jù)分析案例：美食餐館食客評(píng)分回歸方程的檢驗(yàn) 149

8．4 回歸方程的應(yīng)用 152

8．4．1 回歸方程擬合效果的度量 152

8．4．2 預(yù)測(cè)和預(yù)測(cè)誤差 153

8．4．3 大數(shù)據(jù)分析案例：美食餐館食客評(píng)分回歸方程的評(píng)價(jià)和預(yù)測(cè) 153

8．5 回歸模型的驗(yàn)證 154

8．5．1 回歸模型的N折交叉驗(yàn)證法和R實(shí)現(xiàn) 155

8．5．2 回歸模型的自舉法驗(yàn)證和R實(shí)現(xiàn) 155

8．5．3 大數(shù)據(jù)分析案例：美食餐館食客評(píng)分回歸模型的驗(yàn)證 156

8．6 虛擬自變量回歸和協(xié)方差分析 157

8．6．1 虛擬自變量回歸 157

8．6．2 協(xié)方差分析 159

8．6．3 大數(shù)據(jù)分析案例：就餐環(huán)境對(duì)不同區(qū)域美食餐館人均消費(fèi)的影響 159

8．7 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)的回歸分析研究 162

8．8 本章涉及的R函數(shù) 168

第9章 R的Logistic回歸分析：對(duì)分類變量影響程度的度量和預(yù)測(cè) 169

9．1 從大數(shù)據(jù)分析案例看Logistic回歸分析 169

9．1．1 人力資源調(diào)查數(shù)據(jù)分析中的Logistic回歸分析問題 169

9．1．2 Logistic回歸分析的基本建模思路 172

9．2 Logistic回歸方程的解讀 173

9．2．1 Logistic回歸方程的系數(shù) 173

9．2．2 Logistic回歸方程的檢驗(yàn) 174

9．2．3 大數(shù)據(jù)分析案例：基于人力資源調(diào)查數(shù)據(jù)探討技術(shù)人員離職的原因 176

9．3 Logistic回歸方程的應(yīng)用 179

9．3．1 Logistic回歸方程擬合效果的評(píng)價(jià) 179

9．3．2 大數(shù)據(jù)分析案例：基于人力資源調(diào)查數(shù)據(jù)預(yù)測(cè)技術(shù)人員離職的可能性 180

9．4 本章涉及的R函數(shù) 181

第10章 R的聚類分析：數(shù)據(jù)分組 182

10．1 從大數(shù)據(jù)分析案例看聚類分析 182

10．1．1 超市顧客購(gòu)買行為數(shù)據(jù)分析中的聚類分析問題 182

10．1．2 北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析中的聚類分析問題 183

10．1．3 聚類分析的基本思路 183

10．2 K-Means聚類 185

10．2．1 K-Means聚類原理和R實(shí)現(xiàn) 185

10．2．2 大數(shù)據(jù)分析案例：超市顧客購(gòu)買行為數(shù)據(jù)分析中的K-Means聚類 187

10．3 分層聚類 191

10．3．1 分層聚類原理和R實(shí)現(xiàn) 191

10．3．2 大數(shù)據(jù)分析案例：超市顧客購(gòu)買行為數(shù)據(jù)分析中的分層聚類 192

10．4 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)的聚類分析研究 195

10．5 本章涉及的R函數(shù) 197

第11章 R的線性判別分析：分類預(yù)測(cè) 198

11．1 從大數(shù)據(jù)分析案例看判別分析 198

11．1．1 人力資源調(diào)查數(shù)據(jù)分析中的判別分析問題 198

11．1．2 判別分析的數(shù)據(jù)和基本出發(fā)點(diǎn) 199

11．2 距離判別法 199

11．2．1 距離判別的基本思路 199

11．2．2 判別函數(shù)的計(jì)算和R實(shí)現(xiàn) 201

11．2．3 大數(shù)據(jù)分析案例：利用距離判別預(yù)測(cè)技術(shù)人員離職的可能性 203

11．3 Fisher判別法 205

11．3．1 Fisher判別的基本原理 205

11．3．2 Fisher判別系數(shù)的求解和R實(shí)現(xiàn) 207

11．3．3 大數(shù)據(jù)分析案例：利用Fisher判別預(yù)測(cè)技術(shù)人員離職的可能性 209

11．4 本章涉及的R函數(shù) 210

第12章 R的因子分析：特征提取 211

12．1 從大數(shù)據(jù)分析案例看因子分析 211

12．1．1 植物物種分類中的因子分析問題 211

12．1．2 北京市空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析中的因子分析問題 213

12．2 因子分析基礎(chǔ) 213

12．2．1 因子分析的數(shù)學(xué)模型 213

12．2．2 因子分析的特點(diǎn)和基本步驟 215

12．2．3 因子分析的模型評(píng)價(jià) 216

12．3 確定因子變量 217

12．3．1 主成分分析法的基本原理 217

12．3．2 基于主成分分析法的因子載荷矩陣求解和R實(shí)現(xiàn) 219

12．3．3 計(jì)算因子得分和R實(shí)現(xiàn) 220

12．3．4 大數(shù)據(jù)分析案例：利用因子分析實(shí)現(xiàn)植物物種分類中的特征提取 221

12．4 因子變量命名 223

12．4．1 從大數(shù)據(jù)分析案例看因子變量命名的必要性 223

12．4．2 因子旋轉(zhuǎn)的原理和R實(shí)現(xiàn) 226

12．4．3 大數(shù)據(jù)分析案例：利用因子分析實(shí)現(xiàn)北京市空氣質(zhì)量的區(qū)域綜合評(píng)價(jià) 227

12．5 本章涉及的R函數(shù) 229