R語言商業(yè)分析實(shí)戰(zhàn)

目    錄

第1章  商業(yè)分析簡(jiǎn)介 1

1.1  本書目的 3

1.2  容易混淆的術(shù)語 3

1.3  商業(yè)分析的發(fā)展動(dòng)因 4

1.3.1  計(jì)算機(jī)軟件包和應(yīng)用程序的增長(zhǎng) 5

1.3.2  整合各種數(shù)據(jù)源的可行性 5

1.3.3  無限存儲(chǔ)和計(jì)算能力的增長(zhǎng) 6

1.3.4  簡(jiǎn)單易用的編程工具和平臺(tái) 6

1.3.5  競(jìng)爭(zhēng)激烈世界中的生存與發(fā)展 6

1.3.6  全球化商業(yè)的復(fù)雜性 6

1.4  商業(yè)分析的應(yīng)用 6

1.4.1  市場(chǎng)營(yíng)銷與銷售 7

1.4.2  人力資源 7

1.4.3  產(chǎn)品設(shè)計(jì) 7

1.4.4  服務(wù)設(shè)計(jì) 8

1.4.5  客戶服務(wù)和支持范圍 8

1.5  商業(yè)分析師的必備技能 8

1.5.1  理解商業(yè)和商業(yè)問題 8

1.5.2  理解數(shù)據(jù)分析技術(shù)和算法 9

1.5.3  具備良好的計(jì)算機(jī)編程知識(shí) 9

1.5.4  理解數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ)/倉(cāng)儲(chǔ)技術(shù) 9

1.5.5  了解統(tǒng)計(jì)學(xué)和數(shù)學(xué)的相關(guān)概念知識(shí) 9

1.6  商業(yè)分析項(xiàng)目的分析過程 10

1.7  商業(yè)分析框架 11

1.8  小結(jié) 12

第2章  R語言概述 13

2.1  數(shù)據(jù)分析工具 13

2.2  R語言安裝 16

2.2.1  安裝R語言 16

2.2.2  安裝RStudio 17

2.2.3  探索RStudio界面 18

2.3  R編程基礎(chǔ) 19

2.3.1  賦值 20

2.3.2  創(chuàng)建向量 21

2.4  R語言對(duì)象類型 21

2.5  R語言的數(shù)據(jù)結(jié)構(gòu) 23

2.5.1  矩陣 23

2.5.2  數(shù)組 24

2.5.3  數(shù)據(jù)框 26

2.5.4  列表 27

2.5.5  因子 28

2.6  小結(jié) 29

第3章  R語言數(shù)據(jù)分析 31

3.1  讀寫數(shù)據(jù) 31

3.1.1  從文本文件讀取數(shù)據(jù) 32

3.1.2  從Microsoft Excel文件讀取數(shù)據(jù) 35

3.1.3  從Web讀取數(shù)據(jù) 37

3.2  在R語言中使用控制結(jié)構(gòu) 37

3.2.1  if-else 38

3.2.2  for循環(huán) 39

3.2.3  while循環(huán) 39

3.2.4  循環(huán)功能 40

3.2.5  在R語言中自編函數(shù) 47

3.3  使用R語言軟件包和庫(kù) 48

3.4  小結(jié) 49

第4章  描述性分析概述 51

4.1  描述性分析 54

4.2  總體和樣本 54

4.3  有關(guān)的統(tǒng)計(jì)參數(shù) 55

4.3.1  均值 55

4.3.2  中位數(shù) 57

4.3.3  眾數(shù) 59

4.3.4  全距 59

4.3.5  分位數(shù) 60

4.3.6  標(biāo)準(zhǔn)差（Standard Deviation） 61

4.3.7  方差（Variance） 64

4.3.8  R語言的summary命令 64

4.4  數(shù)據(jù)的圖形描述 65

4.4.1  R語言的plot命令 65

4.4.2  直方圖 67

4.4.3  條形圖 68

4.4.4  箱線圖 68

4.5  數(shù)據(jù)框計(jì)算 69

4.6  概率 73

4.6.1  互斥事件的概率 74

4.6.2  相互獨(dú)立事件的概率 74

4.6.3  非互斥事件概率 75

4.6.4  概率分布 75

4.7  小結(jié) 77

第5章  商業(yè)分析過程與數(shù)據(jù)探索 79

5.1  商業(yè)分析過程 79

5.1.1  第一階段：理解商業(yè)問題 79

5.1.2  第二階段：收集和整合數(shù)據(jù) 79

5.1.3  第三階段：預(yù)處理數(shù)據(jù) 80

5.1.4  第四階段：探索和可視化數(shù)據(jù) 80

5.1.5  第五階段：選擇建模技術(shù)和算法 81

5.1.6  第六階段：評(píng)估模型 81

5.1.7  第七階段：管理和審查報(bào)告 81

5.1.8  第八階段：部署模型 81

5.2  理解商業(yè)問題 82

5.3  收集和整合數(shù)據(jù) 82

5.3.1  抽樣 83

5.3.2  變量選擇 84

5.4  預(yù)處理數(shù)據(jù) 85

5.4.1  數(shù)據(jù)類型 85

5.4.2  數(shù)據(jù)準(zhǔn)備 86

5.4.3  使用R語言進(jìn)行數(shù)據(jù)預(yù)處理 87

5.5  數(shù)據(jù)探索和數(shù)據(jù)可視化 91

5.5.1  表格 92

5.5.2  匯總表 92

5.5.3  圖形 93

5.5.4  散點(diǎn)圖矩陣 97

5.5.5  數(shù)據(jù)轉(zhuǎn)換 101

5.6  使用建模技術(shù)和算法 102

5.6.1  描述性分析 103

5.6.2  預(yù)測(cè)分析 103

5.6.3  機(jī)器學(xué)習(xí) 103

5.7  評(píng)估模型 106

5.7.1  訓(xùn)練數(shù)據(jù)分區(qū) 106

5.7.2  測(cè)試數(shù)據(jù)分區(qū) 106

5.7.3  驗(yàn)證數(shù)據(jù)分區(qū) 107

5.7.4  交叉驗(yàn)證 107

5.7.5  分類模型評(píng)估 108

5.7.6  回歸模型評(píng)估 111

5.8  提交管理報(bào)告和審查 112

5.8.1  描述問題 112

5.8.2  使用的數(shù)據(jù)集 112

5.8.3  執(zhí)行數(shù)據(jù)清洗 112

5.8.4  創(chuàng)建模型的方法 112

5.8.5  模型部署前提條件 113

5.8.6  模型部署和使用 113

5.8.7  問題處理 113

5.9  部署模型 113

5.10  小結(jié) 114

第6章  監(jiān)督機(jī)器學(xué)習(xí)：分類 115

6.1  什么是分類？什么是預(yù)測(cè)？ 115

6.2  概率分類器模型 116

6.2.1  示例 117

6.2.2  R語言樸素貝葉斯分類器 118

6.2.3  樸素貝葉斯分類器的優(yōu)點(diǎn)和局限性 119

6.3  決策樹 120

6.3.1  遞歸分割決策樹算法 121

6.3.2  信息增益 121

6.3.3  決策樹示例 123

6.3.4  決策樹歸納 124

6.3.5  樹分類規(guī)則 127

6.3.6  過擬合和欠擬合 127

6.3.7  偏差和方差（Bias and Variance） 128

6.3.8  避免過擬合誤差和確定決策樹生長(zhǎng)的規(guī)模 129

6.4  其他分類器類型 131

6.4.1  K-最近鄰 131

6.4.2  隨機(jī)森林 132

6.5  R語言分類示例 134

6.6  小結(jié) 138

第7章  無監(jiān)督機(jī)器學(xué)習(xí) 139

7.1  聚類概述 139

7.2  什么是聚類 140

7.2.1  兩個(gè)記錄之間的測(cè)量方法 141

7.2.2  分類變量的距離度量 142

7.2.3  混合型數(shù)據(jù)的距離度量 142

7.2.4  兩個(gè)聚類之間的距離 143

7.3  層次聚類 145

7.3.1  樹狀圖 145

7.3.2  層次聚類的局限性 145

7.4  非層次聚類 146

7.4.1  k-means算法 146

7.4.2  k-means聚類的局限性 147

7.5  聚類案例研究 148

7.5.1  僅保留數(shù)據(jù)集中的相關(guān)變量 149

7.5.2  從數(shù)據(jù)集中刪除任何異常值 149

7.5.3  數(shù)據(jù)歸一化（Standardize the Data） 150

7.5.4  計(jì)算數(shù)據(jù)點(diǎn)之間的距離 150

7.6  關(guān)聯(lián)規(guī)則 157

7.6.1  選擇規(guī)則 158

7.6.2  關(guān)聯(lián)規(guī)則生成示例 160

7.6.3  解讀結(jié)果 161

7.7  小結(jié) 162

第8章  簡(jiǎn)單線性回歸分析 163

8.1  概述 163

8.2  相關(guān)性 164

8.3  假設(shè)檢驗(yàn) 167

8.4  簡(jiǎn)單線性回歸分析 168

8.4.1  回歸假設(shè) 168

8.4.2  簡(jiǎn)單線性回歸方程 168

8.4.3  R語言創(chuàng)建簡(jiǎn)單回歸方程 169

8.4.4  檢驗(yàn)回歸假設(shè) 171

8.4.5  結(jié)論 176

8.4.6  預(yù)測(cè)響應(yīng)變量 176

8.4.7  補(bǔ)充說明 177

8.5  小結(jié) 178

第9章  多元線性回歸分析 179

9.1  使用多元線性回歸分析 180

9.1.1  數(shù)據(jù) 181

9.1.2  相關(guān)性 181

9.1.3  構(gòu)建模型 182

9.1.4  驗(yàn)證回歸假設(shè) 184

9.1.5  多重共線性 188

9.1.6  逐步多元線性回歸分析 190

9.1.7  全子集多元線性回歸分析 191

9.1.8  多元線性回歸方程 193

9.1.9  結(jié)論 193

9.2  R語言的替代方法 193

9.3  預(yù)測(cè)響應(yīng)變量 194

9.4  訓(xùn)練和測(cè)試模型 195

9.5  交叉驗(yàn)證 196

9.6  小結(jié) 198

第10章  邏輯回歸分析 201

10.1  邏輯回歸 202

10.1.1  數(shù)據(jù) 203

10.1.2  構(gòu)建模型 204

10.1.3  模型擬合驗(yàn)證 207

10.1.4  一般注意事項(xiàng) 208

10.1.5  多重共線性 208

10.1.6  離散 209

10.1.7  邏輯回歸分析結(jié)論 209

10.2  模型訓(xùn)練和測(cè)試 209

10.2.1  預(yù)測(cè)響應(yīng)變量 211

10.2.2  驗(yàn)證邏輯回歸模型的其他替代方法 212

10.3  多項(xiàng)邏輯回歸分析 213

10.4  正則化 214

10.5  小結(jié) 220

第11章  大數(shù)據(jù)分析：介紹及未來趨勢(shì) 221

11.1  大數(shù)據(jù)生態(tài)系統(tǒng) 222

11.2  大數(shù)據(jù)分析的未來趨勢(shì) 225

11.2.1  發(fā)展壯大的社交媒體 225

11.2.2  創(chuàng)建數(shù)據(jù)湖 225

11.2.3  企業(yè)用戶手中的可視化工具 225

11.2.4  規(guī)范性分析 225

11.2.5  物聯(lián)網(wǎng) 226

11.2.6  人工智能 226

11.2.7  全數(shù)據(jù)處理 226

11.2.8  數(shù)據(jù)垂直應(yīng)用和橫向應(yīng)用 226

11.2.9  實(shí)時(shí)分析 226

11.2.10  將數(shù)據(jù)分析工具交由企業(yè)用戶使用 227

11.2.11  將解決方案從一個(gè)工具遷移到另一個(gè)工具 227

11.2.12  云無處不在 227

11.2.13  數(shù)據(jù)庫(kù)內(nèi)分析 227

11.2.14  內(nèi)存分析 228

11.2.15  機(jī)器學(xué)習(xí)的自主服務(wù) 228

11.2.16  安全和合規(guī)性 228

11.2.17  醫(yī)療保健 228

引用 95

第4章  制作自動(dòng)機(jī)器車 97

自動(dòng)系統(tǒng)介紹 97

介紹移動(dòng)機(jī)器人 99

搭建機(jī)器車 100

DIY機(jī)器人平臺(tái) 100

集成的機(jī)器人平臺(tái) 102

使用Pololu Zumo robot for Arduino 104

用計(jì)算機(jī)控制機(jī)器車 109

使用GPS模塊導(dǎo)航 117

介紹地圖引擎平臺(tái) 124

制作基于GPS的小車 128

制作自動(dòng)機(jī)器車 130

總結(jié) 131

引用 131

第5章  在物聯(lián)網(wǎng)項(xiàng)目中添加語音技術(shù) 133

語音技術(shù)介紹 133

聲音傳感器和驅(qū)動(dòng)器介紹 134

語音技術(shù)的模式識(shí)別介紹 143

介紹語音和聲音模塊 143

為物聯(lián)網(wǎng)項(xiàng)目增加語音控制 145

設(shè)置EasyVR shield 3 145

創(chuàng)建語音命令 148

給語音板布線 151

編寫Sketch程序 151

測(cè)試 157

讓IoT板說話 157

設(shè)置 157

布線 157

編寫Sketch程序 158

測(cè)試 159

讓Raspberry Pi說話 159

設(shè)置 159

編寫Python程序 162

下一步是什么？ 163

總結(jié) 163

引用 163

第6章  為物聯(lián)網(wǎng)項(xiàng)目搭建數(shù)據(jù)云 165

對(duì)云技術(shù)的介紹 165

介紹基于云的數(shù)據(jù)科學(xué) 166

連接IoT板到云服務(wù)器 167

微軟Azure IoT 167

亞馬遜AWS IoT 168

Arduino云 168

使用微軟Azure IoT Hub 180

設(shè)置微軟Azure IoT Hub 180

注冊(cè)IoT設(shè)備 182

編寫程序 186

構(gòu)建科學(xué)型云平臺(tái) 192

部署Azure機(jī)器學(xué)習(xí) 193

發(fā)布到Azure ML作為Web服務(wù) 194

構(gòu)建帶有科學(xué)型數(shù)據(jù)云的IoT應(yīng)用 196

總結(jié) 196

引用 197