Python數(shù)據(jù)分析與應(yīng)用（第2版 微課版）

第 1章　Python數(shù)據(jù)分析概述　1
任務(wù)1．1　認(rèn)識(shí)數(shù)據(jù)分析　2
1．1．1　掌握數(shù)據(jù)分析的概念　2
1．1．2　掌握數(shù)據(jù)分析的流程　3
1．1．3　了解數(shù)據(jù)分析的應(yīng)用場(chǎng)景　4
任務(wù)1．2　熟悉Python數(shù)據(jù)分析的工具　6
1．2．1　了解數(shù)據(jù)分析常用工具　6
1．2．2　了解Python數(shù)據(jù)分析的優(yōu)勢(shì)　7
1．2．3　了解Python數(shù)據(jù)分析常用庫(kù)　7
任務(wù)1．3　安裝Python的Anaconda發(fā)行版　9
1．3．1　了解Python的Anaconda發(fā)行版　10
1．3．2　在Windows系統(tǒng)中安裝Anaconda發(fā)行版　10
1．3．3　在Linux系統(tǒng)中安裝Anaconda發(fā)行版　13
任務(wù)1．4　掌握J(rèn)upyter Notebook常用功能　15
1．4．1　掌握J(rèn)upyter Notebook的基本功能　15
1．4．2　掌握J(rèn)upyter Notebook的高級(jí)功能　17
小結(jié)　20
課后習(xí)題　21
第 2章　NumPy數(shù)組計(jì)算基礎(chǔ)　23
任務(wù)2．1　掌握NumPy數(shù)組對(duì)象ndarray　24
2．1．1　創(chuàng)建數(shù)組對(duì)象　24
2．1．2　生成隨機(jī)數(shù)　30
2．1．3　通過(guò)索引訪問(wèn)數(shù)組　31
2．1．4　變換數(shù)組的形狀　33
任務(wù)2．2　掌握NumPy矩陣與通用函數(shù)　37
2．2．1　創(chuàng)建NumPy矩陣　37
2．2．2　掌握ufunc函數(shù)　39
任務(wù)2．3　利用NumPy進(jìn)行統(tǒng)計(jì)分析　43
2．3．1　讀/寫文件　43
2．3．2　使用函數(shù)進(jìn)行簡(jiǎn)單的統(tǒng)計(jì)分析　45
小結(jié)　50
實(shí)訓(xùn)　50
實(shí)訓(xùn)1　使用數(shù)組比較運(yùn)算對(duì)超市牛奶價(jià)格進(jìn)行對(duì)比　50
實(shí)訓(xùn)2　創(chuàng)建6×6的簡(jiǎn)單數(shù)獨(dú)游戲矩陣　51
課后習(xí)題　51
第3章　pandas統(tǒng)計(jì)分析基礎(chǔ)　53
任務(wù)3．1　讀/寫不同數(shù)據(jù)源的數(shù)據(jù)　54
3．1．1　認(rèn)識(shí)pandas庫(kù)　54
3．1．2　讀/寫文本文件　54
3．1．3　讀/寫Excel文件　58
3．1．4　讀/寫數(shù)據(jù)庫(kù)　60
任務(wù)3．2　掌握DataFrame的常用操作　62
3．2．1　查看DataFrame的常用屬性　63
3．2．2　查、改、增、刪DataFrame數(shù)據(jù)　64
3．2．3　描述分析DataFrame數(shù)據(jù)　70
任務(wù)3．3　轉(zhuǎn)換與處理時(shí)間序列數(shù)據(jù)　73
3．3．1　轉(zhuǎn)換時(shí)間字符串為標(biāo)準(zhǔn)時(shí)間　73
3．3．2　提取時(shí)間序列數(shù)據(jù)信息　75
3．3．3　加減時(shí)間數(shù)據(jù)　76
任務(wù)3．4　使用分組聚合進(jìn)行組內(nèi)計(jì)算　78
3．4．1　使用groupby()方法拆分?jǐn)?shù)據(jù)　78
3．4．2　使用agg()方法聚合數(shù)據(jù)　80
3．4．3　使用apply()方法聚合數(shù)據(jù)　82
3．4．4　使用transform()方法聚合數(shù)據(jù)　83
任務(wù)3．5　創(chuàng)建透視表與交叉表　84
3．5．1　使用pivot_table函數(shù)創(chuàng)建透視表　85
3．5．2　使用crosstab函數(shù)創(chuàng)建交叉表　87
小結(jié)　88
實(shí)訓(xùn)　89
實(shí)訓(xùn)1　讀取并查看某地區(qū)房屋銷售數(shù)據(jù)的基本信息　89
實(shí)訓(xùn)2　提取房屋售出時(shí)間信息并描述房屋價(jià)格信息　89
實(shí)訓(xùn)3　使用分組聚合方法分析房屋銷售情況　90
實(shí)訓(xùn)4　分析房屋地區(qū)、配套房間數(shù)和房屋價(jià)格的關(guān)系　90
課后習(xí)題　91
第4章　使用pandas進(jìn)行數(shù)據(jù)預(yù)處理　93
任務(wù)4．1　合并數(shù)據(jù)　93
4．1．1　堆疊合并數(shù)據(jù)　94
4．1．2　主鍵合并數(shù)據(jù)　97
4．1．3　重疊合并數(shù)據(jù)　99
任務(wù)4．2　清洗數(shù)據(jù)　100
4．2．1　檢測(cè)與處理重復(fù)值　100
4．2．2　檢測(cè)與處理缺失值　104
4．2．3　檢測(cè)與處理異常值　108
任務(wù)4．3　標(biāo)準(zhǔn)化數(shù)據(jù)　110
4．3．1　離差標(biāo)準(zhǔn)化數(shù)據(jù)　110
4．3．2　標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化數(shù)據(jù)　111
4．3．3　小數(shù)定標(biāo)標(biāo)準(zhǔn)化數(shù)據(jù)　111
任務(wù)4．4　變換數(shù)據(jù)　112
4．4．1　啞變量處理類別型數(shù)據(jù)　112
4．4．2　離散化連續(xù)型數(shù)據(jù)　114
小結(jié)　117
實(shí)訓(xùn)　117
實(shí)訓(xùn)1　合并年齡、平均血糖和中風(fēng)患者信息數(shù)據(jù)　117
實(shí)訓(xùn)2　刪除年齡異常的數(shù)據(jù)　118
實(shí)訓(xùn)3　離散化年齡特征　118
課后習(xí)題　119
第5章　Matplotlib、seaborn、pyecharts數(shù)據(jù)可視化基礎(chǔ)　121
任務(wù)5．1　掌握Matplotlib基礎(chǔ)繪圖　122
5．1．1　熟悉pyplot繪圖基礎(chǔ)語(yǔ)法與常用參數(shù)　122
5．1．2　使用Matplotlib繪制進(jìn)階圖形　128
任務(wù)5．2　掌握seaborn基礎(chǔ)繪圖　137
5．2．1　熟悉seaborn繪圖基礎(chǔ)　137
5．2．2　使用seaborn繪制基礎(chǔ)圖形　153
任務(wù)5．3　掌握pyecharts基礎(chǔ)繪圖　162
5．3．1　熟悉pyecharts繪圖基礎(chǔ)　162
5．3．2　使用pyecharts繪制交互式圖形　166
小結(jié)　171
實(shí)訓(xùn)　172
實(shí)訓(xùn)1　分析學(xué)生考試成績(jī)特征的分布與分散情況　172
實(shí)訓(xùn)2　分析學(xué)生考試成績(jī)與各個(gè)特征之間的關(guān)系　172
實(shí)訓(xùn)3　分析各空氣質(zhì)量指數(shù)之間的相關(guān)關(guān)系　173
實(shí)訓(xùn)4　繪制交互式基礎(chǔ)圖形　174
課后習(xí)題　174
第6章　使用scikit-learn構(gòu)建模型　177
任務(wù)6．1　使用sklearn轉(zhuǎn)換器處理數(shù)據(jù)　178
6．1．1　加載datasets模塊中的數(shù)據(jù)集　178
6．1．2　將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集　180
6．1．3　使用sklearn轉(zhuǎn)換器進(jìn)行數(shù)據(jù)預(yù)處理　182
任務(wù)6．2　構(gòu)建并評(píng)價(jià)聚類模型　184
6．2．1　使用sklearn估計(jì)器構(gòu)建聚類模型　185
6．2．2　評(píng)價(jià)聚類模型　187
任務(wù)6．3　構(gòu)建并評(píng)價(jià)分類模型　189
6．3．1　使用sklearn估計(jì)器構(gòu)建分類模型　190
6．3．2　評(píng)價(jià)分類模型　192
任務(wù)6．4　構(gòu)建并評(píng)價(jià)回歸模型　194
6．4．1　使用sklearn估計(jì)器構(gòu)建線性回歸模型　194
6．4．2　評(píng)價(jià)回歸模型　197
小結(jié)　198
實(shí)訓(xùn)　198
實(shí)訓(xùn)1　使用sklearn處理競(jìng)標(biāo)行為數(shù)據(jù)集　198
實(shí)訓(xùn)2　構(gòu)建基于競(jìng)標(biāo)行為數(shù)據(jù)集的K-Means聚類模型　199
實(shí)訓(xùn)3　構(gòu)建基于競(jìng)標(biāo)行為數(shù)據(jù)集的支持向量機(jī)分類模型　200
實(shí)訓(xùn)4　構(gòu)建基于競(jìng)標(biāo)行為數(shù)據(jù)集的回歸模型　200
課后習(xí)題　200
第7章　競(jìng)賽網(wǎng)站用戶行為分析　202
任務(wù)7．1　了解競(jìng)賽網(wǎng)站用戶行為分析的背景和方法　203
7．1．1　了解競(jìng)賽網(wǎng)站背景　203
7．1．2　認(rèn)識(shí)用戶行為分析　204
7．1．3　熟悉競(jìng)賽網(wǎng)站用戶行為分析的步驟與流程　204
任務(wù)7．2　預(yù)處理競(jìng)賽網(wǎng)站用戶訪問(wèn)數(shù)據(jù)　205
7．2．1　特征值變換　205
7．2．2　用戶識(shí)別　207
7．2．3　數(shù)據(jù)清洗　208
7．2．4　網(wǎng)頁(yè)分類　211
7．2．5　構(gòu)造特征　213
任務(wù)7．3　對(duì)競(jìng)賽網(wǎng)站用戶進(jìn)行分群　214
7．3．1　了解K-Means聚類算法　214
7．3．2　使用K-Means聚類算法進(jìn)行用戶分群　215
7．3．3　模型應(yīng)用　217
小結(jié)　218
實(shí)訓(xùn)　218
實(shí)訓(xùn)1　處理某App用戶信息數(shù)據(jù)集　218
實(shí)訓(xùn)2　構(gòu)建與用戶使用信息相關(guān)的　特征　219
實(shí)訓(xùn)3　構(gòu)建K-Means聚類模型　219
課后習(xí)題　219
第8章　企業(yè)所得稅預(yù)測(cè)分析　221
任務(wù)8．1　了解企業(yè)所得稅預(yù)測(cè)的背景與方法　222
8．1．1　分析企業(yè)所得稅預(yù)測(cè)背景　222
8．1．2　了解企業(yè)所得稅預(yù)測(cè)的方法　223
8．1．3　熟悉企業(yè)所得稅預(yù)測(cè)的步驟與流程　224
任務(wù)8．2　分析企業(yè)所得稅數(shù)據(jù)特征的相關(guān)性　224
8．2．1　了解相關(guān)性分析　225
8．2．2　計(jì)算Pearson相關(guān)系數(shù)　225
任務(wù)8．3　使用Lasso回歸選取企業(yè)所得稅預(yù)測(cè)的關(guān)鍵特征　227
8．3．1　了解Lasso回歸方法　227
8．3．2　選取關(guān)鍵特征　228
任務(wù)8．4　使用灰色預(yù)測(cè)算法和SVR算法構(gòu)建企業(yè)所得稅預(yù)測(cè)模型　229
8．4．1　了解灰色預(yù)測(cè)算法　230
8．4．2　了解SVR算法　231
8．4．3　預(yù)測(cè)企業(yè)所得稅　232
小結(jié)　236
實(shí)訓(xùn)　236
實(shí)訓(xùn)1　處理英雄聯(lián)盟游戲數(shù)據(jù)集　236
實(shí)訓(xùn)2　構(gòu)建游戲勝負(fù)預(yù)測(cè)關(guān)鍵特征　237
實(shí)訓(xùn)3　構(gòu)建SVR模型　238
課后習(xí)題　238
第9章　餐飲企業(yè)客戶流失預(yù)測(cè)　240
任務(wù)9．1　了解餐飲企業(yè)客戶分析需求　241
9．1．1　了解餐飲企業(yè)客戶流失預(yù)測(cè)背景　241
9．1．2　認(rèn)識(shí)餐飲企業(yè)客戶流失預(yù)測(cè)　243
9．1．3　熟悉餐飲企業(yè)客戶流失預(yù)測(cè)的步驟與流程　243
任務(wù)9．2　預(yù)處理餐飲企業(yè)數(shù)據(jù)　244
9．2．1　數(shù)據(jù)探索　244
9．2．2　查看重復(fù)值　246
9．2．3　處理異常值　246
9．2．4　處理缺失值　247
9．2．5　構(gòu)建客戶流失特征　248
任務(wù)9．3　使用決策樹(shù)算法和支持向量機(jī)算法進(jìn)行餐飲企業(yè)客戶流失預(yù)測(cè)　250
9．3．1　了解決策樹(shù)算法　250
9．3．2　了解支持向量機(jī)算法　252
9．3．3　預(yù)測(cè)餐飲企業(yè)客戶流失　253
小結(jié)　255
實(shí)訓(xùn)　256
實(shí)訓(xùn)1　預(yù)處理尺碼信息數(shù)據(jù)　256
實(shí)訓(xùn)2　構(gòu)建支持向量機(jī)分類模型預(yù)測(cè)客戶
服裝尺寸　256
課后習(xí)題　257
第 10章　基于TipDM大數(shù)據(jù)挖掘建模平臺(tái)實(shí)現(xiàn)客戶流失預(yù)測(cè)　259
任務(wù)10．1　了解平臺(tái)的相關(guān)概念、特點(diǎn)和功能　260
10．1．1　了解平臺(tái)的界面、訪問(wèn)方式和特點(diǎn)　260
10．1．2　了解“實(shí)訓(xùn)庫(kù)”模塊的功能　261
10．1．3　了解“數(shù)據(jù)連接”模塊的功能　261
10．1．4　了解“實(shí)訓(xùn)數(shù)據(jù)”模塊的功能　262
10．1．5　了解“我的實(shí)訓(xùn)”模塊的功能　262
10．1．6　了解“系統(tǒng)算法”模塊的功能　263
10．1．7　了解“個(gè)人算法”模塊的功能　265
任務(wù)10．2　使用平臺(tái)實(shí)現(xiàn)客戶流失預(yù)測(cè)　265
10．2．1　掌握使用平臺(tái)配置客戶流失預(yù)測(cè)案例的步驟和流程　265
10．2．2　數(shù)據(jù)源配置　266
10．2．3　數(shù)據(jù)預(yù)處理　268
10．2．4　構(gòu)建模型　273
小結(jié)　275
實(shí)訓(xùn)　275
實(shí)訓(xùn)　預(yù)測(cè)客戶服裝尺寸　275
課后習(xí)題　276