Python數(shù)據(jù)分析基礎(chǔ)與案例實(shí)戰(zhàn)

第 1章 緒論 1
1.1　了解交通大數(shù)據(jù)　1
1.1.1　交通大數(shù)據(jù)的背景　1
1.1.2　交通大數(shù)據(jù)的應(yīng)用　4
1.2　認(rèn)識(shí)數(shù)據(jù)分析　5
1.2.1　掌握數(shù)據(jù)分析的基本任務(wù)　6
1.2.2　熟悉數(shù)據(jù)分析的基本流程　6
1.3　了解常用的數(shù)據(jù)分析工具　8
1.4　配置Python開(kāi)發(fā)環(huán)境　9
1.4.1　安裝Anaconda　9
1.4.2　掌握J(rèn)upyter Notebook的使用方法　12
小結(jié)　14
課后習(xí)題　14
第　2章 Python數(shù)據(jù)分析簡(jiǎn)介　16
2.1　入門(mén)Python數(shù)據(jù)分析　16
2.1.1　了解基本命令　16
2.1.2　掌握數(shù)據(jù)結(jié)構(gòu)　19
2.1.3　函數(shù)式編程　21
2.1.4　導(dǎo)入與添加庫(kù)　23
2.2　了解Python數(shù)據(jù)分析常用擴(kuò)展庫(kù)　24
2.2.1　NumPy　25
2.2.2　SciPy　26
2.2.3　pandas　27
2.2.4　Matplotlib　28
2.2.5　scikit-learn　30
小結(jié)　31
課后習(xí)題　31
第3章　數(shù)據(jù)獲取　32
3.1　了解常見(jiàn)的數(shù)據(jù)來(lái)源　32
3.2　了解交通信息的采集　33
3.2.1　交通信息的分類(lèi)與特點(diǎn)　33
3.2.2　常見(jiàn)的交通信息采集技術(shù)　34
3.3　了解常見(jiàn)的數(shù)據(jù)類(lèi)型　35
3.4　掌握數(shù)據(jù)的讀取方式　37
3.4.1　讀取數(shù)據(jù)庫(kù)數(shù)據(jù)　37
3.4.2　讀取文件數(shù)據(jù)　38
小結(jié)　40
課后習(xí)題　40
第4章　數(shù)據(jù)探索　41
4.1　分析數(shù)據(jù)質(zhì)量　41
4.1.1　分析缺失值　41
4.1.2　分析異常值　42
4.2　分析數(shù)據(jù)特征　45
4.2.1　分析數(shù)據(jù)的統(tǒng)計(jì)量　45
4.2.2　分析數(shù)據(jù)的分布情況　48
4.2.3　對(duì)比分析數(shù)據(jù)　53
4.2.4　分析數(shù)據(jù)的周期性　56
4.2.5　分析數(shù)據(jù)的相關(guān)性　58
小結(jié)　61
課后習(xí)題　61
第5章　數(shù)據(jù)預(yù)處理　63
5.1　數(shù)據(jù)清洗　63
5.1.1　處理缺失值　63
5.1.2　處理異常值　66
5.2　數(shù)據(jù)變換　66
5.2.1　函數(shù)變換　66
5.2.2　數(shù)據(jù)標(biāo)準(zhǔn)化　67
5.2.3　離散化連續(xù)型數(shù)據(jù)　69
5.3　屬性構(gòu)造　72
5.4　屬性規(guī)約　73
5.5　數(shù)據(jù)合并　76
5.5.1　多表合并　77
5.5.2　分組聚合數(shù)據(jù)　84
小結(jié)　92
課后習(xí)題　92
第6章　構(gòu)建模型　94
6.1　構(gòu)建分類(lèi)與回歸模型　94
6.1.1　常用的分類(lèi)與回歸算法　94
6.1.2　了解回歸分析　95
6.1.3　了解樸素貝葉斯　99
6.1.4　了解決策樹(shù)　101
6.1.5　了解人工神經(jīng)網(wǎng)絡(luò)　104
6.1.6　評(píng)價(jià)分類(lèi)與回歸模型　109
6.2　構(gòu)建聚類(lèi)模型　113
6.2.1　了解常用的聚類(lèi)算法　113
6.2.2　了解K-Means聚類(lèi)　114
6.2.3　了解密度聚類(lèi)　120
6.2.4　聚類(lèi)模型評(píng)價(jià)　124
6.3　構(gòu)建時(shí)間序列模型　126
6.3.1　了解常用的時(shí)間序列模型　126
6.3.2　預(yù)處理時(shí)間序列　127
6.3.3　分析平穩(wěn)時(shí)間序列　128
6.3.4　分析非平穩(wěn)時(shí)間序列　131
小結(jié)　140
課后習(xí)題　140
第7章　運(yùn)輸車(chē)輛駕駛行為分析　142
7.1　分析背景與目標(biāo)　142
7.1.1　背景　142
7.1.2　數(shù)據(jù)說(shuō)明　143
7.1.3　分析目標(biāo)　144
7.2　數(shù)據(jù)探索分析　145
7.2.1　分布分析　145
7.2.2　相關(guān)性分析　146
7.2.3　異常值檢測(cè)　147
7.3　駕駛行為聚類(lèi)分析　149
7.3.1　K-Means聚類(lèi)　149
7.3.2　層次聚類(lèi)　152
7.3.3　高斯混合模型聚類(lèi)　153
7.3.4　譜聚類(lèi)　154
7.4　構(gòu)建駕駛行為預(yù)測(cè)模型　156
7.4.1　構(gòu)建線性判別分析模型　156
7.4.2　構(gòu)建樸素貝葉斯模型　157
7.4.3　構(gòu)建神經(jīng)網(wǎng)絡(luò)模型　159
7.5　駕駛行為分析總結(jié)與建議　160
小結(jié)　160
課后習(xí)題　160
第8章　公交車(chē)站點(diǎn)設(shè)置優(yōu)化分析　162
8.1　分析背景與目標(biāo)　162
8.1.1　背景　163
8.1.2　數(shù)據(jù)說(shuō)明　163
8.1.3　分析目標(biāo)　164
8.2　探索公交刷卡數(shù)據(jù)　165
8.3　預(yù)處理公交車(chē)載GPS數(shù)據(jù)與刷卡數(shù)據(jù)　166
8.3.1　屬性規(guī)約　166
8.3.2　缺失值處理　166
8.3.3　數(shù)據(jù)去重　167
8.4　構(gòu)建DBSCAN模型　168
8.5　公交車(chē)站點(diǎn)設(shè)置優(yōu)化分析　170
8.5.1　計(jì)算上車(chē)人數(shù)　170
8.5.2　計(jì)算下車(chē)人數(shù)　172
8.5.3　結(jié)果分析　176
小結(jié)　177
課后習(xí)題　177
第9章　鐵路站點(diǎn)客流量預(yù)測(cè)　179
9.1　分析背景與目標(biāo)　179
9.1.1　背景　179
9.1.2　數(shù)據(jù)說(shuō)明　180
9.1.3　分析目標(biāo)　180
9.2　預(yù)處理客流量數(shù)據(jù)　181
9.3　探索客流量數(shù)據(jù)　186
9.3.1　不同站點(diǎn)上下車(chē)客流量分布分析　186
9.3.2　不同時(shí)段上下車(chē)客流量分布分析　187
9.3.3　分析節(jié)假日客流量變化　189
9.4　構(gòu)建模型并預(yù)測(cè)客流量　192
9.4.1　構(gòu)建時(shí)間序列模型　192
9.4.2　預(yù)測(cè)非節(jié)假日客流量　195
9.4.3　預(yù)測(cè)節(jié)假日客流量　199
小結(jié)　206
課后習(xí)題　207
第　10章 基于TipDM大數(shù)據(jù)挖掘建模平臺(tái)實(shí)現(xiàn)運(yùn)輸車(chē)輛駕駛行為分析　208
10.1　TipDM大數(shù)據(jù)挖掘建模平臺(tái)簡(jiǎn)介　208
10.1.1　模型庫(kù)　210
10.1.2　數(shù)據(jù)連接　210
10.1.3　我的數(shù)據(jù)　210
10.1.4　我的工程　211
10.1.5　系統(tǒng)算法　211
10.1.6　個(gè)人算法　213
10.2　實(shí)現(xiàn)運(yùn)輸車(chē)輛駕駛行為分析　214
10.2.1　數(shù)據(jù)源配置　214
10.2.2　數(shù)據(jù)探索分析　217
10.2.3　駕駛行為聚類(lèi)分析　222
10.2.4　構(gòu)建駕駛行為預(yù)測(cè)模型　230
小結(jié)　236






第　1章 緒論　1
1.1　了解交通大數(shù)據(jù)　1
1.1.1　交通大數(shù)據(jù)的背景　1
1.1.2　交通大數(shù)據(jù)的應(yīng)用　4
1.2　認(rèn)識(shí)數(shù)據(jù)分析　5
1.2.1　掌握數(shù)據(jù)分析的基本任務(wù)　6
1.2.2　熟悉數(shù)據(jù)分析的基本流程　6
1.3　了解常用的數(shù)據(jù)分析工具　8
1.4　配置Python開(kāi)發(fā)環(huán)境　9
1.4.1　安裝Anaconda　9
1.4.2　掌握J(rèn)upyter Notebook的使用方法　12
小結(jié)　14
課后習(xí)題　14
第　2章 Python數(shù)據(jù)分析簡(jiǎn)介　16
2.1　入門(mén)Python數(shù)據(jù)分析　16
2.1.1　了解基本命令　16
2.1.2　掌握數(shù)據(jù)結(jié)構(gòu)　19
2.1.3　函數(shù)式編程　21
2.1.4　導(dǎo)入與添加庫(kù)　23
2.2　了解Python數(shù)據(jù)分析常用擴(kuò)展庫(kù)　24
2.2.1　NumPy　25
2.2.2　SciPy　26
2.2.3　pandas　27
2.2.4　Matplotlib　28
2.2.5　scikit-learn　30
小結(jié)　31
課后習(xí)題　31
第3章　數(shù)據(jù)獲取　32
3.1　了解常見(jiàn)的數(shù)據(jù)來(lái)源　32
3.2　了解交通信息的采集　33
3.2.1　交通信息的分類(lèi)與特點(diǎn)　33
3.2.2　常見(jiàn)的交通信息采集技術(shù)　34
3.3　了解常見(jiàn)的數(shù)據(jù)類(lèi)型　35
3.4　掌握數(shù)據(jù)的讀取方式　37
3.4.1　讀取數(shù)據(jù)庫(kù)數(shù)據(jù)　37
3.4.2　讀取文件數(shù)據(jù)　38
小結(jié)　40
課后習(xí)題　40
第4章　數(shù)據(jù)探索　41
4.1　分析數(shù)據(jù)質(zhì)量　41
4.1.1　分析缺失值　41
4.1.2　分析異常值　42
4.2　分析數(shù)據(jù)特征　45
4.2.1　分析數(shù)據(jù)的統(tǒng)計(jì)量　45
4.2.2　分析數(shù)據(jù)的分布情況　48
4.2.3　對(duì)比分析數(shù)據(jù)　53
4.2.4　分析數(shù)據(jù)的周期性　56
4.2.5　分析數(shù)據(jù)的相關(guān)性　57
小結(jié)　60
課后習(xí)題　61
第5章　數(shù)據(jù)預(yù)處理　63
5.1　數(shù)據(jù)清洗　63
5.1.1　處理缺失值　63
5.1.2　處理異常值　66
5.2　數(shù)據(jù)變換　66
5.2.1　函數(shù)變換　66
5.2.2　數(shù)據(jù)標(biāo)準(zhǔn)化　67
5.2.3　離散化連續(xù)型數(shù)據(jù)　69
5.3　屬性構(gòu)造　72
5.4　屬性規(guī)約　73
5.5　數(shù)據(jù)合并　76
5.5.1　多表合并　77
5.5.2　分組聚合數(shù)據(jù)　84
小結(jié)　92
課后習(xí)題　92
第6章　構(gòu)建模型　94
6.1　構(gòu)建分類(lèi)與回歸模型　94
6.1.1　常用的分類(lèi)與回歸算法　94
6.1.2　了解回歸分析　95
6.1.3　了解樸素貝葉斯　99
6.1.4　了解決策樹(shù)　101
6.1.5　了解人工神經(jīng)網(wǎng)絡(luò)　104
6.1.6　評(píng)價(jià)分類(lèi)與回歸模型　109
6.2　構(gòu)建聚類(lèi)模型　113
6.2.1　了解常用的聚類(lèi)算法　113
6.2.2　了解K-Means聚類(lèi)　114
6.2.3　了解密度聚類(lèi)　120
6.2.4　聚類(lèi)模型評(píng)價(jià)　124
6.3　構(gòu)建時(shí)間序列模型　126
6.3.1　了解常用的時(shí)間序列模型　126
6.3.2　預(yù)處理時(shí)間序列　127
6.3.3　分析平穩(wěn)時(shí)間序列　128
6.3.4　分析非平穩(wěn)時(shí)間序列　131
小結(jié)　140
課后習(xí)題　140
第7章　運(yùn)輸車(chē)輛駕駛行為分析　142
7.1　分析背景與目標(biāo)　142
7.1.1　背景　142
7.1.2　數(shù)據(jù)說(shuō)明　143
7.1.3　分析目標(biāo)　144
7.2　數(shù)據(jù)探索分析　145
7.2.1　分布分析　145
7.2.2　相關(guān)性分析　146
7.2.3　異常值檢測(cè)　147
7.3　駕駛行為聚類(lèi)分析　149
7.3.1　K-Means聚類(lèi)　149
7.3.2　層次聚類(lèi)　152
7.3.3　高斯混合模型聚類(lèi)　153
7.3.4　譜聚類(lèi)　154
7.4　構(gòu)建駕駛行為預(yù)測(cè)模型　156
7.4.1　構(gòu)建線性判別分析模型　156
7.4.2　構(gòu)建樸素貝葉斯模型　157
7.4.3　構(gòu)建神經(jīng)網(wǎng)絡(luò)模型　159
7.5　駕駛行為分析總結(jié)與建議　160
小結(jié)　160
課后習(xí)題　160
第8章　公交車(chē)站點(diǎn)設(shè)置優(yōu)化分析　162
8.1　分析背景與目標(biāo)　162
8.1.1　背景　163
8.1.2　數(shù)據(jù)說(shuō)明　163
8.1.3　分析目標(biāo)　164
8.2　探索公交刷卡數(shù)據(jù)　165
8.3　預(yù)處理公交車(chē)載GPS數(shù)據(jù)與刷卡數(shù)據(jù)　166
8.3.1　屬性規(guī)約　166
8.3.2　缺失值處理　166
8.3.3　數(shù)據(jù)去重　167
8.4　構(gòu)建DBSCAN模型　168
8.5　公交車(chē)站點(diǎn)設(shè)置優(yōu)化分析　170
8.5.1　計(jì)算上車(chē)人數(shù)　170
8.5.2　計(jì)算下車(chē)人數(shù)　172
8.5.3　結(jié)果分析　176
小結(jié)　177
課后習(xí)題　177
第9章　鐵路站點(diǎn)客流量預(yù)測(cè)　179
9.1　分析背景與目標(biāo)　179
9.1.1　背景　179
9.1.2　數(shù)據(jù)說(shuō)明　180
9.1.3　分析目標(biāo)　180
9.2　預(yù)處理客流量數(shù)據(jù)　181
9.3　探索客流量數(shù)據(jù)　186
9.3.1　不同站點(diǎn)上下車(chē)客流量分布分析　186
9.3.2　不同時(shí)段上下車(chē)客流量分布分析　187
9.3.3　分析節(jié)假日客流量變化　189
9.4　構(gòu)建模型并預(yù)測(cè)客流量　192
9.4.1　構(gòu)建時(shí)間序列模型　192
9.4.2　預(yù)測(cè)非節(jié)假日客流量　195
9.4.3　預(yù)測(cè)節(jié)假日客流量　199
小結(jié)　206
課后習(xí)題　207
第　10章 基于TipDM大數(shù)據(jù)挖掘建模平臺(tái)實(shí)現(xiàn)運(yùn)輸車(chē)輛駕駛行為分析　208
10.1　Tip DM大數(shù)據(jù)挖掘建模平臺(tái)簡(jiǎn)介　208
10.1.1　模型庫(kù)　210
10.1.2　數(shù)據(jù)連接　210
10.1.3　我的數(shù)據(jù)　210
10.1.4　我的工程　211
10.1.5　系統(tǒng)算法　211
10.1.6　個(gè)人算法　213
10.2　實(shí)現(xiàn)運(yùn)輸車(chē)輛駕駛行為分析　214
10.2.1　數(shù)據(jù)源配置　214
10.2.2　數(shù)據(jù)探索分析　217
10.2.3　駕駛行為聚類(lèi)分析　222
10.2.4　構(gòu)建駕駛行為預(yù)測(cè)模型　230
小結(jié)　236