大數(shù)據(jù)分析：Python爬蟲、數(shù)據(jù)清洗和數(shù)據(jù)可視化

目錄

配套資源下載



目錄
第1章大數(shù)據(jù)

1.1大數(shù)據(jù)概述

1.1.1大數(shù)據(jù)介紹

1.1.2大數(shù)據(jù)的特征

1.1.3大數(shù)據(jù)技術(shù)應(yīng)用與基礎(chǔ)

1.2大數(shù)據(jù)的意義

1.2.1大數(shù)據(jù)的國家戰(zhàn)略意義

1.2.2大數(shù)據(jù)的企業(yè)意義

1.2.3我國大數(shù)據(jù)市場的預(yù)測

1.3大數(shù)據(jù)的產(chǎn)業(yè)鏈分析

1.3.1技術(shù)分析

1.3.2運營分析

1.4本章小結(jié)

1.5實訓(xùn)

習(xí)題

第2章爬蟲與大數(shù)據(jù)

2.1爬蟲概述

2.1.1爬蟲介紹

2.1.2爬蟲的地位與作用

2.2Python介紹

2.2.1Python開發(fā)環(huán)境搭建

2.2.2編寫Python程序

2.2.3Python數(shù)據(jù)類型

2.3爬蟲相關(guān)知識

2.3.1了解網(wǎng)頁結(jié)構(gòu)

2.3.2Python與爬蟲

2.3.3基礎(chǔ)爬蟲框架

2.4利用爬蟲抓取網(wǎng)頁內(nèi)容

2.4.1觀察與分析頁面

2.4.2抓取過程分析

2.4.3獲取頁面內(nèi)容

2.5本章小結(jié)

2.6實訓(xùn)

習(xí)題

第3章Scrapy爬蟲

3.1Scrapy爬蟲概述

3.2Scrapy原理

3.2.1Scrapy框架的架構(gòu)

3.2.2Request對象和Response對象

3.2.3Select對象

3.2.4Spider開發(fā)流程

3.3Scrapy的開發(fā)與實現(xiàn)

3.3.1Scrapy爬蟲開發(fā)流程

3.3.2創(chuàng)建Scrapy項目并查看結(jié)構(gòu)

3.3.3編寫代碼并運行爬蟲

3.4本章小結(jié)

3.5實訓(xùn)

習(xí)題

第4章數(shù)據(jù)庫連接與查詢

4.1數(shù)據(jù)庫

4.1.1數(shù)據(jù)庫概述

4.1.2關(guān)系數(shù)據(jù)庫設(shè)計

4.2MySQL數(shù)據(jù)庫

4.2.1MySQL數(shù)據(jù)庫概述

4.2.2MySQL數(shù)據(jù)庫下載、安裝與運行

4.2.3MySQL數(shù)據(jù)庫命令行入門

4.3使用Python操作MySQL數(shù)據(jù)庫

4.3.1pymysql安裝與使用

4.3.2Python連接MySQL數(shù)據(jù)庫

4.4本章小結(jié)

4.5實訓(xùn)

習(xí)題

第5章數(shù)據(jù)可視化基礎(chǔ)與應(yīng)用

5.1數(shù)據(jù)可視化

5.1.1數(shù)據(jù)可視化概述

5.1.2數(shù)據(jù)可視化工具

5.1.3數(shù)據(jù)可視化圖表

5.2matplotlib可視化基礎(chǔ)

5.2.1numpy庫

5.2.2matplotlib認(rèn)識與安裝


5.2.3matplotlib測試

5.2.4matplotlib.pyplot庫

5.3matplotlib可視化繪圖

5.3.1繪制線性圖形

5.3.2繪制柱狀圖形

5.3.3繪制直方圖

5.3.4繪制散點圖

5.3.5繪制極坐標(biāo)圖

5.3.6繪制餅圖

5.4pyecharts可視化應(yīng)用

5.5本章小結(jié)

5.6實訓(xùn)

習(xí)題

第6章大數(shù)據(jù)存儲與清洗

6.1大數(shù)據(jù)存儲

6.2數(shù)據(jù)清洗

6.2.1數(shù)據(jù)清洗概述

6.2.2數(shù)據(jù)清洗的原理

6.2.3數(shù)據(jù)清洗的流程

6.2.4數(shù)據(jù)清洗的工具

6.3數(shù)據(jù)標(biāo)準(zhǔn)化

6.3.1數(shù)據(jù)標(biāo)準(zhǔn)化的概念

6.3.2數(shù)據(jù)標(biāo)準(zhǔn)化的方法

6.3.3數(shù)據(jù)標(biāo)準(zhǔn)化的實例

6.4本章小結(jié)

6.5實訓(xùn)

習(xí)題

第7章數(shù)據(jù)格式與編碼技術(shù)

7.1文件格式

7.2數(shù)據(jù)類型與編碼

7.2.1數(shù)據(jù)類型概述

7.2.2字符編碼

7.2.3數(shù)據(jù)轉(zhuǎn)換

7.3Kettle數(shù)據(jù)清洗與轉(zhuǎn)換工具的使用

7.3.1Kettle概述

7.3.2Kettle的安裝與使用

7.4CSV格式的數(shù)據(jù)轉(zhuǎn)換

7.4.1CSV格式概述

7.4.2CSV與JSON文件的轉(zhuǎn)換

7.5本章小結(jié)

7.6實訓(xùn)