Python網(wǎng)絡爬蟲從入門到實踐（第2版）

前言
第1章 網(wǎng)絡爬蟲入門1
1.1 為什么要學網(wǎng)絡爬蟲2
1.1.1 網(wǎng)絡爬蟲能帶來什么好處2
1.1.2 能從網(wǎng)絡上爬取什么數(shù)據(jù)3
1.1.3 應不應該學爬蟲3
1.2 網(wǎng)絡爬蟲是否合法3
1.2.1 Robots協(xié)議4
1.2.2 網(wǎng)絡爬蟲的約束5
1.3 網(wǎng)絡爬蟲的基本議題6
1.3.1 Python爬蟲的流程7
1.3.2 三個流程的技術實現(xiàn)7
第2章 編寫第一個網(wǎng)絡爬蟲9
2.1 搭建Python平臺10
2.1.1 Python的安裝10
2.1.2 使用pip安裝第三方庫12
2.1.3 使用編輯器Jupyter 編程13
2.1.4 使用編輯器Pycharm編程15
2.2 Python 使用入門18
2.2.1 基本命令18
2.2.2 數(shù)據(jù)類型19
2.2.3 條件語句和循環(huán)語句21
2.2.4 函數(shù)23
2.2.5 面向對象編程24
2.2.6 錯誤處理28
2.3 編寫第一個簡單的爬蟲29
2.3.1 第一步：獲取頁面29
2.3.2 第二步：提取需要的數(shù)據(jù)30
2.3.3 第三步：存儲數(shù)據(jù)32
2.4 Python實踐：基礎鞏固33
2.4.1 Python基礎試題34
2.4.2 參考答案35
2.4.3 自我實踐題38
第3章 靜態(tài)網(wǎng)頁抓取39
3.1 安裝Requests40
3.2 獲取響應內容40
3.3 定制Requests41
3.3.1 傳遞URL參數(shù)41
3.3.2 定制請求頭42
3.3.3 發(fā)送POST請求43
3.3.4 超時44
3.4 Requests爬蟲實踐：TOP250電影數(shù)據(jù)44
3.4.1 網(wǎng)站分析45
3.4.2 項目實踐45
3.4.3 自我實踐題47
第4章 動態(tài)網(wǎng)頁抓取48
4.1 動態(tài)抓取的實例49
4.2 解析真實地址抓取50
4.3 通過Selenium模擬瀏覽器抓取55
4.3.1 Selenium的安裝與基本介紹55
4.3.2 Selenium的實踐案例57
4.3.3 Selenium獲取文章的所有評論58
4.3.4 Selenium的高級操作61
4.4 Selenium爬蟲實踐：深圳短租數(shù)據(jù)64
4.4.1 網(wǎng)站分析64
4.4.2 項目實踐66
4.4.3 自我實踐題69
第5章 解析網(wǎng)頁70
5.1 使用正則表達式解析網(wǎng)頁71
5.1.1 re.match方法71
5.1.2 re.search方法74
5.1.3 re.findall方法74
5.2 使用BeautifulSoup解析網(wǎng)頁76
5.2.1 BeautifulSoup的安裝76
5.2.2 使用BeautifulSoup獲取博客標題77
5.2.3 BeautifulSoup的其他功能78
5.3 使用lxml解析網(wǎng)頁82
5.3.1 lxml的安裝82
5.3.2 使用lxml獲取博客標題82
5.3.3 XPath的選取方法84
5.4 總結85
5.5 BeautifulSoup爬蟲實踐：房屋價格數(shù)據(jù)86
5.5.1 網(wǎng)站分析86
5.5.2 項目實踐87
5.5.3 自我實踐題89
第6章 數(shù)據(jù)存儲90
6.1 基本存儲：存儲至TXT或CSV91
6.1.1 把數(shù)據(jù)存儲至TXT91
6.1.2 把數(shù)據(jù)存儲至CSV93
6.2 存儲至MySQL數(shù)據(jù)庫94
6.2.1 下載安裝MySQL95
6.2.2 MySQL的基本操作99
6.2.3 Python操作MySQL數(shù)據(jù)庫104
6.3 存儲至MongoDB數(shù)據(jù)庫106
6.3.1 下載安裝MongoDB107
6.3.2 MongoDB的基本概念110
6.3.3 Python操作MongoDB數(shù)據(jù)庫112
6.3.4 RoboMongo的安裝與使用113
6.4 總結115
6.5 MongoDB爬蟲實踐：虎撲論壇116
6.5.1 網(wǎng)站分析116
6.5.2 項目實踐117
6.5.3 自我實踐題123
第7章 Scrapy框架124
7.1 Scrapy是什么125
7.1.1 Scrapy架構125
7.1.2 Scrapy數(shù)據(jù)流（Data Flow）126
7.1.3 選擇Scrapy還是Requests+bs4127
7.2 安裝Scrapy128
7.3 通過Scrapy抓取博客128
7.3.1 創(chuàng)建一個Scrapy項目128
7.3.2 獲取博客網(wǎng)頁并保存129
7.3.3 提取博客標題和鏈接數(shù)據(jù)131
7.3.4 存儲博客標題和鏈接數(shù)據(jù)133
7.3.5 獲取文章內容134
7.3.6 Scrapy的設置文件136
7.4 Scrapy爬蟲實踐：財經(jīng)新聞數(shù)據(jù)137
7.4.1 網(wǎng)站分析137
7.4.2 項目實踐138
7.4.3 自我實踐題141
第8章 提升爬蟲的速度142
8.1 并發(fā)和并行，同步和異步143
8.1.1 并發(fā)和并行143
8.1.2 同步和異步143
8.2 多線程爬蟲144
8.2.1 簡單的單線程爬蟲145
8.2.2 學習Python多線程145
8.2.3 簡單的多線程爬蟲148
8.2.4 使用Queue的多線程爬蟲150
8.3 多進程爬蟲153
8.3.1 使用multiprocessing的多進程爬蟲153
8.3.2 使用Pool + Queue的多進程爬蟲155
8.4 多協(xié)程爬蟲158
8.5 總結160
第9章 反爬蟲問題163
9.1 為什么會被反爬蟲164
9.2 反爬蟲的方式有哪些164
9.2.1 不返回網(wǎng)頁165
9.2.2 返回非目標網(wǎng)頁165
9.2.3 獲取數(shù)據(jù)變難166
9.3 如何“反反爬蟲”167
9.3.1 修改請求頭167
9.3.2 修改爬蟲的間隔時間168
9.3.3 使用代理171
9.3.4 更換IP地址172
9.3.5 登錄獲取數(shù)據(jù)172
9.4 總結172
第10章 解決中文亂碼173
10.1 什么是字符編碼174
10.2 Python的字符編碼176
10.3 解決中文編碼問題179
10.3.1 問題1：獲取網(wǎng)站的中文顯示亂碼179
10.3.2 問題2：非法字符拋出異常180
10.3.3 問題3：網(wǎng)頁使用gzip壓縮181
10.3.4 問題4：讀寫文件的中文亂碼182
10.4 總結184
第11章 登錄與驗證碼處理185
11.1 處理登錄表單186
11.1.1 處理登錄表單186
11.1.2 處理cookies，讓網(wǎng)頁記住你的登錄190
11.1.3 完整的登錄代碼193
11.2 驗證碼的處理194
11.2.1 如何使用驗證碼驗證195
11.2.2 人工方法處理驗證碼197
11.2.3 OCR處理驗證碼200
11.3 總結203
第12章 服務器采集204
12