中文字幕在线精品视频站,一区二区三区精品高清日韩美

內(nèi)容簡(jiǎn)介

　　《Python爬蟲(chóng)技術(shù)：深入理解原理、技術(shù)與開(kāi)發(fā)/寧哥大講堂》從實(shí)戰(zhàn)角度系統(tǒng)講解Python爬蟲(chóng)的核心知識(shí)點(diǎn)，并通過(guò)大量的真實(shí)項(xiàng)目讓讀者熟練掌握Python爬蟲(chóng)技術(shù)?！禤ython爬蟲(chóng)技術(shù)：深入理解原理、技術(shù)與開(kāi)發(fā)/寧哥大講堂》用20多個(gè)實(shí)戰(zhàn)案例，完美演繹了使用各種技術(shù)編寫(xiě)Python爬蟲(chóng)的方式，讀者可以任意組合這些技術(shù)，完成非常復(fù)雜的爬蟲(chóng)應(yīng)用?！禤ython爬蟲(chóng)技術(shù)：深入理解原理、技術(shù)與開(kāi)發(fā)/寧哥大講堂》共20章，分為5篇。第1篇基礎(chǔ)知識(shí)（第1、2章），主要包括Python運(yùn)行環(huán)境的搭建、HTTP基礎(chǔ)、網(wǎng)頁(yè)基礎(chǔ)（HTML、CSS、JavaScript等）、爬蟲(chóng)的基本原理、Session與Cookie。第2篇網(wǎng)絡(luò)庫(kù)（第3～6章），主要包括網(wǎng)絡(luò)庫(kù)urllib、urllib3、requests和Twisted的核心使用方法，如發(fā)送HTTP請(qǐng)求、處理超時(shí)、設(shè)置HTTP請(qǐng)求頭、搭建和使用代理、解析鏈接、Robots協(xié)議等。第3篇解析庫(kù)（第7～10章），主要包括3個(gè)常用解析庫(kù)（lxml、BeautifulSoup和pyquery）的使用方法，同時(shí)介紹多種用于分析HTML代碼的技術(shù)，如正則表達(dá)式、XPath、CSS選擇器、方法選擇器等。第4篇數(shù)據(jù)存儲(chǔ)（第11、12章），主要包括Python中數(shù)據(jù)存儲(chǔ)的解決方案，如文件存儲(chǔ)和數(shù)據(jù)庫(kù)存儲(chǔ)，其中數(shù)據(jù)庫(kù)存儲(chǔ)包括多種數(shù)據(jù)庫(kù)，如本地?cái)?shù)據(jù)庫(kù)SQLite、網(wǎng)絡(luò)數(shù)據(jù)庫(kù)MySQL以及文檔數(shù)據(jù)庫(kù)MongoDB。第5篇爬蟲(chóng)高級(jí)應(yīng)用（第13～20章），主要包括Python爬蟲(chóng)的一些高級(jí)技術(shù)，如抓取異步數(shù)據(jù)、Selenium、Splash、抓取移動(dòng)App數(shù)據(jù)、Appium、多線程爬蟲(chóng)、爬蟲(chóng)框架Scrapy，最后給出一個(gè)綜合的實(shí)戰(zhàn)案例，綜合了Python爬蟲(chóng)、數(shù)據(jù)存儲(chǔ)、PyQt5、多線程、數(shù)據(jù)可視化、Web等多種技術(shù)實(shí)現(xiàn)一個(gè)可視化爬蟲(chóng)?！禤ython爬蟲(chóng)技術(shù)：深入理解原理、技術(shù)與開(kāi)發(fā)/寧哥大講堂》可以作為廣大計(jì)算機(jī)軟件技術(shù)開(kāi)發(fā)者、互聯(lián)網(wǎng)技術(shù)研究人員學(xué)習(xí)“爬蟲(chóng)技術(shù)”的參考用書(shū)。也可以作為高等院校計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、人工智能等專(zhuān)業(yè)的教學(xué)參考用書(shū)。

作者簡(jiǎn)介

　　李寧，歐瑞科技創(chuàng)始人/CEO，寧哥教育創(chuàng)始人，東北大學(xué)計(jì)算機(jī)專(zhuān)業(yè)碩士。曾任國(guó)內(nèi)某大型軟件公司項(xiàng)目經(jīng)理、寧哥教育教學(xué)總監(jiān)、騰訊課堂特約講師、51CTO學(xué)院講師、CSDN特級(jí)講師。從事軟件研究和開(kāi)發(fā)超過(guò)15年，一直從事Python、人工智能、區(qū)塊鏈、JavaScript、Node.js、Java以及跨平臺(tái)技術(shù)的研究和技術(shù)指導(dǎo)工作，對(duì)國(guó)內(nèi)外相關(guān)領(lǐng)域的技術(shù)、理論和實(shí)踐有很深的理解和研究。

圖書(shū)目錄

前言
第1篇基礎(chǔ)知識(shí)
第1章開(kāi)發(fā)環(huán)境配置
1．1 安裝官方的Python運(yùn)行環(huán)境
1．2 配置PATH環(huán)境變量
1．3 安裝AnacondaPython開(kāi)發(fā)環(huán)境
1．4 安裝PyCharm
1．5 配置PyCharm
1．6 小結(jié)
第2章爬蟲(chóng)基礎(chǔ)
2．1 HTTP基礎(chǔ)
2．1．1 URI和URL
2．1．2 超文本
2．1．3 HTTP與HTTPS
2．1．4 HTTP的請(qǐng)求過(guò)程
2．1．5 請(qǐng)求
2．1．6 響應(yīng)
2．2 網(wǎng)頁(yè)基礎(chǔ)
2．2．1 HTML
2．2．2 CSS
2．2．3 CSS選擇器
2．2．4 JavaScript
2．3 爬蟲(chóng)的基本原理
2．3．1 爬蟲(chóng)的分類(lèi)
2．3．2 爬蟲(chóng)抓取數(shù)據(jù)的方式和手段
2．4 Session與Cookie
2．4．1 靜態(tài)頁(yè)面和動(dòng)態(tài)頁(yè)面
2．4．2 無(wú)狀態(tài)HTTP與Cookie
2．4．3 利用Session和Cookie保持狀態(tài)
2．4．4 查看網(wǎng)站的Cookie
2．4．5 HTTP狀態(tài)何時(shí)會(huì)失效
2．5 實(shí)戰(zhàn)案例：抓取所有的網(wǎng)絡(luò)資源
2．6 實(shí)戰(zhàn)案例：抓取博客文章列表
2．7 小結(jié)
第2篇網(wǎng)絡(luò)庫(kù)
第3章網(wǎng)絡(luò)庫(kù)urllib
3．1 urllib簡(jiǎn)介
3．2 發(fā)送請(qǐng)求與獲得響應(yīng)
3．2．1 用urlopen函數(shù)發(fā)送HTTPGET請(qǐng)求
3．2．2 用urlopen函數(shù)發(fā)送HTTPPOST請(qǐng)求
3．2．3 請(qǐng)求超時(shí)
3．2．4 設(shè)置HTTP請(qǐng)求頭
3．2．5 設(shè)置中文HTTP請(qǐng)求頭
3．2．6 請(qǐng)求基礎(chǔ)驗(yàn)證頁(yè)面
3．2．7 搭建代理與使用代理
3．2．8 讀取和設(shè)置Cookie
3．3 異常處理
3．3．1 URLError
3．3．2 HTTPError
3．4 解析鏈接
3．4．1 拆分與合并URL（urlparse與urlunparse）
3．4．2 另一種拆分與合并URL的方式（urlsplit與urlunsplit）
3．4．3 連接URL（urljoin）
3．4．4 URL編碼（urlencode）
3．4．5 編碼與解碼（quote與unquote）
3．4．6 參數(shù)轉(zhuǎn)換（parse_qs與parse_qsl）
3．5 Robots協(xié)議
3．5．1 Robots協(xié)議簡(jiǎn)介
3．5．2 分析Robots協(xié)議
3．6 小結(jié)
第4章網(wǎng)絡(luò)庫(kù)u川ib3
4．1 urllib3簡(jiǎn)介
4．2 urllib3模塊
4．3 發(fā)送HTTPGET請(qǐng)求
4．4 發(fā)送HTTPPOST請(qǐng)求
4．5 HTTP請(qǐng)求頭
4．6 HTTP響應(yīng)Z頭
4．7 上傳文件
4．8 超時(shí)
4．9 小結(jié)
第5章網(wǎng)絡(luò)庫(kù)requests
5．1 基本用法
5．1．1 requests的HelIoWorld
5．1．2 GET請(qǐng)求
5．1．3 添加HTTP請(qǐng)求頭
5．1．4 抓取二進(jìn)制數(shù)據(jù)
5．1．5 POST請(qǐng)求
5．1．6 響應(yīng)數(shù)據(jù)
5．2 高級(jí)用法
5．2．1 上傳文件
5．2．2 處理Cookie
5．2．3 使用同一個(gè)會(huì)話（Session）
5．2．4 SSL證書(shū)驗(yàn)證
5．2．5 使用代理
5．2．6 超時(shí)
5．2．7 身份驗(yàn)證
5．2．8 將請(qǐng)求打包
5．3 小結(jié)
第6章 Twisted網(wǎng)絡(luò)框架
……
第3篇解析庫(kù)
第4篇數(shù)據(jù)存儲(chǔ)
第5篇爬蟲(chóng)高級(jí)應(yīng)用