大數(shù)據(jù)測試技術(shù)：數(shù)據(jù)采集、分析與測試實踐（在線實驗+在線自測）

第 1章　大數(shù)據(jù)測試的思維　1
1．1　規(guī)律是否存在　1
1．2　大數(shù)據(jù)的背后　3
1．3　大數(shù)據(jù)測試方法　4
1．4　目的及組織結(jié)構(gòu)　5
第 2章　大數(shù)據(jù)收集概述　7
2．1　案例介紹　7
2．2　原理及方法　7
2．3　環(huán)境配置　8
2．3．1　配置無線網(wǎng)　8
2．3．2　安裝分析軟件　9
2．4　數(shù)據(jù)采集　10
2．4．1　軟件連接　10
2．4．2　信息顯示　11
2．4．3　數(shù)據(jù)包的存儲　11
2．5　同步操作　12
2．6　小結(jié)　14
【思考題】　14
第3章　網(wǎng)絡數(shù)據(jù)的采集與分析　15
3．1　物理連接及Wireshark軟件的常用操作　15
3．1．1　物理連接　15
3．1．2　Wireshark軟件的打開方式　15
3．1．3　構(gòu)建網(wǎng)絡　17
3．1．4　Wireshark軟件功能介紹　18
3．2　數(shù)據(jù)包的采集　18
3．2．1　數(shù)據(jù)的收集　18
3．2．2　數(shù)據(jù)的存儲和打開　20
3．3　數(shù)據(jù)包的自動抓取　22
3．3．1　背景介紹　22
3．3．2　腳本錄制　23
3．3．3　腳本執(zhí)行　24
3．4　數(shù)據(jù)包分析　25
3．4．1　數(shù)據(jù)包的分析方法　25
3．4．2　數(shù)據(jù)獲取　25
3．4．3　數(shù)據(jù)包的數(shù)量　28
3．4．4　數(shù)據(jù)分析　28
3．5　小結(jié)　32
【思考題】　32
第4章　數(shù)據(jù)格式轉(zhuǎn)換及Python編程　34
4．1　原理及方法　34
4．1．1　pyshark介紹　34
4．1．2　FileCapture和LiveCapture　35
4．1．3　Python基礎(chǔ)語法　37
4．2　Python安裝及配置　37
4．2．1　Python安裝　37
4．2．2　配置　38
4．2．3　pyshark包下載　39
4．2．4　pyshark包安裝　40
4．2．5　安裝支撐文件　41
4．3　Python基礎(chǔ)學習　42
4．3．1　Python的命令行演示　42
4．3．2　創(chuàng)建并運行．py文件　42
4．3．3　Python出錯演示　42
4．3．4　Python注釋　43
4．3．5　一行多語句　43
4．3．6　輸出換行　43
4．3．7　縮進　44
4．3．8　Python幫助　44
4．4　Notepad環(huán)境　45
4．4．1　Notepad++軟件　45
4．4．2　運行設(shè)置　45
4．4．3　多個變量賦值　46
4．4．4　Python的標準數(shù)據(jù)類型　47
4．4．5　刪除對象的引用　50
4．4．6　Python語言的運算符　50
4．4．7　Python條件語句　52
4．5　Python編程實踐　52
4．5．1　漢諾塔問題　52
4．5．2　奇偶數(shù)分離　53
4．5．3　Python中in的應用　54
4．5．4　循環(huán)使用else語句編程　54
4．6　Python面向?qū)ο蟆?4
4．6．1　面向?qū)ο蠼榻B　54
4．6．2　self代表類的對象　55
4．6．3　類的實例化　56
4．6．4　Python內(nèi)置類屬性　57
4．6．5　Python對象的銷毀（垃圾回收）　57
4．6．6　類的繼承　58
4．6．7　方法重寫　59
4．6．8　運算符重載　60
4．6．9　類屬性與方法　60
4．7　Python的集成開發(fā)環(huán)境　61
4．7．1　PyCharm軟件　61
4．7．2　Jupyter軟件　67
4．8　pcapng文件到CSV文件　78
4．8．1　編寫代碼　78
4．8．2　代碼運行　80
4．8．3　轉(zhuǎn)換文件　80
4．9　小結(jié)　80
【思考題】　81
第5章　Splunk軟件初探　83
5．1　Splunk簡介　83
5．1．1　Splunk的架構(gòu)　84
5．1．2　Splunk indexer集群架構(gòu)　85
5．1．3　Splunk search集群架構(gòu)　86
5．1．4　SPL語言　86
5．2　Splunk的安裝與配置　90
5．2．1　安裝　90
5．2．2　配置　92
5．3　Splunk數(shù)據(jù)分析　94
5．3．1　構(gòu)造SPL語句　94
5．3．2　確定列名　95
5．3．3　Splunk的簡單操作　95
5．4　SPL高級編程　97
5．4．1　自動生成數(shù)據(jù)　97
5．4．2　構(gòu)造隨機數(shù)　99
5．4．3　數(shù)據(jù)統(tǒng)計　100
5．4．4　Splunk處理過程　101
5．4．5　報告再編輯　102
5．5　小結(jié)　102
【思考題】　102
第6章　Splunk平臺實踐　105
6．1　Splunk的基礎(chǔ)命令　105
6．1．1　Search（搜索）命令　105
6．1．2　SPL的命令分類　107
6．1．3　常用命令詳解　115
6．2　Splunk軟件的自動數(shù)據(jù)生成　119
6．2．1　生成數(shù)據(jù)　119
6．2．2　刪除無用數(shù)據(jù)　121
6．2．3　構(gòu)造隨機數(shù)據(jù)　121
6．2．4　創(chuàng)建對數(shù)列和指數(shù)列　122
6．3　可視化展示　123
6．3．1　可視化圖　123
6．3．2　格式設(shè)置　123
6．3．3　保存和導入　123
6．3．4　圖形修改　125
6．4　官方幫助文檔　126
6．4．1　SPL語言目錄　126
6．4．2　命令分析實例　133
6．5　應用分析實例　137
6．5．1　案例　137
6．5．2　案例分析　137
6．5．3　創(chuàng)建記錄　137
6．5．4　增加統(tǒng)計值　138
6．5．5　創(chuàng)建test字段　138
6．5．6　錯誤解決　139
【思考題】　140
第7章　SPL案例編程　142
7．1　stats命令學習　142
7．2　數(shù)據(jù)下載和導入　144
7．2．1　數(shù)據(jù)下載　144
7．2．2　數(shù)據(jù)導入　145
7．3　問題描述及分析　148
7．3．1　自動生成的SPL語句　148
7．3．2　要求及分析　149
7．3．3　解決方案　150
【思考題】　151
第8章　數(shù)據(jù)導入及錯誤分析　153
8．1　背景知識介紹　153
8．1．1　時間戳　153
8．1．2　數(shù)據(jù)　153
8．2　數(shù)據(jù)選擇　154
8．2．1　導入數(shù)據(jù)入口　154
8．2．2　數(shù)據(jù)類型　154
8．3　時間戳錯誤　155
8．3．1　手機聯(lián)網(wǎng)數(shù)據(jù)導入　155
8．3．2　時間戳錯誤　157
8．4　問題分析及解決　157
8．4．1　問題分析　157
8．4．2　問題解決　158
8．5　導入配置　159
8．5．1　源類型設(shè)置　159
8．5．2　索引設(shè)置　160
8．5．3　導入成功及預覽　161
8．5．4　數(shù)據(jù)搜索及分析　162
【思考題】　163
第9章　聯(lián)網(wǎng)效率分析　164
9．1　原理及方法　164
9．1．1　效率分析　164
9．1．2　性能測試方法　164
9．2　常用分析命令　164
9．2．1　sort命令　164
9．2．2　timechart命令　165
9．2．3　outlier命令　166
9．2．4　eventstats命令　167
9．3　數(shù)據(jù)導入和處理　167
9．3．1　數(shù)據(jù)導入　167
9．3．2　從Wireshark代碼到Splunk代碼　167
9．3．3　字段調(diào)整　169
9．3．4　時間排序　171
9．3．5　數(shù)據(jù)分組　172
9．4　分析聯(lián)網(wǎng)效率　175
9．4．1　創(chuàng)建count字段　175
9．4．2　數(shù)據(jù)過濾　176
9．4．3　數(shù)據(jù)分析　176
【思考題】　180
第 10章　Linux部署　182
10．1　原理及方法　182
10．1．1　虛擬機　182
10．1．2　數(shù)據(jù)傳輸　183
10．2　軟件安裝及運行　184
10．2．1　在虛擬機中安裝Linux系統(tǒng)　184
10．2．2　在CentOS 7系統(tǒng)中安裝Splunk平臺　185
10．2．3　啟動Splunk　186
10．2．4　Splunk的運行演示　187
10．3　網(wǎng)絡配置　189
10．3．1　Ubuntu安裝　189
10．3．2　VMware網(wǎng)絡設(shè)置　190
10．3．3　網(wǎng)絡驗證　191
10．3．4　Ubuntu系統(tǒng)的網(wǎng)絡配置　192
10．3．5　運行Splunk　193
【思考題】　196
第 11章　大數(shù)據(jù)測試實踐　197
11．1　監(jiān)測數(shù)據(jù)導入　197
11．1．1　運行Splunk　197
11．1．2　Web日志分析　197
11．1．3　Xftp連接　198
11．1．4　monitor方式　199
11．1．5　monitor數(shù)據(jù)導入　199
11．1．6　數(shù)據(jù)分析　203
11．1．7　查看文件和目錄　204
11．1．8　小結(jié)　205
11．2　數(shù)據(jù)缺陷挖掘　205
11．2．1　方法與思路　205
11．2．2　狀態(tài)碼　206
11．2．3　啟動Splunk服務　209
11．2．4　網(wǎng)絡聯(lián)通驗證　210
11．2．5　運行Splunk　212
11．2．6　返回操作　212
11．2．7　數(shù)據(jù)挖掘及分析　214
11．2．8　可視化展示　217
11．3　非結(jié)構(gòu)化數(shù)據(jù)處理　220
11．3．1　非結(jié)構(gòu)化數(shù)據(jù)　220
11．3．2　正則表達式　221
11．3．3　數(shù)據(jù)處理　226
【思考題】　240
思考題答案　242