大數(shù)據(jù)搜索與挖掘及可視化管理方案（第3版）

第1章概述1
1.1Elasticsearch概述3
1.1.1Elasticsearch的安裝與簡(jiǎn)單配置4
1.1.2Elasticsearch API的簡(jiǎn)單使用方式7
1.2Logstash7
1.3Kibana8
1.4其他8
1.5擴(kuò)展知識(shí)與閱讀9
1.6本章小結(jié)10
第2章文檔索引及管理11
2.1文檔索引概述11
2.2Head: Elasticsearch的數(shù)據(jù)管理工具13
2.3建立索引16
2.4通過映像mappings配置索引20
2.4.1在索引中使用映像21
2.4.2管理/配置映像22
2.4.3獲取映像信息22
2.4.4刪除映像24
2.5管理索引文件24
2.5.1打開、關(guān)閉、檢測(cè)、刪除索引文件24
2.5.2清空索引緩存25
2.5.3刷新索引數(shù)據(jù)25
2.5.4優(yōu)化索引數(shù)據(jù)26
2.5.5Flush操作26[1][2][1][3]2.6設(shè)置中文分析器26
2.7對(duì)文檔的其他操作29
2.7.1獲取指定的文檔信息29
2.7.2刪除文檔中的信息31
2.7.3數(shù)據(jù)更新31
2.7.4基于POST方式批量獲取文檔34
2.8實(shí)例36
2.9擴(kuò)展知識(shí)與閱讀40
2.10本章小結(jié)41
第3章信息檢索與聚合42
3.1實(shí)驗(yàn)數(shù)據(jù)集描述43
3.2基本檢索44
3.2.1檢索方式44
3.2.2query查詢45
3.2.3from / size查詢45
3.2.4查詢結(jié)果排序46
3.2.5高亮搜索詞48
3.2.6查詢模板50
3.3檢索進(jìn)階50
3.3.1全文檢索51
3.3.2詞項(xiàng)檢索54
3.3.3復(fù)合查詢58
3.3.4跨度查詢60
3.3.5特殊查詢63
3.3.6腳本script64
3.4聚合67
3.4.1metrics aggregations68
3.4.2bucket aggregations72
3.4.3pipeline aggregations81
3.4.4matrix aggregations85
3.5實(shí)例87
3.6擴(kuò)展知識(shí)與閱讀92
3.7本章小結(jié)93
第4章面向Java的Elasticsearch Client部分功能實(shí)現(xiàn)94
4.1Elasticsearch節(jié)點(diǎn)實(shí)例化94
4.1.1通過Maven添加Elasticsearch依賴94
4.1.2初始化TransportClient96
4.2索引數(shù)據(jù)98
4.2.1準(zhǔn)備JSON數(shù)據(jù)98
4.2.2索引JSON數(shù)據(jù)100
4.3對(duì)索引文檔的操作101
4.3.1獲取索引文檔數(shù)據(jù)101
4.3.2刪除索引文檔104
4.3.3更新索引文檔105
4.3.4批量操作索引文件105
4.4信息檢索107
4.4.1概述107
4.4.2MultiSearch109
4.4.3Search template110
4.4.4Query DSL概述110
4.4.5matchAllQuery111
4.4.6全文檢索的部分方法112
4.4.7詞項(xiàng)檢索的部分方法115
4.4.8復(fù)合查詢的部分方法119
4.4.9跨度查詢的部分方法121
4.4.10特殊查詢124
4.5聚合126
4.5.1Metrics聚合126
4.5.2Bucket聚合130
4.6對(duì)檢索結(jié)果的進(jìn)一步處理134
4.6.1控制每頁的顯示數(shù)量及顯示排序依據(jù)134
4.6.2基于scroll的檢索結(jié)果及其分頁135
4.7實(shí)例137
4.7.1在Elasticsearch中建立索引137
4.7.2連接Elasticsearch138
4.7.3信息采集與索引構(gòu)建139
4.7.4搜索模塊的實(shí)現(xiàn)141
4.7.5推薦模塊的實(shí)現(xiàn)142
4.7.6聚合模塊的實(shí)現(xiàn)143
4.8擴(kuò)展知識(shí)與閱讀145
4.9本章小結(jié)145
第5章Elasticsearch配置與集群管理146
5.1Elasticsearch部分基本配置及其說明146
5.2索引和查詢效率的優(yōu)化149
5.3監(jiān)控集群狀態(tài)150
5.4控制索引分片與副本分配152
5.5集群管理154
5.6擴(kuò)展知識(shí)與閱讀155
5.7本章小結(jié)156
第6章基于Logstash的日志處理157
6.1概述158
6.2Input: 處理輸入的日志數(shù)據(jù)160
6.2.1處理基于file方式輸入的日志信息161
6.2.2處理基于generator產(chǎn)生的日志信息162
6.2.3處理基于log4j的日志信息163
6.2.4處理基于redis的日志信息165
6.2.5處理基于stdin方式輸入的信息168
6.2.6處理基于TCP傳輸?shù)娜罩緮?shù)據(jù)169
6.2.7處理基于UDP傳輸?shù)娜罩緮?shù)據(jù)173
6.3codecs: 格式化日志數(shù)據(jù)174
6.3.1JSON格式175
6.3.2rubydebug格式177
6.3.3plain格式177
6.4基于filter的日志處理與轉(zhuǎn)換178
6.4.1JSON filter178
6.4.2grok filter180
6.4.3kv filter182
6.5output: 輸出日志數(shù)據(jù)184
6.5.1將處理后的日志輸出到Elasticsearch中185
6.5.2將處理后的日志輸出至文件中186
6.5.3將處理后的部分日志輸出到csv格式的文件中187
6.5.4將處理后的日志輸出到redis中189
6.5.5將處理后的部分日志通過UDP協(xié)議輸出190
6.5.6將處理后的部分日志通過TCP協(xié)議輸出192
6.5.7將收集到的日志信息傳輸?shù)阶远x的HTTP接口中195
6.6擴(kuò)展知識(shí)與閱讀196
6.7本章小結(jié)197
第7章基于Kibana的數(shù)據(jù)分析可視化198
7.1Kibana概述199
7.2安裝Kibana199
7.3使用Management管理配置200
7.3.1添加index pattern200
7.3.2高級(jí)設(shè)置202
7.3.3管理已保存的檢索、可視化和儀表板205
7.4使用Discover執(zhí)行查詢206
7.4.1設(shè)置時(shí)間過濾器206
7.4.2在index pattern中執(zhí)行搜索207
7.4.3字段過濾208
7.4.4查看文檔數(shù)據(jù)210
7.5使用Visualize創(chuàng)建統(tǒng)計(jì)圖表211
7.6使用Dashboard創(chuàng)建動(dòng)態(tài)儀表板214
7.6.1創(chuàng)建新的動(dòng)態(tài)儀表板215
7.6.2打開已保存的動(dòng)態(tài)儀表板215
7.6.3分享動(dòng)態(tài)儀表板216
7.7使用Timelion創(chuàng)建時(shí)間線216
7.8使用Dev Tools執(zhí)行命令行218
7.8.1在Console中執(zhí)行命令218
7.8.2Console的快捷鍵220
7.8.3Console的配置221
7.9網(wǎng)站性能監(jiān)控可視化應(yīng)用的設(shè)計(jì)與實(shí)現(xiàn)221
7.9.1概述222
7.9.2使用Visualize實(shí)現(xiàn)可視化222
7.9.3使用Dashboard整合可視化結(jié)果225
7.10擴(kuò)展知識(shí)與閱讀227
7.11本章小結(jié)227
第8章基于XPack的系統(tǒng)運(yùn)行監(jiān)控229
8.1XPack概述229
8.2安裝XPack230
8.3Security插件與安全性231
8.3.1身份驗(yàn)證機(jī)制與用戶管理231
8.3.2匿名訪問233
8.3.3基于域的用戶認(rèn)證234
8.3.4基于角色的訪問權(quán)限配置236
8.3.5IP過濾238
8.3.6帶有身份認(rèn)證的TransportClient240
8.3.7帶有身份認(rèn)證的RESTful命令243
8.4使用Monitoring監(jiān)控系統(tǒng)運(yùn)行狀態(tài)243
8.4.1系統(tǒng)運(yùn)行狀態(tài)監(jiān)控243
8.4.2配置Monitoring247
8.4.3搭建獨(dú)立的Monitoring集群248
8.5Alerting插件與異常事件警報(bào)250
8.5.1通過RESTful方式設(shè)置監(jiān)視器250
8.5.2通過Java程序設(shè)置監(jiān)視器254
8.6Reporting與報(bào)告生成256
8.6.1在程序中生成報(bào)告256
8.6.2通過監(jiān)視器自動(dòng)生成報(bào)告257
8.7使用Graph探索數(shù)據(jù)關(guān)聯(lián)259
8.8擴(kuò)展知識(shí)與閱讀261
8.9本章小結(jié)261
第9章基于Beats的數(shù)據(jù)解析傳輸262
9.1基于Packetbeat的網(wǎng)絡(luò)數(shù)據(jù)包傳輸263
9.1.1概述263
9.1.2安裝263
9.1.3配置264
9.1.4加載索引模板266
9.1.5啟動(dòng)和關(guān)閉267
9.1.6使用Kibana進(jìn)行展示268
9.2基于Filebeat的日志傳輸269
9.2.1概述269
9.2.2安裝和配置269
9.2.3啟動(dòng)和關(guān)閉272
9.2.4使用Kibana進(jìn)行展示272
9.3基于Metricbeat的系統(tǒng)指標(biāo)數(shù)據(jù)傳輸273
9.3.1概述273
9.3.2安裝和配置274
9.3.3啟動(dòng)和關(guān)閉275
9.3.4使用Kibana進(jìn)行展示276
9.4基于Winlogbeat的Windows事件日志數(shù)據(jù)傳輸277
9.4.1概述277
9.4.2安裝278
9.4.3配置279
9.4.4啟動(dòng)和關(guān)閉282
9.4.5使用Kibana進(jìn)行展示283
9.5擴(kuò)展知識(shí)與閱讀284
9.6本章小結(jié)285
第10章網(wǎng)絡(luò)信息檢索與分析實(shí)踐1286
10.1信息采集286
10.2基于Python的信息檢索及Web端設(shè)計(jì)291
10.2.1安裝Python及Django291
10.2.2安裝Elasticsearch的Python插件292
10.2.3Web頁面設(shè)計(jì)293
10.3基于Logstash的日志處理296
10.3.1安裝和配置Nginx297
10.3.2設(shè)計(jì)面向日志文件的pattern297
10.3.3在Logstash中進(jìn)行相關(guān)配置298
10.4基于Kibana的日志分析結(jié)果可視化設(shè)計(jì)與實(shí)現(xiàn)299
10.4.1圖表1: 狀態(tài)碼走勢(shì)分析300
10.4.2圖表2: 查詢?cè)~分析302
10.4.3圖表3: 分析各狀態(tài)碼隨時(shí)間的變遷302
10.4.4集成圖表304
10.5擴(kuò)展知識(shí)與閱讀304
10.6本章小結(jié)305
第11章網(wǎng)絡(luò)信息檢索與分析實(shí)踐2306
11.1面向動(dòng)態(tài)網(wǎng)站的信息采集307
11.1.1軟件準(zhǔn)備307
11.1.2瀏覽器驅(qū)動(dòng)程序準(zhǔn)備307
11.1.3創(chuàng)建索引和映像308
11.1.4導(dǎo)入依賴309
11.1.5數(shù)據(jù)采集310
11.2基于Spring MVC的信息檢索及Web程序設(shè)計(jì)317
11.2.1創(chuàng)建和配置Spring MVC項(xiàng)目317
11.2.2前端頁面設(shè)計(jì)319
11.2.3后端控制器類324
11.3基于Logstash的日志處理329
11.4基于Beats的數(shù)據(jù)傳輸330
11.5基于Kibana的數(shù)據(jù)可視化331
11.5.1可視化索引文件中的信息331
11.5.2對(duì)Logstash、Beats的可視化展示333
11.6基于XPack的系統(tǒng)監(jiān)控335
11.7擴(kuò)展知識(shí)與閱讀337
11.8本章小結(jié)337
參考文獻(xiàn)339