Presto實(shí)戰(zhàn)

譯者序　xv
序　xvii
前言　xix
第 一部分　Presto　入門
第 1章　Presto　介紹　3
1．1　大數(shù)據(jù)帶來(lái)的問(wèn)題　3
1．2　Presto來(lái)救場(chǎng)　4
1．2．1　為性能和規(guī)模而生　5
1．2．2　SQL-on-Anything　5
1．2．3　存儲(chǔ)與計(jì)算分離　6
1．3　Presto使用場(chǎng)景　6
1．3．1　單一的SQL分析訪問(wèn)點(diǎn)　7
1．3．2　數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)源系統(tǒng)的訪問(wèn)點(diǎn)　7
1．3．3　提供對(duì)任何內(nèi)容的SQL訪問(wèn)　8
1．3．4　聯(lián)邦查詢　9
1．3．5　虛擬數(shù)據(jù)倉(cāng)庫(kù)的語(yǔ)義層　9
1．3．6　數(shù)據(jù)湖查詢引擎　9
1．3．7　SQL轉(zhuǎn)換和ETL10
1．3．8　更快的響應(yīng)帶來(lái)更好的數(shù)據(jù)見(jiàn)解　10
1．3．9　大數(shù)據(jù)、機(jī)器學(xué)習(xí)和人工智能　10
1．3．10　其他使用場(chǎng)景　11
1．4　Presto　資源　11
1．4．1　官方網(wǎng)站　11
1．4．2　文檔　12
1．4．3　社區(qū)交流　12
1．4．4　源代碼、許可證和版本　12
1．4．5　貢獻(xiàn)　12
1．4．6　本書資源　13
1．4．7　鳶尾花數(shù)據(jù)集　13
1．4．8　航班數(shù)據(jù)集　14
1．5　Presto簡(jiǎn)史　14
1．6　小結(jié)　15
第 2章　安裝和配置Presto　16
2．1　使用Docker容器嘗試Presto　16
2．2　使用歸檔文件安裝　17
2．2．1　JVM　17
2．2．2　Python　18
2．2．3　安裝　18
2．2．4　配置　19
2．3　添加數(shù)據(jù)源　20
2．4　運(yùn)行Presto　21
2．5　小結(jié)　21
第3章　使用Presto　22
3．1　Presto CLI　22
3．1．1　使用入門　22
3．1．2　分頁(yè)　25
3．1．3　命令歷史　25
3．1．4　額外診斷　25
3．1．5　執(zhí)行查詢　25
3．1．6　輸出格式　26
3．1．7　忽略錯(cuò)誤　26
3．2　Presto JDBC驅(qū)動(dòng)　27
3．2．1　下載和注冊(cè)驅(qū)動(dòng)　28
3．2．2　創(chuàng)建到Presto的連接　29
3．3　Presto與ODBC　31
3．4　客戶端庫(kù)　31
3．5　Presto Web UI　31
3．6　使用Presto執(zhí)行SQL　32
3．6．1　概念　33
3．6．2　入門案例　33
3．7　小結(jié)　36
第二部分　深入理解Presto
第4章　Presto的架構(gòu)　39
4．1　集群中的協(xié)調(diào)器和工作節(jié)點(diǎn)　39
4．2　協(xié)調(diào)器　41
4．3　節(jié)點(diǎn)發(fā)現(xiàn)服務(wù)　41
4．4　工作節(jié)點(diǎn)　42
4．5　基于連接器的架構(gòu)　42
4．6　catalog、schema和表　43
4．7　查詢執(zhí)行模型　44
4．8　查詢優(yōu)化　47
4．8．1　解析和分析　48
4．8．2　初始查詢計(jì)劃　49
4．9　優(yōu)化規(guī)則　50
4．9．1　謂詞下推　51
4．9．2　Cross Join　消除　51
4．9．3　TopN　52
4．9．4　局部聚合　52
4．10　實(shí)現(xiàn)規(guī)則　53
4．10．1　Lateral Join　去關(guān)聯(lián)化　53
4．10．2　Semi-join（IN）去關(guān)聯(lián)化　54
4．11　基于代價(jià)的優(yōu)化器　55
4．11．1　代價(jià)的概念　55
4．11．2　Join的代價(jià)　57
4．11．3　表統(tǒng)計(jì)信息　57
4．11．4　過(guò)濾統(tǒng)計(jì)信息　58
4．11．5　分區(qū)表的統(tǒng)計(jì)信息　59
4．11．6　Join枚舉　60
4．11．7　廣播Join和分布式Join　60
4．12　使用表統(tǒng)計(jì)信息　62
4．12．1　Presto的ANALYZE　命令　62
4．12．2　在寫入存儲(chǔ)時(shí)收集數(shù)據(jù)　63
4．12．3　Hive的ANALYZE　命令　63
4．12．4　顯示表統(tǒng)計(jì)信息　63
4．13　小結(jié)　64
第5章　生產(chǎn)環(huán)境部署　65
5．1　配置細(xì)節(jié)　65
5．2　服務(wù)端配置　65
5．3　日志　66
5．4　節(jié)點(diǎn)配置　67
5．5　JVM配置　68
5．6　啟動(dòng)器　69
5．7　集群安裝　70
5．8　使用RPM安裝　72
5．8．1　安裝目錄結(jié)構(gòu)　72
5．8．2　配置　73
5．8．3　卸載Presto　73
5．9　在云上安裝　73
5．10　集群規(guī)模的考量　74
5．11　小結(jié)　74
第6章　連接器　75
6．1　配置　76
6．2　RDBMS連接器示例：PostgreSQL　76
6．2．1　查詢下推　78
6．2．2　并行性和并發(fā)性　79
6．2．3　其他RDBMS連接器　80
6．2．4　安全性　81
6．3　Presto TPC-H和TPC-DS連接器　81
6．4　用于分布式存儲(chǔ)數(shù)據(jù)源的Hive　連接器　82
6．4．1　Apache Hadoop和Hive　82
6．4．2　Hive連接器　83
6．4．3　Hive式表格式　85
6．4．4　內(nèi)部表與外部表　85
6．4．5　分區(qū)數(shù)據(jù)　87
6．4．6　加載數(shù)據(jù)　88
6．4．7　文件格式和壓縮　90
6．4．8　MinIO示例　91
6．5　非關(guān)系數(shù)據(jù)源　91
6．6　Presto JMX　連接器　92
6．7　黑洞連接器　94
6．8　內(nèi)存連接器　94
6．9　其他連接器　95
6．10　小結(jié)　95
第7章　高級(jí)連接器實(shí)例　96
7．1　用Phoenix連接HBase　96
7．2　鍵值存儲(chǔ)連接器示例：Accumulo　97
7．2．1　使用Presto Accumulo連接器　100
7．2．2　Accumulo中的謂詞下推　102
7．3　Apache Cassandra　連接器　103
7．4　流式系統(tǒng)連接器示例：Kafka　104
7．5　文檔存儲(chǔ)連接器示例：Elasticsearch　106
7．5．1　概述　106
7．5．2　配置和使用方法　106
7．5．3　查詢處理　107
7．5．4　全文搜索　107
7．5．5　總結(jié)　108
7．6　Presto中的聯(lián)邦查詢　108
7．7　ETL和聯(lián)合查詢　114
7．8　小結(jié)　114
第8章　在Presto中使用SQL　115
8．1　Presto語(yǔ)句　116
8．2　Presto系統(tǒng)表　118
8．3　catalog　120
8．4　schema　120
8．5　Information Schema　121
8．6　表　122
8．6．1　表和列屬性　124
8．6．2　復(fù)制現(xiàn)有的表　125
8．6．3　從查詢結(jié)果中新建表　126
8．6．4　修改表　127
8．6．5　刪除表　127
8．6．6　連接器對(duì)表操作的限制　127
8．7　視圖　128
8．8　會(huì)話信息和配置　128
8．9　數(shù)據(jù)類型　129
8．9．1　集合數(shù)據(jù)類型　131
8．9．2　時(shí)態(tài)數(shù)據(jù)類型　132
8．9．3　類型轉(zhuǎn)換　135
8．10　SELECT語(yǔ)句基礎(chǔ)　136
8．11　WHERE子句　137
8．12　GROUP BY和HAVING子句　138
8．13　ORDER BY子句和LIMIT子句　140
8．14　JOIN語(yǔ)句　140
8．15　UNION、INTERSECT和EXCEPT子句　141
8．16　分組操作　143
8．17　WITH子句　144
8．18　子查詢　145
8．18．1　標(biāo)量子查詢　145
8．18．2　EXISTS子查詢　146
8．18．3　集合比較子查詢　146
8．19　從表中刪除數(shù)據(jù)　147
8．20　小結(jié)　147
第9章　高級(jí)SQL特性　148
9．1　函數(shù)和運(yùn)算符介紹　148
9．2　標(biāo)量函數(shù)和運(yùn)算符　149
9．3　布爾運(yùn)算符　150
9．4　邏輯運(yùn)算符　151
9．5　用BETWEEN語(yǔ)句選擇范圍　152
9．6　用IS(NOT) NULL檢測(cè)值的存在　152
9．7　數(shù)學(xué)函數(shù)和運(yùn)算符　152
9．8　三角函數(shù)153
9．9　常數(shù)和隨機(jī)函數(shù)　154
9．10　字符串函數(shù)和運(yùn)算符　154
9．11　字符串和映射　155
9．12　Unicode　156
9．13　正則表達(dá)式　158
9．14　解嵌套復(fù)雜數(shù)據(jù)類型　160
9．15　JSON函數(shù)　161
9．16　日期和時(shí)間函數(shù)及運(yùn)算符　161
9．17　直方圖　164
9．18　聚合函數(shù)　165
9．18．1　映射聚合函數(shù)　165
9．18．2　近似聚合函數(shù)　167
9．19　窗函數(shù)　168
9．20　lambda表達(dá)式　169
9．21　地理空間函數(shù)　170
9．22　Prepared Statement　171
9．23　小結(jié)　173
第三部分　Presto的實(shí)際應(yīng)用
第 10章　安全　177
10．1　認(rèn)證　178
10．2　授權(quán)　181
10．2．1　系統(tǒng)訪問(wèn)控制　181
10．2．2　連接器訪問(wèn)控制　184
10．3　加密　186
10．3．1　加密Presto客戶端與協(xié)調(diào)器之間的通信　188
10．3．2　創(chuàng)建Java keystore和Java truststore　190
10．3．3　在Presto集群內(nèi)加密通信　192
10．4　CA與自簽名證書　193
10．5　證書認(rèn)證　194
10．6　Kerberos　197
10．6．1　前提條件　198
10．6．2　Kerberos客戶端認(rèn)證　198
10．6．3　集群內(nèi)部Kerberos　198
10．7　數(shù)據(jù)源訪問(wèn)和安全配置　199
10．8　使用Hive連接器進(jìn)行Kerberos驗(yàn)證　200
10．8．1　Hive Metastore Thrift服務(wù)認(rèn)證　201
10．8．2　HDFS認(rèn)證　201
10．9　集群分離　202
10．10　小結(jié)　202
第 11章　將Presto與其他工具集成　203
11．1　使用Apache Superset進(jìn)行查詢、可視化和更多操作　203
11．2　使用RubiX提高性能　204
11．3　使用Apache Airflow的工作流　205
11．4　嵌入式Presto示例：Amazon Athena　205
11．5　Starburst企業(yè)版Presto　208
11．6　其他集成案例　208
11．7　自定義集成　209
第 12章　生產(chǎn)環(huán)境中的Presto　211
12．1　使用Presto Web UI監(jiān)控　211
12．1．1　集群級(jí)的細(xì)節(jié)　212
12．1．2　查詢列表　213
12．1．3　查詢細(xì)節(jié)視圖　215
12．2　Presto SQL查詢調(diào)優(yōu)　221
12．3　內(nèi)存管理　223
12．4　任務(wù)并發(fā)性　226
12．5　工作節(jié)點(diǎn)調(diào)度　227
12．5．1　根據(jù)任務(wù)或節(jié)點(diǎn)調(diào)度切片　227
12．5．2　本地調(diào)度策略　227
12．6　網(wǎng)絡(luò)數(shù)據(jù)交換　228
12．6．1　并發(fā)性　228
12．6．2　緩沖區(qū)大小　228
12．7　JVM調(diào)優(yōu)　228
12．8　資源組　230
12．8．1　資源組的定義　231
12．8．2　調(diào)度策略　232
12．8．3　選擇器規(guī)則定義　233
12．9　小結(jié)　233
第 13章　真實(shí)世界的案例　234
13．1　部署和運(yùn)行時(shí)平臺(tái)　234
13．2　集群規(guī)?！?35
13．3　Hadoop/Hive遷移的使用場(chǎng)景　237
13．4　其他數(shù)據(jù)源　237
13．5　用戶和流量　237
13．6　小結(jié)　238
第 14章　總結(jié)　239
關(guān)于作者　240
關(guān)于封面　240