97精品国内久久久久精品一本,在线欧美免费中文

內容簡介

　　本書深入地探討云原生數(shù)據(jù)倉庫的理論知識與技術實踐，涵蓋數(shù)據(jù)倉庫的發(fā)展歷程、大數(shù)據(jù)處理技術、云原生數(shù)據(jù)倉庫的概念與特點，以及云計算時代的數(shù)據(jù)倉庫技術。書中詳細介紹云原生數(shù)據(jù)倉庫的架構設計，計算引擎、優(yōu)化器、存儲的關鍵技術，以及資源管理與調度等知識。同時，本書結合Redshift、Snowflake、BigQuery等典型的云原生數(shù)據(jù)倉庫，以及AnalyticDB等具有代表性的國產數(shù)據(jù)倉庫，介紹大量的實踐案例。此外，書中針對云原生數(shù)據(jù)倉庫的資源調度、查詢優(yōu)化、運維管理等方面進行深入的剖析，提供大量的最佳實踐和應用場景。

作者簡介

　　李飛飛阿里云智能高級副總裁、阿里云數(shù)據(jù)庫產品事業(yè)部負責人，ACM、CCF和IEEE會士（Fellow）。曾獲ACM與IEEE多項大獎，世界互聯(lián)網大會2019全球領先科技成果獎，浙江省科技進步一等獎，中國電子學會科技進步一等獎等。帶領團隊研發(fā)了阿里云企業(yè)級云原生數(shù)據(jù)庫系統(tǒng)PolarDB，云原生數(shù)據(jù)倉庫AnalyticDB，云原生多模數(shù)據(jù)庫Lindorm，以及云數(shù)據(jù)庫RDS，連續(xù)進入Gartner全球云數(shù)據(jù)庫市場Cloud DBMS領導者象限。中國計算機學會（CCF）大數(shù)據(jù)專家委員會常委，數(shù)據(jù)庫專業(yè)委員會常委。周烜華東師范大學特聘教授，數(shù)據(jù)科學與工程學院副院長，國家級領軍人才。2005年在新加坡國立大學取得博士學位，先后在德國 L3S 研究中心、澳大利亞聯(lián)邦科工組織、中國人民大學任職，2017年加入華東師范大學。他的研究興趣包括數(shù)據(jù)庫系統(tǒng)和信息檢索技術，曾負責多個國內外的科研項目和工業(yè)合作項目，開發(fā)各種數(shù)據(jù)管理系統(tǒng)。獲2019年國家科技進步二等獎和2022年國家級教學成果二等獎。..胡卉芪華東師范大學數(shù)據(jù)科學與工程學院副教授。主要從事數(shù)據(jù)庫系統(tǒng)與分布式系統(tǒng)方面的研究。曾獲國家科學技術進步獎、教*育*部科技進步獎（主要參與人）等獎項。長期參與數(shù)據(jù)科學與工程學科建設，多年來專注于數(shù)據(jù)管理系統(tǒng)、數(shù)據(jù)庫內核原理與數(shù)據(jù)等相關課程的教學與學生培養(yǎng)工作。楊程程華東師范大學數(shù)據(jù)科學與工程學院研究員，分別于2012和2017年獲得中國科學技術大學計算機科學與技術學院學士和博士學位。先后任職于上海華為、阿聯(lián)酋起源人工智能研究院以及沙特阿卜杜拉國王科技大學。在SIGMOD、VLDB、ICDE、ISSTA、VLDB Journal、TKDE等領域內頂級學術會議和期刊發(fā)表論文20余篇，并獲得NPC 2014最佳論文獎。先后承擔了國家自然科學基金青年基金、上海市浦江人才計劃、教*育*部產學研協(xié)同育人以及多項與企業(yè)的合作項目，參與了多項國家自然科學基金重點項目、面上項目。研究興趣包括面向新型存儲的數(shù)據(jù)管理、數(shù)據(jù)庫和人工智能融合、數(shù)據(jù)清理等。林亮阿里巴巴阿里云智能數(shù)據(jù)庫產品事業(yè)部研究員，主要從事云原生數(shù)據(jù)系統(tǒng)與分布式系統(tǒng)方面的研發(fā)，負責阿里云自研云原生數(shù)據(jù)倉庫AnalyticDB的研發(fā)工作，曾在SIGMOD、VLDB等國際頂級會議發(fā)表多篇學術論文，獲得浙江省科技進步一等獎。王遠現(xiàn)任阿里云數(shù)據(jù)庫產品管理與技術架構部負責人、開源PolarDB技術委員會主席，于2002年和2007年在南京大學計算機系先后獲得學士與博士學位。在互聯(lián)網、電力、能源、公安等行業(yè)從事大數(shù)據(jù)平臺的研發(fā)工作，多次獲得省部級科技進步獎及國家級榮譽稱號。目前主要研究方向為云原生數(shù)據(jù)庫、實時數(shù)倉、大數(shù)據(jù)與數(shù)據(jù)湖技術以及一體化數(shù)據(jù)方案，主導了阿里云瑤池數(shù)據(jù)庫全產品體系設計以及核心云數(shù)據(jù)庫產品的規(guī)劃、設計及規(guī)?；瘧霉ぷ鳎ò≒olarDB、AnalyticDB、Lindorm、DMS等），目前瑤池數(shù)據(jù)庫服務了云上數(shù)十萬企業(yè)級用戶。

圖書目錄

第1章數(shù)據(jù)倉庫與大數(shù)據(jù)處理技術概述/1
1.1 數(shù)據(jù)倉庫發(fā)展概述 /2
1.1.1 萌芽：OLTP 數(shù)據(jù)庫與數(shù)據(jù)倉庫概念的提出 /2
1.1.2 發(fā)展：聯(lián)機分析處理與信息倉庫集成理論 /6
1.1.3 成熟：商用數(shù)據(jù)倉庫與數(shù)據(jù)倉庫建模理論 /13
1.2 大數(shù)據(jù)處理技術與數(shù)據(jù)倉庫/20
1.2.1 大數(shù)據(jù)處理技術的起源 /21
1.2.2 分布式技術 /22
1.2.3 經典大數(shù)據(jù)處理架構 /28
1.2.4 湖倉一體 /29
1.3 數(shù)據(jù)倉庫發(fā)展趨勢 /31
1.3.1 云原生與分布式 /31
1.3.2 大數(shù)據(jù)與數(shù)據(jù)庫一體化 /33
1.3.3 彈性與Serverless 擴容計費 /34
1.3.4 智能化 /36
1.3.5 數(shù)據(jù)共享與安全可信 /37
第2章數(shù)據(jù)倉庫與云計算/39
2.1 云計算時代數(shù)據(jù)倉庫的發(fā)展 /40
2.1.1 基礎設施服務化 /40
2.1.2 數(shù)據(jù)倉庫服務化 /43
2.2 云計算時代數(shù)據(jù)倉庫技術的機遇與挑戰(zhàn) /45
2.2.1 高彈性和平臺成本之間的權衡 /45
2.2.2 穩(wěn)定性挑戰(zhàn) /46
2.2.3 計算存儲帶寬瓶頸 /47
2.2.4 安全的挑戰(zhàn) /47
2.3 云原生數(shù)據(jù)倉庫的技術特點 /48
2.3.1 存算分離與資源池化 /48
2.3.2 超融合基礎架構 /49
2.3.3 高可用 /49
2.3.4 自服務 /49
2.3.5 分層架構與彈性擴展 /50
2.3.6 數(shù)據(jù)實時性與多級一致性 /50
2.3.7 數(shù)據(jù)開放性與共享 /51
2.3.8 計算多樣性 /51
第3章云原生數(shù)據(jù)倉庫架構/53
3.1 設計理念/54
3.1.1 充分利用云資源 /54
3.1.2 縱向解耦與橫向彈性 /54
3.1.3 一體化數(shù)據(jù)處理 /55
3.2 參考架構/56
3.3 典型云原生數(shù)據(jù)倉庫/ 58
3.3.1 Redshift / 58
3.3.2 Snowflake / 63
3.3.3 BigQuery / 69
3.3.4 Databricks / 72
3.3.5 AnalyticDB / 74
3.4 云原生數(shù)據(jù)倉庫比較/77
3.4.1 存算分離 /77
3.4.2 彈性能力與可擴展性 /77
3.4.3 Serverless 支持 / 78
3.4.4 計算模型 /78
3.4.5 ACID 語義 /78
3.4.6 生態(tài)兼容 /79
第4章計算引擎關鍵技術/80
4.1 執(zhí)行模型/ 81
4.1.1 迭代模型 /81
4.1.2 物化模型 /82
4.1.3 批處理模型 /83
4.2 單機執(zhí)行模型/ 84
4.2.1 執(zhí)行模型 /84
4.2.2 典型執(zhí)行算子 /85
4.2.3 執(zhí)行算子優(yōu)化 /87
4.3 分布式執(zhí)行框架/ 91
4.3.1 MPP 架構 / 91
4.3.2 BSP /94
4.4 典型交互模式/ 98
4.4.1 批處理 / 99
4.4.2 交互式 /101
4.4.3 實時檢索 /102
4.4.4 機器學習 /103
4.5 AnalyticDB計算引擎實踐/104
4.5.1 AnalyticDB 的執(zhí)行模型 /105
4.5.2 AnalyticDB 的計算資源調度 /111
4.5.3 AnalyticDB 混合負載管理 /117
第5章優(yōu)化器關鍵技術/123
5.1 優(yōu)化技術分類/124
5.2 成熟優(yōu)化器模型/125
5.2.1 分層搜索 /125
5.2.2 統(tǒng)一搜索 /126
5.3 深入CBO/133
5.3.1 代價模型與參數(shù)估計 /133
5.3.2 動態(tài)抽樣 /140
5.3.3 查詢重優(yōu)化 /143
5.4 AnalyticDB優(yōu)化器實踐/150
5.4.1 主體框架 /150
5.4.2 統(tǒng)計信息管理 /152
5.4.3 湖倉一體優(yōu)化器 /157
第6章數(shù)據(jù)倉庫存儲關鍵技術/158
6.1 湖倉架構/159
6.1.1 Azure、AWS 和Open Data Lakehouse / 160
6.1.2 Hudi、IceBerg 和Delta Lake /165
6.2 數(shù)據(jù)倉庫存儲架構/172
6.2.1 單機存儲架構 /172
6.2.2 分布式共享存儲 /173
6.3 典型存儲格式/175
6.3.1 行存儲 /176
6.3.2 列存儲 /177
6.3.3 行列混合存儲 /178
6.4 關鍵數(shù)據(jù)結構、索引與壓縮技術/ 180
6.4.1 數(shù)據(jù)結構 /180
6.4.2 索引實現(xiàn) /186
6.4.3 典型壓縮算法 /197
6.5 數(shù)據(jù)分區(qū)技術/204
6.5.1 哈希分區(qū) /205
6.5.2 Range 分區(qū) / 206
6.5.3 其他數(shù)據(jù)分布模式 /207
6.5.4 數(shù)據(jù)冷熱分層及生命周期管理 /208
6.6 數(shù)據(jù)一致性和可用性/209
6.6.1 數(shù)據(jù)一致性概念與分級 /210
6.6.2 二階段提交 /212
6.6.3 多版本并發(fā)控制 /213
6.6.4 分布式一致性協(xié)議 /215
6.6.5 數(shù)據(jù)可用性 /219
6.6.6 數(shù)據(jù)實時性 /220
6.6.7 備份恢復 /221
第7章資源管理與調度/223
7.1 云上資源調度的挑戰(zhàn)與機遇/224
7.1.1 Serverless 的服務級別協(xié)議 / 224
7.1.2 多租戶系統(tǒng) /224
7.1.3 預測模型 /225
7.2 典型資源調度框架/225
7.2.1 Yarn/Yarn2 /225
7.2.2 Mesos /229
7.2.3 Kubernetes /232
7.3 AnalyticDB資源調度實踐/238
7.3.1 云庫存調度 / 238
7.3.2 資源利用率 /240
7.3.3 按需彈性 /245
第8章 AnalyticDB云上應用實踐/247
8.1 實例創(chuàng)建/248
8.2 數(shù)據(jù)接入/250
8.2.1 Serverless 的服務級別協(xié)議 / 250
8.2.2 數(shù)據(jù)導入方式介紹 /250
8.2.3 數(shù)據(jù)導入性能優(yōu)化 /254
8.3 數(shù)據(jù)類型和基本操作/257
8.3.1 數(shù)據(jù)類型 / 257
8.3.2 系統(tǒng)函數(shù) /257
8.3.3 物化視圖 /258
8.3.4 全文檢索 / 259
8.3.5 DDL /262
8.3.6 DML /263
8.3.7 DQL /263
8.3.8 DCL / 264
8.3.9 元數(shù)據(jù)庫數(shù)據(jù)字典 /264
8.4 查詢優(yōu)化/264
8.4.1 智能診斷與調優(yōu) / 264
8.4.2 調優(yōu)查詢 /270
8.5 運維管理/276
8.5.1 工作負載管理 /276
8.5.2 監(jiān)控與報警 /277
8.5.3 安全管理 /277
8.5.4 備份與恢復 /279
8.5.5 變配與擴容 / 279
8.5.6 維護時間與運維事件 /281
8.5.7 數(shù)據(jù)資產管理 /282
8.5.8 標簽管理 / 283
8.6 最佳實踐/283
8.6.1 數(shù)據(jù)資產管理 /283
8.6.2 數(shù)據(jù)變更最佳實踐 /286
8.6.3 數(shù)據(jù)查詢最佳實踐 /287
8.6.4 負載管理最佳實踐 /287
8.7 典型應用場景/290
8.7.1 實時數(shù)據(jù)倉庫 / 290
8.7.2 精準營銷 /290
8.7.3 商業(yè)智能報表 /290
8.7.4 多源聯(lián)合分析 /291
8.7.5 交互式查詢 /291
參考文獻/292