云計(jì)算：科學(xué)與工程實(shí)踐指南

出版者的話
譯者序
前言
致謝
第1章　在云的宇宙中定位 1
1.1　云：計(jì)算機(jī)、助理和平臺 1
1.2　云的概況 2
1.3　本書導(dǎo)讀 5
1.4　獲取云服務(wù)的方式：網(wǎng)站、應(yīng)用編程接口和軟件開發(fā)工具包 6
1.4.1　Web界面、應(yīng)用編程接口、軟件開發(fā)工具包和命令行界面 6
1.4.2　本地應(yīng)用和云應(yīng)用 8
1.5　本書使用的工具 8
1.5.1　Python 8
1.5.2　Jupyter：基于Web的交互式計(jì)算工具 9
1.5.3　版本控制系統(tǒng)GitHub 10
1.5.4　Globus 10
1.6　小結(jié) 10
1.7　資源 11
第一部分　管理云中的數(shù)據(jù)
第2章　存儲即服務(wù) 15
2.1　三個(gè)啟發(fā)式的例子 15
2.2　存儲模型 16
2.2.1　文件系統(tǒng) 16
2.2.2　對象存儲 17
2.2.3　關(guān)系型數(shù)據(jù)庫 17
2.2.4　NoSQL數(shù)據(jù)庫 18
2.2.5　圖數(shù)據(jù)庫 19
2.2.6　數(shù)據(jù)倉庫 20
2.3　云存儲全景 20
2.3.1　文件系統(tǒng) 20
2.3.2　對象存儲 21
2.3.3　NoSQL服務(wù) 21
2.3.4　關(guān)系型數(shù)據(jù)庫 22
2.3.5　基于數(shù)據(jù)倉庫的數(shù)據(jù)分析 22
2.3.6　圖數(shù)據(jù)庫及其他服務(wù) 23
2.3.7　OpenStack存儲服務(wù)和Jetstream云服務(wù) 23
2.4　小結(jié) 24
2.5　資源 24
第3章　使用云存儲服務(wù) 25
3.1　兩種訪問方式：門戶和API 25
3.2　使用Amazon云存儲服務(wù) 26
3.3　使用Microsoft Azure云存儲服務(wù) 28
3.4　使用Google云存儲服務(wù) 31
3.4.1　Google Bigtable 32
3.4.2　Google Cloud Datastore 33
3.5　使用OpenStack云存儲服務(wù) 34
3.6　用Globus傳輸和共享數(shù)據(jù) 35
3.6.1　用Globus傳輸數(shù)據(jù) 36
3.6.2　用Globus共享數(shù)據(jù) 38
3.7　小結(jié) 38
3.8　資源 39
第二部分　云中的計(jì)算
第4章　計(jì)算即服務(wù) 43
4.1　虛擬機(jī)和容器 43
4.2　先進(jìn)的計(jì)算服務(wù) 45
4.3　無服務(wù)器計(jì)算 46
4.4　公有云計(jì)算的優(yōu)缺點(diǎn) 46
4.5　小結(jié) 47
4.6　資源 48
第5章　虛擬機(jī)的使用和管理 49
5.1　歷史根源 49
5.2　亞馬遜的彈性計(jì)算云 50
5.2.1　創(chuàng)建虛擬機(jī)實(shí)例 50
5.2.2　連接存儲 52
5.3　Azure虛擬機(jī) 54
5.4　谷歌云虛擬機(jī)服務(wù) 55
5.5　Jetstream虛擬機(jī)服務(wù) 55
5.6　小結(jié) 56
5.7　資源 57
第6章　使用和管理容器 58
6.1　容器的基礎(chǔ)知識 58
6.2　Docker和Hub 59
6.3　容器用于科學(xué) 61
6.4　構(gòu)建你自己的容器 62
6.5　小結(jié) 63
6.6　資源 63
第7章　彈性部署 64
7.1　云中并行計(jì)算的范式 64
7.2　SPMD和HPC風(fēng)格的并行 65
7.2.1　云中的消息傳遞接口 65
7.2.2　云中的GPU 65
7.2.3　在Amazon云上部署HPC集群 67
7.2.4　在Azure上部署HPC集群 70
7.2.5　集群的進(jìn)一步擴(kuò)展 71
7.3　多任務(wù)并行計(jì)算 72
7.4　MapReduce和批量同步并行計(jì)算 72
7.5　圖數(shù)據(jù)流的執(zhí)行和Spark 73
7.6　代理和微服務(wù) 74
7.6.1　微服務(wù)和容器資源管理器 75
7.6.2　在集群中管理身份 75
7.6.3　簡單的例子 75
7.6.4　Amazon EC2容器服務(wù) 76
7.6.5　Google的Kubernetes 81
7.6.6　Mesos和Mesosphere 84
7.7　HTCondor 86
7.8　小結(jié) 86
7.9　資源 87
第三部分　云平臺
第8章　云中的數(shù)據(jù)分析 91
8.1　Hadoop和YARN 91
8.2　Spark 93
8.2.1　一個(gè)簡單的Spark程序 93
8.2.2　一個(gè)更有趣的Spark程序：k均值聚類 94
8.2.3　容器中的Spark 95
8.2.4　Spark中的SQL 96
8.3　Amazon Elastic MapReduce 97
8.4　Azure HDInsight和數(shù)據(jù)湖 99
8.4.1　Azure Data Lake存儲 100
8.4.2　數(shù)據(jù)湖分析 101
8.5　Amazon Athena分析 102
8.6　Google云數(shù)據(jù)實(shí)驗(yàn)室 102
8.6.1　華盛頓和印第安納州的風(fēng)疹 103
8.6.2　尋找氣象臺的異常 104
8.7　小結(jié) 107
8.8　資源 107
第9章　將數(shù)據(jù)以流式傳輸?shù)皆贫?109
9.1　科學(xué)流案例 109
9.1.1　廣域地球物理傳感器網(wǎng)絡(luò) 110
9.1.2　城市信息學(xué) 110
9.1.3　大規(guī)?？茖W(xué)數(shù)據(jù)流 111
9.2　流系統(tǒng)的基本設(shè)計(jì)挑戰(zhàn) 112
9.3　Amazon Kinesis和Firehose 112
9.3.1　Kinesis Streams架構(gòu) 113
9.3.2　Kinesis和Amazon SQS 114
9.4　Kinesis、Spark和物體陣列 115
9.5　用Azure進(jìn)行流數(shù)據(jù)處理 118
9.6　Kafka、Storm和Heron Streams 121
9.7　Google Dataflow和Apache Beam 124
9.8　Apache Flink 126
9.9　小結(jié) 127
9.10　資源 128
第10章　基于云的機(jī)器學(xué)習(xí) 129
10.1　Spark機(jī)器學(xué)習(xí)庫 129
10.1.1　邏輯回歸 130
10.1.2　芝加哥餐廳案例 130
10.2　Azure機(jī)器學(xué)習(xí)空間 133
10.3　Amazon機(jī)器學(xué)習(xí)平臺 136
10.4　深度學(xué)習(xí)淺析 138
10.4.1　深度網(wǎng)絡(luò) 139
10.4.2　卷積神經(jīng)網(wǎng)絡(luò) 140
10.4.3　遞歸神經(jīng)網(wǎng)絡(luò) 141
10.5　Amazon MXNet虛擬機(jī)鏡像 143
10.6　Google TensorFlow 146
10.7　微軟認(rèn)知工具包 147
10.8　小結(jié) 149
10.9　資源 150
第11章　Globus研究數(shù)據(jù)管理平臺 152
11.1　分布式數(shù)據(jù)的挑戰(zhàn)和機(jī)遇 152
11.2　Globus平臺 153
11.2.1　Globus傳輸和共享 153
11.2.2　rule_data結(jié)構(gòu) 155
11.3　身份和證書管理 155
11.3.1　Globus Auth授權(quán)服務(wù) 156
11.3.2　一個(gè)典型的Globus Auth工作流 157
11.3.