可擴(kuò)展并行計算：技術(shù)、結(jié)構(gòu)與編程

目      錄
譯者序
序
前言
致教師/讀者
第一篇   可擴(kuò)展性和機(jī)群化
第1章   可擴(kuò)展計算機(jī)平臺和模型 2
1.1   計算機(jī)體系結(jié)構(gòu)演變 3
1.1.1   計算機(jī)代 3
1.1.2   可擴(kuò)展計算機(jī)體系結(jié)構(gòu) 3
1.1.3   計算機(jī)系統(tǒng)體系結(jié)構(gòu)發(fā)展的
           趨勢 5
1.2   可擴(kuò)展性范圍 6
1.2.1   資源可擴(kuò)展性 6
1.2.2   應(yīng)用可擴(kuò)展性 7
1.2.3   技術(shù)可擴(kuò)展性 7
1.3   并行計算機(jī)模型 8
1.3.1   語義屬性 9
1.3.2   性能屬性 11
1.3.3   抽象機(jī)模型 12
1.3.4   物理機(jī)模型 16
1.4   機(jī)群化的基本概念 19
1.4.1   機(jī)群特征 19
1.4.2   體系結(jié)構(gòu)的比較 20
1.4.3   機(jī)群的優(yōu)越性和難點 21
1.5   可擴(kuò)展設(shè)計原理 23
1.5.1   獨立原理 24
1.5.2   平衡設(shè)計原理 25
1.5.3   可擴(kuò)展性設(shè)計 28
1.6   參考文獻(xiàn)注釋和習(xí)題 30
第2章   并行編程基礎(chǔ) 33
2.1   并行編程綜述 33
2.1.1   并行編程緣何艱難 33
2.1.2   并行編程環(huán)境 35
2.1.3   并行編程方法 36
2.2   進(jìn)程. 任務(wù)和線程 38
2.2.1   抽象進(jìn)程的定義 38
2.2.2   執(zhí)行方式 40
2.2.3   地址空間 40
2.2.4   進(jìn)程現(xiàn)場 42
2.2.5   進(jìn)程描述符 42
2.2.6   進(jìn)程控制 43
2.2.7   進(jìn)程的變異 45
2.3   并行性問題 46
2.3.1   進(jìn)程中的同構(gòu)性 46
2.3.2   靜態(tài)和動態(tài)并行性 48
2.3.3   進(jìn)程編組 48
2.3.4   分配問題 49
2.4   交互/通信問題 50
2.4.1   交互操作 50
2.4.2   交互方式 52
2.4.3   交互模式 53
2.4.4   合作和競爭交互 54
2.5   并行程序中的語義問題 55
2.5.1   程序的終止 55
2.5.2   程序的確定性 55
2.6   參考文獻(xiàn)注釋和習(xí)題 56
第3章   性能指標(biāo)和基準(zhǔn)程序 59
3.1   系統(tǒng)和應(yīng)用的基準(zhǔn)程序 59
3.1.1   微基準(zhǔn)程序 60
3.1.2   并行計算的基準(zhǔn)程序 62
3.1.3   商業(yè)和TPC基準(zhǔn)程序 64
3.1.4   SPEC基準(zhǔn)程序系列 65
3.2   性能與成本 66
3.2.1   執(zhí)行時間和吞吐率 67
3.2.2   利用率和成本有效性 68
3.3   基本性能指標(biāo) 70
3.3.1   工作負(fù)載和速度指標(biāo) 70
3.3.2   防止對順序性能誤解的說明 72
3.4   并行計算機(jī)性能 73
3.4.1   計算特征 73
3.4.2   并行性和交互開銷 75
3.4.3   開銷定量化 76
3.5   并行程序性能 82
3.5.1   性能指標(biāo) 82
3.5.2   基準(zhǔn)程序中的可用并行性 85
3.6   可擴(kuò)展性和加速比分析 86
3.6.1   Amdahl定律：固定問題規(guī)模 87
3.6.2   Gustafson定律：固定時間 88
3.6.3   Sun和Ni定律：存儲器受限 90
3.6.4   等性能模型 93
3.7   參考文獻(xiàn)注釋和習(xí)題 95
第二篇   使 能 技 術(shù)
第4章   微處理器構(gòu)件 100
4.1   系統(tǒng)發(fā)展趨向 100
4.1.1   硬體進(jìn)展 100
4.1.2   軟件進(jìn)展 102
4.1.3   應(yīng)用進(jìn)展 103
4.2   處理器設(shè)計原理 105
4.2.1   指令流水線基理 105
4.2.2   從CISC到RISC及進(jìn)一步延伸 108
4.2.3   體系結(jié)構(gòu)性能的增強(qiáng)方法 111
4.3   微處理器體系結(jié)構(gòu)系列 112
4.3.1   主要的體系結(jié)構(gòu)系列 112
4.3.2   超標(biāo)量和超流水處理器 113
4.3.3   嵌入式微處理器 116
4.4   微處理器的實例研究 117
4.4.1   Digital的Alpha 21164微處理器 117
4.4.2   Intel高能奔騰處理器 120
4.5   后RISC, 多媒體和VLIW 124
4.5.1   后RISC處理器特征 124
4.5.2   多媒體擴(kuò)展 126
4.5.3   VLIW體系結(jié)構(gòu) 129
4.6   微處理器的未來 130
4.6.1   硬件發(fā)展趨向和物理極限 130
4.6.2   未來的工作負(fù)載和挑戰(zhàn) 131
4.6.3   未來微處理器的體系結(jié)構(gòu) 132
4.7   參考文獻(xiàn)注釋和習(xí)題 134
第5章   分布式存儲器和時延容忍 137
5.1   層次存儲器技術(shù) 137
5.1.1   存儲部件特性 137
5.1.2   存儲器層次性質(zhì) 139
5.1.3   存儲器容量的規(guī)劃 141
5.2   高速緩存一致性協(xié)議 142
5.2.1   高速緩存一致性問題 143
5.2.2   監(jiān)聽一致性協(xié)議 144
5.2.3   MESI監(jiān)聽協(xié)議 145
5.3   共享存儲器一致性 148
5.3.1   存儲器事件排序 148
5.3.2   存儲器一致性模型 150
5.3.3   非嚴(yán)格的存儲器模型 151
5.4   分布式高速緩存/主存體系結(jié)構(gòu) 153
5.4.1   NORMA. NUMA. COMA
           和DSM模型 153
5.4.2   基于目錄的一致性協(xié)議 158
5.4.3   斯坦福Dash多處理機(jī) 159
5.4.4   Dash中基于目錄的協(xié)議 161
5.5   時延容忍技術(shù) 163
5.5.1   時延的避免. 減小和隱藏 163
5.5.2   分布式一致性高速緩存 164
5.5.3   數(shù)據(jù)預(yù)取策略 165
5.5.4   非嚴(yán)格的存儲器一致性的效果 167
5.6   多線程時延隱藏 167
5.6.1   多線程處理機(jī)模型 167
5.6.2   現(xiàn)場切換策略 169
5.6.3   組合時延隱藏機(jī)制 172
5.7   參考文獻(xiàn)注釋和習(xí)題 173
第6章   系統(tǒng)互連和千兆位網(wǎng)絡(luò) 178
6.1   互連網(wǎng)絡(luò)基礎(chǔ) 178
6.1.1   互連環(huán)境 178
6.1.2   網(wǎng)絡(luò)部件 180
6.1.3   網(wǎng)絡(luò)特征 181
6.1.4   網(wǎng)絡(luò)性能指標(biāo) 182
6.2   網(wǎng)絡(luò)拓樸結(jié)構(gòu)和性質(zhì) 183
6.2.1   拓?fù)浣Y(jié)構(gòu)和功能性質(zhì) 183
6.2.2   路由方案和功能 184
6.2.3   網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) 187
6.3   總線. 縱橫交叉開關(guān)和多級開關(guān) 191
6.3.1   多處理機(jī)總線 191
6.3.2   縱橫交叉開關(guān) 193
6.3.3   多級互連網(wǎng)絡(luò) 195
6.3.4   開關(guān)互連比較 197
6.4   千兆位網(wǎng)絡(luò)技術(shù) 199
6.4.1   光纖通道和FDDI環(huán) 199
6.4.2   快速以太網(wǎng)和千兆位以太網(wǎng) 201
6.4.3   構(gòu)造SAN/LAN的Myrinet網(wǎng) 203
6.4.4   HiPPI和超級HiPPI 204
6.5   ATM交換器和網(wǎng)絡(luò) 207
6.5.1   ATM技術(shù) 207
6.5.2   ATM網(wǎng)絡(luò)接口 208
6.5.3   ATM四層體系結(jié)構(gòu) 209
6.5.4   ATM互連網(wǎng)連接性能 211
6.6   可擴(kuò)展的一致性接口 212
6.6.1   SCI互連 213
6.6.2   實現(xiàn)問題 214
6.6.3   SCI一致性協(xié)議 216
6.7   網(wǎng)絡(luò)技術(shù)比較 217
6.7.1   標(biāo)準(zhǔn)網(wǎng)絡(luò)及其發(fā)展前景 217
6.7.2   網(wǎng)絡(luò)性能和應(yīng)用 218
6.8   參考文獻(xiàn)注釋和習(xí)題 219
第7章   線程化. 同步和通信 223
7.1   軟件多線程化 223
7.1.1   線程概念 224
7.1.2   線程管理 225
7.1.3   線程同步 226
7.2   同步機(jī)制 227
7.2.1   原子性和互斥 227
7.2.2   高級同步結(jié)構(gòu) 230
7.2.3   低級同步原語 234
7.2.4   快速鎖機(jī)制 237
7.3   TCP/IP通信協(xié)議組 239
7.3.1   TCP/IP協(xié)議組的特性 239
7.3.2   UDP. TCP和IP 241
7.3.3   Sockets接口 244
7.4   快速和有效通信 245
7.4.1   通信中的關(guān)鍵問題 246
7.4.2   LogP通信模型 250
7.4.3   低級通信支持 251
7.4.4   通信算法 257
7.5   參考文獻(xiàn)注釋和習(xí)題 259
第三篇   系統(tǒng)體系結(jié)構(gòu)
第8章   對稱多處理機(jī)和CC-NUMA
           多處理機(jī) 264
8.1   SMP和CC－NUMA技術(shù) 264
8.1.1   多處理機(jī)體系結(jié)構(gòu) 264
8.1.2   商品化SMP服務(wù)器 268
8.1.3   英特爾SHV服務(wù)器電路板 269
8.2   SUN Ultra Enterprise 10000系統(tǒng) 270
8.2.1   Ultra-E10000系統(tǒng) 271
8.2.2   系統(tǒng)電路板的結(jié)構(gòu) 272
8.2.3   可擴(kuò)展性和可用性支持 273
8.2.4   動態(tài)域和性能 274
8.3   HP/Convex Exemplar X-Class 275
8.3.1   Exemplar X系統(tǒng)的體系結(jié)構(gòu) 275
8.3.2   Exemplar軟件環(huán)境 277
8.4   Sequent NUMA-Q 2000 278
8.4.1   NUMA-Q 2000的體系結(jié)構(gòu) 278
8.4.2   NUMA-Q的軟件環(huán)境 281
8.4.3   NUMA-Q的性能 282
8.5   SGI/Cray Origin 2000超級服務(wù)器 284
8.5.1   Origin 2000系列的設(shè)計目標(biāo) 284
8.5.2   Origin 2000的體系結(jié)構(gòu) 285
8.5.3   Cellular IRIX環(huán)境 290
8.5.4   Origin 2000的性能 293
8.6   CC-NUMA 體系結(jié)構(gòu)的比較 294
8.7   參考文獻(xiàn)注釋和習(xí)題 296
第9章   機(jī)群化和可用性支持 298
9.1   構(gòu)造機(jī)群的挑戰(zhàn)性 298
9.1.1   機(jī)群的分類 298
9.1.2   機(jī)群的體系結(jié)構(gòu) 299
9.1.3   機(jī)群設(shè)計要考慮的問題 300
9.2   對機(jī)群可用性的支持 302
9.2.1   可用性概念 302
9.2.2   可用性技術(shù) 304
9.2.3   檢查點和故障恢復(fù) 308
9.3   對單一系統(tǒng)映像的支持 311
9.3.1   單一系統(tǒng)映像層 311
9.3.2   單一入口和單一文件層次 312
9.3.3   單一I/O. 網(wǎng)絡(luò)化和存儲空間 316
9.4   Solaris MC中的單一系統(tǒng)映像 317
9.4.1   全局文件系統(tǒng) 318
9.4.2   全局進(jìn)程管理 318
9.4.3   單一I/O系統(tǒng)映像 319
9.5   機(jī)群的作業(yè)管理 320
9.5.1   作業(yè)管理系統(tǒng) 320
9.5.2   作業(yè)管理系統(tǒng)綜述 324
9.5.3   負(fù)載共享工具（LSF） 326
9.6   參考文獻(xiàn)注釋和習(xí)題 331
第10章   服務(wù)器和工作站機(jī)群 334
10.1   機(jī)群產(chǎn)品和研究項目 334
10.1.1   支持機(jī)群產(chǎn)品的潮流 334
10.1.2   SMP服務(wù)器機(jī)群 336
10.1.3   機(jī)群研究項目 336
10.2   面向NT機(jī)群的微軟Wolfpack 338
10.2.1   微軟Wolfpack配置 338
10.2.2   熱備份多服務(wù)器機(jī)群 339
10.2.3   主動可用性機(jī)群 339
10.2.4   容錯多服務(wù)器機(jī)群 341
10.3   IBM SP系統(tǒng) 341
10.3.1   設(shè)計目標(biāo)和策略 341
10.3.2   SP2系統(tǒng)的體系結(jié)構(gòu) 343
10.3.3   I/O和網(wǎng)絡(luò)互連 345
10.3.4   SP系統(tǒng)軟件 347
10.3.5   SP2及其前景 349
10.4   Digital TruCluster 350
10.4.1   Trucluster體系結(jié)構(gòu) 350
10.4.2   存儲器通道互連 352
10.4.3   TruCluster編程 354
10.4.4   TruCluster系統(tǒng)軟件 356
10.5   Berkeley NOW研究項目 356
10.5.1   適合快速通信的主動消息 357
10.5.2   適合于全局資源管理的GLUnix 360
10.5.3   xFS無服務(wù)器網(wǎng)絡(luò)文件系統(tǒng) 361
10.6   TreadMarks：用軟件實現(xiàn)的
          DSM機(jī)群 366
10.6.1   邊界條件 366
10.6.2   DSM中的用戶接口 367
10.6.3   實現(xiàn)問題 368
10.7   參考文獻(xiàn)注釋和習(xí)題 369
第11章   MPP的體系結(jié)構(gòu)和性能 371
11.1   MPP技術(shù)概論 371
11.1.1   MPP特性和要點 371
11.1.2   MPP系統(tǒng)概述 373
11.2   Cray T3E系統(tǒng) 374
11.2.1   T3E的體系結(jié)構(gòu) 374
11.2.2   T3E的系統(tǒng)軟件 376
11.3   新一代ASCI/MPP系統(tǒng) 376
11.3.1   ASCI可擴(kuò)展設(shè)計策略 377
11.3.2   硬件和軟件需求 378
11.3.3   定約的ASCI/MPP平臺 379
11.4   Intel/Sandia ASCI Option Red 380
11.4.1   Option Red的體系結(jié)構(gòu) 380
11.4.2   Option Red的系統(tǒng)軟件 382
11.5   并行NAS基準(zhǔn)程序測試結(jié)果 384
11.5.1   NAS并行基準(zhǔn)測試程序 384
11.5.2   超步結(jié)構(gòu)和顆粒度 385
11.5.3   主存. I/O和通信 386
11.6   MPI和STAP基準(zhǔn)程序測試結(jié)果 387
11.6.1   MPI性能測試 388
11.6.2   MPI時延和總計(聚集)帶寬 389
11.6.3   MPP的STAP基準(zhǔn)程序測試
            評估 391
11.6.4   MPP體系結(jié)構(gòu)的含義 394
11.7   參考文獻(xiàn)注釋和習(xí)題 396
第四篇   并 行 編 程
第12章   并行范例和編程模型 399
12.1   范例和可編程性 400
12.1.1   算法范例 400
12.1.2   可編程性問題 402
12.1.3   并行編程舉例 402
12.2   并行編程模型 405
12.2.1   蘊(yùn)式并行性 405
12.2.2   顯式并行模型 407
12.2.3   四種模型的比較 410
12.2.4   其他并行編程模型 412
12.3   共享存儲器編程 413
12.3.1   ANSI X3H5共享存儲器模型 413
12.3.2   POSIX線程模型 416
12.3.3   OpenMP標(biāo)準(zhǔn) 417
12.3.4   SGI Power C模型 420
12.3.5   C//: 一種結(jié)構(gòu)化的并行C語言 422
12.4   參考文獻(xiàn)注釋和習(xí)題 426
第13章   消息傳遞編程 429
13.1   消息傳遞范例 429
13.1.1   消息傳遞庫 429
13.1.2   消息傳遞方式 430
13.2   消息傳遞接口 432
13.2.1   MPI消息 434
13.2.2   MPI中的消息信封 439
13.2.3   點對點通信 443
13.2.4   集合MPI通信 445
13.2.5   MPI-2擴(kuò)展 448
13.3   并行虛擬機(jī) 450
13.3.1   虛擬機(jī)結(jié)構(gòu) 451
13.3.2   PVM中的進(jìn)程管理 453
13.3.3   用PVM進(jìn)行通信 455
13.4   參考文獻(xiàn)注釋和習(xí)題 458
第14章   數(shù)據(jù)并行編程 462
14.1   數(shù)據(jù)并行模型 462
14.2   Fortran 90方法 462
14.2.1   并行數(shù)組操作 463
14.2.2   Fortran 90中的本征函數(shù) 464
14.3   高性能Fortran 466
14.3.1   對數(shù)據(jù)并行性的支持 466
14.3.2   HPF中的數(shù)據(jù)映射 468
14.3.3   對Fortran 90和HPF的總結(jié) 472
14.4   其他的數(shù)據(jù)并行方法 474
14.4.1   Fortran 95和Fortran 2001 475
14.4.2   PC＋＋和Nesl方法 477
14.5   參考文獻(xiàn)注釋和習(xí)題 480
參考文獻(xiàn) 482
Web地址表 510