事務(wù)處理：概念與技術(shù)

出版者的話
專家指導(dǎo)委員會
中文版序
譯者序
譯者簡介
序
前言
第一部分  事務(wù)處理基礎(chǔ)
第1章  概述  1
1.1  歷史回顧  1
1.2  什么是事務(wù)處理系統(tǒng)  2
1.2.1  最終用戶對事務(wù)處理系統(tǒng)的認識  4
1.2.2  管理員/操作員對事務(wù)處理系統(tǒng)
的認識  6
1.2.3  應(yīng)用設(shè)計者對事務(wù)處理系統(tǒng)的認識  8
1.2.4  從資源管理器角度對事務(wù)處理系統(tǒng)
的認識  12
1.2.5  TP系統(tǒng)的核心服務(wù)  15
1.3  事務(wù)處理系統(tǒng)特征列表  16
1.3.1  應(yīng)用開發(fā)特征  16
1.3.2  中心庫特征  16
1.3.3  TP監(jiān)控器的特征  20
1.3.4  數(shù)據(jù)通信特征  21
1.3.5  數(shù)據(jù)庫特征  24
1.3.6  操作特征  29
1.3.7  教育和測試特征  29
1.3.8  特征小結(jié)  29
1.4  小結(jié)  30
1.5  歷史評注  30
習(xí)題  32
答案  32
第2章  計算機系統(tǒng)基本術(shù)語  33
2.1  引言  33
2.2  基本硬件  33
2.2.1  存儲器  35
2.2.2  處理器  41
2.2.3  通信硬件  42
2.2.4  硬件結(jié)構(gòu)  43
2.3  基本軟件—地址空間. 進程. 會話  45
2.3.1  地址空間  45
2.3.2  進程. 保護域和線程  46
2.3.3  消息和會話  47
2.4  一般系統(tǒng)問題  48
2.4.1  客戶和服務(wù)器  49
2.4.2  命名  50
2.4.3  認證  51
2.4.4  授權(quán)  52
2.4.5  調(diào)度和性能  52
2.4.6  小結(jié)  54
2.5  文件  54
2.5.1  文件操作  54
2.5.2  文件組織  55
2.5.3  分布式文件系統(tǒng)  56
2.5.4  SQL  56
2.6  軟件性能  57
2.7  事務(wù)處理標準  58
2.7.1  可移植性標準和互操作性標準  58
2.7.2  API和 FAP  58
2.7.3  LU6.2, 一個事實標準  60
2.7.4  具有X/Open DTP的OSI-TP—
正式標準  60
2.8  小結(jié)  62
習(xí)題  62
答案  64
第二部分  容錯基礎(chǔ)知識
第3章  容錯  67
3.1  引言  67
3.1.1  簡單概率概述  67
3.1.2  容錯的外部觀點  68
3.2  定義  71
3.2.1  故障. 失敗. 可用性. 可靠性  71
3.2.2  故障避免和容錯的分類  72
3.2.3  修復(fù). 失敗即停. 模塊性.
遞歸設(shè)計  72
3.3  實驗研究  72
3.3.1  斷供是非常少見的事件  73
3.3.2  傳統(tǒng)系統(tǒng)研究  73
3.3.3  容錯系統(tǒng)研究  74
3.4  典型模塊失敗率  76
3.5  容錯的硬件措施  79
3.5.1  n工基本思想：怎樣建立失敗
即停的模塊  79
3.5.2  n工中的失敗即停表決器與失敗
表決型表決器  80
3.5.3  n工與修復(fù)產(chǎn)生高可用性  81
3.5.4  表決器問題  83
3.5.5  小結(jié)  84
3.6  軟件問題  85
3.6.1  N版本程序設(shè)計和軟件容錯  85
3.6.2  事務(wù)和軟件容錯  86
3.6.3  小結(jié)  87
3.7  故障模型和軟件故障屏蔽  87
3.7.1  模型概覽  88
3.7.2  建立高可用的存儲  89
3.7.3  高可用的進程  94
3.7.4  基于會話和進程對的可靠消息  102
3.7.5  進程-消息-存儲模型的小結(jié)  109
3.8  一般原理  110
3.9  一個警戒性的故事—系統(tǒng)錯覺  110
3.10  小結(jié)  112
3.11  歷史評注  112
習(xí)題  113
答案  115
第三部分  面向事務(wù)的計算
第4章  事務(wù)模型  117
4.1  引言  117
4.2  原子操作和扁平事務(wù)  118
4.2.1  將寫磁盤作為原子操作  118
4.2.2  操作類型分類  120
4.2.3  扁平事務(wù)  121
4.2.4  扁平事務(wù)的局限性  125
4.3  控制區(qū)域  127
4.3.1  控制區(qū)域的定義  128
4.3.2  控制區(qū)域的動態(tài)行為  129
4.3.3  小結(jié)  131
4.4  一種解釋事務(wù)模型的符號表示法  132
4.4.1  描述事務(wù)模型哪些是必需的  132
4.4.2  符號表示法的構(gòu)成元素  134
4.4.3  用一套簡單的規(guī)則定義事務(wù)模型  135
4.5  帶保存點的扁平事務(wù)  136
4.5.1  關(guān)于保存點  137
4.5.2  開發(fā)保存點模型下的規(guī)則  138
4.5.3  持久性保存點  139
4.6  鏈事務(wù)  140
4.7  嵌套事務(wù)  142
4.7.1  嵌套結(jié)構(gòu)的定義  142
4.7.2  嵌套事務(wù)的使用  145
4.7.3  通過保存點模仿嵌套事務(wù)  146
4.8  分布事務(wù)  147
4.9  多級別事務(wù)  148
4.9.1  補償事務(wù)的角色  149
4.9.2  多級別事務(wù)的使用  150
4.10  開放嵌套事務(wù)  153
4.11  長事務(wù)  153
4.11.1  事務(wù)處理上下文  154
4.11.2  小批量  157
4.11.3  saga  158
4.12  特殊事務(wù)模型  159
4.13  小結(jié)  161
4.14  歷史評注  161
習(xí)題  164
答案  167
第5章  事務(wù)處理監(jiān)控器：概述  172
5.1  引言  172
5.2  事務(wù)系統(tǒng)中的TP監(jiān)控器的角色  172
5.2.1  面向事務(wù)的計算方式  173
5.2.2  事務(wù)處理服務(wù)  178
5.2.3  事務(wù)處理系統(tǒng)進程結(jié)構(gòu)  180
5.2.4  小結(jié)  184
5.3  TP監(jiān)控器的結(jié)構(gòu)  185
5.3.1  TP監(jiān)控器組件  185
5.3.2  事務(wù)服務(wù)的組件  188
5.3.3  TP監(jiān)控器對于資源管理器接口
的支持  190
5.4  事務(wù)型遠程過程調(diào)用：基本思想  191
5.4.1  遠程過程調(diào)用中的參與者  191
5.4.2  遠程過程調(diào)用句柄的地址空間結(jié)構(gòu)  192
5.4.3  遠程過程調(diào)用的動態(tài)過程  193
5.4.4  小結(jié)  195
5.5  事務(wù)編程風格的例子  196
5.5.1  基本的處理循環(huán)邏輯  196
5.5.2  與事務(wù)有關(guān)的資源管理器：
一個簡單的例子  197
5.5.3  與事務(wù)有關(guān)的資源管理器：
一個復(fù)雜的例子  202
5.5.4  使用持久保存點  203
5.6  專門術(shù)語的介紹  204
5.7  歷史評注  205
習(xí)題  206
答案  207
第6章  事務(wù)處理監(jiān)控器  209
6.1  介紹  209
6.2  事務(wù)型遠程過程調(diào)用  211
6.2.1  資源管理器的接口  212
6.2.2  資源管理器對事務(wù)的支持  213
6.2.3  資源管理器和TP監(jiān)控器之間
的接口  215
6.2.4  資源管理器調(diào)用與資源管理器
會話  217
6.2.5  小結(jié)  223
6.3  TP監(jiān)控器的功能原理  223
6.3.1  TPOS的中心數(shù)據(jù)結(jié)構(gòu)  224
6.3.2  TP監(jiān)控器擁有的數(shù)據(jù)結(jié)構(gòu)  228
6.3.3  TRPC路徑的概覽  233
6.3.4  中止競爭的TRPC  238
6.3.5  小結(jié)  238
6.4  管理請求和響應(yīng)隊列  239
6.4.1  映射資源管理器調(diào)用的短期隊列  240
6.4.2  用于異步事務(wù)處理的永久性
請求隊列  242
6.4.3  小結(jié)  249
6.5  TP監(jiān)控器的其他任務(wù)  250
6.5.1  負載平衡  250
6.5.2  認證和授權(quán)  255
6.5.3  重啟處理  259
6.6  小結(jié)  261
6.7  歷史評注  262
習(xí)題  264
答案  265
第四部分  并發(fā)控制
第7章  隔離性的概念  269
7.1  引言  269
7.2  隔離性的引入  269
7.3  隔離性的依賴模型  271
7.3.1  靜態(tài)分配與動態(tài)分配  272
7.3.2  事務(wù)依賴  272
7.3.3  三種有害的依賴  273
7.3.4  隔離性的形式化模型  274
7.4  隔離性：應(yīng)用程序員的觀點  274
7.5  隔離性定理  275
7.5.1  操作與事務(wù)  276
7.5.2  規(guī)范事務(wù)和兩階段事務(wù)  276
7.5.3  事務(wù)的調(diào)度  277
7.5.4  合法的調(diào)度和鎖的相容性  277
7.5.5  版本. 依賴. 依賴圖  278
7.5.6  等價的和隔離的調(diào)度：BEFORE.
AFTER和蟲洞  279
7.5.7  蟲洞事務(wù)不具有隔離性  280
7.5.8  定義小結(jié)  281
7.5.9  隔離定理的小結(jié)  285
7.6  隔離性的級別  286
7.6.1  隔離性級別的定理  286
7.6.2  SQL與隔離級別  287
7.6.3  低隔離級別的優(yōu)缺點  288
7.6.4  特殊的SQL隔離—跳讀鎖
和通知鎖  290
7.7  幻像和謂詞鎖  291
7.8  粒度鎖  292
7.8.1  基于樹的封鎖和意向鎖類型  293
7.8.2  更新型鎖  295
7.8.3  粒度鎖小結(jié)  296
7.8.4  碼區(qū)間封鎖  296
7.8.5  動態(tài)碼區(qū)間鎖：前碼和后碼封鎖  297
7.8.6  碼區(qū)間鎖需要DAG封鎖  299
7.8.7  DAG封鎖協(xié)議    300
7.8.8  基于DAG的粒度封鎖的形式化
定義  301
7.9  封鎖的啟發(fā)式算法  302
7.10  嵌套事務(wù)封鎖  304
7.11  調(diào)度與死鎖  305
7.11.1  護衛(wèi)現(xiàn)象  305
7.11.2  死鎖避免與檢測  306
7.11.3  等待圖和死鎖檢測  307
7.11.4  分布式死鎖  308
7.11.5  死鎖的概率  309
7.12  奇特方法  310
7.12.1  字段調(diào)用  310
7.12.2  契約封鎖和其他字段調(diào)用改進  312
7.12.3  樂觀和時間戳封鎖  314
7.12.4  時間域?qū)ぶ?nbsp; 314
7.13  小結(jié)  316
7.14  歷史評注  317
習(xí)題  318
答案  320
第8章  鎖的實現(xiàn)  323
8.1  引言  323
8.1.1  關(guān)于本章  323
8.1.2  鎖管理程序中并行的必要性  323
8.1.3  資源管理器和鎖管理程序的
地址空間  324
8.2  原子機指令  325
8.3  信號量  326
8.3.1  排他型信號量  327
8.3.2  蟹行：遍歷共享數(shù)據(jù)結(jié)構(gòu)  329
8.3.3  共享信號量  329
8.3.4  分配共享存儲  332
8.3.5  信號量和異常  333
8.4  鎖管理程序  334
8.4.1  鎖名  334
8.4.2  鎖隊列和調(diào)度  335
8.4.3  鎖長度和鎖計數(shù)  337
8.4.4  鎖管理程序接口和數(shù)據(jù)結(jié)構(gòu)  338
8.4.5  鎖管理程序的內(nèi)部邏輯  339
8.4.6  鎖升級和類屬解鎖. 通知鎖  344
8.4.7  事務(wù)保存點. 提交和回滾  345
8.4.8  系統(tǒng)重啟時的封鎖  346
8.4.9  長生事務(wù)  347
8.4.10  鎖管理程序配置和復(fù)雜性  347
8.4.11  鎖管理程序小結(jié)  347
8.5  死鎖檢測  347
8.6  并行事務(wù)和并行嵌套事務(wù)封鎖  349
8.7  小結(jié)  350
8.8  歷史評注  350
習(xí)題  351
答案  353
第五部分  恢   復(fù)
第9章  日志管理程序  357
9.1  引言  357
9.1.1  日志的使用  357
9.1.2  日志管理程序概述  357
9.1.3  日志管理程序和其他服務(wù)的關(guān)系  358
9.1.4  為什么需要日志管理程序  359
9.2  日志表  360
9.2.1  映射日志表到文件  360
9.2.2  日志序號  361
9.3  日志的公共接口  362
9.3.1  日志表的存取授權(quán)  362
9.3.2  讀日志表  363
9.3.3  寫日志表  364
9.3.4  小結(jié)  364
9.4  日志讀寫的實現(xiàn)細節(jié)  365
9.4.1  讀日志  366
9.4.2  日志錨點  366
9.4.3  與事務(wù)相關(guān)的錨點  367
9.4.4  日志插入  367
9.4.5  分配和刷新日志的守護進程  368
9.4.6  謹慎寫：串行寫和乒乓寫  369
9.4.7  成組提交. 批量式. 集裝式  370
9.4.8  WADS寫入  370
9.4.9  多日志的事務(wù)管理器  371
9.4.10  小結(jié)  371
9.5  日志重啟邏輯  371
9.5.1  保存事務(wù)管理器的錨點  372
9.5.2  準備重啟:日志錨點的謹慎寫  372
9.5.3  在重啟時找到錨點和日志尾  373
9.6  日志歸檔  374
9.6.1  應(yīng)當有多少聯(lián)機日志表  374
9.6.2  用于回滾. 重啟. 歸檔的底線  374
9.6.3  動態(tài)日志：副拷貝和正向拷貝  375
9.6.4  不影響并發(fā)事務(wù)的日志歸檔  376
9.6.5  電子轉(zhuǎn)存和變化累積  376
9.6.6  處理日志管理程序—歸檔環(huán)路  377
9.7  客戶－服務(wù)器體系結(jié)構(gòu)的日志系統(tǒng)  378
9.8  小結(jié)  378
9.9  歷史評注  379
習(xí)題  379
答案  381
第10章  事務(wù)管理器概念  384
10.1  引言  384
10.2  事務(wù)管理器的接口  384
10.2.1  事務(wù)的應(yīng)用接口  385
10.2.2  事務(wù)的資源管理器接口  388
10.2.3  事務(wù)管理器的功能  389
10.3  事務(wù)型資源管理器概念  391
10.3.1  DO-UNDO-REDO協(xié)議  391
10.3.2  日志表和日志記錄  392
10.3.3  通信會話恢復(fù)  393
10.3.4  值日志  396
10.3.5  邏輯日志  397
10.3.6  物理-邏輯日志  399
10.3.7  物理-邏輯日志規(guī)則：FIX. WAL
和Force-Log-at-Commit  400
10.3.8  補償日志記錄  407
10.3.9  物理-邏輯REDO的冪等性  408
10.3.10  小結(jié)  409
10.4  兩階段提交：使計算具有原子性  409
10.4.1  集中式系統(tǒng)中的兩階段提交  410
10.4.2  分布式事務(wù)和兩階段提交  414
10.5  小結(jié)  418
10.6  歷史評注  419
習(xí)題  420
答案  422
第11章  事務(wù)管理器結(jié)構(gòu)  426
11.1  引言  426
11.2  正常處理  426
11.2.1  事務(wù)標識符  426
11.2.2  事務(wù)管理器的數(shù)據(jù)結(jié)構(gòu)  427
11.2.3  MyTrid(). Status_Transaction().
Leave_Transaction()和Resume_Transaction()  430
11.2.4  保存點日志記錄  431
11. 2.5  Begin_Work()  432
11.2.6  局部Commit_Work()  432
11.2.7  遠程Commit_Work()：
Prepare()和Commit()  435
11.2.8  Save_Work()和
Read_Context()  437
11.2.9  Rollback_Work()  438
11.3  檢查點  440
11.3.1  清晰檢查點  441
11.3.2  模糊檢查點  442
11.3.3  事務(wù)管理器檢查點  443
11.4  系統(tǒng)重啟  444
11.4.1  重啟時的事務(wù)狀態(tài)  445
11.4.2  事務(wù)管理器的重啟邏輯  445
11.4.3  資源管理器重啟邏輯, Identify()  448
11.4.4  重啟設(shè)計小結(jié)  450
11.4.5  獨立的資源管理器  450
11.4.6  兩檢查點方法：一種不同的策略  450
11.4.7  重啟為什么能奏效  452
11.4.8  分布式事務(wù)解決方法：重啟時
兩階段提交  453
11.4.9  加速重啟  453
11.4.10  其他重啟問題  454
11.5  資源管理器的失敗與重啟  454
11.6  歸檔恢復(fù)  455
11.7  配置事務(wù)管理器  456
11.8  小結(jié)  457
習(xí)題  457
答案  458
第12章  高級事務(wù)管理器主題  460
12.1  引言  460
12.2  異構(gòu)型提交協(xié)調(diào)者  460
12.2.1  封閉式與開放式事務(wù)管理器  460
12.2.2  封閉式事務(wù)管理器的互操作性  461
12.2.3  編寫開放式事務(wù)管理器的網(wǎng)關(guān)  463
12.2.4  事務(wù)網(wǎng)關(guān)小結(jié)  465
12.3  高可用性（非阻塞型）提交協(xié)調(diào)者  465
12.4  提交轉(zhuǎn)移  467
12.5  兩階段提交的優(yōu)化  469
12.5.1  只讀提交優(yōu)化  470
12.5.2  惰性提交優(yōu)化  471
12.5.3  線性提交優(yōu)化  471
12.6  遠程場地的災(zāi)難恢復(fù)  471
12.6.1  系統(tǒng)對接管  473
12.6.2  接管時的會話切換  474
12.6.3  配置選項：一級安全. 二級安全和
極其安全  475
12.6.4  失敗后的追趕處理  477
12.6.5  系統(tǒng)對設(shè)計小結(jié)  477
12.7  小結(jié)  478
12.8  歷史評注  478
習(xí)題  479
答案  480
第六部分  事務(wù)型文件系統(tǒng)：
一個資源管理器實例
第13章  文件和緩沖區(qū)管理  483
13.1  引言  483
13.2  文件系統(tǒng)作為事務(wù)永久存儲的基礎(chǔ)  484
13.2.1  外存與主存  484
13.2.2  本書使用的外部存儲模型  488
13.2.3  事務(wù)型文件和數(shù)據(jù)庫管理器中的
抽象層次  490
13.3  介質(zhì)和文件管理  492
13.3.1  基本文件系統(tǒng)的對象和操作  492
13.3.2  磁盤空間管理  495
13.3.3  低層文件系統(tǒng)的目錄管理  502
13.4  緩沖區(qū)管理  504
13.4.1  數(shù)據(jù)庫緩沖區(qū)的工作原理  504
13.4.2  緩沖區(qū)管理器的實現(xiàn)問題  511
13.4.3  從緩沖區(qū)角度的寫日志和恢復(fù)  519
13.4.4  緩沖區(qū)管理器性能優(yōu)化  524
13.5  特殊問題  530
13.5.1  副文件  531
13.5.2  單級存儲器  537
13.6  小結(jié)  541
13.7  歷史評注  542
習(xí)題  544
答案  546
第14章  面向元組的文件系統(tǒng)  549
14.1  引言  549
14.2  元組到頁面的映射  549
14.2.1  頁面的內(nèi)部組織  550
14.2.2  文件中空閑區(qū)的管理  554
14.2.3  元組標識  556
14.3  物理元組管理  562
14.3.1  屬性值的物理表示  562
14.3.2  短元組的物理表示  564
14.3.3  元組屬性值表示的特殊問題  573
14.3.4  長元組的物理表示  575
14.3.5  復(fù)雜元組和超長屬性的物理
表示  578
14.4  文件組織  581
14.4.1  管理型操作  582
14.4.2  掃描操作在不同文件組織上
的抽象視圖  584
14.4.3  順序存取文件  589
14.4.4  系統(tǒng)順序文件  594
14.4.5  相對文件  596
14.4.6  碼順序文件和散列文件  598
14.4.7  小結(jié)  598
14.5  特殊問題  599
14.5.1  聚簇文件  599
14.5.2  劃分文件  600
14.5.3  使用事務(wù)來維護文件系統(tǒng)  601
14.5.4  目前數(shù)據(jù)庫系統(tǒng)中的面向元組
的文件系統(tǒng)  601
14.6  小結(jié)  602
習(xí)題  602
答案  604
第15章  存取路徑  606
15.1  引言  606
15.2  實現(xiàn)關(guān)聯(lián)存取路徑的技術(shù)  607
15.3  通過散列文件進行關(guān)聯(lián)存取  609
15.3.1  將碼值折疊成數(shù)值型數(shù)據(jù)類型  610
15.3.2  評價散列函數(shù)的準則  611
15.3.3  散列文件的溢出處理  616
15.3.4  散列文件中頁面的局部管理  618
15.3.5  散列關(guān)聯(lián)存取的小結(jié)  619
15.4  B樹  620
15.4.1  B樹：基本思想  621
15.4.2  B樹的性能方面  628
15.4.3  對B樹的同步：面向頁的觀點  632
15.4.4  對B樹的同步：面向元組的觀點  634
15.4.5  B樹的恢復(fù)操作  636
15.5  B樹某些操作的實現(xiàn)樣例  639
15.5.1  聲明所有程序用到的數(shù)據(jù)結(jié)構(gòu)  639
15.5.2  B樹readkey()操作的實現(xiàn)  641
15.5.3  B樹上的碼區(qū)間封鎖  642
15.5.4  B樹插入操作的實現(xiàn)：簡單實例  644
15.5.5  B樹插入操作的實現(xiàn)：分裂實例  645
15.5.6  小結(jié)  647
15.6  特殊問題  647
15.6.1  可擴展散列  648
15.6.2  網(wǎng)格文件  652
15.6.3  hB樹  656
15.7  小結(jié)  661
15.8  歷史評注  661
習(xí)題  664
答案  666
第七部分  系 統(tǒng) 概 覽
第16章  TP系統(tǒng)概覽  669
16.1  引言  669
16.2  IMS   669
16.2.1  硬件和操作系統(tǒng)環(huán)境  670
16.2.2  工作流模型  671
16.2.3  程序隔離  674
16.2.4  主存數(shù)據(jù)庫和字段調(diào)用  674
16.2.5  數(shù)據(jù)共享  675
16.2.6  改善的可用性與雙工系統(tǒng)  675
16.2.7  DB2  677
16.2.8  IMS的最新演進  677
16.3  CICS和LU6.2  677
16.3.1  CICS概述  678
16.3.2  CICS服務(wù)  679
16.3.3  CICS工作流  680
16.3.4  CICS分布式事務(wù)處理  681
16.3.5  LU6.2  682
16.4  Guardian 90  684
16.4.1  Guardian：操作系統(tǒng)及硬件  685
16.4.2  Pathway. 終端上下文和服務(wù)器
類管理  686
16.4.3  事務(wù)管理  687
16.4.4  其他有意義的特性  692
16.5  DECdta  693
16.5.1  ACMS事務(wù)處理的三球工作流
模型  693
16.5.2  ACMS服務(wù)  696
16.5.3  ACMS小結(jié)  697
16.5.4  VMS 的事務(wù)管理支持  698
16.5.5  DECdta小結(jié)  701
16.5.6  可靠的事務(wù)路由器  701
16.6  X/Open DTP. OSI-TP. CCR  703
16.6.1  局部情況  704
16.6.2  分布式情況：服務(wù)和服務(wù)器  705
16.6.3  小結(jié)  706
16.7  其他系統(tǒng)  706
16.7.1  通用事務(wù)管理器  706
16.7.2  ADABAS TPF  707
16.7.3  Encina  708
16.7.4  Tuxedo  710
16.8  小結(jié)  711
第八部分  附   錄
附錄A  參考文獻  713
附錄B  數(shù)據(jù)結(jié)構(gòu)和接口  731
附錄C  詞匯表  738
索引  774