自動(dòng)化軟件測試實(shí)施指南

譯者序
序
序二
前言
第一部分 什么是自動(dòng)化軟件測試和為什么需要自動(dòng)化
第1章 自動(dòng)化軟件測試概述
1.1 自動(dòng)化測試定義
1.2 自動(dòng)化測試的方法
1.3 AST技術(shù)的發(fā)展
1.4 各種自動(dòng)化測試類型
1.5 提供基于AST的產(chǎn)品支持
1.5.1 按照需要對定位和修復(fù)產(chǎn)品問題提供支持
1.5.2 對確定出修正給特定程序組件造成的影響提供支持
1.5.3 校驗(yàn)產(chǎn)品修正的準(zhǔn)確性和質(zhì)量
1.5.4 支持產(chǎn)品的STR分類方法
1.6 自動(dòng)化評估標(biāo)準(zhǔn)
小結(jié)
第2章 為什么要使用自動(dòng)化
2.1 當(dāng)今測試軟件面臨的挑戰(zhàn)
2.2 減少軟件測試的時(shí)間和成本
2.2.1 自動(dòng)測試計(jì)劃和開發(fā)——初始測試的工作量增加
2.2.2 生成測試數(shù)據(jù)——測試工作／計(jì)劃減少
2.2.3 測試的執(zhí)行——測試工作的減少／測試進(jìn)度的加快
2.2.4 測試結(jié)果分析——測試工作的減少／測試進(jìn)度的加快
2.2.5 錯(cuò)誤狀態(tài)／更正監(jiān)測——測試工作的減少，測試進(jìn)度的加快
2.2.6 報(bào)告的創(chuàng)建——測試工作的減／測試進(jìn)度的加快
2.2.7 其他需要考慮的降低因素
2.3 影響軟件質(zhì)量
2.4 改進(jìn)軟件測試程序
2.4.1 改進(jìn)構(gòu)建驗(yàn)證測試（冒煙測試）
2.4.2 改進(jìn)回歸測試
2.4.3 多平臺(tái)兼容性測試和配置測試
2.4.4 改善日常測試的執(zhí)行
2.4.5 改進(jìn)重點(diǎn)關(guān)注的高級測試問題
2.4.6 完成手動(dòng)測試無法完成的工作
2.4.7 重現(xiàn)軟件缺陷的能力
2.4.8 加強(qiáng)系統(tǒng)專業(yè)知識(shí)
2.4.9 下班后“無人值守”測試
2.4.10 改進(jìn)需求定義
2.4.11 改進(jìn)性能測試
2.4.12 改進(jìn)壓力測試和耐力測試
2.4.13 質(zhì)量度量和測試優(yōu)化
2.4.14 改進(jìn)系統(tǒng)開發(fā)生命周期
2.4.15 改進(jìn)文檔和可跟蹤性
2.4.16 分布式工作負(fù)載和并發(fā)測試
小結(jié)
第3章 商業(yè)案例
3.1 商業(yè)案例的定義
3.2 確定業(yè)務(wù)需要
3.3 在成本和收益方面調(diào)整自動(dòng)化
3.3.1 評估ROI
3.3.2 自動(dòng)化測試的總節(jié)省
3.3.3 測試環(huán)境建立的時(shí)間節(jié)省
3.3.4 測試開發(fā)的時(shí)間節(jié)省
3.3.5 測試執(zhí)行時(shí)間的節(jié)省
3.3.6 測試評估／診斷時(shí)間節(jié)省
3.3.7 ROI的其他幾點(diǎn)考量
3.3.8 更多ROI指標(biāo)
3.4 風(fēng)險(xiǎn)
3.5 其他考慮
小結(jié)
第4章 自動(dòng)化測試失敗的原因以及需要避免的陷阱
4.1 通常R&D不重視自動(dòng)化測試或手動(dòng)測試的工作
4.2 自動(dòng)化測試的神話與現(xiàn)實(shí)
4.2.1 自動(dòng)測試計(jì)劃的生成
4.2.2 測試工具適合所有場景
4.2.3 測試工作立即減少
4.2.4 計(jì)劃立即縮減
4.2.5 工具的易用性
4.2.6 任何應(yīng)用都可以使用AST
4.2.7 100％測試覆蓋率
4.2.8 捕獲／回放等同AST
4.2.9 AST是手動(dòng)測試活動(dòng)
4.2.10 忘記了測試的目的是找出缺陷
4.2.11 側(cè)重于系統(tǒng)測試自動(dòng)化而非自動(dòng)化單元測試
4.3 軟件開發(fā)時(shí)缺乏針對AST的考慮
4.3.1 在應(yīng)用中構(gòu)建可測試性
4.3.2 遵循開放架構(gòu)標(biāo)準(zhǔn)
4.3.3 遵循標(biāo)準(zhǔn)文檔格式
4.3.4 標(biāo)準(zhǔn)化的文檔測試用例
4.3.5 遵循編碼標(biāo)準(zhǔn)
4.3.6 使用OMG的IDI
4.3.7 GUI測試建議
4.3.8 GuI對象命名標(biāo)準(zhǔn)
4.3.9 代碼重用的庫概念
4.4 只見樹木不見森林——不知道如何選擇工具
4.5 缺少工具供應(yīng)商都遵循的自動(dòng)化標(biāo)準(zhǔn)
4.6 缺乏企業(yè)案例
小結(jié)
第二部分 如何實(shí)現(xiàn)自動(dòng)化：獲得自動(dòng)化回報(bào)最重要的6個(gè)要點(diǎn)
第5章 要點(diǎn)1：了解需求
5.1 理解AST所支持的需求
5.1.1 AUT或SUT需求
5.1.2 AST框架（ASTF）和工具的需求
5.1.3 AST數(shù)據(jù)需求
5.1.4 測試環(huán)境的需求
5.1.5 AST過程需求
5.2 支持.AST需求的更多信息
5.2.1 手動(dòng)測試過程
5.2.2 設(shè)計(jì)文檔
5.2.3 原型
5.3 當(dāng)信息不存在時(shí)
5.3.1 引導(dǎo)性的訪談
5.3.2 進(jìn)一步增加知識(shí)面
5.3.3 基于遺留應(yīng)用程序或遺留系統(tǒng)開發(fā)需求
5.4 開始實(shí)現(xiàn)需求跟蹤矩陣（RTM）
5.4.1 RTM中的信息
5.4.2 RTM示例
小結(jié)
第6章 要點(diǎn)2：開發(fā)自動(dòng)化測試策略
6.1 AST策略文檔
6.2 范圍和自動(dòng)化測試目標(biāo)
6.2.1 決定要自動(dòng)化哪些測試
6.2.2 優(yōu)先級——基于優(yōu)先級的功能計(jì)劃的自動(dòng)化需求
6.2.3 定義測試目標(biāo)：示例
6.3 確定方法
6.4 自動(dòng)化軟件測試框架
6.5 AST環(huán)境／配置
6.5.1 測試配置
6.5.2 其他測試環(huán)境的自動(dòng)化測試需求
6.5.3 自動(dòng)化測試環(huán)境管理——自動(dòng)化CM
6.6 自動(dòng)化RTM
6.6.1 需要標(biāo)準(zhǔn)的測試用例模板，對自動(dòng)化框架極其有用
6.6.2 鏈接到測試用例
6.6.3 更新測試用例的步驟，包括通過失敗結(jié)果
6.6.4 更新RTM，包括通過，失敗結(jié)果
6.7 自動(dòng)化的缺陷跟蹤
小結(jié)
第7章 要點(diǎn)3：測試自動(dòng)化軟件測試框架（ASTF）
7.1 驗(yàn)證ASTF是否滿足特定需求，功能是否表現(xiàn)得如預(yù)期那樣
7.2 對所有ASTF相關(guān)工件，包括設(shè)計(jì)、開以及相關(guān)測試用例進(jìn)行同級評審
7.2.1 作為軟件開發(fā)生命周期一部分的同級評審
7.2.2 評估所有ASTF組件
7.2.3 評審測試用例
7.2.4 評審測試邏輯
7.2.5 評審測試數(shù)據(jù)
7.2.6 評審自動(dòng)化的測試代碼
7.3 驗(yàn)證需求和覆蓋率
7.3.1 跟蹤能力
7.3.2 覆蓋率
7.4 舉行一次用戶審查
小結(jié)
第8章 要點(diǎn)4：持續(xù)跟蹤過程并作相應(yīng)調(diào)整
8.1 AST程序跟蹤和缺陷預(yù)防
8.1.1 技術(shù)交換和走查
8.1.2 內(nèi)部檢查
8.1.3 檢查約束和相關(guān)風(fēng)險(xiǎn)
8.1.4 實(shí)現(xiàn)風(fēng)險(xiǎn)緩解策略
8.1.5 維護(hù)AST過程和環(huán)境的完整性
8.1.6 定義、溝通和跟蹤進(jìn)度和成本
8.1.7 跟蹤工作、問題和缺陷
8.2 AST度量
8.2 可自動(dòng)化的百分比或自動(dòng)化指標(biāo)
8.2.2 自動(dòng)化進(jìn)展
8.2.3 測試進(jìn)度
8.2.4 自動(dòng)化測試覆蓋率百分比
8.2.5 缺陷密度
8.2.6 缺陷趨勢分析
8.2.7 缺陷移除效率
8.2.8 自動(dòng)化軟件測試ROI
8.2.9 其他軟件測試度量
8.3 根本原因分析
小結(jié)
第9章 要點(diǎn)5：實(shí)施AST過程
9.1 AST的階段和里程碑
9.2 AST階段1：需求收集——分析自動(dòng)化測試需求
9.3 AST階段2：測試用例設(shè)計(jì)和開發(fā)
9.4 AST階段3：開發(fā)自動(dòng)化測試軟件框架（ASTF）和測試腳本
9.5 AST階段4：自動(dòng)化測試的執(zhí)行和結(jié)果報(bào)告·
9.6 AST階段5：程序?qū)彶楹驮u估
9.7 虛擬質(zhì)量門檻
9.8 過程度量
小結(jié)
第10章 要點(diǎn)6：人盡其才
10.1 程序管理
10.1.1 AST階段1：需求收集——分析自動(dòng)化測試需求
10.1.2 AST階段2：測試用例設(shè)計(jì)與開發(fā)
10.1.3 AST階段3：開發(fā)自動(dòng)化軟件測試框架和測試腳本
10.1.4 AST階段4：自動(dòng)化測試執(zhí)行和結(jié)果報(bào)告
10.1.5 AST階段5：審查并評估程序
10.2 系統(tǒng)工程
10.2.1 AST階段1：需求收集——分析自動(dòng)化測試需求
10.2.2 AST階段2：測試用例設(shè)計(jì)和開發(fā)
10.2.3 AST階段3：開發(fā)自動(dòng)化測試框架和測試腳本
10.2.4 AST階段4：自動(dòng)化測試的執(zhí)行和結(jié)果報(bào)告
10.2.5 AST階段5：審查并評估程序
10.3 軟件開發(fā)
10.3.1 AST階段1：需求收集——分析自動(dòng)化測試需求
10.3.2 AST階段2：測試用例設(shè)計(jì)和開發(fā)
10.3.3 AST階段3：開發(fā)自動(dòng)化軟件測試框架和測試腳本
10.3.4 AST階段4：自動(dòng)化測試的執(zhí)行和結(jié)果報(bào)告
10.3.5 AST階段5：程序?qū)彶楹驮u估
10.4 配置管理
10.4.1 AST階段1：需求收集——分析自動(dòng)化測試需求
10.4.2 AST階段2：測試用例設(shè)計(jì)和開發(fā)
10.4.3 AST階段3：開發(fā)自動(dòng)化軟件測試框架和測試腳本
10.4.4 AST階段4：自動(dòng)化測試的執(zhí)行和結(jié)果報(bào)告
10.4.5 AST階段5：審查并評估程序
10.5 質(zhì)量保證
10.5.1 AST階段1：需求收集——分析自動(dòng)化測試需求
10.5.2 AST階段2：測試用例設(shè)計(jì)和開發(fā)
10.5.3 AST階段3：開發(fā)自動(dòng)化軟件測試框架和測試腳本
10.5.4 AST階段4：自動(dòng)化測試的執(zhí)行和結(jié)果報(bào)告
10.5.5 AST階段5：審查并評估程序
10.6 領(lǐng)域?qū)＜遥?ME）
10.7 培訓(xùn)
小結(jié)
附錄
附錄A 過程一覽表
附錄B 將AST應(yīng)用到的各種測試類型
附錄C 工作中的利器
附錄D 案例研究：自動(dòng)化軟件測試框架（ASTF）示例