第二章-執(zhí)行測試

1、1軟軟 件件 測測 試試 技技 術術2第四章第四章 執(zhí)行測試執(zhí)行測試4.1 測試執(zhí)行概述4.2 執(zhí)行系統(tǒng)測試4.3 執(zhí)行單元測試4.4 執(zhí)行集成測試34.1 測試執(zhí)行概述測試執(zhí)行概述 測試執(zhí)行過程建立測試環(huán)境執(zhí)行測試用例記錄測試結果管理軟件錯誤報告測試結果44.2 執(zhí)行系統(tǒng)測試執(zhí)行系統(tǒng)測試 系統(tǒng)測試是針對整個產品系統(tǒng)進行的測試。 系統(tǒng)測試的目的是驗證系統(tǒng)是否滿足了需求規(guī)格的定義，找出與需求規(guī)格不相符合或與之矛盾的地方。 系統(tǒng)測試的對象不僅包括需要測試的產品系統(tǒng)的軟件，還要包含軟件所依賴的硬件、外設甚至包括某些數(shù)據、某些支持軟件及其接口等。 5檢查結束標準檢查進入標準執(zhí)行系統(tǒng)測試建立測試環(huán)境執(zhí)行

2、測試用例記錄測試結果管理軟件錯誤報告測試結果4.2.1 4.2.1 系統(tǒng)測試流程系統(tǒng)測試流程6 進入標準在測試計劃中定義，包括以下方面：進入標準在測試計劃中定義，包括以下方面：測試計劃和測試系統(tǒng)完成否？單元和集成測試完成否？ 報告測試結果包括以下方面：報告測試結果包括以下方面：測試狀態(tài)報告測試結果報告系統(tǒng)測試是否結束主要應用測試計劃中的結束標準，將包括：所有定義的測試執(zhí)行嗎？符合測試通過/失敗準則嗎？7 測試人員如何熟悉被測軟件？測試人員如何熟悉被測軟件？學習已有的測試指南閱讀已有的工程文檔請專業(yè)人員演示應用程序輸入隨機數(shù)據和命令執(zhí)行所有操作選項嘗試程序的運行狀態(tài)8 軟件運行存在三種環(huán)境：開發(fā)

3、環(huán)境、測試環(huán)境、用戶環(huán)境。 開發(fā)環(huán)境往往與用戶環(huán)境有所差別。 一個規(guī)劃良好的測試環(huán)境總很接近于用戶環(huán)境。 測試環(huán)境在測試計劃和測試用例中事先定義和規(guī)劃。4.2.2 建立系統(tǒng)測試環(huán)境建立系統(tǒng)測試環(huán)境9建立系統(tǒng)測試環(huán)境建立系統(tǒng)測試環(huán)境 建立測試環(huán)境包括：硬件環(huán)境和軟件環(huán)境。 硬件環(huán)境指測試必需的服務器、客戶端、網絡連接設備，以及打印機/掃描儀等輔助硬件設備所構成的環(huán)境； 軟件環(huán)境指被測軟件運行時的操作系統(tǒng)、數(shù)據庫及其他應用軟件構成的環(huán)境。 測試環(huán)境如何規(guī)劃？ 分析用戶環(huán)境中哪些配置可能對軟件有所影響，在此基礎上建立測試環(huán)境。10 某軟件是一個運行在Windows下的桌面應用軟件，可以完成數(shù)據文件備

4、份與恢復功能。該軟件支持Windows 98及以上的各個Windows版本，可以將文件備份到CD刻錄機、DVD刻錄機、USB移動硬盤。 建立系統(tǒng)測試環(huán)境建立系統(tǒng)測試環(huán)境11建立系統(tǒng)測試環(huán)境建立系統(tǒng)測試環(huán)境 軟件環(huán)境操作系統(tǒng)：不同版本的Windows系統(tǒng)，例如包括Windows 98，Windows 98 SE，Windows ME，Windows 2000 Professional, Windows 2000 Server，Windows XP Home Edition, Windows XP Professional等。其中，Windows XP Home Edition、Windows 2

5、000 Professional包括了英文和簡體中文版本。 硬件環(huán)境 多種CD、DVD刻錄機。如三種CD刻錄機（IDE接口內置式，SCSI接口內置式，USB接口外置式），帶有CD刻錄功能的DVD-Combo，DVD刻錄機Usb移動硬盤12建立系統(tǒng)測試環(huán)境建立系統(tǒng)測試環(huán)境 建立測試環(huán)境需要考慮：計算機平臺操作系統(tǒng)瀏覽器軟件支持平臺外圍設備網絡環(huán)境數(shù)據環(huán)境其他專用環(huán)境13計算機平臺計算機平臺 計算機平臺可以考慮：CPU速度、內容容量、硬盤、顯示卡等。 一般在軟件需求中列出軟件對平臺的最低配置要求。 在搭建測試平臺時，一般需要考慮：最低配置常見配置理想配置14操作系統(tǒng)操作系統(tǒng) 軟件一般都聲明支持的操

6、作系統(tǒng) Windows平臺本身有多個版本，而每個版本都包括了幾個系列，以及不同語言。 一般在某個版本中等級低的系列上能夠通過測試的軟件，能夠通過高級別系列的測試。 測試人員需要了解不同版本操作系統(tǒng)之間的差異。 Linux平臺有不同公司開發(fā)的更多的版本。測試時首先關注軟件所要求的Linux核心版本。 其他可能的操作系統(tǒng)：Unix、Mac OS、嵌入式操作系統(tǒng)。15瀏覽器瀏覽器 基于Web的應用系統(tǒng)，需對各種流行的瀏覽器環(huán)境進行測試。 不同的操作系統(tǒng)下，瀏覽器有不同選擇。 Windows平臺下常用：IE、FireFox、谷歌瀏覽器等 Linux平臺下Opera、netscape 、Mozilla等

7、16軟件支持平臺軟件支持平臺 典型的支持平臺主要包括：Java虛擬機、數(shù)據庫、應用服務器、第三方控件、瀏覽器插件。 一般需要測試沒有安裝軟件要求的第三方控件和瀏覽器插件，軟件的表現(xiàn)。 用戶環(huán)境中某軟件與被測試系統(tǒng)不兼容；或該軟件與被測試系統(tǒng)軟件不兼容。17 外圍設備不同的軟件系統(tǒng)需要不同的外圍設備。在多種外圍設備上進行測試，需要大量的時間和費用。一般選擇設備的幾款主流型號進行測試。 網絡環(huán)境網絡訪問方式網絡速度防火墻18如何配置測試環(huán)境？如何配置測試環(huán)境？ 假如某個軟件需要測試兩種瀏覽器（IE和FireFox）、四種操作系統(tǒng)（Windows 98、Windows ME、Windows 2000

8、、Windows XP）、三種CPU（Intel PIII 1G, Intel P4 2.8G，AMD Althon XP 2600+）、兩種內存配置（256M、512M）、兩種網絡連接方式（撥號網絡、ADSL寬帶接入）。 19如何配置測試環(huán)境？如何配置測試環(huán)境？ 搭建測試環(huán)境，需考慮配置的優(yōu)先級使用的頻度或范圍失效的可能性能最大限度模擬真實環(huán)境20 建立測試環(huán)境的步驟安裝應用程序安裝和開發(fā)測試工具（如果需要）設置專用文件，包括將這些文件與測試所需的數(shù)據相對應建立與應用程序通信的實用程序配備適當?shù)挠布约氨匾脑O備21 測試執(zhí)行過程建立測試環(huán)境執(zhí)行測試用例記錄測試結果管理軟件錯誤報告測試結果2

9、2 一旦測試人員遇到軟件存在的問題，應馬上填寫錯誤報告單。 4.2.3 報告測試結果報告測試結果 好的錯誤報告應該具有以下特征： 書面的已編號的簡單的、易于理解的可重現(xiàn)的具有合適的分類信息23一、錯誤的分類一、錯誤的分類 錯誤可以按照不同的方式進行分類： 按照錯誤等級分類按照錯誤處理優(yōu)先級分類按照錯誤原因分類24軟件錯誤等級軟件錯誤等級 按照錯誤的嚴重程度、影響程度的不同，軟件錯誤可以被分為不同的等級，也可稱為“錯誤嚴重程度”、“錯誤嚴重等級”。 所謂“嚴重性”指的是一個錯誤在系統(tǒng)中的影響，主要包括以下五種：致命錯誤 ：影響全局的死機、通信中斷、重要業(yè)務不能完成。 嚴重錯誤 ：規(guī)定的功能沒有實

10、現(xiàn)或不完整或產生錯誤結果；設計不合理造成性能低下，影響系統(tǒng)的運營；使系統(tǒng)不穩(wěn)定、或破壞數(shù)據等。一般錯誤 ：不影響主要功能使用，或者有替代的方式完成用戶需要的功能。輕微錯誤 ：通常指界面拼寫錯誤或用戶使用不方便等小問題或需要完善的問題。 改進建議 ：改進建議一般指軟件中值得改良的地方。 25 程序員在面對一系列錯誤的時候，一般情況下，需要先修改錯誤等級高的，但并不都如此。 優(yōu)先級與嚴重程度有一定關系，但也不完全相同。有可能某個嚴重錯誤的修復優(yōu)先級是低，也有可能某個輕微錯誤的修復優(yōu)先級是高。 “優(yōu)先級”抓住了在嚴重程度中沒有考慮的重要程度因素。 嚴重性等級由測試人員決定，而優(yōu)先級則由項目經理設置。

11、錯誤處理優(yōu)先級錯誤處理優(yōu)先級26 錯誤處理優(yōu)先級別一般分為： 立即解決：要求開發(fā)人員立即修復。此錯誤阻止進一步測試，需要立即修復。 高優(yōu)先級：此錯誤在產品發(fā)布前必須修復，否則會影響軟件的發(fā)布和使用正常排隊：應該修復。如果時間允許，應該修復此錯誤低優(yōu)先級：考慮修復。此錯誤即使不修復，也可以發(fā)布。27 根據錯誤發(fā)生的原因對錯誤進行分類可以幫助軟件項目開發(fā)組總結開發(fā)過程的薄弱環(huán)節(jié)，給今后的軟件項目開發(fā)提供經驗數(shù)據。 軟件錯誤產生的原因主要包括：需求分析不完善造成軟件不滿足用戶要求軟件設計錯誤造成運行錯誤程序員編寫代碼過程中引入錯誤錯誤原因錯誤原因28 還可以按照錯誤的發(fā)生位置進行分類。便于識別出經常

12、出問題的軟件模塊，確定責任人。 通過錯誤發(fā)生位置的統(tǒng)計可以幫助軟件項目組進行軟件質量分析，便于今后進一步的質量改進。 錯誤嚴重性與數(shù)量的關系錯誤嚴重性與數(shù)量的關系2930二、錯誤報告的內容二、錯誤報告的內容 對錯誤的描述主要包含以下內容： 錯誤報告基本信息錯誤描述 測試環(huán)境說明其它附件 31 錯誤報告基本信息主要包括： 錯誤編號 （每個軟件錯誤都需要有一個唯一的編號）軟件名稱和版本號（錯誤所屬的軟件名稱、版本號）錯誤的嚴重程度 （用15或者公司規(guī)定的其他形式）錯誤概要 （描述錯誤的標題）報告人 發(fā)現(xiàn)錯誤的時間承辦人 （由項目經理指定相關程序員修改錯誤）錯誤的優(yōu)先級（一般由項目經理來指定）錯誤狀

13、態(tài)（描述錯誤所處的處理狀態(tài)）注釋32錯誤編號：B1.1.1程序名：測試管理工具TMT版本標識：V1.0嚴重性：嚴重錯誤概要：xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx錯誤描述：xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx報告人：xxxx報告日期：2005-04-18承辦人：xxxx處理日期：2005-04-20優(yōu)先級：1狀態(tài)：開放注釋：錯誤報告實例錯誤報告實例33 錯誤報告中的常見問題： 在報告中說“不好用”所報告內容毫無意義在報告中用戶沒有提供足夠的信息在報告中提供了虛假信息所報告的問題是由于用戶的過失而產生的所報告的問題是由

14、于其他程序的錯誤而產生的所報告的問題是由于網絡錯誤而產生的34報告軟件錯誤的基本要求是準確、簡潔、完整、規(guī)范。三、報告錯誤的技巧三、報告錯誤的技巧 編寫高效的報告，需要做到以下幾點： 要重點說明讓問題重現(xiàn)的步驟和方法分析錯誤，用最少的步驟描述 寫出的報告應該完備、易讀而且沒有敵意不要輕易猜測錯誤的原因進行演示和使用文件附件立即記錄錯誤不要遺漏35如何描述軟件錯誤？如何描述軟件錯誤？36 在錯誤報告中，核心的內容是“錯誤描述”。 優(yōu)秀的錯誤描述主要由三個基本部分組成：摘要、重建步驟和隔離?！罢庇纸兄黝}或標題，是關于錯誤的一兩句話的描述，強調它對顧客或系統(tǒng)用戶的影響?！爸亟ú襟E”提供了如何重復

15、這個失敗的精確描述?！案綦x”是指測試人員收集的結果和信息，以確認錯誤確實是一個問題，并標識那些影響到錯誤表現(xiàn)的要素。 37 測試人員在報告錯誤時需注意以下方面： 描述清楚、精確、簡潔內容詳細 描述事實而不是推測 報告錯誤如何重現(xiàn)妥善處理間歇性錯誤 在遞交前檢查 38 其它需要注意的方面： 每一個步驟中，盡量只記錄一個操作，這樣將容易重復操作步驟。根據錯誤類型，選擇圖像捕捉的方式。為了直觀的觀察錯誤現(xiàn)象，通?？梢愿郊犹峁╁e誤出現(xiàn)的界面。附加必要的特殊文檔。如果打開某個特殊的文檔而產生的錯誤，則必須附加該文檔，以再現(xiàn)錯誤。當一個錯誤發(fā)生的時候，測試人員應立刻停止正在做的任何操作并記錄39錯誤報告分

16、析（一）錯誤報告分析（一）錯誤 ID：B1.1.1程序名：文本編輯工具Note版本標識：V1.0嚴重性：一般錯誤概要：在Solaris、Windows98和Mac上運行Note，一些數(shù)據在設置成某種格式時會出現(xiàn)顯示異常。錯誤描述：重建步驟：1）我在Windows98下打開Note程序，編輯一個已存在的文件，該文件有多行，且包括多種字體格式； 2）我選擇文件打印，工作正常； 3）我新建并打印一個包含圖形的文件，工作正常； 4）我新建一個新文件； 5）接著我輸入一連串隨機文本； 6）高亮選中幾行文本，選擇右鍵彈出菜單中Font選項，并選擇Arial字體； 7）文本顯示變得異常； 8）我試著運行了三

17、次，每一次都出現(xiàn)同樣問題； 9）我在Solaris上運行了6次，沒有看到任何問題； 10）我在Mac上運行了6次，沒有看到任何問題；隔離：1）我嘗試選擇其他字體形式，但只有Arial有這個問題出現(xiàn)。然而，該問題可能仍然在我沒有測試的其他字體下出現(xiàn)。報告人：xxxx報告日期：2005-01-18承辦人：xxxx處理日期：2005-01-20優(yōu)先級：3狀態(tài)：開放注釋：40錯誤報告分析（二）錯誤報告分析（二）錯誤 ID：B1.1.1程序名：文本編輯工具Note版本標識：V1.0嚴重性：一般錯誤概要：Note程序在使用Arial字體時出問題錯誤描述：重建步驟：1）打開Note程序； 2）鍵入一些文本；

18、 3）選擇Arial字體； 4）文本顯示異常。報告人：xxxx報告日期：2005-01-18承辦人：xxxx處理日期：2005-01-20優(yōu)先級：3狀態(tài)：開放注釋： 41錯誤報告分析（三）錯誤報告分析（三）錯誤 ID：B1.1.1程序名：文本編輯工具Note版本標識：V1.0嚴重性：一般錯誤概要：Windows98下Note在新建文件中選擇設置Arial字體時出現(xiàn)亂碼。錯誤描述：重建步驟：1）打開Note創(chuàng)建一個新文件； 2）隨意輸入兩行或多行文本； 3）選中一段文本，在右鍵彈出菜單中選中格式選項，選擇Arial； 4）文本被改變成無意義的亂寫的符號； 5）嘗試了三次該步驟，同樣的問題出現(xiàn)了三

19、次。隔離：1）保存新建文件，關閉Note，重新打開該文件，問題仍然存在； 2）如果在把文本改成Arial字體前保存文件，該錯誤不會出現(xiàn)； 3）該錯誤只存在于新建文件時，不出現(xiàn)在已存在的文件； 4）該現(xiàn)象只在Windows98下出現(xiàn)； 5）該錯誤不會出現(xiàn)在其他字體改變中。報告人：xxxx報告日期：2005-01-18承辦人：xxxx處理日期：2005-01-20優(yōu)先級：3狀態(tài)：開放注釋：優(yōu)秀的錯誤報告優(yōu)秀的錯誤報告 42報告中需要重現(xiàn)錯誤嗎？報告中需要重現(xiàn)錯誤嗎？43四、錯誤的重現(xiàn)四、錯誤的重現(xiàn) 為什么需要重現(xiàn)錯誤？如果不能重現(xiàn)錯誤，程序員可能不能理解到底發(fā)生了什么。程序員需要知道錯誤發(fā)生的步驟

20、，對程序進行動態(tài)調試，以修復問題。如果程序員不能親眼看到問題，有時候程序員會對軟件錯誤報告置之不理。44所有的錯誤都能重現(xiàn)嗎？所有的錯誤都能重現(xiàn)嗎？45當測試人員發(fā)現(xiàn)一個錯誤時，他所看到的只是現(xiàn)象，并不是根源。當所發(fā)現(xiàn)的錯誤不能被重現(xiàn)時，測試人員應重復發(fā)現(xiàn)錯誤時的操作環(huán)境和操作步驟。軟件錯誤是不會間歇發(fā)生的，即使出現(xiàn)概率很小，但一旦滿足了確切的條件，錯誤會再次顯現(xiàn)出來。任何錯誤都應該是可重現(xiàn)的。 46為什么我無法重現(xiàn)錯誤？為什么我無法重現(xiàn)錯誤？47 有很多原因使測試人員不能立即重現(xiàn)某個錯誤：競爭條件錯誤依賴于特定執(zhí)行順序錯誤造成的影響導致無法重現(xiàn)錯誤與內存內容相關僅僅在初次運行時出現(xiàn)錯誤間歇性

21、的硬件故障與時間相關的錯誤錯誤依賴于資源錯誤由長期積累形成484.2.4 管理軟件錯誤管理軟件錯誤管理軟件錯誤是測試工作的一個重要部分 。管理軟件錯誤主要是對錯誤進行跟蹤，確保每個被發(fā)現(xiàn)的錯誤都能夠及時得到處理。軟件測試錯誤跟蹤管理系統(tǒng)可以實現(xiàn)錯誤跟蹤管理，是管理軟件測試錯誤的專用數(shù)據庫系統(tǒng)，能夠高效率地完成軟件錯誤的報告、驗證、修改、查詢、統(tǒng)計、存儲等任務。 49 對錯誤的跟蹤需要達到以下的目標： 確保每個被發(fā)現(xiàn)的錯誤都能夠被解決 解決不一定是被修正，也可能是其他處理方式，但對每個被發(fā)現(xiàn)的錯誤的處理方式必須能夠在開發(fā)組織中達到一致。收集錯誤數(shù)據并根據錯誤趨勢曲線識別測試過程的階段決定測試過程

22、是否結束有很多種方式，通過錯誤趨勢曲線來確定測試過程是否結束是常用并且較為有效的一種方式收集錯誤數(shù)據并在其上進行數(shù)據分析，作為組織的過程財富 50一、軟件錯誤狀態(tài)一、軟件錯誤狀態(tài) 軟件錯誤的狀態(tài)包括：開放已分配被拒絕被忽略修復關閉51二、錯誤管理流程二、錯誤管理流程52三、統(tǒng)計軟件錯誤三、統(tǒng)計軟件錯誤 錯誤數(shù)據統(tǒng)計是錯誤跟蹤管理的目標。 統(tǒng)計數(shù)據給產品開發(fā)或測試工作的改進提供依據。 常用的統(tǒng)計方法有： 按照錯誤的嚴重程度進行統(tǒng)計 按照錯誤發(fā)生的根本原因進行統(tǒng)計 按照功能模塊進行統(tǒng)計 按照每天發(fā)現(xiàn)的錯誤數(shù)量進行統(tǒng)計534.2.5 測試報告測試報告 在系統(tǒng)測試過程中測試人員通常需要書寫項目狀態(tài)報告

23、，讓管理層了解項目的測試狀態(tài)和質量狀態(tài)。 測試活動結束后測試人員通常需要書寫測試總結和分析報告。 測試狀態(tài)報告主要內容包括：有多少錯誤尚未被關閉有多少錯誤被關閉有多少錯誤被忽略54 測試狀態(tài)報告報告日期：報告編號：開始日期：測試模塊測試用例數(shù)通過失敗沒有運行運行比例輸入20122670%編輯15104193%備份恢復25126772%通訊1888289%總計7842201679%55 基本單元可以是函數(shù)，類，類的方法，也可以是任何具有明確的功能、規(guī)格定義、明確的接口定義、并且其規(guī)模一般比較小。 在單元測試的過程中，會綜合運用靜態(tài)測試技術和動態(tài)測試技術。 在進行單元測試的過程中，一般會使用白盒測

24、試，但也會結合使用黑盒測試。 單元測試是針對程序模塊進行正確性檢驗的測試工作。在編碼的過程中作單元測試，其花費是最小的， 在代碼編寫完成后的單元測試工作主要分為兩個步驟：人工靜態(tài)檢查動態(tài)執(zhí)行跟蹤4.3 4.3 執(zhí)行單元測試執(zhí)行單元測試564.3.1 靜態(tài)檢查靜態(tài)檢查 合格的代碼應該具備以下性質：正確性：指代碼邏輯必須正確，能夠實現(xiàn)預期的功能清晰性：指代碼必須簡明、易懂，注釋準確沒有歧義規(guī)范性：指代碼必須符合企業(yè)所定義的共同規(guī)范包括命名規(guī)則，代碼風格等等一致性：指代碼必須在命名上風格上都保持統(tǒng)一高效性：指代碼不但要滿足以上性質，而且需要盡可能降低代碼的執(zhí)行時間57 軟件開發(fā)中，靜態(tài)測試常采用以下方式：技術復審同級復查 代碼復查的過程中，往往存在一份復查項檢查清單。 靜態(tài)復查也可采用一些輔助工具軟件進行，例如PC-Lint一款C/C+語言代碼靜態(tài)復查工具。58跟蹤調試不但是深入測試代碼的最佳方法，而且也是程序調試發(fā)現(xiàn)錯誤根源的有利工具。對于模塊的單元跟蹤調試，最