北大測試全套課件和教案_軟件測試依據(jù)和規(guī)范(課件15)+3次上機(jī)實(shí)訓(xùn)

1、全程軟件測試全程軟件測試 - 軟件測試依據(jù)和規(guī)范軟件測試依據(jù)和規(guī)范 軟件測試依據(jù)和規(guī)范軟件測試依據(jù)和規(guī)范 1 軟件質(zhì)量標(biāo)準(zhǔn)軟件質(zhì)量標(biāo)準(zhǔn)2 軟件測試相關(guān)規(guī)范軟件測試相關(guān)規(guī)范3 CMM思想和結(jié)構(gòu)體系思想和結(jié)構(gòu)體系4 建立軟件測試管理和評判體系建立軟件測試管理和評判體系ISO9000ISO9000是什么是什么? ? ISO 9000 的由來的由來 ISO 9000 總休思想總休思想 ISO 9000體系結(jié)構(gòu)體系結(jié)構(gòu)ISO 軟件質(zhì)量標(biāo)準(zhǔn)軟件質(zhì)量標(biāo)準(zhǔn)ISO (International Standardization Organization, 國際標(biāo)準(zhǔn)化組織) TC/176技術(shù)委員會制定的所有國際 標(biāo)

2、準(zhǔn)p 質(zhì)量保證標(biāo)準(zhǔn)（ISO9001/2/3）p 質(zhì)量管理標(biāo)準(zhǔn)（ISO9004)TC176即ISO中第176個(gè)技術(shù)委員會，成立于1980年，全稱是“質(zhì)量保證技術(shù)委員會”，1987年又更名為“質(zhì)量管理和質(zhì)量保證技術(shù)委員會”。TC176專門負(fù)責(zé)制定質(zhì)量管理和質(zhì)量保證技術(shù)的標(biāo)準(zhǔn) ISO 軟件質(zhì)量標(biāo)準(zhǔn)思想軟件質(zhì)量標(biāo)準(zhǔn)思想p 控制思想控制思想，即對產(chǎn)品形成的全過程進(jìn)行控制。任何事物都是由一個(gè)或多個(gè)過程活動的結(jié)果，只要對產(chǎn)品形成的全過程進(jìn)行控制并達(dá)到過程質(zhì)量要求，最終產(chǎn)品的質(zhì)量就有了保證p 預(yù)防的思想預(yù)防的思想。通過對產(chǎn)品形成的全過程進(jìn)行控制以及建立并有效運(yùn)行自我完善機(jī)制達(dá)到預(yù)防不合格，從根本上減少或消除不

3、合格品ISO 軟件質(zhì)量標(biāo)準(zhǔn)結(jié)構(gòu)軟件質(zhì)量標(biāo)準(zhǔn)結(jié)構(gòu) ISO9001：設(shè)計(jì)/開發(fā)、生產(chǎn)、安裝和服務(wù)中質(zhì)量保證模式； ISO9002：生產(chǎn)和安裝中的質(zhì)量保證模式； ISO9003：最終檢驗(yàn)和測試中的質(zhì)量保證模式； ISO9004：質(zhì)量管理和質(zhì)量體系要素導(dǎo)則。ISO9000系列標(biāo)準(zhǔn)的主體部分分為兩組：系列標(biāo)準(zhǔn)的主體部分分為兩組：p“需方對供方要求質(zhì)量保證”的標(biāo)準(zhǔn)ISO90019003p“供方建立質(zhì)量保證體系”的標(biāo)準(zhǔn)ISO9004 ISO 軟件質(zhì)量標(biāo)準(zhǔn)結(jié)構(gòu)軟件質(zhì)量標(biāo)準(zhǔn)結(jié)構(gòu)Zhu.KISO9000與與GB/T19000的關(guān)系的關(guān)系 GB/T(GB/T(國標(biāo)推薦國標(biāo)推薦) )IdtIdt( (等同于等同于)

4、) ISOISO標(biāo)準(zhǔn)標(biāo)準(zhǔn)GB/T 6583-1994idtISO 8402:1994 GB/T 19000.1-1994idtISO 9000-1:1994 GB/T 19000.2-1994idtISO 9000-2:1994 GB/T 19000.3-1994idtISO 9000-3:1994 GB/T 19001-1994idtISO 9001:1994 GB/T 19002-1994idtISO 9002:1994 GB/T 19003-1994idtISO 9003:1994 GB/T 19004.1-1994idtISO 9004-1:1994 GB/T 19004.2-1994

5、idtISO 9004-2:1991 GB/T 19004.3-1994idtISO 9004-3:1993 GB/T 19004.4-1994idtISO 9004-4:1993 GB/T 19021.1-1993idtISO 10011-1:1990 GB/T 19021.2-1993idtISO 10011-2:1991 GB/T 19021.3-1993idtISO 10011-3:1993 GB/T 19022.1-1994idtISO 10012-1:1994 Zhu.KISO9000-3 是什么是什么ISO9000-3其實(shí)是ISO質(zhì)量管理和質(zhì)量保證標(biāo)準(zhǔn)在軟件開發(fā)、供應(yīng)和維護(hù)中的使

6、用指南，并不作為質(zhì)量體系注冊/認(rèn)證時(shí)的評估準(zhǔn)則，主要考慮軟件行業(yè)的特殊性制定。參照ISO9001質(zhì)量體系 設(shè)計(jì)、開發(fā)、生產(chǎn)、安裝和服務(wù)的質(zhì)量保證模式，并引用ISO 8402質(zhì)量管理和質(zhì)量保證術(shù)語，使得ISO9000系列標(biāo)準(zhǔn)應(yīng)用范圍得以拓展 ISO9000-3標(biāo)準(zhǔn)標(biāo)準(zhǔn)n軟件開發(fā)、供應(yīng)、維護(hù)中應(yīng)用ISO9001的指南n是指南，不是標(biāo)準(zhǔn)n依然困惑：依然強(qiáng)調(diào)的是供應(yīng)商和顧客的關(guān)系，不是工程師該如何做ISO 9000-3 體系結(jié)構(gòu)體系結(jié)構(gòu)合同評審需方需求規(guī)格說明開發(fā)計(jì)劃質(zhì)量計(jì)劃設(shè)計(jì)和實(shí)現(xiàn)測試和確認(rèn)驗(yàn)收復(fù)制、交付和安裝維護(hù)軟件測試規(guī)范軟件測試規(guī)范 軟件測試規(guī)范就是對軟件測試的流程過軟件測試規(guī)范就是對軟件測

7、試的流程過程化并對每一個(gè)過程元素進(jìn)行明確的界程化并對每一個(gè)過程元素進(jìn)行明確的界定，形成完整的規(guī)范體系。定，形成完整的規(guī)范體系。 完整的軟件測試規(guī)范是怎樣的完整的軟件測試規(guī)范是怎樣的規(guī)范本身的詳細(xì)說明規(guī)范本身的詳細(xì)說明,比如規(guī)范目的、范圍、文檔結(jié)構(gòu)、比如規(guī)范目的、范圍、文檔結(jié)構(gòu)、詞匯表、參考信息、可追溯性、方針、過程詞匯表、參考信息、可追溯性、方針、過程/規(guī)范、指規(guī)范、指南、模板、檢查表、培訓(xùn)、工具、參考資料等等。南、模板、檢查表、培訓(xùn)、工具、參考資料等等。制定測試規(guī)范需要考慮的內(nèi)容制定測試規(guī)范需要考慮的內(nèi)容 角色的確定角色的確定 進(jìn)入的準(zhǔn)則進(jìn)入的準(zhǔn)則 輸入項(xiàng)輸入項(xiàng) 活動過程活動過程 輸出項(xiàng)輸出

8、項(xiàng) 驗(yàn)證與確認(rèn)驗(yàn)證與確認(rèn) 退出的準(zhǔn)則退出的準(zhǔn)則 度量度量Zhu.KStartGet data to definethe testingpopulationERISABP via Mainframe DumpMM/SK via Excel DBCore via ERISA Lotus Notes DBGenerate ahardcopy censusCreate year-endpackagescustomized bymarketERISA - BPERISAReview censusERISANoNote source ofproblem on coversheet or checkshee

9、tERISAImage the censusand log imagenumbers on theExcel spreadsheetERISAAData enter census,send an electroniccopy via e-mail, andreturn the hardcopyto BP - ERISALog the hardcopycensus anddistribute them tothe ERISASpecialists fortestingBExtract data fromthe ERISAWorkstationERISA - BPBP - Account Mana

10、gement TeamCR - Case ManagersMM/SK - ERISA SpecialistsBP - ERISAReview and scrubdata in ASCADP/ACP Testing - As Is ProcessBP - ERISA SpecialistsData Entry Vendor118124153Mail year-endpackagesERISA/Marketing/VendorBP via VendorCR/MM/SK via in-houseWait forinformationfrom planInformationreceived byfol

11、low-up date?Executefollow-upletter processERISAMarketingNoLog receipt ofinformationYesERISAMissing orunreadableinformation?YesResolvable by aphone call?Call client forinformationYesReturn originalinformation to clientwith request foradditionalinformation orclarificationsNoBP - Account Management Tea

12、mCR - Case ManagersMM/SK - ERISA SpecialistsInformationobtained?Image and sendthe hardcopycensus to thevendor for dataentryBP - ERISAYesNoNoBRequest the OMNIdata on the ERISAWorkstationBP/MM/SK - ERISA SpecialistsCR - Case ManagersImport data toExcel, review andscrubBP/MM/SK - ERISA SpecialistsCR -

13、Case ManagersMM/SK - ERISA SpecialistsCR - Case ManagersImport data toASCBP/MM/SK - ERISA SpecialistsCR - Case ManagersThrough13 Through 1727Through2022Through254821264028 Through 36283738394352Through5455565760Through436570Through42647174Through64727461627579Through808182Load P-Census tothe AS400 w

14、hichautomaticallypopulates theAS400, OMNI andERISA WorkstationIT Operations83848592Through9394Data completeand accurate?YesACNoCToPage 2CMM思想和結(jié)構(gòu)體系思想和結(jié)構(gòu)體系 CMM即軟件能力成熟度模型即軟件能力成熟度模型（Capability Maturity Model）是向軟件組織提供如何增加對其開發(fā)和維護(hù)軟件過程的控制能力。設(shè)計(jì)并實(shí)施CMM是為了指導(dǎo)軟件組織：通過確定當(dāng)前過程的成熟度等級和識別出對軟件質(zhì)量和過程改進(jìn)至關(guān)重要的問題，來選擇其過程改進(jìn)策略。通過

15、關(guān)注一組有限的活動，并為實(shí)現(xiàn)它們而積極工作，組織能穩(wěn)步地改善其軟件過程，使其軟件過程能力持續(xù)不斷地增長。CMM的歷史的歷史CMMCMM分階段的體系結(jié)構(gòu)源于己有60多年歷史的產(chǎn)品質(zhì)量原理。ITTITT的Philip CrosbyPhilip Crosby在其書“Quality is FreeQuality is Free”（Crosby 79Crosby 79）中首先提出將質(zhì)量原理改編為成熟度框架的思想。HumphreyHumphrey的成熟度框架早期版本發(fā)表在SEI技術(shù)報(bào)告（HumphreyHumphrey 87a，HumphreyHumphrey 87b）、文章（HumphreyHumphr

16、ey 88）和書“Managing the software Process”Managing the software Process”（Humphrey 89Humphrey 89）中?；诨贑MM模型的過程改進(jìn)模型的過程改進(jìn)n軟件過程改進(jìn)的方法論-IDEAL 修 改 組 織 的 方 法 記 錄 和 分 析 教 訓(xùn) 定 義 過 程 和 度 量 計(jì) 劃 及 執(zhí) 行 試 行 方 案 計(jì) 劃 ， 執(zhí) 行 和 跟 蹤 改 進(jìn) 方 案 建 立 過 程 行 動 組 做 行 動 計(jì) 劃 設(shè) 定 戰(zhàn) 略 和 優(yōu) 先 級 提 出 建 議 并 記 錄 階 段 成 果 評 估 當(dāng) 前 實(shí) 踐 情 況 改 進(jìn)

17、動 機(jī) 確 定 改 進(jìn) 范 圍 以 及 獲 取 支 持 建 立 改 進(jìn) 機(jī) 制 診診 斷斷 建建 立立 行行 動動 學(xué)習(xí)學(xué)習(xí) 初初 始始 化化 InitiatingDiagnosingEstablishingActingLearningSix Sigma DMAIC Model1. IDENTIFY OPPORTUNITIESProcess Flow AnalysisSURVEYYES NOABCDBenchmarkingPareto Analysis2. FORM TEAM & SCOPE PROJECTIdentify Customersand RequirementsTree Diagr

18、amEstablish ProcessBoundaries3. ANALYZE CURRENT PROCESSAnalyze AvailableDataProcess Flow AnalysisCheck SheetHISTORYCHECK SHEETREPORT4. DEFINE DESIRED OUTCOMES FOR IMPROVED PROCESSDefine Performance MeasuresAgree on GoalsGOAL5. IDENTIFY ROOT CAUSES & PROPOSED SOLUTIONSWhy-Why DiagramBrainstormingProc

19、ess RedesignEFFECTCause & EffectDiagramNominal Group Technique6. PRIORITIZE, PLAN AND TEST PROPOSED SOLUTIONSDesign ofExperimentsC-C-C+C+90.0083.6777.3371.0064.6758.3352.00A-A+Level LoadingPRODUCTION DAYSABCD1 2 3 30Pull SystemPRIOROPERATIONNEXTOPERATION7. REFINE AND IMPLEMENT SOLUTIONSForce Field A

20、nalysisGANTT Chart9. ACKNOWLEDGE TEAM ANDCOMMUNICATE RESULTSTraining & ProceduresBrainstormingRECYCLE IF NECESSARY8. MEASURE PROGRESS & HOLDGAINSTrend ChartSPCREPORTTEAM RESULTSPhaseStep(s)Define 1 & 2Measure 3 & 4Analyze 5Improve 6 & 7Control 8 & 9流程改進(jìn)模型流程改進(jìn)模型PDCA CyclePlan: What you want to accomp

21、lish over a period of time; What you might do, or need to do to get the goalsDo: What you planned on doingStart on small scaleCheck: The results of what you did to see if the objective was achievedAct: On the informationIf the result is successful, standardize the planIf not successful, continue in

22、the cycle to plan for further improvementEvaluationNo perfect plan, do FirstDoing is not enough, how about its results?If has problem, how to correct it?Then new & improved planCMM的五個(gè)等級的五個(gè)等級Adapted from SEI-93-TR-24DisciplinedProcessRepeatable(2)Project Mgmt system in place, performance repeatableSt

23、andard,consistentprocessDefined(3)SW Engr & Mgmt processes defined & integratedPredictableprocessManaged(4)Product & processes quantitatively controlledContinuouslyimprovingprocessOptimizing(5)Process improvement institutionalizedInitial(1)Process is informal and unpredictableCMM的五個(gè)等級及關(guān)鍵過程域的五個(gè)等級及關(guān)鍵過

24、程域 (二二)22不同成熟度的項(xiàng)目結(jié)果不同成熟度的項(xiàng)目結(jié)果ProbabilityTime / $ / .4Based on quantitative understanding of process and product, performance continues to improveTargetProbabilityTime / $ / .3With well-defined processes, performance improvesTargetProbabilityTime / $ / .2Plans based on past performance are more reali

25、sticTargetAdapted from SEI-93-TR-24ProbabilityTime / $ / .1Schedules and cost targets are typically overrunTargetProbabilityTime / $ / .5TargetPerformance continuously improvesDistribution of actual outcomesTarget is the initial estimated objective for a critical project parameter (e.g., cost, deliv

26、ery date, defect counts)關(guān)鍵過程域關(guān)鍵過程域(Key Areas)過程更改管理過程更改管理* *技術(shù)更改管理技術(shù)更改管理* *錯(cuò)誤預(yù)防錯(cuò)誤預(yù)防*質(zhì)量管理質(zhì)量管理* *過程量化管理過程量化管理*同級評審?fù)壴u審* *組間協(xié)作組間協(xié)作軟件產(chǎn)品工程軟件產(chǎn)品工程* *軟件集成管理軟件集成管理* *培訓(xùn)計(jì)劃培訓(xùn)計(jì)劃軟件過程定義軟件過程定義* *軟件過程要點(diǎn)軟件過程要點(diǎn)* *軟件配置管理軟件配置管理軟件質(zhì)量保證軟件質(zhì)量保證軟件子合同管理軟件子合同管理軟件項(xiàng)目追蹤與監(jiān)控軟件項(xiàng)目追蹤與監(jiān)控* *軟件項(xiàng)目規(guī)劃軟件項(xiàng)目規(guī)劃* *需求管理需求管理II-可重復(fù)級可重復(fù)級III-已定義級已定義級

27、IV-已管理級已管理級V-優(yōu)化級優(yōu)化級CMM的五個(gè)等級及關(guān)鍵過程域的五個(gè)等級及關(guān)鍵過程域 (三三)個(gè)體軟件過程個(gè)體軟件過程PSP的演化的演化個(gè)體管理基線個(gè)體管理基線PSP0并行過程并行過程工作時(shí)間記錄工作時(shí)間記錄程序差錯(cuò)記錄程序差錯(cuò)記錄程序差錯(cuò)類型標(biāo)準(zhǔn)程序差錯(cuò)類型標(biāo)準(zhǔn)個(gè)體過程循環(huán)個(gè)體過程循環(huán)PSP3循環(huán)開發(fā)循環(huán)開發(fā)個(gè)體規(guī)劃過程個(gè)體規(guī)劃過程PSP1程序規(guī)模估計(jì)程序規(guī)模估計(jì)測試報(bào)告測試報(bào)告?zhèn)€體質(zhì)量管理個(gè)體質(zhì)量管理PSP2編碼評審編碼評審設(shè)計(jì)評審設(shè)計(jì)評審PSP1.1任務(wù)規(guī)劃任務(wù)規(guī)劃進(jìn)度安排進(jìn)度安排PSP2.1設(shè)計(jì)模板設(shè)計(jì)模板PSP0.1編碼標(biāo)準(zhǔn)編碼標(biāo)準(zhǔn)軟件規(guī)模度量軟件規(guī)模度量過程改善建議過程改善建議

28、PSP 流程流程TSP流程流程PSP-TSPPSP-TSP-CMMCMM、PSP和和TSP組成的軟件過程框架組成的軟件過程框架CMMPSPTSP原則原則技能技能費(fèi)用費(fèi)用期限期限組織級能力組織級能力高質(zhì)量的產(chǎn)品高質(zhì)量的產(chǎn)品個(gè)人的技能個(gè)人的技能建立建立生產(chǎn)并交付生產(chǎn)并交付建立建立ISO9000與與CMM的關(guān)系的關(guān)系nISO9000相當(dāng)于CMM二級和三級的一部分內(nèi)容(有人稱為2.5級)nCMM和ISO9000認(rèn)證本身沒有優(yōu)劣之分nCMM是一個(gè)動態(tài)的過程n對于預(yù)算、項(xiàng)目周期管理等ISO9000涉及不夠的內(nèi)容，CMM有所覆蓋ISO9000與與CMM的區(qū)別的區(qū)別nISO9001是通用的國際標(biāo)準(zhǔn),適用于各類組織。nCMM是美國軍方為評價(jià)軟件供應(yīng)商的質(zhì)量水平,委托SEI開發(fā)的一個(gè)評價(jià)模型,只用于軟件業(yè)。nCMM更詳細(xì),更專業(yè)。