軟件可靠性的評價準(zhǔn)則

1、軟件可靠性的評價準(zhǔn)則迄今為止，尚無一個軟件可靠性模型對軟件的不同特性和不同使用環(huán)境都有效。已公開發(fā)表的100余種軟件可靠性模型，表達(dá)形式不同，適應(yīng)性各異，與實(shí)際的軟件開發(fā)過程有較大差異。而且，新模型還在不斷發(fā)表。因此，在進(jìn)行軟件可靠性預(yù)計、分析、分配、評價和設(shè)計之前,對軟件可靠性模型進(jìn)行評價及選擇與軟件項(xiàng)目相符或相近的模型非常重要。通過建立有效的評價準(zhǔn)則，在考慮它們與各種軟件的關(guān)系的基礎(chǔ)上，對擬評價的可靠性模型就有效性、適應(yīng)性和模型能力等進(jìn)行評價，判定它們的價值，比較它們的優(yōu)劣，然后選擇有效的軟件可靠性模型。另一方面，在可接受的模型之間無法做出明確的選擇時，可根據(jù)模型的使用環(huán)境等，在模型評價準(zhǔn)

2、則的基礎(chǔ)上，進(jìn)行模型擇優(yōu)。當(dāng)然，軟件可靠性模型的評價不僅依賴于模型的應(yīng)用，還依賴于理論的支持和豐富的、高質(zhì)量可靠性數(shù)據(jù)的支持。軟件可靠性模型的評價最早始于1984年lannino、Musa、Okumoto和Littlewood所提出的原則。根據(jù)這一原則，結(jié)合后人的工作，形成了基本的軟件可靠性評價準(zhǔn)則集。它們是軟件可靠性模型比較、選擇和應(yīng)用的基礎(chǔ)。準(zhǔn)則一：模型預(yù)測有效軟件可靠性模型最重要的評價指標(biāo)是模型預(yù)測的有效性。它根據(jù)軟件現(xiàn)在和過去的故障行為，用模型預(yù)測軟件將來的故障行為和可靠性水平。它主要通過能有效描述軟件故障隨機(jī)過程特性的故障數(shù)方式對模型進(jìn)行描述與評價?；谲浖收蠒r間特性的隨機(jī)過程也是

3、一種常用的方法，而且這兩種方法相互重疊。要確定軟件可靠性模型預(yù)測的有效性，首先要比較模型預(yù)測質(zhì)量。這種比較通常通過相對誤差法、偏值、U圖法、Y圖法、趨勢法等方法進(jìn)行。故障數(shù)度量是一種在工程上被廣泛應(yīng)用的方法。此外，還可以通過比較不同數(shù)據(jù)集合所做出的中位線圖形來評價模型預(yù)測的有效性。如果一個模型產(chǎn)生的曲線最接近于0,則該模型是最優(yōu)的。而且，這種有效性測定方法有效地克服了規(guī)范化圖形評價與具體軟件項(xiàng)目之間的聯(lián)系，保證了它的獨(dú)立性。用給定可靠性數(shù)據(jù)對軟件可靠性模型進(jìn)行比較時，必須考察擬合模型與觀察數(shù)據(jù)的一致性和符合性。當(dāng)然，根據(jù)擬合模型進(jìn)行采樣，是否可以獲得足夠的觀察數(shù)據(jù)非常重要。擬合優(yōu)度檢驗(yàn)是一種系

4、統(tǒng)地表達(dá)并證明觀察數(shù)據(jù)和擬合模型之間全局符合性的方法，使用最廣泛的是x2檢驗(yàn)。1 .準(zhǔn)確性軟件可靠性模型預(yù)測的準(zhǔn)確性可用前序似然函數(shù)來測定。設(shè)觀察到的失效數(shù)據(jù)對應(yīng)于軟件相繼失效之間的時間序列t1,t2,.,ti-1,并用這些數(shù)據(jù)來預(yù)測軟件在未來可能的Ti,即希望得到Ti的真實(shí)概率密度函數(shù)Fi(t)的最優(yōu)估計值。假設(shè)以t1,t2,.,ti-1為基礎(chǔ)預(yù)測Ti的分布Fi的概率密度函數(shù)42D11000.GIF;表達(dá)式1對Ti+1,Ti+2,Ti+n的這種向前一步預(yù)測，即進(jìn)行了n+1次預(yù)測之后的前序似然函數(shù)為42D11001.GIF;表達(dá)式2由于這種度量常常接近于0,所以常用其自然對數(shù)進(jìn)行比較。假定比較

5、的兩個軟件可靠性模型分別為A和B,則對它們進(jìn)行n次預(yù)測之后的前序似然比為42D11002.GIF;表達(dá)式3這個比率表示一個模型將比另一個模型給出更準(zhǔn)確的預(yù)測的可能。如果42D11003.GIF;表達(dá)式4則表明模型A比模型B預(yù)測的準(zhǔn)確性高模型A的有效性優(yōu)于模型Bo如果有c>0且42D11004.GIF;表達(dá)式5即隨著預(yù)測次數(shù)的無限增加，兩個卞II型A和B的前序似然比趨于一個常量，則表明兩個模型A和B的預(yù)測結(jié)果是等價的，即兩個模型的預(yù)測準(zhǔn)確性或有效性是等價的。2 .偏倚在軟件可靠性模型的應(yīng)用過程中，如果用模型得到預(yù)期預(yù)測結(jié)果的時間和觀測到的軟件失效時間不一致，就認(rèn)為該模型是有偏的。為了測定模

6、型的偏倚量，可計算在單位斜率線和i時刻真實(shí)概率密度的估計Fi(ti)概率積分變換值之間的最大垂直距離。Fi(ti)是在各個觀察到的失效時間點(diǎn)上計算出來的模型分布函數(shù)值。同時，這一模型的分布函數(shù)值還表明了模型偏倚的方向。當(dāng)Fi>0時,表示模型趨向于樂觀，反之則表示模型趨向悲觀。無論哪種情況絕對值越小模型固有的偏倚就越小。3 .趨向有時模型在早期的預(yù)測值集是令人樂觀的，但這種樂觀有可能隨著預(yù)測的不斷進(jìn)行而喪失。它說明所描述的偏倚檢驗(yàn)將均化這些影響，因而模型顯得是無偏的。在這種情況下，重要的是分析Fi(ti)的趨向。它被定義為單位斜率線和yi的累積分布函數(shù)之間的科爾馬高洛夫距離。趨向表示模型偏

7、倚的一致性。趨向值越小，意味著模型更能適應(yīng)軟件可靠性數(shù)據(jù)的變化，因而能產(chǎn)生更好的預(yù)測有效性。4 .噪聲在軟件可靠性模型中，通常將噪聲假設(shè)為白噪聲。實(shí)際情況并非總是如此，而且軟件可靠性模型對各種噪聲并非均具有較好的適應(yīng)性和不敏感性。一般地，我們可用經(jīng)典統(tǒng)計學(xué)中的均方差來檢驗(yàn)?zāi)Ｐ椭械脑肼暋o論哪種情況，我們都希望得到盡量小的噪聲度量值。它不僅指模型預(yù)測中的噪聲小，還指模型具有較好的平滑性。噪聲為無窮大時，表示模型可預(yù)測的軟件失效率為0。準(zhǔn)則二：模型假設(shè)合理且易于測試在軟件可靠性模型的建立過程中，針對不同的對象和使用環(huán)境導(dǎo)入了一些假設(shè)條件。這些假設(shè)有時僅僅是為了理論推導(dǎo)和證明的需要，甚至是為了某些特

8、殊目的而引入的?？v觀現(xiàn)有的各種模型假設(shè)，不僅數(shù)量多，且有泛濫的趨勢。而模型假設(shè)左右著模型質(zhì)量。因此模型假設(shè)是否合理、假設(shè)質(zhì)量的高低、假設(shè)的可測試性等無疑成了模型能力與有效性度量的一個重要指標(biāo)。模型假設(shè)的局限性太多，有礙于軟件可靠性模型研究與應(yīng)用的發(fā)展。在軟件可靠性模型中所做的一般假設(shè)有：模型中的初始錯誤數(shù)是一個常數(shù)或與故障率成正比。每個軟件錯誤導(dǎo)致相同的軟件故障率。一次可排除一個錯誤，排除時不引入新錯誤，錯誤最終將被完全排除。故障發(fā)生率服從分布。故障間隔時間服從負(fù)指數(shù)分布。軟件中的剩余錯誤數(shù)正比于最后一次測試的時間長度。測試輸入隨機(jī)地遇到故障。所有失效的影響相互獨(dú)立。測試空間覆蓋使用空間。所有

9、的失效都是一出現(xiàn)就被看到。軟件可靠性模型的評價準(zhǔn)則對模型假設(shè)的基本要求是模型假設(shè)應(yīng)能真實(shí)地描述模型對象與運(yùn)行環(huán)境，不做無謂的假設(shè)，且所有假設(shè)都應(yīng)是可測試、可證明的。在對模型的假設(shè)質(zhì)量進(jìn)行評價、并由此選擇模型時，如果對假設(shè)能進(jìn)行完全測試，則有數(shù)據(jù)支持的假設(shè)的優(yōu)先級應(yīng)高于其它假設(shè)，所有采用該假設(shè)的模型都應(yīng)優(yōu)先選用。如果假設(shè)的測試很困難、甚至不可能進(jìn)行則應(yīng)借助于一致性觀點(diǎn)或軟件工程經(jīng)驗(yàn)，對其繼續(xù)考察。此外，還必須對模型假設(shè)的清晰性和明確性進(jìn)行判斷，這將有助于判斷一個具體模型是否適用于當(dāng)前的軟件項(xiàng)目。準(zhǔn)則三：模型能力與可靠性參數(shù)測定應(yīng)滿足用戶要求軟件可靠性模型固有的能力是對與軟件可靠性有關(guān)的量的估計能

10、力。它涉及到模型能否有效地應(yīng)用于軟件設(shè)計人員、管理人員制訂軟件開發(fā)計劃、實(shí)施軟件可靠性工程設(shè)計與管理、尤其是能否以令人滿意的精確度實(shí)現(xiàn)對軟件可靠性的預(yù)計、分析、分配和評價等。軟件可靠性模型能力度量的量包括：當(dāng)前的可靠性、失效率、平均故障間隔時間、可用度，以及這些量的分布。所有估計參數(shù)的分布與置信區(qū)間。實(shí)現(xiàn)可靠性目標(biāo)的期望時間。實(shí)現(xiàn)可靠性目標(biāo)的資源和費(fèi)用開銷。模型能力的測定通過對軟件開發(fā)環(huán)境和運(yùn)行剖面等方面的研究來完成，對這些量的數(shù)量和重要性在軟件生命周期中逐個加以評價。除了在測試和運(yùn)行階段進(jìn)行軟件可靠性能力的測定外，在軟件設(shè)計和早期開發(fā)階段模型能力的測定也很重要。軟件可靠性模型參數(shù)測定的難易程

11、度，是衡量模型有效性和模型能力的一個重要指標(biāo)，它涉及模型的參數(shù)個數(shù)及估計這些參數(shù)的困難。大多數(shù)模型包含兩個以上的參數(shù)。根據(jù)經(jīng)驗(yàn)軟件可靠性模型要求的可靠性數(shù)據(jù)至少是待估計參數(shù)的5倍。參數(shù)較多的模型，其有效性與模型能力優(yōu)于參數(shù)較少的模型。但對軟件可靠性預(yù)測模型來說，這并不普遍正確。如果兩個模型顯示出較好的預(yù)測能力，應(yīng)選用參數(shù)較少的模型。因?yàn)榫哂休^少參數(shù)的模型更容易應(yīng)用，而且開發(fā)人員能更好地解釋參數(shù)的物理意義，以便向軟件開發(fā)過程提供適當(dāng)?shù)姆答?。?zhǔn)則四：模型應(yīng)具有較強(qiáng)的適用性通常，軟件可靠性模型都有一個有限的使用范圍，如特定的軟件可靠性數(shù)據(jù)、軟件開發(fā)過程等。對軟件可靠性模型的適用性，可通過各種不同的大

12、小、結(jié)構(gòu)、功能和應(yīng)用領(lǐng)域來分析。一個特定模型的優(yōu)點(diǎn)，在于它在不同的開發(fā)和運(yùn)行環(huán)境中，以及在不同生命周期階段的適用性。應(yīng)用軟件可靠性模型時，下列情況應(yīng)該用卞II型進(jìn)行處理：軟件過程的進(jìn)化與發(fā)展。軟件故障分類。能處理不完全的可靠性數(shù)據(jù)。能在不同的軟硬件平臺上移植。能適應(yīng)開發(fā)環(huán)境和應(yīng)用環(huán)境的不一致。總之，對軟件可靠性模型的適用性，可采用各種不同大小、不同結(jié)構(gòu)、不同功能的軟件產(chǎn)品對它們進(jìn)行比較、評價與判斷，以確定其適用性水平。另外，還應(yīng)將模型應(yīng)用于不同的開發(fā)環(huán)境、操作運(yùn)行環(huán)境，以及不同的軟件生命周期階段，以判定其適用性。準(zhǔn)則五：模型的推導(dǎo)、描述、應(yīng)用應(yīng)簡明簡潔性是對所有模型的共同要求。只有推導(dǎo)、證明、

13、描述和應(yīng)用簡單明了的模型，才能在軟件可靠性工程實(shí)踐中發(fā)揮作用，才會有廣闊的應(yīng)用前景。軟件可靠性模型的簡潔性涉及到可靠性數(shù)據(jù)采集過程、模型假設(shè)、模型描述、模型推導(dǎo)、模型證明，以及用軟件工程工具來實(shí)現(xiàn)模型。在數(shù)據(jù)采集方面，簡明性可減少測定費(fèi)用、提高數(shù)據(jù)準(zhǔn)確性，并使它更易于模型應(yīng)用。模型假設(shè)、推導(dǎo)、描述和證明等方面的簡潔性，使人們更容易理解模型假設(shè)、估計參數(shù)、應(yīng)用模型和解釋結(jié)果，可提高模型能力和模型的有效性。模型實(shí)現(xiàn)方面的簡潔性，可促進(jìn)對軟件工程工具的有效使用，以推動模型的應(yīng)用。在選擇軟件可靠性模型時，應(yīng)充分重視其簡單性。尤其在尚未對可靠性估計進(jìn)行多次實(shí)踐的情況下，既不能保證較復(fù)雜模型的質(zhì)量，一般也沒有數(shù)據(jù)來支持較復(fù)雜的模型。準(zhǔn)則六：模型應(yīng)有足夠的可靠性數(shù)據(jù)的支持在軟件可靠性模型的應(yīng)用中，可靠性數(shù)據(jù)始終是一個重要的、非常突出的問題。沒有足夠多的可靠性數(shù)據(jù)，便企圖應(yīng)用模型去分析、估計軟件的可靠性水平，以及用它們來進(jìn)行預(yù)測和決策是極其困難的，甚至是不可能的。事實(shí)上，軟件可靠性數(shù)據(jù)的數(shù)量、質(zhì)量及完整性等對軟件可靠性模型的影響遠(yuǎn)遠(yuǎn)大于軟件可靠性模型中