面向云平臺的軟件故障和容忍機(jī)制研究

面向云平臺的軟件故障

容忍機(jī)制研究2009-12-25研究背景核心問題及策略課題規(guī)劃及工作小結(jié)大綱研究現(xiàn)狀研究背景核心問題及策略課題規(guī)劃及工作小結(jié)大綱研究現(xiàn)狀研究背景計算需求的快速發(fā)展，用戶對軟件日益增長的需求：可靠，準(zhǔn)確，可擴(kuò)展。據(jù)調(diào)查，財富500強(qiáng)公司里面59%的公司每周至少有1.6小時的宕機(jī)時間據(jù)調(diào)查，由于系統(tǒng)宕機(jī)而導(dǎo)致的商業(yè)損失是每小時84,000$~108,000$。2008年8月，Google的云計算服務(wù)出現(xiàn)嚴(yán)重問題，Blogger和Spreadsheet等服務(wù)均長時間宕機(jī)，Gmail服務(wù)兩周內(nèi)3次停擺。10,000500公司雇員X$56工資X1.6/w宕機(jī)時間=$896,000/w損失>$46,000,000/y虛擬化技術(shù)(VirtualizationTechnology)能夠充分利用底層硬件的處理能力，支持多個操作系統(tǒng)(OS)同時運(yùn)行。軟件容錯技術(shù)是在軟件出錯的情況下保證軟件在性能和安全方面可接受的情況下繼續(xù)提供服務(wù)。研究背景研究內(nèi)容除了在傳統(tǒng)架構(gòu)下的研究軟件容錯機(jī)制，還應(yīng)該在虛擬化環(huán)境下調(diào)整軟件容錯機(jī)制來適應(yīng)虛擬化架構(gòu)。我們旨在應(yīng)用虛擬化技術(shù)來重新研究軟件容錯機(jī)制單機(jī)虛擬化架構(gòu)下軟件容錯機(jī)制研究虛擬集群下軟件容錯機(jī)制研究項目支持973項目：計算系統(tǒng)虛擬化基礎(chǔ)理論與方法研究總體框架故障檢測研究工作研究背景核心問題及策略課題規(guī)劃及工作小結(jié)大綱研究現(xiàn)狀研究現(xiàn)狀傳統(tǒng)的軟件容錯機(jī)制Microreboot–ATechniqueforCheapRecovery,OSDI2004EnhancingServerAvailabilityandSecurityThroughFailure-ObliviousComputing,OSDI2004Rx:TreatingBugsAsAllergies—ASafeMethodtoSurviveSoftwareFailures,SOSP2005,BestPaperASSURE:AutomaticSoftwareSelf-healingUsingREscuepoints,ASPLOS2009AutomaticallyPatchingErrorsinDeployedSoftware,SOSP2009拜占庭容錯機(jī)制PracticalByzantineFaultTolerance,OSDI1999Zyzzyva:SpeculativeByzantineFaultTolerance,SOSP2007,BestPaperDiverseReplicationforSingle-MachineByzantine-FaultTolerance,USENIX2008傳統(tǒng)的軟件容錯機(jī)制Microreboot–ATechniqueforCheapRecovery,OSDI2004EnhancingServerAvailabilityandSecurityThroughFailure-ObliviousComputing,OSDI2004Rx:TreatingBugsAsAllergies—ASafeMethodtoSurviveSoftwareFailures,SOSP2005,BestPaperASSURE:AutomaticSoftwareSelf-healingUsingREscuepoints,ASPLOS2009AutomaticallyPatchingErrorsinDeployedSoftware,SOSP2009拜占庭容錯機(jī)制PracticalByzantineFaultTolerance,OSDI1999Zyzzyva:SpeculativeByzantineFaultTolerance,SOSP2007,BestPaperDiverseReplicationforSingle-MachineByzantine-FaultTolerance,USENIX2008研究現(xiàn)狀A(yù)pplicationErrorReboot傳統(tǒng)的軟件容錯機(jī)制Microreboot–ATechniqueforCheapRecovery,OSDI2004EnhancingServerAvailabilityandSecurityThroughFailure-ObliviousComputing,OSDI2004Rx:TreatingBugsAsAllergies—ASafeMethodtoSurviveSoftwareFailures,SOSP2005,BestPaperASSURE:AutomaticSoftwareSelf-healingUsingREscuepoints,ASPLOS2009AutomaticallyPatchingErrorsinDeployedSoftware,SOSP2009拜占庭容錯機(jī)制PracticalByzantineFaultTolerance,OSDI1999Zyzzyva:SpeculativeByzantineFaultTolerance,SOSP2007,BestPaperDiverseReplicationforSingle-MachineByzantine-FaultTolerance,USENIX2008研究現(xiàn)狀Read杜撰值Write丟棄傳統(tǒng)的軟件容錯機(jī)制Microreboot–ATechniqueforCheapRecovery,OSDI2004EnhancingServerAvailabilityandSecurityThroughFailure-ObliviousComputing,OSDI2004Rx:TreatingBugsAsAllergies—ASafeMethodtoSurviveSoftwareFailures,SOSP2005,BestPaperASSURE:AutomaticSoftwareSelf-healingUsingREscuepoints,ASPLOS2009AutomaticallyPatchingErrorsinDeployedSoftware,SOSP2009拜占庭容錯機(jī)制PracticalByzantineFaultTolerance,OSDI1999Zyzzyva:SpeculativeByzantineFaultTolerance,SOSP2007,BestPaperDiverseReplicationforSingle-MachineByzantine-FaultTolerance,USENIX2008研究現(xiàn)狀傳統(tǒng)的軟件容錯機(jī)制Microreboot–ATechniqueforCheapRecovery,OSDI2004EnhancingServerAvailabilityandSecurityThroughFailure-ObliviousComputing,OSDI2004Rx:TreatingBugsAsAllergies—ASafeMethodtoSurviveSoftwareFailures,SOSP2005,BestPaperASSURE:AutomaticSoftwareSelf-healingUsingREscuepoints,ASPLOS2009AutomaticallyPatchingErrorsinDeployedSoftware,SOSP2009拜占庭容錯機(jī)制PracticalByzantineFaultTolerance,OSDI1999Zyzzyva:SpeculativeByzantineFaultTolerance,SOSP2007,BestPaperDiverseReplicationforSingle-MachineByzantine-FaultTolerance,USENIX2008研究現(xiàn)狀研究現(xiàn)狀傳統(tǒng)的軟件容錯機(jī)制Microreboot–ATechniqueforCheapRecovery,OSDI2004EnhancingServerAvailabilityandSecurityThroughFailure-ObliviousComputing,OSDI2004Rx:TreatingBugsAsAllergies—ASafeMethodtoSurviveSoftwareFailures,SOSP2005,BestPaperASSURE:AutomaticSoftwareSelf-healingUsingREscuepoints,ASPLOS2009AutomaticallyPatchingErrorsinDeployedSoftware,SOSP2009拜占庭容錯機(jī)制PracticalByzantineFaultTolerance,OSDI1999Zyzzyva:SpeculativeByzantineFaultTolerance,SOSP2007,BestPaperDiverseReplicationforSingle-MachineByzantine-FaultTolerance,USENIX2008…copy_len≤buff_size…ServerCommunitymachines觀察正常行為獲取其不變量copy_len<buff_sizecopy_len≤buff_sizecopy_len=buff_size檢測工具攻擊收集信息ServerCommunitymachines…copy_len≤buff_size…違反:copy_len≤buff_size比較攻擊下的行為Candidatepatches:Setcopy_len=buff_sizeSetcopy_len=0Setbuff_size=copy_lenReturnfromprocedureServer產(chǎn)生候選補(bǔ)丁來修復(fù)錯誤Predictive:copy_len≤buff_sizeCommunitymachinesServerPatch1Patch3Patch2分發(fā)補(bǔ)丁到社區(qū)機(jī)器上CommunitymachinesRanking:Patch1:0Patch2:0Patch3:0…Ranking:Patch3:+5Patch2:0Patch1:-5…ServerPatch1失敗Patch3成功評估補(bǔ)丁成功=檢測工具沒有檢測到錯誤CommunitymachinesServerPatch3分發(fā)最優(yōu)的補(bǔ)丁Ranking:Patch3:+5Patch2:0Patch1:-5…Communitymachines研究現(xiàn)狀傳統(tǒng)的軟件容錯機(jī)制Microreboot–ATechniqueforCheapRecovery,OSDI2004EnhancingServerAvailabilityandSecurityThroughFailure-ObliviousComputing,OSDI2004Rx:TreatingBugsAsAllergies—ASafeMethodtoSurviveSoftwareFailures,SOSP2005,BestPaperASSURE:AutomaticSoftwareSelf-healingUsingREscuepoints,ASPLOS2009AutomaticallyPatchingErrorsinDeployedSoftware,SOSP2009拜占庭容錯機(jī)制PracticalByzantineFaultTolerance,OSDI1999Zyzzyva:SpeculativeByzantineFaultTolerance,SOSP2007,BestPaperDiverseReplicationforSingle-MachineByzantine-FaultTolerance,USENIX2008PBFTtimePrimaryClient1PrepreparePrepareCommitRequestReplyExecute

s1s2s3s4[1,a]Quorum:匹配從不同的副本發(fā)來的信息resultAgreementExecution3f+1個副本研究現(xiàn)狀傳統(tǒng)的軟件容錯機(jī)制Microreboot–ATechniqueforCheapRecovery,OSDI2004EnhancingServerAvailabilityandSecurityThroughFailure-ObliviousComputing,OSDI2004Rx:TreatingBugsAsAllergies—ASafeMethodtoSurviveSoftwareFailures,SOSP2005,BestPaperASSURE:AutomaticSoftwareSelf-healingUsingREscuepoints,ASPLOS2009AutomaticallyPatchingErrorsinDeployedSoftware,SOSP2009拜占庭容錯機(jī)制PracticalByzantineFaultTolerance,OSDI1999Zyzzyva:SpeculativeByzantineFaultTolerance,SOSP2007,BestPaperDiverseReplicationforSingle-MachineByzantine-FaultTolerance,USENIX2008Zyzzyva3f+1個副本研究現(xiàn)狀傳統(tǒng)的軟件容錯機(jī)制Microreboot–ATechniqueforCheapRecovery,OSDI2004EnhancingServerAvailabilityandSecurityThroughFailure-ObliviousComputing,OSDI2004Rx:TreatingBugsAsAllergies—ASafeMethodtoSurviveSoftwareFailures,SOSP2005,BestPaperASSURE:AutomaticSoftwareSelf-healingUsingREscuepoints,ASPLOS2009AutomaticallyPatchingErrorsinDeployedSoftware,SOSP2009拜占庭容錯機(jī)制PracticalByzantineFaultTolerance,OSDI1999Zyzzyva:SpeculativeByzantineFaultTolerance,SOSP2007,BestPaperDiverseReplicationforSingle-MachineByzantine-FaultTolerance,USENIX2008LBFT借助虛擬機(jī)來提供多樣化，現(xiàn)在只需一臺物理機(jī)器就可以使用拜占庭協(xié)議VMM的可信給拜占庭協(xié)議帶來的機(jī)遇研究背景核心問題及策略工作小結(jié)大綱研究現(xiàn)狀問題1.基于虛擬機(jī)架構(gòu)的軟件容錯機(jī)制研究問題一如果選擇的合適營救點處于主流程中，如每個用戶請求會導(dǎo)致ASSURE系統(tǒng)在該營救點處做檢查點（為了以后的快速恢復(fù)）。在高負(fù)載情況下，其會因過度的對軟件做檢查點而導(dǎo)致軟件無法正常運(yùn)行。問題二在虛擬化環(huán)境下，不同的虛擬機(jī)中存在許多相同的軟件實例在運(yùn)行的情況。為了保證服務(wù)的高可用性，如何有效地將一個軟件實例上錯誤處理操作共享給其它相同的軟件實例是一項具有挑戰(zhàn)性的工作。問題1.基于虛擬機(jī)架構(gòu)的軟件容錯機(jī)制研究針對問題一不再采用在合適的營救點處對軟件進(jìn)行檢查點，而是對整個營救點數(shù)據(jù)庫的營救點分配加權(quán)值，并通過提高合適營救點的加權(quán)值來保障下次容錯措施進(jìn)行時優(yōu)先選擇該營救點，從而避免了過度進(jìn)行檢查點的情況出現(xiàn)。針對問題二在管理域（Dom0）中構(gòu)造完整的軟件容忍數(shù)據(jù)庫，根據(jù)虛擬機(jī)所要保證高可用性的軟件來分發(fā)該版本軟件所對應(yīng)的軟件容忍數(shù)據(jù)庫。（減少冗余）加權(quán)值變化時，更新Dom0和DomU的軟件容忍數(shù)據(jù)庫的數(shù)據(jù)加權(quán)值（容錯信息共享）問題1.基于虛擬機(jī)架構(gòu)的軟件容錯機(jī)制研究系統(tǒng)架構(gòu)系統(tǒng)流程問題1.基于虛擬機(jī)架構(gòu)的軟件容錯機(jī)制研究測試信息ApplicationVersionBugDepthValueNum.ofRPApache2.0.49Off-by-one2-11Light-HTTPd0.1Stacksmashing2-12Light-HTTPd-dbz0.1Divide-by-zero101ATP-HTTPd0.4bStacksmashing1-11Null-HTTPd0.5.0Heapoverflow1void1Null-HTTPd-df0.5.1Doublefree303問題1.基于虛擬機(jī)架構(gòu)的軟件容錯機(jī)制研究測試信息恢復(fù)時間采用Bug-resuce表后優(yōu)化的恢復(fù)時間問題2.虛擬集群中軟件容錯機(jī)制研究問題ASSURE和SHelp的權(quán)衡ASSURE能夠從類似錯誤中快速恢復(fù)，但適合于營救點調(diào)用不頻繁的情況SHelp能夠解決營救點調(diào)用頻繁時ASSURE因過度進(jìn)行檢查點導(dǎo)致軟件無法正常工作的問題First-Aid的錯誤的精確定位分析開銷較大在內(nèi)存相關(guān)錯誤（棧溢出除外）處理方面，Rx和First-Aid系統(tǒng)相比前面兩個系統(tǒng)來說較為安全，兩種容錯方式如何去抉擇應(yīng)用場景虛擬集群中，如何進(jìn)行軟件容錯方式的快速共享，以此來達(dá)到共同防御研究內(nèi)容SHelp和ASSURE的抉擇在測試營救點返回值時加入函數(shù)調(diào)用頻度統(tǒng)計，根據(jù)統(tǒng)計值來選擇針對某種錯誤的快速恢復(fù)策略是該采用加權(quán)值還是檢查點針對內(nèi)存相關(guān)錯誤（棧溢出除外），應(yīng)結(jié)合虛擬集群的優(yōu)勢，平攤錯誤分析開銷。先用Rx系統(tǒng)方法來進(jìn)行處理，并將成功處理方式和錯誤信息提交給中央節(jié)點，再由中央節(jié)點分割成多個patch發(fā)布并評估。尋找棧溢出較好的解決方法采用中央節(jié)點，Dom0和DomU三級容忍措施存儲結(jié)構(gòu)來實現(xiàn)容錯方式信息的共享問題2.虛擬集群中軟件容錯機(jī)制研究問題1及問題2的參考文獻(xiàn)會議文章及簡述SOSP’09AutomaticallyPatchingErrorsinDeployedSoftwareASPLOS’09ASSURE:AutomaticSoftwareSelf-healingUsingREscuepointsEuroSys’09First-Aid:SurvivingandPreventingMemoryManagementBugsduringProductionRuns解決內(nèi)存相關(guān)錯誤（主動）USENIX’07FromSTEMtoSEAD:SpeculativeExecutionforAutomatedDefense動態(tài)加載STEM，預(yù)先配置安全策略S&P’07UsingRescuePointstoNavigateSoftwareRecovery(ShortPaper)PLDI’07Exterminator:AutomaticallyCorrectingMemoryErrorswithHighProbability散列堆的分配空間，并糾正一些堆操作錯誤PLDI’06DieHard:ProbabilisticMemorySafetyforUnsafeLanguages散列堆的分配空間SOSP’05Rx:TreatingBugsAsAllergies—ASafeMethodtoSurviveSoftwareFailures,BestPaperUSENIX’05BuildingaReactiveImmuneSystemforSoftwareServicesSTEM系統(tǒng)通過靜態(tài)編譯的方式來實現(xiàn)錯誤虛擬化OSDI’04Microreboot–ATechniqueforCheapRecoveryOSDI’04EnhancingServerAvailabilityandSecurityThroughFailure-ObliviousComputing問題3.虛擬集群中基于軟件補(bǔ)丁的容錯機(jī)制研究軟件補(bǔ)丁修復(fù)漏洞增加新功能Zero-day攻擊（零日攻擊）軟件補(bǔ)丁發(fā)布到安裝軟件補(bǔ)丁之間，攻擊者根據(jù)發(fā)布的補(bǔ)丁來進(jìn)行攻擊相關(guān)工作零日攻擊根據(jù)軟件發(fā)布的補(bǔ)丁來尋找漏洞，并自動生成攻擊包進(jìn)行攻擊（零日攻擊）目前僅限于對修復(fù)輸入檢查漏洞的攻擊動態(tài)軟件升級動態(tài)升級需要在合適的時間，在軟件高負(fù)載的情況下，動態(tài)升級可能無法進(jìn)行需要軟件在運(yùn)行前經(jīng)過特定的編譯器編譯問題針對零日攻擊，需要對軟件進(jìn)行升級。雖然動態(tài)軟件更新可以在保證軟件不需要重啟的情況進(jìn)行升級，但是其需要軟件預(yù)先經(jīng)過編譯器編譯過，而且在軟件高負(fù)載情況下，更新過程將相當(dāng)緩慢?，F(xiàn)在的軟件容錯機(jī)制旨在根據(jù)錯誤分析的結(jié)果產(chǎn)生一個臨時的補(bǔ)丁，而忽視了該錯誤是否是被發(fā)布的補(bǔ)丁所修復(fù)STEM,SEAD,ASSURE,ClearView,Rx,First-Aid如何快速根據(jù)已發(fā)布的補(bǔ)丁來去修復(fù)軟件漏洞應(yīng)用場景在虛擬集群中虛擬軟件社區(qū)的軟件容錯方式的信息如何進(jìn)行共享，以此來共同抵制攻擊問題3.虛擬集群中基于軟件補(bǔ)丁的容錯機(jī)制研究研究內(nèi)容根據(jù)補(bǔ)丁內(nèi)容進(jìn)行語義分析，分析出補(bǔ)丁中涉及到修復(fù)漏洞的內(nèi)容（舍棄增加軟件功能），并以此產(chǎn)生一些可以動態(tài)注入的備選補(bǔ)丁研究一種理論模型來描述該語義分析的過程將這些備選補(bǔ)丁發(fā)布到虛擬軟件社區(qū)中，并根據(jù)反饋結(jié)果來對備選補(bǔ)丁進(jìn)行評估選擇一個最優(yōu)的補(bǔ)丁來發(fā)布到虛擬軟件社區(qū)中問題3.虛擬集群中基于軟件補(bǔ)丁的容錯機(jī)制研究問題3的參考文獻(xiàn)會議文章及簡述PLDI’09SafeandTimelyDynamicUpdatesforMulti-threadedPrograms多線程的軟件的動態(tài)升級POPL’08ContextualEffectsforVersion-ConsistentDynamicSoftwareUpdatingandSafeConcurrentProgramming通過上下文來實現(xiàn)事務(wù)機(jī)制S&P’08AutomaticPatch-BasedExploitGenerationisPossible:TechniquesandImplications根據(jù)補(bǔ)丁來自動生成攻擊包進(jìn)行攻擊PLDI’06PracticalDynamicSoftwareUpdatingforC動態(tài)軟件升級VEE’06LiveUpdatingOperatingSystemsUsingVirtualization操作系統(tǒng)的動態(tài)升級POPL’05MutatisMutandis-SafeandPredictableDynamicSoftwareUpdating提出軟件動態(tài)升級的理論模型問題4.虛擬集群中拜占庭機(jī)制研究分布式軟件中存在惡意節(jié)點時，采用拜占庭容錯機(jī)制來保障正確節(jié)點軟件的一致性。其中惡意節(jié)點是指不響應(yīng)或者發(fā)布錯誤的信息干擾其他節(jié)點的運(yùn)行，其也稱為拜占庭節(jié)點。相關(guān)工作假設(shè)拜占庭節(jié)點最多有f個，則副本節(jié)點最少需要3f+1個在拜占庭機(jī)制中，如果惡意節(jié)點發(fā)動廣播攻擊，會導(dǎo)致拜占庭機(jī)制處于停滯狀態(tài)而無法運(yùn)作針對這種攻擊，提出采用多網(wǎng)卡的硬件方式來解決問題4.虛擬集群中拜占庭機(jī)制研究問題一在虛擬集群中，存在多個由拜占庭協(xié)議保障的軟件組，如果某個軟件組中拜占庭節(jié)點發(fā)動惡意的廣播攻擊，會導(dǎo)致其他的軟件組無法運(yùn)行。問題二目前拜占庭協(xié)議都是公平的看待每個節(jié)點，即投票的時候每個節(jié)點的權(quán)值是相同的。事實上，節(jié)點機(jī)器的安全級別可能是不相同的。如配置了安全芯片的，裝了一定的安全軟件的機(jī)器應(yīng)比“裸機(jī)”安全級別高。根據(jù)提供服務(wù)的節(jié)點機(jī)器的安全級別，我們應(yīng)調(diào)整節(jié)點投票的權(quán)值。對應(yīng)于生活上的例子，如對參加比賽的選手投票時，專家的投票所對應(yīng)的分值應(yīng)比觀眾的高。同樣安全級別較高的機(jī)器也存在拜占庭節(jié)點，如何容忍不同安全級別的機(jī)器的權(quán)值如何選擇問題4.虛擬集群中拜占庭機(jī)制研究研究內(nèi)容針對問題一采用vLan來隔離網(wǎng)絡(luò)，相當(dāng)于一個拜占庭保障的軟件組就是一個可信虛擬域，以此來消除外部軟件組的惡意節(jié)點的網(wǎng)絡(luò)攻擊通過VMM來給每個虛擬機(jī)分配虛擬的NIC，避免了需求多網(wǎng)卡的硬件需求針對問題二研究不同安全等級機(jī)器的投票權(quán)值的快速評估算法考慮在安全分級的集群中，根據(jù)不同機(jī)器的不同的投票權(quán)值，研究新的拜占庭容忍算法問題4的參考文獻(xiàn)會議文章及簡述NSDI’09MakingByzantinefaulttolerantsystemstolerateByzantinefaults針對拜占庭存在的攻擊提出新的協(xié)議來進(jìn)行防御NSDI’09Zeno:EventuallyConsistentByzantine-FaultTolerance舍棄每一步操作的一致性，而來保證最終的一致性DSN’08ByzantineReplicationUnderAttack提出針對拜占庭協(xié)議的一些攻擊USENIX’08DiverseReplicationforSingle-MachineByzantine-FaultTolerance借助虛擬機(jī)來提供多樣化SOSP’07Zyzzyva:SpeculativeByzantineFaultTolerance,BestPaperSOSP’07AttestedAppend-OnlyMemory:MakingAdve