Top100summit敏捷的Web UI自動化測試框架—東軟

1、揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！敏捷的Web UI自動化測試框架殷坤產品管理中心主任東軟集團 基礎軟件事業(yè)部揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！摘要案例簡述敏捷的Web UI自動化測試框架案例背景敏捷需要自動化測試艱辛的自動化測試之路成功要素像用戶一樣“測試”軟件最佳實踐用戶化的測試腳本靈活多樣的斷言機制根據腳本自動生成用戶化的報告發(fā)展規(guī)劃ROI分析案例啟示揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！案例簡述敏捷的Web UI自動化測試框

2、架案例簡述Web開發(fā)時UI框架的廣泛采用極大提高了開發(fā)效率和用戶體驗。然而UI框架自動生成的海量頁面源碼卻讓原本就舉步維艱的UI自動化測試變得雪上加霜。為了有效解決常見自動化測試工具普遍存在的使用成本高、測試用例有效性低，以及對不同Web技術測試方案不統(tǒng)一等問題。我們需要提供一個測試框架，來跨越“技術”與“用戶”之間的鴻溝，簡化腳本及斷言條件的編寫和維護工作、提高對UI框架和業(yè)務編碼規(guī)范的支持程度，從而降低成本、提升效率。 案例目標降低Web UI自動化測試的難度和成本，使更項目能真正實現Web UI層面的自動化測試，從而讓團隊真正享受到自動化測試帶來的收益：使及時全面的回歸測試、穩(wěn)定性測試、

3、兼容性測試成為可能，為持續(xù)集成提供基礎；便于重現（或校驗）偶發(fā)性缺陷；將測試人員從日常大量的重復性工作中解放出來，可以把更多的精力投入到針對業(yè)務場景的測試設計、用戶體驗測試、性能測試、安全性測試等工作中。揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！案例背景敏捷需要自動化測試需求測試設計開發(fā)交 付快速原型設計盡早確認功能快速響應需求自動化測試用例都能在當天的版本上有效運行么？敏捷依賴自動化測試，但自動化測試本身夠敏捷么？可擴展的架構復用已有組件每日站會、迭代演示會快速開發(fā)工具持續(xù)集成揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多

4、源動力與更大的推動力！案例背景艱辛的自動化測試之路 學習成本高工具的操作使用、相關的腳本語言、測試過程的調試分析，是壓在廣大技術比較薄弱的測試人員身上的三座大山！ 測試腳本維護困難業(yè)界的測試工具本質上還都是針對頁面源碼來編寫（或生成）腳本的，與頁面源碼高度耦合、可讀性差。頁面的任何變化都極有可能導致測試腳本不可用，即使提供腳本錄制工具，我們能做往往也是重新錄制。 斷言機制繁瑣呆板測試腳本中的“斷言”依賴手工插入。頁面上蘊含大量的信息，潛在的斷言對象如此之多、預期結果時常變化（甚至是動態(tài)的）、UI樣式或UI邏輯（比如，翻頁圖標灰顯）也很可能出現錯誤。因此，“斷言”可謂是測試人員的“噩夢”！ 自定

5、義擴展難度大測試是個系統(tǒng)的工程，自動化測試是中間的一個執(zhí)行環(huán)節(jié)。與之關聯的工作還有測試場景設計、測試結果分析、持續(xù)集成、版本控制、測試用例覆蓋率統(tǒng)計、測試環(huán)境搭建，等等。自動化測試工具在擴展方面的局限性，破壞了測試管理的整體性和一致性。業(yè)界有很多優(yōu)秀的自動化測試工具，它們都有各自的優(yōu)點，但也普遍存在的一些問題，讓我們舉步維艱揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！案例背景艱辛的自動化測試之路優(yōu)秀UI框架/工具的采用大大降低了開發(fā)成本和難度測試腳本則要面對UI框架生成的海量源碼用例回放的有效性大幅降低，自動化測試變得雪上加霜頁面DOM結構非常復雜

6、所錄制/編寫腳本的復雜度變的更大、可讀性變得更差；即使頁面代碼沒有任何變化，UI框架的升級也會導致DOM結構的變化腳本無效的風險變得更大；控件ID是自動生成的，甚至可能隨機變化導致根據ID定位控件的策略無效；揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！成功要素像用戶一樣“測試”軟件頁面上的不穩(wěn)定因素：頁面布局、頁面樣式、UI框架及版本更新用戶只關注體驗，不用戶只關注體驗，不CareCare具體實現方案；具體實現方案；自動化測試人員為什么會糾結于此呢？自動化測試人員為什么會糾結于此呢？揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過

7、多源動力與更大的推動力！成功要素像用戶一樣“測試”軟件用戶操作時只關注頁面上能“看”到的，而不用“查看頁面源碼”；用戶會更關注整體業(yè)務的正確性、穩(wěn)定性，而不僅僅是每個孤立頁面的功能正確性；用戶對頁面樣式、瀏覽器兼容性要求越來越高；根據界面快速編寫測試用例敏捷應對需求的變化；隔離對技術實現（UI框架、頁面樣式/布局）的依賴敏捷應對設計/開發(fā)的變化；支持跨瀏覽器穩(wěn)定回放敏捷應對環(huán)境的變化；“用戶使用軟件”與“自動化測試軟件”之間目前存在一些重要差異如果能像用戶使用軟件一樣進行自動化測試，我們會變得更敏捷敏捷的核心是響應變化，因此開發(fā)和測試都需要快速響應需求的變化；而測試額外還需要快速響應開發(fā)的變化

8、；揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 1用戶化的測試腳本當你在上述界面上進行操作時，你心里是否會默念：“賬號”輸入*、“密碼”輸入*、“姓名”輸入*、“性別”選擇*、“生日”輸入*、“國籍”選擇*，點擊“保存”按鈕。類似的，當我們日常使用各種系統(tǒng)時，心里還會默念：“展開/收攏”樹（Tree）的某個節(jié)點、關閉某個Tab頁、 數據表格（Grid）的下一頁/上一頁、 選中數據表格（Grid）的某一行如果測試腳本就像這個樣子，大家覺得怎樣？揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 1用戶化

9、的測試腳本基于界面上可以“看”到的內容定位對象，對象的操作按照用戶習慣命名。操作定義對象類型腳本示意揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 1用戶化的測試腳本對象類型操作定義腳本示意基于界面上可以“看”到的內容定位對象，對象的操作按照用戶習慣命名。揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 1用戶化的測試腳本對象類型操作定義腳本示意基于界面上可以“看”到的內容定位對象，對象的操作按照用戶習慣命名。揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實

10、踐 1用戶化的測試腳本點擊“業(yè)務角色列表”上的“新增”按鈕輸入“名稱”和“描述信息”后點擊“保存”選中“業(yè)務角色列表”中“TOP100 Test”對應的行右側切換到“應用菜單授權”Tab頁展開“管理控制臺”和“組織機構”樹節(jié)點選中“用戶管理”樹節(jié)點點擊“應用菜單授權”上的“保存”按鈕結合“角色創(chuàng)建及授權”功能，看一下其對應的用戶化測試腳本實例：揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 2靈活多樣的斷言機制斷言對象頁面信息量大，需要斷言的對象多；需要在腳本中補充大量斷言語句；預期結果預期結果很可能發(fā)生變化；預期結果的值與腳本邏輯耦合度大；斷言

11、機制未設定為斷言條件的字段，如果發(fā)生錯誤，無法感知；UI樣式及部分UI邏輯無法設為斷言條件；揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 2靈活多樣的斷言機制 頁面控件值斷言 業(yè)務邏輯斷言 自定義斷言 頁面級UI斷言 后臺數據庫斷言 頁面級數據斷言揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 2靈活多樣的斷言機制 頁面控件值斷言 業(yè)務邏輯斷言 自定義斷言 頁面級UI斷言 后臺數據庫斷言 頁面級數據斷言在測試過程中，可以在任何位置增加斷言事件，來判斷頁面指定控件是否存在、控件顯示值是否為預期結果等

12、。揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 2靈活多樣的斷言機制 頁面控件值斷言 業(yè)務邏輯斷言 自定義斷言 頁面級UI斷言 后臺數據庫斷言 頁面級數據斷言測試腳本按照業(yè)務流程組織并運行，如果某個步驟執(zhí)行錯誤，則當前步驟或后續(xù)步驟會出現斷言錯誤。無需編寫任何斷言語句以及預期結果值，但測試設計要考慮業(yè)務邏輯順序；不需要可對比的正確版本，通常適用于項目剛開發(fā)或樣式做整體調整等情況；斷言錯誤的位置不精準，可能延后；操作過程有截圖備份，可以有效輔助定位準確的出錯原因；鑒于回歸測試的時候，通常大部分用例應該是可以通過的， 所以此類斷言的投入產出比非常占

13、優(yōu)勢！測試用例在“增加”出錯時可能的斷言結果增加記錄A查詢A修改查詢結果刪除記錄A揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 2靈活多樣的斷言機制 頁面控件值斷言 業(yè)務邏輯斷言 自定義斷言 頁面級UI斷言 后臺數據庫斷言 頁面級數據斷言無需編寫任何斷言語句以及預期結果值；用于可提供預期正確版本的項目，在可持續(xù)構建或項目后期比較適用；能判斷出樣式、頁面邏輯上的“非數據”類錯誤；對比絕對精準，導致可能存在誤判，因此需要人工對差異圖片進行排查；鑒于回歸測試的時候，通常大部分用例應該是可以通過的， 所以此類斷言的投入產出比非常占優(yōu)勢！通過對比前（之前

14、測試通過）后（后續(xù)持續(xù)發(fā)布）版本在相同測試路徑和入參情況下的頁面截圖是否嚴格相同來斷言結果。揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 2靈活多樣的斷言機制 頁面控件值斷言 業(yè)務邏輯斷言 自定義斷言 頁面級UI斷言 后臺數據庫斷言 頁面級數據斷言支持在用例執(zhí)行過程中嵌入SQL語句，以便從數據庫中取實際結果，用于斷言。揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 2靈活多樣的斷言機制 頁面控件值斷言 業(yè)務邏輯斷言 自定義斷言 頁面級UI斷言 后臺數據庫斷言 頁面級數據斷言通過提取頁面JS數據對象

15、（或JSON）、獲取格式化后的頁面文本內容，來自動對比判斷結果是否正確（無需編寫斷言語句）。原始頁面頁面文本內容揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 2靈活多樣的斷言機制 頁面控件值斷言 業(yè)務邏輯斷言 自定義斷言 頁面級UI斷言 后臺數據庫斷言 頁面級數據斷言在測試過程中如果一些斷言結果并不在前臺顯示，就需要自定義后臺斷言（操作移動設備、網絡設備等），并插入到測試執(zhí)行過程中。揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 3根據腳本自動生成用戶化的報告?zhèn)鹘y(tǒng)的測試腳本用戶化測試腳本揭示研發(fā)管

16、理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 3根據腳本自動生成用戶化的報告有效減少文檔格式測試用例的維護成本，并保證用例和軟件功能的及時同步。揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！實踐 3根據腳本自動生成用戶化的報告?zhèn)鹘y(tǒng)的自動化測試報告（如上圖）可讀性很差，不能直觀的體現整個測試過程。用戶化的測試報告（如右圖），可以非常直觀的充分還原整個測試過程。極大提升測試結果的分析效率，降低分析難度。揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！發(fā)展規(guī)劃與模型驅動開發(fā)工

17、具結合，在模型生成實際頁面的同時，生成用戶化的測試腳本，并進行參數化。在基于產品線開發(fā)模式的項目中，支持在裝配軟件特性的同時，裝配測試用例。與云計算資源管理工具打包，形成完整的企業(yè)私有測試云解決方案。揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！案例ROI分析投入工作量備注測試框架研發(fā)成本6人月一次性投入，具體視功能范圍而定測試腳本語法實現5人天一次性投入，可復用于相同UI框架開發(fā)所有項目測試腳本語法學習成本0.5人天掌握基本用法，不含在用例設計方面的經驗積累 覆蓋基本流程的測試腳本開發(fā)工作量相對功能開發(fā)而言，幾乎可以忽略不計； 腳本維護、運行及結果分析總工作量降低至原來的1/10左右，回落到可控范圍； 降低自動化測試專業(yè)技能要求，團隊任何成員都可以完成； 界面可自動化測試的時機提前，不必等到功能穩(wěn)定之后，有力保障項目過程中每日構建工作的開展； 斷言成本降低，準確率提升，有助于發(fā)現樣式瑕疵、用戶體驗差、內存泄露等容易被忽略的缺陷； 其它附加回報提高自動化測試實施成功幾率、降低文檔格式測試用例維護成本、擴大用例復用范圍贏得其他團隊支持回報