自動(dòng)化測(cè)試平臺(tái)解決專項(xiàng)方案V

SmartRobot自動(dòng)化測(cè)試處理方案目錄1. 迫切需要處理問(wèn)題 41.1. 智能移動(dòng)設(shè)備軟件系統(tǒng)和硬件方案復(fù)雜組合，造成APP實(shí)現(xiàn)多機(jī)型兼容難度大，投入大。 41.2. 靈敏開(kāi)發(fā)、迭代開(kāi)發(fā)，產(chǎn)品追求快速上線，造成回歸測(cè)試可靠性測(cè)試等任務(wù)重，形成測(cè)試工作量波峰。 41.3. 開(kāi)發(fā)框架多、開(kāi)發(fā)人員能力不足造成安全漏洞突出 41.4. 市場(chǎng)競(jìng)爭(zhēng)，產(chǎn)品同質(zhì)化嚴(yán)重，追求用戶體驗(yàn)差異化關(guān)鍵性凸現(xiàn)。 42. 自動(dòng)化測(cè)試平臺(tái)整體處理方案 43. 自動(dòng)化測(cè)試平臺(tái)實(shí)現(xiàn)功效 53.1. 兼容性測(cè)試系統(tǒng) 53.1.1. SMART平臺(tái) 53.1.2. 智能源碼掃描 73.2. 安全監(jiān)控系統(tǒng) 103.2.1. 高精度電流監(jiān)控 103.2.2. 監(jiān)控應(yīng)用及整機(jī)文件系統(tǒng) 113.2.3. 監(jiān)控應(yīng)用及整機(jī)數(shù)據(jù)流量監(jiān)控，統(tǒng)計(jì)非法數(shù)據(jù)傳輸?shù)惹闆r 123.2.4. 用戶行為跟蹤，監(jiān)控電話、短信、拍照、攝像、錄音等經(jīng)典動(dòng)作 123.3. 性能測(cè)試系統(tǒng) 133.3.1. 響應(yīng)時(shí)間測(cè)試系統(tǒng) 133.3.2. 流暢度測(cè)試系統(tǒng) 16面臨問(wèn)題智能移動(dòng)設(shè)備軟件系統(tǒng)和硬件方案復(fù)雜組合，造成APP實(shí)現(xiàn)多機(jī)型兼容難度大，投入大。靈敏開(kāi)發(fā)、迭代開(kāi)發(fā)，產(chǎn)品追求快速上線，造成回歸測(cè)試、可靠性測(cè)試等任務(wù)重，無(wú)法有效應(yīng)對(duì)測(cè)試工作量波峰。APP開(kāi)發(fā)框架多、開(kāi)發(fā)人員能力不足造成安全漏洞突出軟件硬件設(shè)計(jì)交叉影響，性能優(yōu)化難度加大。自動(dòng)化測(cè)試平臺(tái)整體處理方案為處理移動(dòng)應(yīng)用開(kāi)發(fā)商面臨以問(wèn)題，結(jié)局方案設(shè)計(jì)以下。可全方面處理移動(dòng)應(yīng)用開(kāi)發(fā)面臨兼容性問(wèn)題、安全性問(wèn)題、測(cè)試工作量波峰、用戶體驗(yàn)問(wèn)題，并全程為移動(dòng)應(yīng)用開(kāi)發(fā)保駕護(hù)航。整體處理方案兼容性測(cè)試系統(tǒng)：智能源碼掃描，即經(jīng)過(guò)解析APK文件，將源碼和問(wèn)題特征庫(kù)自動(dòng)比對(duì)，查找兼容性問(wèn)題，并自動(dòng)生成測(cè)試匯報(bào)。SMART平臺(tái)，實(shí)現(xiàn)被測(cè)設(shè)備管理+測(cè)試用例制作、管理、自動(dòng)化實(shí)施、并生成測(cè)試匯報(bào)?？蓪?shí)現(xiàn)APP定制用例多機(jī)自動(dòng)化運(yùn)行、適配性測(cè)試、功效及UI測(cè)試；安全監(jiān)控系統(tǒng)：監(jiān)測(cè)系統(tǒng)文件改變、監(jiān)測(cè)數(shù)據(jù)流量、耗電情況、監(jiān)控非法用戶行為等。性能測(cè)試系統(tǒng)：經(jīng)過(guò)專業(yè)自動(dòng)化測(cè)試設(shè)備（硬件工具），測(cè)量流暢度卡頓數(shù)據(jù)、量化響應(yīng)時(shí)間指標(biāo)，為研發(fā)人員提供毫秒級(jí)數(shù)據(jù)，助力改善用戶體驗(yàn)。處理方案實(shí)現(xiàn)兼容性測(cè)試系統(tǒng)SMART平臺(tái)SMART兼容性測(cè)試平臺(tái)，提供自動(dòng)化測(cè)試處理方案，提供用例制作、管理、自動(dòng)化運(yùn)行、測(cè)試結(jié)果自動(dòng)校驗(yàn)。無(wú)需人員干預(yù)即可實(shí)現(xiàn)各類APP自動(dòng)化用例運(yùn)行，并自動(dòng)生成測(cè)試匯報(bào)。測(cè)試步驟測(cè)試步驟自動(dòng)化測(cè)試腳本開(kāi)發(fā)真機(jī)運(yùn)行腳本輸出測(cè)試匯報(bào)測(cè)試框架測(cè)試框架經(jīng)過(guò)手機(jī)usb接口實(shí)現(xiàn)對(duì)手機(jī)控制，完成測(cè)試工具及app下發(fā)，運(yùn)行及測(cè)試結(jié)果拉取和展示。測(cè)試工具采取lua腳本編寫測(cè)試case，經(jīng)過(guò)進(jìn)程注入技術(shù)獲取屏幕顯示信息，結(jié)合Touch事件模擬，能夠?qū)崿F(xiàn)基于控件等級(jí)復(fù)雜測(cè)試case，測(cè)試結(jié)果以Log、屏幕截圖等形式輸出。SMART平臺(tái)可實(shí)現(xiàn)功效適配性測(cè)試：進(jìn)行被測(cè)應(yīng)用安裝、開(kāi)啟、運(yùn)行、卸載測(cè)試，驗(yàn)證在不一樣終端類型上是否存在安裝失敗、開(kāi)啟閃退、運(yùn)行瓦解等不兼容現(xiàn)象。功效及UI測(cè)試：支持遍歷測(cè)試和業(yè)務(wù)主步驟腳本測(cè)試，驗(yàn)證應(yīng)用功效，同時(shí)檢測(cè)是否存在黑邊、白屏、拉伸、混淆、變色等UI問(wèn)題。系統(tǒng)性能檢測(cè)：測(cè)試過(guò)程中需要獲取移動(dòng)終端設(shè)備CPU、內(nèi)存、流量耗用、電池性能等數(shù)據(jù)，判定應(yīng)用運(yùn)行情況，同時(shí)包含安裝時(shí)間、開(kāi)啟時(shí)間、CPU均值占用、CPU峰值占用、內(nèi)存均值占用、內(nèi)存峰值占用、流量耗用、電池溫度、卸載時(shí)間等。測(cè)試匯報(bào)：所提供測(cè)試結(jié)果匯報(bào)，直觀全方面，包含原始數(shù)據(jù)、匯總后圖表展示和故障點(diǎn)截圖，對(duì)應(yīng)問(wèn)題log信息，并支持離線閱讀。兼容性測(cè)試匯報(bào)智能源碼掃描使用該系統(tǒng)在研發(fā)階段即可發(fā)現(xiàn)代碼中兼容性缺點(diǎn)，直接給出問(wèn)題定位，根源及處理方案。針對(duì)源代碼構(gòu)建靜態(tài)語(yǔ)法樹，輔以程序控制流和數(shù)據(jù)流分析，結(jié)合龐大兼容性問(wèn)題特征庫(kù)和處理方案庫(kù)，正確定位問(wèn)題代碼，并直接提供已驗(yàn)證處理方案。智能源碼掃描適配可覆蓋Android系統(tǒng)全部功效點(diǎn)，涵蓋1300多個(gè)兼容性問(wèn)題特征及處理方案，掃描支持機(jī)型超出500款；10w行級(jí)源碼45s內(nèi)完成掃描，30w行源碼2分鐘內(nèi)完成掃描，60w行源碼5分鐘內(nèi)完成掃描；包含SDK差異，缺點(diǎn)分析特征庫(kù)達(dá)成10000條以上。系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)系統(tǒng)包含用戶端和服務(wù)端兩個(gè)模塊：服務(wù)端：存放適配問(wèn)題特征庫(kù)和處理方案庫(kù)，包含特征庫(kù)、處理方案庫(kù)、掃描引擎三大模塊。用戶端：經(jīng)過(guò)在瀏覽器端上傳源代碼或apk，進(jìn)行智能源碼掃描，掃描結(jié)果定位問(wèn)題并給出對(duì)應(yīng)處理方案。智能源碼掃描特征庫(kù)智能源碼掃描特征庫(kù)智能源碼掃描處理方案庫(kù)智能源碼掃描處理方案庫(kù)智能源碼掃描引擎智能源碼掃描引擎安全監(jiān)控系統(tǒng)安全監(jiān)控系統(tǒng)經(jīng)過(guò)實(shí)時(shí)監(jiān)控終端系統(tǒng)內(nèi)部行為、狀態(tài)等，檢測(cè)并發(fā)覺(jué)并定位安全問(wèn)題點(diǎn)，為用戶匯報(bào)查找潛在軟硬件設(shè)計(jì)中安全漏洞。規(guī)避造成信息泄露、耗用系統(tǒng)流量、文件系統(tǒng)篡改等安全隱患。高精度電流監(jiān)控終端功耗自動(dòng)化測(cè)試模塊是一款經(jīng)過(guò)自動(dòng)化操作手機(jī)終端，同時(shí)檢測(cè)、統(tǒng)計(jì)、分析電流改變，該模塊能夠自動(dòng)測(cè)試終端、應(yīng)用電流消耗情況，經(jīng)過(guò)正確監(jiān)控手機(jī)電流改變，進(jìn)而輔助分析手機(jī)電流改變內(nèi)在原因。該模塊由終端自動(dòng)化測(cè)試模塊及電流監(jiān)控模塊組成。系統(tǒng)可檢測(cè)安捷倫等電源設(shè)備輸出電流信息，并結(jié)合測(cè)試動(dòng)作分析，對(duì)系統(tǒng)進(jìn)行復(fù)測(cè)，提供測(cè)試匯報(bào)等智能監(jiān)控安全電流閾值 系統(tǒng)可設(shè)定終端設(shè)備工作時(shí)電流閾值，在測(cè)試過(guò)程中全程監(jiān)控電流值，自動(dòng)分析并統(tǒng)計(jì)超出閾值范圍電流時(shí)刻及所運(yùn)行用例場(chǎng)景，進(jìn)而確定造成電流異常App及其行為。 系統(tǒng)含有自動(dòng)調(diào)整測(cè)試策略功效，即依據(jù)電流信息反向控制用例實(shí)施場(chǎng)景。在發(fā)覺(jué)電流異常時(shí)自動(dòng)進(jìn)行異常處理及缺點(diǎn)判定，系統(tǒng)集成復(fù)測(cè)機(jī)制可對(duì)所運(yùn)行場(chǎng)景跟蹤測(cè)試，進(jìn)而判定所實(shí)施用例場(chǎng)景功耗問(wèn)題。系統(tǒng)集成測(cè)試管理相關(guān)功效，可對(duì)測(cè)試用例、測(cè)試腳本、測(cè)試任務(wù)、測(cè)試匯報(bào)等進(jìn)行有效管理?？煽焖偕蓽y(cè)試用例并投入使用，測(cè)試任務(wù)結(jié)束后即時(shí)生成測(cè)試匯報(bào)，直觀顯示功耗測(cè)試結(jié)果。監(jiān)控應(yīng)用及整機(jī)文件系統(tǒng) 系統(tǒng)對(duì)整機(jī)文件系統(tǒng)，包含系統(tǒng)文件及存放卡文件全方面進(jìn)行監(jiān)控，對(duì)于系統(tǒng)中植入惡意進(jìn)程，或惡意APP程序進(jìn)行監(jiān)測(cè)，當(dāng)系統(tǒng)文件發(fā)生篡改時(shí)進(jìn)行具體統(tǒng)計(jì)，最終匯總文件系統(tǒng)變更情況等。監(jiān)控應(yīng)用及整機(jī)數(shù)據(jù)流量監(jiān)控，統(tǒng)計(jì)非法數(shù)據(jù)傳輸?shù)惹闆r 系統(tǒng)能夠監(jiān)控整機(jī)及某個(gè)指定應(yīng)用數(shù)據(jù)流量，經(jīng)過(guò)監(jiān)控?cái)?shù)據(jù)流量方法，能夠監(jiān)測(cè)一些不應(yīng)使用數(shù)據(jù)流量應(yīng)用或時(shí)機(jī)，經(jīng)過(guò)分析這些異常流量指標(biāo)，進(jìn)而發(fā)覺(jué)系統(tǒng)中對(duì)應(yīng)存在使用流量相關(guān)非法操作。用戶行為跟蹤，監(jiān)控電話、短信、拍照、攝像、錄音等經(jīng)典動(dòng)作 開(kāi)啟用戶行為跟蹤后，系統(tǒng)將監(jiān)控用戶電話、短信、拍照、攝像、錄音等功效，一旦系統(tǒng)發(fā)生了上述行為，系統(tǒng)將一一統(tǒng)計(jì)，如經(jīng)典竊密步驟：經(jīng)過(guò)后臺(tái)進(jìn)程以靜默方法開(kāi)啟錄音，并經(jīng)過(guò)數(shù)據(jù)通道傳至某個(gè)遠(yuǎn)端位置，以后刪除目前錄音。以上三個(gè)動(dòng)作，用戶行為檢測(cè)（錄音）、數(shù)據(jù)流量檢測(cè)（上傳至遠(yuǎn)端位置）、文件檢測(cè)（刪除錄音）系統(tǒng)全部能夠一一截取。性能測(cè)試系統(tǒng)（FTS系統(tǒng)）性能測(cè)試系統(tǒng)采取點(diǎn)擊、滑動(dòng)、長(zhǎng)按、拖拽、按鍵等操作方法。經(jīng)過(guò)外置電子眼工業(yè)相機(jī)，對(duì)操作過(guò)程中終端進(jìn)行高速跟蹤、測(cè)試，進(jìn)而正確度量終端性能指標(biāo)，有效改善用戶體驗(yàn)。響應(yīng)時(shí)間測(cè)試系統(tǒng)（RTS系統(tǒng)）對(duì)應(yīng)時(shí)間是指移動(dòng)應(yīng)用對(duì)其操作（點(diǎn)擊、拖拽、滑動(dòng)等）響應(yīng)時(shí)間，響應(yīng)時(shí)間測(cè)試系統(tǒng)采取人工操作加高幀相機(jī)方法計(jì)算移動(dòng)應(yīng)用對(duì)應(yīng)時(shí)間，正確測(cè)試了對(duì)應(yīng)起始時(shí)間，量化移動(dòng)應(yīng)用響應(yīng)時(shí)間。集成電子眼、觸控傳感器等高端設(shè)備正確計(jì)算設(shè)備響應(yīng)性能響應(yīng)時(shí)間測(cè)試系統(tǒng)系統(tǒng)采取電子眼相機(jī)并配合觸控傳感器，捕捉用戶操作過(guò)程。如用戶需檢測(cè)滑屏?xí)r間，只需將設(shè)備置于測(cè)試工作臺(tái)之上，電子眼自動(dòng)立即跟蹤設(shè)備界面改變，當(dāng)用戶完成滑屏動(dòng)作后，智能分析軟件分析幀圖改變并自動(dòng)查找動(dòng)作起始點(diǎn)及結(jié)束點(diǎn)，計(jì)算二者之間時(shí)間差，最終量化響應(yīng)時(shí)間。智能視覺(jué)圖像處理技術(shù)，快速、正確識(shí)別和分析圖像 電子眼對(duì)置于工作平臺(tái)上設(shè)備進(jìn)行監(jiān)控，并逐幀進(jìn)行圖像抓取，圖像分析模塊對(duì)大量圖像數(shù)據(jù)進(jìn)行比對(duì)，智能分析圖像改變，檢索最有價(jià)值圖像信息。智能捕捉用戶觸屏過(guò)程經(jīng)過(guò)高頻手勢(shì)感應(yīng)技術(shù)快速捕捉用戶操作過(guò)程 系統(tǒng)采取智能觸控傳感器，監(jiān)控用戶對(duì)設(shè)備觸控過(guò)程，短時(shí)間內(nèi)可獲取大量觸控?cái)?shù)據(jù)，并捕捉每一幀數(shù)據(jù)改變。輔以手勢(shì)智能分析模塊，對(duì)壓力數(shù)據(jù)進(jìn)行分析，確定觸控?cái)?shù)據(jù)中按下、滑動(dòng)、抬起等一系列動(dòng)作，從而確定一組最有效觸控操作過(guò)程。高頻手勢(shì)感應(yīng)數(shù)據(jù)（手勢(shì)為按下后抬起）高速數(shù)據(jù)處理芯片可即時(shí)運(yùn)算電子眼、智能傳感器產(chǎn)生海量數(shù)據(jù)系統(tǒng)采取超高速圖像分析技術(shù)及智能觸控?cái)?shù)據(jù)分析技術(shù)，高速計(jì)算圖像及觸控?cái)?shù)據(jù)。高速數(shù)據(jù)處理模塊在確保立即處理數(shù)據(jù)同時(shí)，將有效圖像及觸控?cái)?shù)據(jù)進(jìn)行智能拼接，并以最小內(nèi)存及CPU開(kāi)銷，最優(yōu)處理方法合理分配資源，并實(shí)現(xiàn)數(shù)據(jù)存放。圖像差異識(shí)別、智能比對(duì)等圖形算法有效確保正確計(jì)算設(shè)備響應(yīng)時(shí)間經(jīng)過(guò)差異化比對(duì)方法處理設(shè)備界面改變圖像，以60幀/秒攝像頭為例，每秒鐘捕捉到60張圖片。若無(wú)有效差異存放技術(shù)，則每秒鐘需要處理60張圖片，全部圖片均需存放到磁盤用以配合傳感器分析用戶動(dòng)作及界面響應(yīng)情況，所以磁盤I/O及CPU計(jì)算速度會(huì)大大影響計(jì)算效能。同時(shí)，若采取差異化處理方法，只存放改變圖片，會(huì)大大降低需要處理圖片數(shù)量，以最少磁盤開(kāi)銷、I/O寫入頻率及CPU運(yùn)算速度處理圖片，從而將更多資源留給電子眼及觸控傳感器使用。以確保響應(yīng)時(shí)間計(jì)算正確性。流暢度測(cè)試系統(tǒng)流暢度測(cè)試系統(tǒng)完全滿足移動(dòng)應(yīng)用開(kāi)發(fā)商對(duì)流暢度測(cè)試要求，結(jié)合多年圖像處理、軟件算法等眾多領(lǐng)域經(jīng)驗(yàn)，能夠正確量化手機(jī)卡頓過(guò)程相關(guān)數(shù)據(jù)，進(jìn)而正確測(cè)量終端流暢度指標(biāo)。圖像輪廓識(shí)別技術(shù)，測(cè)量手機(jī)流暢度相關(guān)指標(biāo)，分析手機(jī)流暢度瓶頸系統(tǒng)對(duì)流暢度測(cè)試結(jié)果進(jìn)行全方位、立體化分析，量化用戶對(duì)手機(jī)流暢度感知最顯著指標(biāo)項(xiàng)，如列表滑動(dòng)時(shí)最大連續(xù)卡頓幀數(shù)，滑動(dòng)過(guò)程卡頓總幀數(shù)，和平均卡頓幀數(shù)等數(shù)據(jù)?？D幀數(shù)指標(biāo)匯總系統(tǒng)提供對(duì)同一測(cè)試場(chǎng)景不一樣測(cè)試結(jié)果進(jìn)行對(duì)比分析功效，可逐幀播放，從而查看并對(duì)比兩款手機(jī)或同一款手機(jī)兩次測(cè)試結(jié)果流暢度情況，和卡頓點(diǎn)出現(xiàn)位置等。同時(shí)逐幀播放測(cè)試結(jié)果，對(duì)比測(cè)試過(guò)程同時(shí)可對(duì)多機(jī)型測(cè)試結(jié)果進(jìn)行對(duì)比分析，得出相同用例在多個(gè)不一樣機(jī)型手機(jī)上流暢度表現(xiàn)，進(jìn)而對(duì)提升手機(jī)流暢度提供數(shù)據(jù)支持。多款機(jī)型流暢度指標(biāo)對(duì)比集成電子眼工業(yè)級(jí)相機(jī)，采集手機(jī)界面元素，捕捉運(yùn)動(dòng)過(guò)程系統(tǒng)集成高幀工業(yè)級(jí)電子眼，利用圖像識(shí)別技術(shù)，可大大提升圖像對(duì)比精度，正確判定、分析手機(jī)畫面改變過(guò)程。智能視覺(jué)圖形處理技術(shù)，快速、正確識(shí)別和分析圖像元素輪廓系統(tǒng)內(nèi)置圖形處理技術(shù)，對(duì)電子眼拍攝海量數(shù)據(jù)進(jìn)行掃描分析，圖形處理模塊將圖像進(jìn)行分解，基于灰度閾值進(jìn)行圖像分割，利用數(shù)學(xué)形態(tài)學(xué)方法對(duì)二值圖像進(jìn)行缺點(diǎn)修補(bǔ)，經(jīng)過(guò)鏈碼跟蹤存放輪廓信息，實(shí)現(xiàn)輪廓快速提取和存放，進(jìn)而判定輪廓位移量及速度等數(shù)據(jù)。智能追蹤畫面元素位移及速度，自動(dòng)分析運(yùn)動(dòng)過(guò)程卡幀數(shù)據(jù)電子眼對(duì)置于工作平臺(tái)上設(shè)備進(jìn)行拍攝，并逐幀進(jìn)行圖像抓取，圖形分析模塊對(duì)大量圖像數(shù)據(jù)進(jìn)行分析，統(tǒng)計(jì)圖像改變過(guò)程。如一個(gè)滑屏操作，圖形處理分析模塊智能匹配圖標(biāo)顯示過(guò)程虛影信息，依據(jù)虛影改變過(guò)程判定是否發(fā)生卡頓。智能捕捉圖標(biāo)改