4G用戶體驗質(zhì)量QoE體系原理及優(yōu)化指導(dǎo)書V1

中國聯(lián)通廣西分公司 4G用戶體驗質(zhì)量QoE體系原理及優(yōu)化指導(dǎo)書 1 2016年4G網(wǎng)絡(luò)QOE算法簡介和考核目標(biāo)1.1 指標(biāo)簡介：4G時代已經(jīng)來臨，網(wǎng)絡(luò)建設(shè)持續(xù)發(fā)力、客戶挖掘和發(fā)展加之各類新興APP業(yè)務(wù)的多樣性（智能終端的快速普及和微信、視頻、證券、云盤等新興移動互聯(lián)網(wǎng)業(yè)務(wù)應(yīng)用的日趨豐富），用戶對移動數(shù)據(jù)業(yè)務(wù)使用體驗的要求愈來愈高。因此，需要進(jìn)行對用戶使用的主流業(yè)務(wù)進(jìn)行科學(xué)的量化和評價，以便進(jìn)一步進(jìn)行客戶感知量化管理和端到端短板問題挖掘及精準(zhǔn)優(yōu)化。為了緊密貼近用戶上網(wǎng)實際感知，必須要轉(zhuǎn)變網(wǎng)絡(luò)質(zhì)量管理方式，不僅關(guān)注網(wǎng)絡(luò)性能，更要關(guān)注業(yè)務(wù)質(zhì)量與用戶感知的量化評價。本次基于單用戶單次會話控制面和業(yè)務(wù)面（S1接口、S11接口、S6A接口信令）全流程事件構(gòu)成感知評價要素，從接入性（Accessibility）、完整性（Integrity）和保持性（Retainability）三個部分的用戶感知關(guān)鍵指標(biāo)KQI來構(gòu)建4G客戶QoE（用戶的體驗質(zhì)量）評估體系，以通過QoE的量化的形式來評估用戶感知的好壞程度，并對評估出感知差的用戶、站點(diǎn)/小區(qū)、SP進(jìn)行全程全網(wǎng)端到端的分析優(yōu)化，從而提升用戶的上網(wǎng)感知，即讓用戶上網(wǎng)時獲得“上得去，不中斷，速率快”的良好體驗。2016年4G網(wǎng)絡(luò)客戶業(yè)務(wù)QOE評價算法變化情況描述：本次主要根據(jù)瀏覽、視頻、應(yīng)用下載和即時通信業(yè)務(wù)實際特性，主要基于各類業(yè)務(wù)QOS要求特性，例如：交互類時延要求低、會話類時延要求高、視頻類速率碼率和清晰度速率差異要求。針對接入性能、完整性能和保持性能進(jìn)行門限重新定義，更加適合現(xiàn)有客戶滿意度需求，通過無線、核心網(wǎng)絡(luò)和業(yè)務(wù)層面優(yōu)化，達(dá)到進(jìn)一步提升客戶滿意度和業(yè)務(wù)感知的目的。（1）瀏覽業(yè)務(wù)小包時延和大包感知權(quán)重進(jìn)行優(yōu)化，根據(jù)小包流量和大包流量、小包次數(shù)和大包次數(shù)比例和流量貢獻(xiàn)情況，適當(dāng)增加大包速率感知權(quán)重，由前期小包：大包=65%：35%優(yōu)化為小包：大包=20%：80%；（2）視頻業(yè)務(wù)四大APP（樂視、優(yōu)酷、愛奇藝、騰訊）進(jìn)行標(biāo)清、高清、超清、1080P測試驗證，15年以標(biāo)清視頻為基準(zhǔn)進(jìn)行視頻感知制定，由于客戶使用高清視頻比例達(dá)到65%左右，因此2016年以高清視頻感知需求為基準(zhǔn)，制定了貼近業(yè)務(wù)需求的速率感知門限，更加準(zhǔn)確的評價視頻客戶使用業(yè)務(wù)感知高低。（3）應(yīng)用下載大流量業(yè)務(wù)速率感知提升，為了進(jìn)一步保障和提升4G存量客戶感知，適當(dāng)提升大包數(shù)據(jù)感知門限，例如8M應(yīng)用下載業(yè)務(wù)優(yōu)秀門限由2.6Mbit/S提升為4Mbit/S。1.2 考核目標(biāo)：4G業(yè)務(wù)QOE以1月QOE百分制得分為基準(zhǔn)，各地市每個月目標(biāo)為在一月份基礎(chǔ)上，百分制得分增加1%為達(dá)到考核目標(biāo)（舉例：2月份為在1月份基礎(chǔ)上增加1%，三月份基礎(chǔ)上增加2%，以此類推，如果改月QOE得分增加比例達(dá)到1月基礎(chǔ)的百分比例，即為考核達(dá)標(biāo)）；如果按照一月份基礎(chǔ)上，某月增加的百分制數(shù)值達(dá)到90分，默認(rèn)為達(dá)到考核目標(biāo)）2 4G客戶業(yè)務(wù)體驗QoE實施背景傳統(tǒng)的KPI只能集中反映網(wǎng)絡(luò)設(shè)備的性能（控制面），很多時候存在KPI很好但業(yè)務(wù)質(zhì)量不佳的情況。而KQI 聚焦用戶面和控制面，更能貼近用戶的業(yè)務(wù)質(zhì)量和用戶體驗，而QoE則是由各類業(yè)務(wù)（如瀏覽類、視頻類、下載類等）的主要KQI構(gòu)建而成，即相對傳統(tǒng)的KPI更能貼近用戶的真實上網(wǎng)感知。即KPI主要評估的是網(wǎng)絡(luò)管道的質(zhì)量，而QoE/KQI則是評估網(wǎng)絡(luò)管道內(nèi)的業(yè)務(wù)質(zhì)量。如網(wǎng)頁瀏覽的KQI模型：用戶上網(wǎng)的主要信令流程：3 QoE體系建立思路描述一套體系：本次的QoE（用戶的體驗質(zhì)量，Quality of Experience，QoE）主要針對瀏覽類業(yè)務(wù)、視頻業(yè)務(wù)、應(yīng)用下載業(yè)務(wù)、即時通信業(yè)務(wù)進(jìn)行基于上網(wǎng)業(yè)務(wù)全流程KQI（關(guān)鍵質(zhì)量指標(biāo)）感知評估。QoE體系的建立思路主要為：各類業(yè)務(wù)接入、完整、保持性能的KQI指標(biāo)選取及定義、各類業(yè)務(wù)的KQI指標(biāo)門限及權(quán)重的選擇、QoE體系的計算。兩級定界：在QOE模型建立中，全面引入表征QI（業(yè)務(wù)指標(biāo)），基于IUPS接口進(jìn)行KQI質(zhì)量問題分析，一級問題定位界：針對網(wǎng)絡(luò)、客戶、終端和SP等維度QOE評價差的網(wǎng)元、客戶、終端和SP進(jìn)行S1接口以上和以下質(zhì)量問題定位，S1接口以上問題表征QI為：上行SYN時延、上行RTT時延、上行重置率；S2接口以下問題表征QI為：下行重傳率、下行RTT時延、下行重置率和單位流量切換次數(shù)，鑒權(quán)失敗S6A接口指標(biāo)關(guān)聯(lián)，短信、語音被叫感知SGS接口指標(biāo)關(guān)聯(lián),；二級問題定界：S1接口ATTACH、PDN、默認(rèn)承載建立、承載修改和業(yè)務(wù)請求失敗CAUSE關(guān)聯(lián)細(xì)分，結(jié)合設(shè)備KPI進(jìn)行感知具體影響因素分析，業(yè)務(wù)質(zhì)量側(cè)SP失敗代碼關(guān)聯(lián)分析確定服務(wù)器側(cè)具體問題，無線側(cè)基于網(wǎng)絡(luò)接入KPI（關(guān)鍵性能指標(biāo)）保持KPI和完整性能KPI，關(guān)聯(lián)無線側(cè)容量、編碼配置、功能參數(shù)、無線質(zhì)量和移動性能相關(guān)表征PI（性能指標(biāo)）進(jìn)行具體問題核查和優(yōu)化。三個層面： 基于端、管、云優(yōu)化思路，在QOE模型基礎(chǔ)之上，業(yè)務(wù)維度與端（VIP客戶維度，熱門終端維度）管（網(wǎng)絡(luò)、小區(qū)、ENODEB、MME、SGW、PGW、APN維度、3GNET路由維度、SP落地維度）云（熱門業(yè)務(wù)SP維度、服務(wù)器參數(shù)設(shè)置維度、分布式服務(wù)器落地性能分析）。進(jìn)行QOE評價和QI關(guān)聯(lián)輸出QOE感知差客戶和終端、小區(qū)和設(shè)備、業(yè)務(wù)和服務(wù)器，進(jìn)一步進(jìn)行各專業(yè)協(xié)作分析和優(yōu)化。備注：在有資源條件下，基于各類業(yè)務(wù)主流終端主流業(yè)務(wù)測試QOE感知常態(tài)工作，在后期體現(xiàn)，力求做到全網(wǎng)評估QOE與測試QOE基本吻合。3.1 QOE百分制算法介紹4G客戶QOE百分制按照四類業(yè)務(wù)感知評價分值進(jìn)行聚合計算，計算地市維度、小區(qū)維度、終端維度和SP維度QOE得分，瀏覽業(yè)務(wù)、視頻業(yè)務(wù)、應(yīng)用下載和即時通信四類業(yè)務(wù)權(quán)重占比為：瀏覽業(yè)務(wù)30%、視頻業(yè)務(wù)30%、應(yīng)用下載30%和即時通信10%。QOE得分=瀏覽業(yè)務(wù)QOE得分*30%+視頻業(yè)務(wù)QOE得分*30%+應(yīng)用下載QOE得分*30%+即時通信QOE得分*10%。3.2 瀏覽類業(yè)務(wù)QoE模型構(gòu)建3.2.1瀏覽業(yè)務(wù)QOE感知評價模型介紹基于S1/SGS/S6A接口平臺的數(shù)據(jù)業(yè)務(wù)感知評估方法解決傳統(tǒng)無線指標(biāo)單純面向設(shè)備、無用戶面指標(biāo)和指標(biāo)對用戶感知不敏感等問題，將用戶主觀層面的感知轉(zhuǎn)化成可量化移的動互聯(lián)網(wǎng)業(yè)務(wù)各階段信令流程指標(biāo)性能進(jìn)行評估，主要信令指標(biāo)按照一般上網(wǎng)流程劃分三類，包括業(yè)務(wù)接入KQI指標(biāo)（ATTACH、PDP、DNS、SYN、GET）業(yè)務(wù)完整性能KQI指標(biāo)（GET和POST感知速率和時延）和保持性能KQI指標(biāo)（TCP重傳率、TCP重置率和IU-RELEASE掉線率），上述三類指標(biāo)量化后系數(shù)加權(quán)值作為數(shù)據(jù)業(yè)務(wù)上網(wǎng)感知性能（QOE）的最終數(shù)值。表1：瀏覽業(yè)務(wù)QOE評估體系考核KQI子項權(quán)重和感知門限KQI子項KQI子項權(quán)重QI門限QI權(quán)重優(yōu)秀良好正常差接入性KQI30%E-RAB建立成功率(%)99.5%99.3%-99.5%99%-99.3%93%90%-93%88%-93%98%97%-98%95%-97%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%97%96%-97%94%-96%99.5%99.3%-99.5%99%-99.3%92%90%-92%85%-90%95%93%-95%90%-93%95%93%-95%90%-93%90%10%完整性KQI50%100K數(shù)據(jù)包時延（小包）38020%200K速率22001800-22001500-180030002500-30001500-250040003500-40002500-350040003500-40002500-350040003500-40002500-350040003500-40002500-35002048K速率60005000-60003000-50003000隨即計算保持性KQI20%TCP下行重置率0.5%40.00%TCP下行重傳率1.5%30.00%UE異常掉線率5%30.00%3.2.2瀏覽業(yè)務(wù)QOE數(shù)學(xué)模型介紹QOE=QOEa+QOEb+QOEc瀏覽業(yè)務(wù)QOE計算模型中QOEb、QOEb和QOE c分別是指業(yè)務(wù)接入性能子項QOE值、業(yè)務(wù)完整性能子項QOE值和業(yè)務(wù)保持性能子項QOE值，其中：QOEc=X* 業(yè)務(wù)保持性KQI值、QOEb=Y*業(yè)務(wù)完整性KQI值、QOEa= Z*業(yè)務(wù)接入性KQI值，X、Y、Z值為各子項業(yè)務(wù)KQI值系數(shù)權(quán)重因子，X+Y+Z=1。3.2.3瀏覽業(yè)務(wù)QOE和KQI等級劃分根據(jù)前期客戶投訴在接入、完整和保持方面權(quán)重以及業(yè)務(wù)感知實際需求，定義X=30%，Y=50%，Z=20%。（1）瀏覽業(yè)務(wù)QOE感知等級門限：優(yōu)秀值門限為90分，良好值門限為80分，差值門限為70分；（2）瀏覽業(yè)務(wù)QOE由接入KQI、完整KQI和保持KQI構(gòu)成，權(quán)重為：30%、50%、20%；（3）接入KQI、完整KQI和保持KQI感知等級門限如下。接入KQI感知門限：優(yōu)秀值門限為90分，良好值門限為80分，差值門限為70分；完整KQI感知門限：優(yōu)秀值門限為90分，良好值門限為80分，差值門限為70分；保持KQI感知門限：優(yōu)秀值門限為90分，良好值門限為80分，差值門限為70分。KQI感知門限劃分原則：定義KQI得分小于差值門限為“感知差”等級，KQI得分大于差值小于良好值定義為“達(dá)標(biāo)”等級，KQI得分大于良好值門限小于優(yōu)秀值門限定義為感知“良好”等級，KQI得分大于優(yōu)秀值門限定義為感知“優(yōu)秀”等級。3.2.4瀏覽業(yè)務(wù)KQI計算模型描述（1）接入性能KQI評估簡介如下表所示，通過S1接口平臺統(tǒng)計對應(yīng)維度（本次統(tǒng)計為全網(wǎng)區(qū)域和小區(qū)級別）子項KQI指標(biāo)值，在制定KQI對應(yīng)業(yè)務(wù)流量子項KQI感知門限后，根據(jù)QOE計算模型計算公式對業(yè)務(wù)感知進(jìn)行評估打分（百分制），各子項KQI權(quán)重加權(quán)獲得接入性能KQI感知得分，輸出接入性能KQI感知等級。業(yè)務(wù)接入性KQI值=R1*ERAB成功率+R2*尋呼成功率+R3*TAU成功率+R4*ATTACH成功率+R5*PDN成功率+R6*默認(rèn)承載成功率+R7*業(yè)務(wù)請求成功R7+承載修改成功率+ R8+R9*DNS成功率+R10*SYN成功率+R11*GET成功率。其中: ERAB建立成功率、尋呼成功率、TAU成功率、ATTACH成功率、PDN成功率、默認(rèn)承載建立成功率、業(yè)務(wù)請求成功率、承載修改成功率、SYN連接成功率、DNS成功率和GET成功率作為各自單項KQI量化值，表達(dá)式如下：R1+R2+R3+R4+R5+R6+R11=1(R1,R2,R3.為ATTCH業(yè)務(wù)PDNDNS 等KQI的權(quán)重因子)。本次加大ERAB、ATTACH成功率、默認(rèn)承載建立成功率和GET功率權(quán)重（RAB無無線側(cè)表征、GET為SP側(cè)），11類接入事件權(quán)重分別為：10%,5%,10%,10%,10%,10%,10%,10%,10%,5%,10%。（2）完整性能KQI評估簡介瀏覽業(yè)務(wù)完整性KQI評估計算：主要評估用戶在進(jìn)行數(shù)據(jù)業(yè)務(wù)過程中業(yè)務(wù)感知好壞情況，用戶數(shù)據(jù)業(yè)務(wù)真實感知性能情況，從用戶真實感知及業(yè)務(wù)性能感知參數(shù)本質(zhì)出發(fā)，依據(jù)小包時延和大包速率制定的感知門限，由于實際網(wǎng)絡(luò)各區(qū)間包時延和速率與滿足感知差別較大，部分門限進(jìn)行調(diào)整。瀏覽業(yè)務(wù)QOE完整性KQI值= Q1*W1+Q2*W2+Q3*W3+ Q4*W4+ Q5*W5+Q6*W6+Q7*W7+Q8*W8。評估各包大小業(yè)務(wù)時延感知性能門限指標(biāo)值如下：以下小包時延門限根據(jù)前期感限速測試獲得，門限研究部分闡述小包校正后良好感知速率為400KBIT./S，換算時延為1秒。大包業(yè)務(wù)速率門限根據(jù)業(yè)務(wù)時延QOS計算獲得。表2 完整性能KQI時延感知門限速率轉(zhuǎn)換表包區(qū)間優(yōu)秀I良好門限Q達(dá)標(biāo)門限T3GPP換算速率I門限換算時延（S）小包完成時延(MS)330350380（校正）4000.5200K速率2200.001800.001066.67142.221.5300K速率3000.002500.001200.00266.672500K速率4000.003500.002000.00444.442800K速率4000.003500.002133.33622.2231024K速率4000.003500.002730.67800.0032048K速率4000.003500.003000.00977.7832048K速率6000.005000.003000.001066.673其中: Q值對應(yīng)8個區(qū)間速率感知得分，為瀏覽業(yè)務(wù)想數(shù)據(jù)流大小區(qū)間對應(yīng)的感知得分值。 W為8個區(qū)間權(quán)重因子。W1+W2+W3+W4+W5+W6.+W8=1(W1,W2,W3。為不同業(yè)務(wù)包區(qū)間權(quán)重因子)。瀏覽業(yè)務(wù)小包和大包業(yè)務(wù)權(quán)重計算表：根據(jù)流量和業(yè)務(wù)次數(shù)40%:60%比例計算獲得。包區(qū)間次數(shù)600KB次數(shù)占比81.44%16.99%1.00%0.22%0.10%0.05%0.04%0.16%流量占比42.17%15.73%10.01%4.14%3.24%2.09%1.72%20.91%業(yè)務(wù)權(quán)重（W1-W8）65.73%W116.48%W24.61%W31.79%W41.36%W50.87%W60.71%W78.46%W8（3）保持性能KQI評估簡介保持性能KQI門限和權(quán)重：保持性能KQI主要以TCP重傳率、TCP重置率和IU-RELEASE釋放率，作為表征KQI來衡量，KQI分項權(quán)重為40%、30%、30%。優(yōu)秀值、良好值和差值門限感知如下：用戶業(yè)務(wù)保持性能評估，主要評估用戶在進(jìn)行數(shù)據(jù)業(yè)務(wù)過程中信令流程完整及業(yè)務(wù)可靠感知情況，用戶是否有正常數(shù)據(jù)業(yè)務(wù)行為及其成功率感知情況，其中主要體現(xiàn)為業(yè)務(wù)過程中斷率（TCP重置率）和TCP包重傳率丟包等情況，對統(tǒng)計指標(biāo)按照各業(yè)務(wù)流程加權(quán)平均值作為業(yè)務(wù)完整性能KQI綜合感知指標(biāo)。定義瀏覽業(yè)務(wù)保持性KQI值= K1*TCP重傳率+K2*TCP重置率+K3*UE異常RELEASE掉線率，K1+K2+K3=1(K1重傳率權(quán)重40%,K2重置率權(quán)重30%,K3為IU-RELEASE掉線率權(quán)重30%)。3.3 視頻類業(yè)務(wù)QoE模型構(gòu)建3.3.1視頻業(yè)務(wù)QOE感知評價模型介紹基于IUPS平臺的數(shù)據(jù)業(yè)務(wù)感知評估方法解決傳統(tǒng)無線指標(biāo)單純面向設(shè)備、無用戶面指標(biāo)和指標(biāo)對用戶感知不敏感等問題，將用戶主觀層面的感知轉(zhuǎn)化成可量化移的動互聯(lián)網(wǎng)業(yè)務(wù)各階段信令流程指標(biāo)性能進(jìn)行評估，主要信令指標(biāo)按照一般上網(wǎng)流程劃分三類，包括業(yè)務(wù)接入KQI指標(biāo)（ERAB建立成功率、尋呼成功率、TAU成功率、ATTACH成功率、PDN成功率、默認(rèn)承載建立成功率、業(yè)務(wù)請求成功率、承載修改成功率、SYN連接成功率、DNS成功率和GET成功率）業(yè)務(wù)完整性能KQI指標(biāo)（GET和POST感知速率和時延）和保持性能KQI指標(biāo)（TCP重傳率、TCP重置率），上述三類指標(biāo)量化后系數(shù)加權(quán)值作為數(shù)據(jù)業(yè)務(wù)上網(wǎng)感知性能（QOE）的最終數(shù)值。表3：視頻業(yè)務(wù)QOE評估體系考核KQI子項權(quán)重和感知門限KQI子項KQI子項權(quán)重QI門限QI權(quán)重優(yōu)秀良好正常差接入性KQI30%E-RAB建立成功率(%)99.5%99.3%-99.5%99%-99.3%93%90%-93%88%-93%98%97%-98%95%-97%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%97%96%-97%94%-96%99.5%99.3%-99.5%99%-99.3%92%90%-92%85%-90%95%93%-95%90%-93%96%94%-96%90%-94%90%10%完整性KQI50%100K數(shù)據(jù)包時延（小包）3800%200K速率30002200-30001200-220030002200-30001600-220035002500-35001800-250040002500-40001800-250040002500-40001800-250026002000-26001800-200016384K速率30002500-30001600-25001600隨即計算保持性KQI20%TCP下行重置率3%50.00%TCP下行重傳率1.4%50.00%UE異常掉線率4%00.00%3.3.2視頻業(yè)務(wù)QOE數(shù)學(xué)模型介紹結(jié)合主流視頻的播放原理、信令流程、業(yè)務(wù)特征、播放卡頓現(xiàn)象、播放下載速率等，基于IUPS口信令對視頻播放KQI建模如圖6所示。圖6 視頻感知KQI建模視頻業(yè)務(wù)QOE數(shù)學(xué)公式如下：QOE=QOEa+QOEb+QOEcQOE a、QOEb和QOE c分別是指業(yè)務(wù)接入性能子項QOE值、業(yè)務(wù)完整性能子項QOE值和業(yè)務(wù)保持性能子項QOE值，其中：QOEb=X* 業(yè)務(wù)保持性KQI值、QOEe=Y*業(yè)務(wù)完整性KQI值、QOEa= Z*業(yè)務(wù)接入性KQI值，X、Y、Z值為各子項業(yè)務(wù)KQI值系數(shù)權(quán)重因子，X+Y+Z=1。根據(jù)前期客戶投訴在接入、完整和保持方面權(quán)重以及業(yè)務(wù)感知實際需求，定義X=30%,Y=50%,Z=20%。3.3.3視頻業(yè)務(wù)QOE和KQI等級劃分（1）視頻業(yè)務(wù)QOE感知等級門限：優(yōu)秀值門限為90分，良好值門限為80分，差值門限為70分；（2）視頻業(yè)務(wù)QOE由接入KQI、完整KQI和保持KQI構(gòu)成，權(quán)重為：30%、50%、20%；（3）接入KQI、完整KQI和保持KQI感知等級門限如下：接入KQI感知門限：優(yōu)秀值門限為90分，良好值門限為80分，差值門限為70分；完整KQI感知門限：優(yōu)秀值門限為90分，良好值門限為80分，差值門限為70分；保持KQI感知門限：優(yōu)秀值門限為90分，良好值門限為80分，差值門限為70分。KQI感知門限劃分原則：定義KQI得分小于差值門限為“感知差”等級，KQI得分大于差值小于良好值定義為“達(dá)標(biāo)”等級，KQI得分大于良好值門限小于優(yōu)秀值門限定義為感知“良好”等級，KQI得分大于優(yōu)秀值門限定義為感知“優(yōu)秀”等級。3.3.4視頻業(yè)務(wù)KQI計算模型描述（1）接入性能KQI評估由于三類感知KQI分別由多項業(yè)務(wù)事件表征KQI組合構(gòu)成，因此，需要針對每項KQI具體信令統(tǒng)計指標(biāo)值進(jìn)行感知高低研究，對投訴客戶聚合小區(qū)分析，定義KQI衡量差值，根據(jù)感知研究經(jīng)驗和其他運(yùn)營商平均指標(biāo)，不同業(yè)務(wù)根據(jù)小包時延和大業(yè)務(wù)速率結(jié)合用戶體驗回訪結(jié)果制定感知門限。業(yè)務(wù)接入性KQI值=R1*ERAB成功率+R2*尋呼成功率+R3*TAU成功率+R4*ATTACH成功率+R5*PDN成功率+R6*默認(rèn)承載成功率+R7*業(yè)務(wù)請求成功R7+承載修改成功率+ R8+R9*DNS成功率+R10*SYN成功率+R11*GET成功率。其中: ERAB建立成功率、尋呼成功率、TAU成功率、ATTACH成功率、PDN成功率、默認(rèn)承載建立成功率、業(yè)務(wù)請求成功率、承載修改成功率、SYN連接成功率、DNS成功率和GET成功率作為各自單項KQI量化值；表達(dá)式如下：R1+R2+R3+R4+R5+R6+R11=1(R1,R2,R3.為ATTCH業(yè)務(wù)PDPDNS 等KQI的權(quán)重因子)。本次加大ERAB、ATTACH成功率、默認(rèn)承載建立成功率和GET功率權(quán)重（RAB無無線側(cè)表征、GET為SP側(cè)），11類接入事件權(quán)重分別為：10%,5%,10%,10%,10%,10%,10%,10%,10%,5%,10%。接入性能計算：如下表所示，通過S1接口平臺統(tǒng)計對應(yīng)維度（本次統(tǒng)計為全網(wǎng)區(qū)域和小區(qū)級別）子項KQI指標(biāo)值，在制定KQI對應(yīng)業(yè)務(wù)流量子項KQI感知門限后，根據(jù)QOE計算模型計算公式對業(yè)務(wù)感知進(jìn)行評估打分（百分制），各子項KQI權(quán)重加權(quán)獲得接入性能KQI感知得分，依據(jù)根據(jù)客戶投訴和業(yè)務(wù)實際感知（小包時延、大業(yè)務(wù)速率）制定的感知門限，輸出接入性能KQI感知等級。（2）完整性能KQI評估視頻完整性能感知門限和權(quán)重定義：主要以各類業(yè)務(wù)客戶感知為主要評價標(biāo)注，不同業(yè)務(wù)，客戶感知指標(biāo)評價有所不同，視頻業(yè)務(wù)完整性能感知評估，結(jié)合數(shù)據(jù)傳送慢啟動原因，按照業(yè)務(wù)請求數(shù)據(jù)以小包時延和大包速率進(jìn)行感知門限制定和評估，小包以業(yè)務(wù)感知時延為衡量標(biāo)準(zhǔn)，定義感知時延16834KB速率300025001600 表4 完整性能KQI時延感知門限速率轉(zhuǎn)換表視頻業(yè)務(wù)完整性KQI評估計算:主要評估用戶在進(jìn)行數(shù)據(jù)業(yè)務(wù)過程中業(yè)務(wù)感知好壞情況，用戶數(shù)據(jù)業(yè)務(wù)真實感知性能情況，從用戶真實感知及業(yè)務(wù)性能感知參數(shù)本質(zhì)出發(fā)，業(yè)務(wù)時延為用戶真實感知重要因素，對統(tǒng)計指標(biāo)按照每次業(yè)務(wù)不同包大小區(qū)間進(jìn)行組合運(yùn)算，結(jié)合不同業(yè)務(wù)感知門限值進(jìn)行業(yè)務(wù)保持性KQI值評估。完整性能KQI=小包時延得分*20%+大包速率感知得分*80%(權(quán)重根據(jù)業(yè)務(wù)次數(shù)和流量加權(quán)獲得)。小包權(quán)重20%，大包權(quán)重80%由小包（50KB），根據(jù)流量和業(yè)務(wù)次數(shù)60%:40%比例計算獲得。大包速率感知完整性KQI值= Q1*W1+Q2*W2+Q3*W3+ Q4*W4+ Q5*W5+Q6*W6+Q7*W7+Q8*W8其中: Q值對應(yīng)8個區(qū)間，為視頻業(yè)務(wù)想數(shù)據(jù)流大小區(qū)間對應(yīng)的得分值。 W1+W2+W3+W4+W5+W6.+W8=1(W1,W2,W3。為不同業(yè)務(wù)包區(qū)間權(quán)重因子)，根據(jù)流量和業(yè)務(wù)次數(shù)60%:40%比例計算獲得。備注：小區(qū)級別完整性能計算模型中，小包和大包占比為差異計算獲得。（3）保持性能KQI評估保持性能KQI門限和權(quán)重：保持性能KQI主要以TCP重傳率和TCP重置率，作為表征KQI來衡量，KQI分項權(quán)重為50%和50%。優(yōu)秀值、良好值和差值門限感知如下：用戶業(yè)務(wù)保持性能評估，主要評估用戶在進(jìn)行數(shù)據(jù)業(yè)務(wù)過程中信令流程完整及業(yè)務(wù)可靠感知情況，用戶是否有正常數(shù)據(jù)業(yè)務(wù)行為及其成功率感知情況，其中主要體現(xiàn)為業(yè)務(wù)過程中斷率（TCP重置率）和TCP包重傳率丟包等情況，對統(tǒng)計指標(biāo)按照各業(yè)務(wù)流程加權(quán)平均值作為業(yè)務(wù)完整性能KQI綜合感知指標(biāo)。定義視頻業(yè)務(wù)保持性KQI值= K1*TCP重置率+K2*TCP重傳率，K1+K2=1(K1重傳率權(quán)重為50%,K2重置率權(quán)重為50%)。3.3.5視頻業(yè)務(wù)播放“卡頓”問題研究為了能從信令上找出移動視頻播放“卡頓”的特征，通過在無線信號質(zhì)量差的環(huán)境（RSCP-105dbm,Ec/Io-80dbm,Ec/Io-6dB），從大量的測試分析得知：下載速率大于1300kbps時，觀看視頻流暢，偶爾有卡頓問題，而速率低于1300kbps時，均出現(xiàn)不同程度的卡頓和初始緩沖嚴(yán)重現(xiàn)象。因此初步確定搜狐視頻點(diǎn)播基準(zhǔn)速率為1300kbps左右，低于該基準(zhǔn)速率時用戶感知相對較差，如表1所示。表7 主流APP標(biāo)清視頻點(diǎn)播基準(zhǔn)速率與卡頓門限關(guān)系表8 主流APP高清視頻點(diǎn)播基準(zhǔn)速率與卡頓門限關(guān)系表9 主流APP超清視頻點(diǎn)播基準(zhǔn)速率與卡頓門限關(guān)系備注：以上只針對普通標(biāo)清移動搜狐視頻業(yè)務(wù)進(jìn)行分析，未考慮終端性能影響，樂視超清視頻基準(zhǔn)速率約為3300kbps左右。本次區(qū)分碼流類型，以視頻APP類超清視頻為基準(zhǔn)。3.4 應(yīng)用下載類業(yè)務(wù)QoE模型構(gòu)建3.3.1應(yīng)用下載QOE感知評價模型介紹應(yīng)用下載業(yè)務(wù)QOE總體評估方法和視頻業(yè)務(wù)類似，基于IUPS平臺的數(shù)據(jù)業(yè)務(wù)感知評估方法解決傳統(tǒng)無線指標(biāo)單純面向設(shè)備、無用戶面指標(biāo)和指標(biāo)對用戶感知不敏感等問題，將用戶主觀層面的感知轉(zhuǎn)化成可量化移的動互聯(lián)網(wǎng)業(yè)務(wù)各階段信令流程指標(biāo)性能進(jìn)行評估，主要信令指標(biāo)按照一般上網(wǎng)流程劃分三類，包括業(yè)務(wù)接入KQI指標(biāo)（ATTACH、PDP、DNS、SYN、GET）業(yè)務(wù)完整性能KQI指標(biāo)（GET和POST感知速率和時延）和保持性能KQI指標(biāo)（TCP重傳率、TCP重置率），上述三類指標(biāo)量化后系數(shù)加權(quán)值作為數(shù)據(jù)業(yè)務(wù)上網(wǎng)感知性能（QOE）的最終數(shù)值。表4：應(yīng)用下載業(yè)務(wù)QOE評估體系考核KQI子項權(quán)重和感知門限KQI子項KQI子項權(quán)重QI門限QI權(quán)重優(yōu)秀良好正常差接入性KQI30%E-RAB建立成功率(%)99.5%99.3%-99.5%99%-99.3%93%90%-93%88%-93%98%97%-98%95%-97%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%97%96%-97%94%-96%99.5%99.3%-99.5%99%-99.3%98%95%-98%90%-95%97%95%-97%90%-95%99%95%-99%90%-95%90%10%完整性KQI50%100K數(shù)據(jù)包時延（小包）3800%200K速率30002000-30001000-200030002000-30001000-200040003000-40002000-300050004000-50003000-400050004000-50003000-400060005000-60004000-500016384K速率120009000-120006000-90006000隨即計算保持性KQI20%TCP下行重置率3%50.00%TCP下行重傳率1.2%50.00%UE異常掉線率4%0.00%3.3.2應(yīng)用下載QOE數(shù)學(xué)模型介紹應(yīng)用下載QOE計算公式如下：QOE=QOEa+QOEb+QOEcQOE a、QOEb和QOE c分別是指業(yè)務(wù)接入性能子項QOE值、業(yè)務(wù)完整性能子項QOE值和業(yè)務(wù)保持性能子項QOE值，其中：QOEb=X* 業(yè)務(wù)保持性KQI值、QOEe=Y*業(yè)務(wù)完整性KQI值、QOEa= Z*業(yè)務(wù)接入性KQI值，X、Y、Z值為各子項業(yè)務(wù)KQI值系數(shù)權(quán)重因子，X+Y+Z=1。根據(jù)前期客戶投訴在接入、完整和保持方面權(quán)重以及業(yè)務(wù)感知實際需求，定義X=30%,Y=50%,Z=20%。3.3.3應(yīng)用下載QOE和KQI等級劃分（1）應(yīng)用下載業(yè)務(wù)QOE感知等級門限：優(yōu)秀值門限為90分，良好值門限為80分，差值門限為70分；（2）應(yīng)用下載業(yè)務(wù)QOE由接入KQI、完整KQI和保持KQI構(gòu)成，權(quán)重為：30%、50%、20%；（3）接入KQI、完整KQI和保持KQI感知等級門限如下：接入KQI感知門限：優(yōu)秀值門限為90分，良好值門限為80分，差值門限為70分；完整KQI感知門限：優(yōu)秀值門限為90分，良好值門限為80分，差值門限為70分；保持KQI感知門限：優(yōu)秀值門限為90分，良好值門限為80分，差值門限為70分。KQI感知門限劃分原則：定義KQI得分小于差值門限為“感知差”等級，KQI得分大于差值小于良好值定義為“達(dá)標(biāo)”等級，KQI得分大于良好值門限小于優(yōu)秀值門限定義為感知“良好”等級，KQI得分大于優(yōu)秀值門限定義為感知“優(yōu)秀”等級。3.1.4應(yīng)用下載KQI計算模型描述（1）接入性能KQI評估通過S1接口平臺統(tǒng)計對應(yīng)維度（本次統(tǒng)計為全網(wǎng)區(qū)域和小區(qū)級別）子項KQI指標(biāo)值，在制定KQI對應(yīng)業(yè)務(wù)流量子項KQI感知門限后，根據(jù)QOE計算模型計算公式對業(yè)務(wù)感知進(jìn)行評估打分（百分制），各子項KQI權(quán)重加權(quán)獲得接入性能KQI感知得分，輸出接入性能KQI感知等級。業(yè)務(wù)接入性KQI值=R1*ERAB成功率+R2*尋呼成功率+R3*TAU成功率+R4*ATTACH成功率+R5*PDN成功率+R6*默認(rèn)承載成功率+R7*業(yè)務(wù)請求成功R7+承載修改成功率+ R8+R9*DNS成功率+R10*SYN成功率+R11*GET成功率。其中: ERAB建立成功率、尋呼成功率、TAU成功率、ATTACH成功率、PDN成功率、默認(rèn)承載建立成功率、業(yè)務(wù)請求成功率、承載修改成功率、SYN連接成功率、DNS成功率和GET成功率作為各自單項KQI量化值；R1+R2+R3+R4+R5+R6+R11=1(R1,R2,R3.為ATTCH業(yè)務(wù)PDPDNS 等KQI的權(quán)重因子)。本次加大ERAB、ATTACH成功率、默認(rèn)承載建立成功率和GET功率權(quán)重（RAB無無線側(cè)表征、GET為SP側(cè)），11類接入事件權(quán)重分別為：10%,5%,10%,10%,10%,10%,10%,10%,10%,5%,10%。接入性能計算：如下表所示，通過S1接口平臺統(tǒng)計對應(yīng)維度（本次統(tǒng)計為全網(wǎng)區(qū)域和小區(qū)級別）子項KQI指標(biāo)值，在制定KQI對應(yīng)業(yè)務(wù)流量子項KQI感知門限后，根據(jù)QOE計算模型計算公式對業(yè)務(wù)感知進(jìn)行評估打分（百分制），各子項KQI權(quán)重加權(quán)獲得接入性能KQI感知得分，依據(jù)根據(jù)客戶投訴和業(yè)務(wù)實際感知（小包時延、大業(yè)務(wù)速率）制定的感知門限，輸出接入性能KQI感知等級。（2）完整性能KQI評估應(yīng)用下載完整性能感知門限和權(quán)重定義：主要以各類業(yè)務(wù)客戶感知為主要評價標(biāo)注，不同業(yè)務(wù)，客戶感知指標(biāo)評價有所不同，應(yīng)用下載業(yè)務(wù)完整性能感知評估，結(jié)合數(shù)據(jù)傳送慢啟動原因，按照客戶請求數(shù)據(jù)以小包時延和大包速率進(jìn)行感知門限制定和評估，小包以業(yè)務(wù)感知時延為衡量標(biāo)準(zhǔn)，定義感知時延350毫秒為優(yōu)秀值，應(yīng)用下載時延大于350毫秒小于370毫秒為良好值，定義大于370毫秒小于450毫秒為達(dá)標(biāo)值，時延大于450毫秒為差值。大于50K字節(jié)數(shù)據(jù)按照速率區(qū)間進(jìn)行感知門限制定（以前期應(yīng)用下載業(yè)務(wù)速率感知驗證為依據(jù)）。完整性能KQI=小包時延得分*20%+大包速率感知得分*80%(權(quán)重根據(jù)業(yè)務(wù)次數(shù)和流量加權(quán)獲得)。小包權(quán)重10%，大包權(quán)權(quán)90%由小包（50KB），根據(jù)流量和業(yè)務(wù)次數(shù)60%:40%比例計算獲得。大包速率感知完整性KQI值= Q1*W1+Q2*W2+Q3*W3+ Q4*W4+ Q5*W5+Q6*W6+Q7*W7其中: Q值對應(yīng)8個區(qū)間，為視頻業(yè)務(wù)想數(shù)據(jù)流大小區(qū)間對應(yīng)的得分值。 W1+W2+W3+W4+W5+W6.+W7=1(W1,W2,W3。為不同業(yè)務(wù)包區(qū)間權(quán)重因子)，根據(jù)流量和業(yè)務(wù)次數(shù)60%:40%比例計算獲得。備注：小區(qū)級別完整性能計算模型中，小包和大包占比為差異計算獲得。評估各包大小業(yè)務(wù)時延感知性能門限指標(biāo)值如下：應(yīng)用下載業(yè)務(wù)數(shù)據(jù)“包區(qū)間”優(yōu)秀值I良好值Q達(dá)標(biāo)值T200K速率300020001000500K速率3000200010001024K速率4000300020004096K速率5000400030008192K速率50004000300016384K速率60005000400016384K速率1200090006000 表9 完整性能KQI時延感知門限速率轉(zhuǎn)換表（3）保持性能KQI評估保持性能KQI門限和權(quán)重：保持性能KQI主要以TCP重傳率和TCP重置率，作為表征KQI來衡量，KQI分項權(quán)重為50%和50%。優(yōu)秀值、良好值和差值門限感知如下：用戶業(yè)務(wù)保持性能評估，主要評估用戶在進(jìn)行數(shù)據(jù)業(yè)務(wù)過程中信令流程完整及業(yè)務(wù)可靠感知情況，用戶是否有正常數(shù)據(jù)業(yè)務(wù)行為及其成功率感知情況，其中主要體現(xiàn)為業(yè)務(wù)過程中斷率（TCP重置率）和TCP包重傳率丟包等情況，對統(tǒng)計指標(biāo)按照各業(yè)務(wù)流程加權(quán)平均值作為業(yè)務(wù)完整性能KQI綜合感知指標(biāo)。定義應(yīng)用下載業(yè)務(wù)保持性KQI值= K1*TCP重置率+K2*TCP重傳率，K1+K2=1(K1重傳率權(quán)重為50%,K2重置率權(quán)重50%)。3.5 即時通信業(yè)務(wù)QoE模型構(gòu)建3.4.1即時通信業(yè)務(wù)QOE感知評價模型介紹基于LTE平臺的數(shù)據(jù)業(yè)務(wù)感知評估方法解決傳統(tǒng)無線指標(biāo)單純面向設(shè)備、無用戶面指標(biāo)和指標(biāo)對用戶感知不敏感等問題，將用戶主觀層面的感知轉(zhuǎn)化成可量化的移動互聯(lián)網(wǎng)業(yè)務(wù)各階段信令流程指標(biāo)性能進(jìn)行評估，基于即時通信業(yè)務(wù)特點(diǎn)，主要為接入和保持方面客戶可以正常使用，完整性能KQI方面不做研究（即時通信下行數(shù)據(jù)包小于100K字節(jié)占比93%，根據(jù)4G小包時延分析，小于100K時延小于500毫秒，因此即時通信大包速率沒有研究價值。瀏覽、視頻、應(yīng)用三類大包業(yè)務(wù)已經(jīng)強(qiáng)化了速率完整性能KQI評估）。主要信令指標(biāo)按照即時通信接入和保持性能流程劃分兩類，包括即時通信業(yè)務(wù)全流程業(yè)務(wù)接入KQI指標(biāo)（ERAB建立成功率、尋呼成功率、TAU成功率、ATTACH成功率、PDN成功率、默認(rèn)承載建立成功率、業(yè)務(wù)請求成功率、POST成功率、SYN連接成功率、DNS成功率和GET成功率）和即時業(yè)務(wù)保持性能KQI指標(biāo)（TCP重置率、TCP重傳率、UE異常釋放率），上述兩類指標(biāo)量化后系數(shù)加權(quán)值作為數(shù)據(jù)業(yè)務(wù)上網(wǎng)感知性能（QOE）的最終數(shù)值。表3：即時通信業(yè)務(wù)QOE評估體系考核KQI子項權(quán)重和感知門限KQI子項KQI子項權(quán)重QI門限QI權(quán)重優(yōu)秀良好正常差接入性KQI30%E-RAB建立成功率(%)99.5%99.3%-99.5%99%-99.3%93%90%-93%88%-93%98%97%-98%95%-97%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%99.8%99.5%-99.8%98%-99.5%99.5%99.3%-99.5%99%-99.3%98%95%-98%90%-95%97%95%-97%90%-95%99%98%-99%95%-98%95%10%保持性KQI20%TCP下行重置率3%30.00%TCP下行重傳率0.6%40.00%UE異常掉線率5%30.00%3.4.2即時通信業(yè)務(wù)QOE數(shù)學(xué)模型介紹結(jié)合微信業(yè)務(wù)使用特征，信令流程、業(yè)務(wù)特征、推送和接收數(shù)據(jù)等，基于IUPS口信令對即時通信業(yè)務(wù)主要流程研究，主要包括軟件登陸、更新、刷新、發(fā)表和接收。主要涉及到業(yè)務(wù)接入KQI研究和業(yè)務(wù)保持性能KQI研究。即時通信業(yè)務(wù)QOE數(shù)學(xué)公式如下：QOE=QOEa+QOEbQOE a、QOEb分別是指業(yè)務(wù)接入性能子項QOE值、業(yè)務(wù)保持性能子項QOE值，其中：QOEa=X* 業(yè)務(wù)接入性KQI值、QOEb= Y*業(yè)務(wù)保持性KQI值，X、Y值