傳輸網(wǎng)告警整治建議-華為V2

1、告警清理工作匯報XX移動網(wǎng)絡(luò)維護中心 2015年X月2告警問題概述告警問題概述l傳輸網(wǎng)告警較多，工單多，影響日常維護和故障處理效率。現(xiàn)網(wǎng)告警截圖現(xiàn)網(wǎng)告警截圖告警專項整治背景現(xiàn)網(wǎng)告警統(tǒng)計現(xiàn)網(wǎng)告警統(tǒng)計告警類別告警數(shù)量告警占比%緊急60.247重要189276.94次要54622.20提示150.610合計2459100九江移動U2000告警統(tǒng)計(OTN+SDH)上饒移動U2000告警統(tǒng)計（OTN+PTN）告警類別告警數(shù)量告警占比緊急16011.08重要77953.95次要47733.03提示281.93合計1444100l重要告警和次要告警占所有告警的大多數(shù)。3九江移動九江移動l前5個告警(T_A

2、LOS/PS/HP_LOM/DOWN_E1_AIS/LP_SLM_VC12)的單告警數(shù)量均超過150個，數(shù)量之和占所有告警數(shù)量近79%；l前2個告警(T_ALOS,PS)的告警數(shù)量均超過400個，數(shù)量之和占所有告警數(shù)量近55% 。l前2個告警(T_ALOS,PS)均可以通過網(wǎng)管側(cè)進行優(yōu)化處理。傳輸網(wǎng)告警分析序號告警數(shù)量累計%1T_ALOS91437.172PS43754.943HP_LOM23564.504DOWN_E1_AIS18171.865LP_SLM_VC1217478.93*取當前現(xiàn)網(wǎng)告警進行分析4上饒移動上饒移動傳輸網(wǎng)告警分析*取4月21和22日上報的所有告警現(xiàn)進行分析l前10類告

3、警占所有告警的82%；工程告警占比62%，普通告警占比38%；l在3mins消失的告警(閃報)占總數(shù)的69.31；6小時內(nèi)消失的告警占比98.97%告警名稱數(shù)量累計百分比%ETH_LOS3121928.52 PW_APS_DEGRADED1436041.64 MPLS_PW_LOCV1091351.62 TUNNEL_APS_DEGRADED670457.74 T_ALOS669863.86 MPLS_TUNNEL_LOCV648569.79 PWAPS_LOST539674.72 ETH_APS_LOST333377.76 COMMUN_FAIL228879.85 BD_STATUS2033

4、81.71 全部告警數(shù)量:109447100%告警持續(xù)分鐘數(shù)對應(yīng)數(shù)量累計百分比%17126065.11 27342467.09 37585869.31 108109074.09 609120483.33 909317685.13 24010669697.49 36010832498.97 總數(shù)量109448100.00 5整治目標整治目標l大幅度減少告警總量，理清常見場景告警主次，提高日常維護工作和故障處理效率整治方案整治方案l優(yōu)化工程預(yù)約方式，預(yù)計可以減少“普通告警”約10%40%的數(shù)量 以上饒移動為例：ETH_LOS(28%)等告警上報主要是由于近期LTE大量工程開站導(dǎo)致；另約有12%的告

5、警上報時間為凌晨0點至4點上報；l高頻閃報告警專項清理：對于閃報告警進行專項整治，預(yù)計可以減小告警30%告警量lPTN告警關(guān)聯(lián)規(guī)則定義：PTN線路可能導(dǎo)致倒換TUNNEL_APS_DEGRADED和PW_APS_DEGRADED同時上報，設(shè)置TUNNEL_APS_DEGRADED不上報可以減少約6%的告警上報。預(yù)期效預(yù)期效果果l上饒傳輸網(wǎng)總量由目前的單周35萬下降到10萬左右。傳輸網(wǎng)告警專項整治思路*以上饒移動PTN告警為例6傳輸網(wǎng)告警專項整治具體措施-存量告警(MSTP+OTN)序號告警數(shù)量累計百分比(%)1T_ALOS91437.172PS43754.943HP_LOM23564.504D

6、OWN_E1_AIS18171.865LP_SLM_VC1217478.936TU_AIS12584.027TU_AIS_VC129687.928UP_E1_AIS7290.859REM_SF3692.3110FAN_FAIL2993.4911LP_SLM2594.5112IN_PWR_ABN1895.2413HP_REI995.6114ODU1_PM_OCI995.9715TU_LOP_VC12896.3016LP_RDI796.5817BD_STATUS696.8318LOOP_ALM597.0319TU_LOP597.2320PORT_MODULE_OFFLINE597.4421LP_R

7、DI_VC12597.6422HP_RDI597.84存量告警定義存量告警定義：表示是現(xiàn)網(wǎng)中長期存在的告警，以九江移動U2000為例，左表給出大部分告警對應(yīng)的數(shù)量，并從上至下排列。告警處理原則告警處理原則：1：優(yōu)先排查解決告警根因，解除告警；2：次選采取”屏蔽”抑制”等非常規(guī)手段解除告警；3：所有”屏蔽”抑制”手段必須做好相關(guān)記錄，以便后續(xù)方便查閱定位。4：優(yōu)先集中處理基數(shù)大的告警；告警處理風險告警處理風險：1：清理某些告警動作本身存在業(yè)務(wù)中斷風險，如復(fù)位操作等；2：采取非常規(guī)手段清理告警，只是解決告警不上報或不顯示，并不表示問題已經(jīng)解決；如“屏蔽”3：非常規(guī)手段清理部分告警后，可能導(dǎo)致故障時

8、告警不上報或上報不及時；可能導(dǎo)致故障排除耗時較長等后果，請謹慎實施。74： DOWN_E1_AIS：下行方向2Mbit/s信號告警指示；告警對業(yè)務(wù)影響：產(chǎn)生該告警時，單板通道的E1信號不可用。告警清理建議：明確電路無業(yè)務(wù)承載后刪除電路；或者更換電路路由或時隙；清理后對系統(tǒng)影響：無1：T_ALOS: 表示E1T1接口模擬信號丟失。告警對業(yè)務(wù)影響：此告警出現(xiàn)表示E1接受無信號；此時業(yè)務(wù)已經(jīng)中斷或者無業(yè)務(wù)。告警清理建議：明確電路無業(yè)務(wù)承載后刪除電路；端口處內(nèi)環(huán)回，并做好標簽和屏蔽環(huán)回告警；清理后對系統(tǒng)影響：無2：PS: 表示已發(fā)生保護倒換指示。告警對業(yè)務(wù)影響：表示2M業(yè)務(wù)已經(jīng)倒換；告警清理建議：SN

9、CP業(yè)務(wù)配置設(shè)置成恢復(fù)式可以減少大量PS告警；清理后對系統(tǒng)影響：主用通道誤碼可能導(dǎo)致頻繁上報PS告警；恢復(fù)斷纜時若存在光纜錯連可能在業(yè)務(wù)恢復(fù)至主用后業(yè)務(wù)中斷。3：HP_LOM：高階通道復(fù)幀丟失告警告警對業(yè)務(wù)影響：該告警產(chǎn)生時，通道級業(yè)務(wù)會中斷。告警清理建議：明確業(yè)務(wù)是否配置正確，業(yè)務(wù)是否正常或者在用；若未配置則屏蔽；若無業(yè)務(wù)不在用，則建議刪除業(yè)務(wù)；清理后對系統(tǒng)影響：無傳輸網(wǎng)告警專項整治具體措施-存量告警(MSTP+OTN)88： UP_E1_AIS：上行方向2Mbit/s信號告警指示；告警對業(yè)務(wù)影響：產(chǎn)生該告警時，單板通道的E1信號不可用。告警清理建議：明確電路無業(yè)務(wù)承載后刪除電路或內(nèi)環(huán)回；或

10、者參照附件標準處理方式處理；5： LP_SLM_VC12告警為低階VC-12通道信號標記失配告警告警對業(yè)務(wù)影響：無影響；告警清理建議：屏蔽此類別告警；清理后對系統(tǒng)影響：無6： TU_AIS:如果單板檢測出TU通道全為1時，上報此告警。告警對業(yè)務(wù)影響：該告警會造成單板通道上的業(yè)務(wù)中斷；告警清理建議：確認是否存在業(yè)務(wù)；若無業(yè)務(wù)刪除電路；若有存在業(yè)務(wù)，定位故障點解決；清理后對系統(tǒng)影響：無。7： TU_AIS_VC12：低階VC-12TU告警指示，屬VC-12通道級別的AIS。告警對業(yè)務(wù)影響：該告警會造成單板通道上的業(yè)務(wù)中斷；告警清理建議：確認是否存在業(yè)務(wù)；若無業(yè)務(wù)刪除電路；若有存在業(yè)務(wù)，定位故障點解

11、決；清理后對系統(tǒng)影響：無。傳輸網(wǎng)告警專項整治具體措施-存量告警(MSTP+OTN)912： IN_PWR_ABN：收光光功率異常；告警對業(yè)務(wù)影響：可能導(dǎo)致誤碼或者倒換。告警清理建議：優(yōu)化光纜條件，清理光纜連接處等。9： REM_SF告警：遠端信號失效告警指示告警對業(yè)務(wù)影響：無業(yè)務(wù)側(cè)信息輸入或者中斷；告警清理建議：屏蔽此類別告警；清理后對系統(tǒng)影響：可能影響故障判斷或定位。10： FAN_FAIL:風扇失效告警。告警對業(yè)務(wù)影響：風扇失效；告警清理建議：拔插風扇或更換風扇；特別是OSN/PTN設(shè)備，強烈不建議屏蔽清理后對系統(tǒng)影響：無。11 ：LP_SLM 為低階通道信號標記失配告警告警。對業(yè)務(wù)影響：

12、無影響；告警清理建議：屏蔽此類別告警；清理后對系統(tǒng)影響：可能影響故障判斷或定位。傳輸網(wǎng)告警專項整治具體措施-存量告警(MSTP+OTN)10傳輸網(wǎng)告警專項整治具體措施-大基數(shù)告警(PTN)大基數(shù)告警定義告警定義：表示是現(xiàn)網(wǎng)中一段時間內(nèi)大量上報過的告警，以上饒移動U2000(PTN)為例，左表給出大部分大基數(shù)告警對應(yīng)的數(shù)量，并從上至下排列。告警處理原則告警處理原則：1：優(yōu)先排查解決告警根因，解除告警；2：次選采取”屏蔽”抑制”等非常規(guī)手段解除告警；3：所有”屏蔽”抑制”手段必須做好相關(guān)記錄，以便后續(xù)方便查閱定位。4：優(yōu)先集中處理基數(shù)大的告警；告警處理風險告警處理風險：1：清理某些告警動作本身存在

13、業(yè)務(wù)中斷風險，如復(fù)位操作等；2：采取非常規(guī)手段清理告警，只是解決告警不上報或不顯示，并不表示問題已經(jīng)解決；如“屏蔽”3：非常規(guī)手段清理部分告警后，可能導(dǎo)致故障時告警不上報或上報不及時；可能導(dǎo)致故障排除耗時較長等后果，請謹慎實施。告警名稱告警數(shù)量 累計百分比(%)ETH_LOS3121928.52 PW_APS_DEGRADED1436041.64 MPLS_PW_LOCV1091351.62 TUNNEL_APS_DEGRADED670457.74 T_ALOS669863.86 MPLS_TUNNEL_LOCV648569.79 PWAPS_LOST539674.72 ETH_APS_LOS

14、T333377.76 COMMUN_FAIL228879.85 BD_STATUS203381.71 MPLS_PW_BDI134982.94 PW后向缺陷指示130184.13 LSR_WILL_DIE99185.04 ETH_RX_FLOW_OVER97285.92 NE_NOT_LOGIN92086.77 MPLS_TUNNEL_BDI86987.56 IN_PWR_LOW75288.25 NE_COMMU_BREAK73188.91 全部告警數(shù)量:109447100%11傳輸網(wǎng)告警專項整治具體措施-大基數(shù)告警(PTN)4： TUNNEL_APS_DEGRADED：表示Tunnel保護組

15、降級；告警對業(yè)務(wù)影響：如果該告警產(chǎn)生，則保護組可用性降低；告警清理建議：屏蔽此類告警；清理后對系統(tǒng)影響：無線路或者上層鏈路原因?qū)е略摳婢蠄髸r，可能影響故障及時識別和定位。1： ETH_LOS: 表示ETH信號丟失。告警對業(yè)務(wù)影響：此時業(yè)務(wù)已經(jīng)中斷或者無業(yè)務(wù)。告警清理建議：明確接口無業(yè)務(wù)反轉(zhuǎn)告警；清理后對系統(tǒng)影響：無2： PW_APS_DEGRADED: PW APS保護組降級告警。當保護組中一個PW故障時，保護組的可用性降低，上報此告警。告警對業(yè)務(wù)影響：如果該告警產(chǎn)生，則保護組可用性降低；告警清理建議：屏蔽此類告警；清理后對系統(tǒng)影響：非線路或者上層鏈路原因?qū)е略摳婢蠄髸r，可能影響故障及時識

16、別和定位。3： MPLS_PW_LOCV ： MPLS_PW_LOCV告警表示PW連通性丟失告警對業(yè)務(wù)影響：該告警產(chǎn)生時，業(yè)務(wù)將中斷。告警清理建議：盡快排查線路/設(shè)備/業(yè)務(wù)配置故障；清理后對系統(tǒng)影響：無12傳輸網(wǎng)告警專項整治具體措施-大基數(shù)告警(PTN)8： MPLS_PW_BDI告警表示PW后向缺陷指示告警對業(yè)務(wù)影響：本端設(shè)備的發(fā)送側(cè)業(yè)務(wù)故障。告警清理建議：屏蔽此類告警；清理后對系統(tǒng)影響：可能影響故障及時識別和定位。5： MPLS_TUNNEL_LOCV :表示Tunnel連通性丟失告警。告警對業(yè)務(wù)影響：此時業(yè)務(wù)已經(jīng)中斷或者無業(yè)務(wù)。告警清理建議：盡快排查線路/設(shè)備/業(yè)務(wù)配置故障；清理后對系統(tǒng)

17、影響：無6： PWAPS_LOST: PWAPS_LOST告警表示APS幀丟失。當接收端沒有從保護通道收到APS幀時上報此告警。告警對業(yè)務(wù)影響：無法對業(yè)務(wù)進行保護告警清理建議：屏蔽此類告警；清理后對系統(tǒng)影響：非線路或者上層鏈路原因?qū)е略摳婢蠄髸r，可能影響故障及時識別和定位。7： ETH_APS_LOST： ETH_APS_LOST告警表示APS幀丟失告警對業(yè)務(wù)影響：APS保護可能無法工作，業(yè)務(wù)得不到有效的保護告警清理建議：屏蔽此類告警；清理后對系統(tǒng)影響：非線路或者上層鏈路原因?qū)е略摳婢蠄髸r，可能影響故障及時識別和定位。13傳輸網(wǎng)告警專項整治具體措施-閃報告警告警名稱閃報數(shù)量告警名稱閃報數(shù)量

18、ETH_LOS29579ETH_LINK_DOWN414T_ALOS5980NE_COMMU_BREAK400PW_APS_DEGRADED4448ETH_APS_SWITCH_FAIL280MPLS_PW_LOCV3589靜態(tài)CR-LSP Down告警274TUNNEL_APS_DEGRADED2525ETH_RX_FLOW_OVER272MPLS_TUNNEL_LOCV2345BUS_ERR256MPLS_PW_BDI1329接口CRC校驗錯誤253BD_STATUS1315CLK_LOCK_FAIL231PW后向缺陷指示1301ODU_SNCP_STA_INDI198PWAPS_LOST

19、1048MPLS_TUNNEL_Excess179LSR_WILL_DIE990PWAPS_SWITCH_FAIL150MPLS_TUNNEL_BDI869隧道組斷開118ETH_APS_LOST832光模塊整體功能失效113IN_PWR_LOW643MAC_FCS_EXC112MPLS隧道故障516ODU1_PM_BDI111TE tunnel變?yōu)閐own516POWER_ABNORMAL107鏈路斷開444BEFFEC_EXC102MPLS_PW_Excess431COMMUN_FAIL97NE_NOT_LOGIN425ODU1_PM_DEG94TU_AIS_VC12423PW_APS_O

20、UTAGE90ETH_LINK_DOWN414ODU1_PM_SSF78閃報告警定義閃報告警定義：表示是上報時間很快就消失，以上饒移動U2000為例，左表給出部分告警對應(yīng)的數(shù)量，并從上至下排列。 4月21和22日共存在116類閃報告警，持續(xù)時間在1mins以內(nèi)的告警共計閃報64593次。閃報告警處理原則閃報告警處理原則：1：優(yōu)先排查解決告警根因，解除告警；2：次選設(shè)置告警規(guī)則，使得閃報一定的時間內(nèi)的告警，網(wǎng)管不體現(xiàn)該告警3：優(yōu)先集中處理基數(shù)大的告警告警處理風險告警處理風險：非常規(guī)手段設(shè)置部分閃報告警不呈現(xiàn)后，可能導(dǎo)致故障時告警不上報或上報不及時；可能導(dǎo)致故障排除耗時較長等后果，請謹慎實施。14

21、傳輸網(wǎng)告警專項整治具體措施-屏蔽閃報告警方法告警持續(xù)時間小于（秒）參數(shù)含義：設(shè)置對持續(xù)時間為多長的告警進行屏蔽。參數(shù)取值：取值范圍：0到1000的整數(shù)，建議值為30設(shè)置方法：手工輸入或通過微調(diào)輸入框設(shè)置。 說明： 當告警/事件頻次分析窗口中的“處理策略”參數(shù)為“產(chǎn)生振蕩告警”時，建議將本參數(shù)的值設(shè)置為小于“告警/事件頻次分析”窗口中的“時間范圍”參數(shù)的值。 閃報一定的時間內(nèi)的告警，網(wǎng)管不體現(xiàn)該告警； 時間建議設(shè)置成30s15傳輸網(wǎng)告警專項整治具體措施-屏蔽告警方法屏蔽告警屏蔽告警屏蔽告警是指網(wǎng)管不再接收指定對象的告警上報或不監(jiān)視某些不重要的網(wǎng)管告警。對于某些不重要的網(wǎng)管告警，可以設(shè)置網(wǎng)管告警屏

22、蔽，使網(wǎng)管不監(jiān)視這些告警，以便提高故障定位效率，并且這些告警不會上報給上層網(wǎng)管。選擇一條告警/事件進行屏蔽的方式，可以快捷地屏蔽后續(xù)上報的相同告警。操作步驟1.在主菜單中選擇“故障 瀏覽當前告警”。 2.在“過濾”對話框中設(shè)置過濾條件，單擊“確定”。 3.在瀏覽告警或事件窗口中，選擇一條告警或事件。單擊右鍵，選擇“屏蔽”。 4.在“屏蔽”對話框中，用戶可根據(jù)需求設(shè)置“屏蔽范圍”和“生效時間”。 16傳輸網(wǎng)告警專項整治具體措施-標準處理建議COMMUN_FAIL告警解釋：告警解釋：COMMUN_FAIL為單板間通信失效告警。當主控板和其他單板之間的通訊中斷時就會上報此告警。告警屬性：告警屬性：主

23、要/設(shè)備告警參數(shù)：無告警參數(shù)：無對系統(tǒng)的影響：對系統(tǒng)的影響：產(chǎn)生該告警后，主機的配置無法下發(fā)到單板或單板無法工作。可能出現(xiàn)無法配置業(yè)務(wù)或保護倒換功能失效等情況，新增的業(yè)務(wù)將出現(xiàn)異常?？赡茉颍嚎赡茉颍焊婢疌OMMUN_FAIL產(chǎn)生的可能原因如下：單塊單板上報告警原因1：單板處于硬復(fù)位或者軟復(fù)位狀態(tài)。單塊單板上報告警原因2：單板故障。多塊單板上報告警原因1：公務(wù)板EOW故障。當EOW單板與各單板的通信端口出現(xiàn)故障時，會出現(xiàn)業(yè)務(wù)單板上報COMMUN_FAIL，而備用主控單板不上報該告警的情況。多塊單板上報告警原因2：主控單板或交叉單板故障。若主用主控板故障，會出現(xiàn)主用主控板，備用主控板和業(yè)務(wù)單板同時上報COMMUN_FAIL告警