1,湖北省公司某客戶MSTP電路LCAS故障處理分析-V2楊慧麗

1、湖北省公司某客戶MSTP電路LCAS故障處理分析案例湖北武漢聯(lián)通集團(tuán)客戶響應(yīng)中心 楊慧麗一、故障現(xiàn)象湖北省武漢某客戶（某銀行）某日至湖北省黃岡MSTP電路不通。二、故障情況分析湖北省武漢某銀行至黃岡的電路承載于烽火780，該設(shè)備端口是武漢某銀行到各個(gè)地市電路的光路匯聚端口，承載了多條業(yè)務(wù)，此次故障發(fā)生后，武漢傳輸網(wǎng)管查看到黃岡方向有告警。經(jīng)黃岡傳輸網(wǎng)管向武漢方向打環(huán)，武漢可以收到環(huán)，排除線路故障。武漢某銀行拓?fù)鋱D經(jīng)排查發(fā)現(xiàn)，當(dāng)黃岡本地格力威爾MSTP與武漢烽火780設(shè)備在雙方開(kāi)啟LCAS協(xié)議并且雙方設(shè)備光路為連接狀態(tài)時(shí)，當(dāng)格林威爾設(shè)備發(fā)生掉電或VCG重啟，會(huì)引起烽火LCAS出現(xiàn)異常，從而出現(xiàn)雙

2、方握手不成功情況，此為發(fā)生業(yè)務(wù)中斷的主要原因。對(duì)于此種情況，湖北省公司要求烽火和格林威爾公司進(jìn)行分析排查，并徹底解決問(wèn)題。三、故障排查及處理過(guò)程（一）第一步：根據(jù)測(cè)試數(shù)據(jù)查找LCAS握手不成功原因。 實(shí)現(xiàn)方案：搭建測(cè)試平臺(tái)，模擬現(xiàn)場(chǎng)測(cè)試環(huán)境（烽火以太網(wǎng)盤(pán)與格林威爾MSAP對(duì)開(kāi)通業(yè)務(wù)，并開(kāi)啟LCAS功能）；按照測(cè)試方案連接設(shè)備，如圖所示：780A與格林威爾MSAP設(shè)備通過(guò)155光口開(kāi)通以太網(wǎng)業(yè)務(wù)，同時(shí)開(kāi)啟兩塊單盤(pán)的LCAS功能。為便于定位問(wèn)題，只在WAN口配置一個(gè)VC12，并開(kāi)啟烽火以太網(wǎng)軟件中LCAS模塊的調(diào)試開(kāi)關(guān)。確認(rèn)業(yè)務(wù)正常，檢查單盤(pán)LCAS狀態(tài)正常。1重復(fù)100次現(xiàn)場(chǎng)測(cè)試項(xiàng)目，記錄測(cè)試結(jié)

3、果；按照測(cè)試內(nèi)容：“驗(yàn)證雙方在LCAS運(yùn)行正常情況下，遇到掉電情況時(shí)，業(yè)務(wù)運(yùn)行狀態(tài)和LCAS握手狀態(tài)”以及“驗(yàn)證在傳輸通道發(fā)生重啟時(shí)，業(yè)務(wù)運(yùn)行狀態(tài)和LCAS運(yùn)行狀態(tài)”進(jìn)行測(cè)試，測(cè)試結(jié)果為：當(dāng)對(duì)端格林威爾設(shè)備掉電重啟后，業(yè)務(wù)中斷。查看WAN口成員狀態(tài)不正確，如下圖所示： 單盤(pán)底層調(diào)試打印的信息如下：2.以主網(wǎng)分析儀記錄測(cè)試中出現(xiàn)異常時(shí)的信息并進(jìn)行綜合分析；對(duì)底層打印的調(diào)試分析發(fā)現(xiàn)：當(dāng)格林威爾設(shè)備重啟后，烽火單盤(pán)LCAS宿端狀態(tài)機(jī)接收到的控制字也有相應(yīng)變化，從FIX變?yōu)镋OS（只建立一個(gè)VC12），此時(shí)宿端會(huì)根據(jù)接收到的控制對(duì)成員狀態(tài)MST 進(jìn)行調(diào)整，MST = 0為OK。調(diào)試信息顯示宿端返回成員

4、狀態(tài)為MST = 1，為Fail。對(duì)端格林威爾設(shè)備收到MST = 1，認(rèn)為鏈路有故障，重新調(diào)整發(fā)送控制字為DNU，烽火單盤(pán)接收控制字也從EOS變?yōu)镈NU，并且一直回送MST = 1。3.根據(jù)測(cè)試分析結(jié)果，檢查軟件代碼，查找問(wèn)題原因；LCAS協(xié)議規(guī)定，在VCG宿端，所用成員初始化時(shí)均報(bào)告MST = Fail，當(dāng)某個(gè)成員帶有控制字段為ADD（或NORM或在其添加后發(fā)送EOS,或網(wǎng)絡(luò)故障恢復(fù)后發(fā)送DNU）的控制包收到時(shí)，成員狀態(tài)將產(chǎn)生MST = OK的轉(zhuǎn)變。烽火以太網(wǎng)盤(pán)LCAS的工作機(jī)制是：開(kāi)啟LCAS時(shí)，VCG通道所有成員控制字都為IDLE，然后再逐個(gè)添加VCG成員。首先，源端發(fā)控制字ADD，宿端

5、接收到ADD請(qǐng)求命令后返回成員狀態(tài)，若源端收到MST = OK，再調(diào)整成員控制字為NORM或EOS，改變成員SQ號(hào)，直至握手成功。與格林威爾設(shè)備對(duì)接測(cè)試時(shí)，對(duì)端設(shè)備上電后，烽火以太網(wǎng)盤(pán)未收到請(qǐng)求成員添加的ADD控制字，而是直接收到了EOS，導(dǎo)致烽火以太網(wǎng)盤(pán)LCAS狀態(tài)機(jī)判斷錯(cuò)誤，導(dǎo)致異常。在此情況下， LCAS宿端狀態(tài)機(jī)應(yīng)回送MST = 0，但是實(shí)際工作時(shí)卻回送的是MST = 1，導(dǎo)致后續(xù)LCAS狀態(tài)機(jī)成員控制字遷徙錯(cuò)誤，這即雙方設(shè)備握手不成功原因所在。（二）第二步：根據(jù)第一步查找的原因進(jìn)行代碼修改及驗(yàn)證。 實(shí)現(xiàn)方案：烽火研發(fā)人員根據(jù)解決方案對(duì)以太網(wǎng)盤(pán)軟件進(jìn)行優(yōu)化；針對(duì)問(wèn)題原因，對(duì)以太網(wǎng)盤(pán)的軟

6、件代碼進(jìn)行修改，在對(duì)端設(shè)備重啟LCAS的情況下，即單盤(pán)LCAS宿端狀態(tài)機(jī)接收控制字從FIX轉(zhuǎn)變到其他時(shí)（除IDLE），將成員狀態(tài)MST設(shè)置為OK。協(xié)調(diào)格林威爾研發(fā)人員對(duì)MSAP設(shè)備進(jìn)行優(yōu)化；對(duì)現(xiàn)有LCAS工作機(jī)制進(jìn)行優(yōu)化，在設(shè)備重啟后，與對(duì)端設(shè)備握手協(xié)商時(shí)，源端狀態(tài)機(jī)添加成員時(shí)先發(fā)送ADD請(qǐng)求。在設(shè)備掉電重啟后，先初始化以太網(wǎng)部分功能，再開(kāi)啟設(shè)備激光器。（三）第三步：修改代碼及驗(yàn)證完畢后，提供軟件現(xiàn)場(chǎng)參與第三方測(cè)試。 實(shí)現(xiàn)方案：對(duì)設(shè)備完成新軟件的升級(jí)，按照“測(cè)試內(nèi)容”的所有測(cè)試項(xiàng)目再次進(jìn)行測(cè)試。四、解決問(wèn)題經(jīng)協(xié)調(diào)，烽火與格林威爾廠家各自提供針對(duì)優(yōu)化LCAS握手功能的新版軟件。本次烽火提供兩塊機(jī)

7、盤(pán)與格林威爾測(cè)試，機(jī)盤(pán)硬件一致，軟件分別為RP0106和RP0108。格林威爾提供一臺(tái)設(shè)備進(jìn)行軟件升降級(jí)測(cè)試。廠家現(xiàn)有版本測(cè)試提供的新版本烽火RP0106RP0108格林威爾MSTPE6080PTPV3R0C2B7SP33MSTPE6080PTPV3R0C2B7SP36烽火現(xiàn)有版本：烽火測(cè)試新版本：依據(jù)測(cè)試內(nèi)容：“驗(yàn)證雙方在LCAS運(yùn)行正常情況下，遇到掉電情況時(shí)，業(yè)務(wù)運(yùn)行狀態(tài)和LCAS握手狀態(tài)”以及“驗(yàn)證在傳輸通道發(fā)生重啟時(shí)，業(yè)務(wù)運(yùn)行狀態(tài)和LCAS運(yùn)行狀態(tài)”，在本次測(cè)試過(guò)程中著重進(jìn)行了測(cè)試，其余項(xiàng)目結(jié)果雙方表示認(rèn)可，不在贅測(cè)。本次測(cè)試分為：1、烽火先升級(jí)軟件，GW保持不變；2、GW升級(jí)軟件，烽

8、火保持不變；3、烽火與GW共同升級(jí)；測(cè)試步驟1：烽火先升級(jí)軟件，GW保持不變 測(cè)試思路：GW保持不變，烽火使用RP0108軟件的機(jī)盤(pán)進(jìn)行測(cè)試； 測(cè)試過(guò)程：烽火使用RP0108機(jī)盤(pán)軟件穩(wěn)定運(yùn)行后，GW方面進(jìn)行虛級(jí)聯(lián)端口重啟（禁止和使能）和復(fù)位VCG，待GW操作完畢后檢查L(zhǎng)CAS狀態(tài)； 測(cè)試結(jié)果：雙方狀態(tài)正常，測(cè)試通過(guò)；測(cè)試步驟2：GW升級(jí)軟件，烽火保持不變 測(cè)試思路：GW軟件升級(jí)，烽火保持不變； 測(cè)試過(guò)程：烽火使用RP0106機(jī)盤(pán)軟件穩(wěn)定運(yùn)行后，GW方面進(jìn)行虛級(jí)聯(lián)端口重啟（禁止和使能）和復(fù)位VCG，待GW操作完畢后檢查L(zhǎng)CAS狀態(tài)； 測(cè)試結(jié)果：LCAS握手不成功，測(cè)試不通過(guò)；測(cè)試步驟3：烽火與GW共同升級(jí) 測(cè)試思路：烽火與GW雙方共同升級(jí)軟件； 測(cè)試過(guò)程：烽火使用RP0108機(jī)盤(pán)軟件穩(wěn)定運(yùn)行后，并且GW使用新版軟件升級(jí)穩(wěn)定運(yùn)行后，GW方面進(jìn)行虛級(jí)聯(lián)端口重啟（禁止和使能）和復(fù)位VCG，待GW操作完畢后檢查L(zhǎng)CAS狀態(tài)； 測(cè)試結(jié)果：雙方狀態(tài)正常，測(cè)試通過(guò)；五、問(wèn)題總結(jié)： 本著故障問(wèn)題根源不查清不放過(guò)的維護(hù)原則，湖北聯(lián)通