xx保險(xiǎn)業(yè)務(wù)緩慢故障處理.pptx

XX保險(xiǎn)業(yè)務(wù)緩慢故障處理,文檔類型: 文檔密級: 主送對象: 抄送對象: 文檔編號: 審 核 人:,學(xué)習(xí)目標(biāo),掌握XX保險(xiǎn)分公司網(wǎng)絡(luò)架構(gòu) 掌握故障處理的基本原則及方法,2,課程內(nèi)容,第一章 XX保險(xiǎn)地市分公司網(wǎng)絡(luò)結(jié)構(gòu)概述 第二章 XX保險(xiǎn)故障處理過程 第三章 經(jīng)驗(yàn)總結(jié),3,OSPF area N,OSPF area 0,XX保險(xiǎn)網(wǎng)絡(luò)拓?fù)浣榻B,4,省公司網(wǎng)絡(luò),網(wǎng)點(diǎn)1,網(wǎng)點(diǎn)2,網(wǎng)點(diǎn)n,2*E1,2*E1,RSR50-40,RSR20-18,H3C-S7506,RSR08E-2,RSR08E-1,分公司,省公司,XX保險(xiǎn)組網(wǎng)概述 1、省公司兩臺RSR08E匯聚全省17個(gè)分公司的上聯(lián)路由器。 2、省公司申請2條155MCPOS線路，每個(gè)分公司申請4條E1，每2條E1做MP捆綁與省公司下聯(lián)路由RSR08E相連。 3、客戶生產(chǎn)業(yè)務(wù)與辦公業(yè)務(wù)實(shí)現(xiàn)分流并相互冗余， 4、RSR50-40、RSR08E-1正常轉(zhuǎn)發(fā)生產(chǎn)業(yè)務(wù)，RSR20-18、RSR08E-2轉(zhuǎn)發(fā)辦公業(yè)務(wù)，當(dāng)其中廣域網(wǎng)線路斷時(shí)，業(yè)務(wù)將切換一條線路,組網(wǎng)概述,OSPF area N,OSPF area 0,XX保險(xiǎn)網(wǎng)絡(luò)拓?fù)浣榻B,5,省公司網(wǎng)絡(luò),網(wǎng)點(diǎn)1,網(wǎng)點(diǎn)2,網(wǎng)點(diǎn)n,2*E1,2*E1,RSR50-40,RSR20-18,H3C-S7506,RSR08E-2,RSR08E-1,分公司,省公司,OSPF協(xié)議規(guī)劃 RSR50-40,RSR20-18路由器上行口、互聯(lián)以太網(wǎng)口劃入area0。 每個(gè)分公司一個(gè)area，area id 為電話區(qū)號。 在RSR50-40、RSR20-18做區(qū)域間路由聚合，向省網(wǎng)發(fā)布分公司聚合路由。 COST值全省統(tǒng)一規(guī)劃，保證業(yè)務(wù)分流。,OSPF協(xié)議規(guī)劃,OSPF area N,OSPF area 0,MP協(xié)議介紹,6,省公司網(wǎng)絡(luò),網(wǎng)點(diǎn)1,網(wǎng)點(diǎn)2,網(wǎng)點(diǎn)n,2*E1,2*E1,RSR50-40,RSR20-18,H3C-S7506,RSR08E-2,RSR08E-1,分公司,省公司,客戶處于增加帶寬考慮，將兩條E1線路做了MP捆綁。鏈路層協(xié)議為PPP。 客戶采用MP原因：1、增加帶寬，2、鏈路負(fù)載均衡，任何一條E1線路故障，不影響業(yè)務(wù)轉(zhuǎn)發(fā)。 接口配置如下： interface multilink 1 ppp multilink fragment maximum 2 ip ospf cost 40 ip address 10.248.113.18 255.255.255.252 ! interface Serial 1/0:0 encapsulation PPP ppp multilink ppp multilink group 1 interface Serial 1/1:0 encapsulation PPP ppp multilink ppp multilink group 1,OSPF area N,OSPF area 0,XX保險(xiǎn)網(wǎng)絡(luò)拓?fù)浣榻B,7,省公司網(wǎng)絡(luò),網(wǎng)點(diǎn)1,網(wǎng)點(diǎn)2,網(wǎng)點(diǎn)n,2*E1,2*E1,RSR50-40,RSR20-18,H3C-S7506,生產(chǎn)下行流,RSR08E-1,分公司,省公司,生產(chǎn)上行流,辦公上行流,辦公下行流,1、正常情況，生產(chǎn)、辦公業(yè)務(wù)分流。 2、當(dāng)生產(chǎn)線路故障時(shí)，OSPF收斂，生產(chǎn)業(yè)務(wù)經(jīng)過RSR50-40與RSR20-18互聯(lián)線路切換至辦公線路。 辦公線路故障，與此類似。,RSR08E-2,XX保險(xiǎn)生產(chǎn)、辦公業(yè)務(wù)流量分流及冗余模型,課程內(nèi)容,第一章 XX保險(xiǎn)地市分公司網(wǎng)絡(luò)結(jié)構(gòu)概述 第二章 XX保險(xiǎn)故障處理過程 第三章 經(jīng)驗(yàn)總結(jié),8,XX保險(xiǎn)故障現(xiàn)象,XX保險(xiǎn)XX分公司申報(bào)故障，稱：客戶業(yè)務(wù)辦理非常緩慢，電信已檢查，稱線路沒有問題，請?jiān)O(shè)備廠商解決。 XX保險(xiǎn)是我司重點(diǎn)客戶，我司設(shè)備占很大比重，這樣的故障，如何著手處理，快速恢復(fù)客戶業(yè)務(wù)？,9,網(wǎng)絡(luò)不會(huì)有無緣無故的故障 網(wǎng)絡(luò)不會(huì)有解決不了的問題,網(wǎng)絡(luò)故障處理基本步驟,1、故障處理系統(tǒng)化是合理地一步一步找出故障原因，并解決故障的總體原則 2、網(wǎng)絡(luò)故障解決的處理流程是可以變化的，但故障處理有序化的思維模式是不可變化的。,故障現(xiàn)象觀察,對網(wǎng)絡(luò)故障做出完整、清晰的描述是必須的！ “業(yè)務(wù)慢”是一個(gè)不完整、不清晰的描述故障描述，追加客戶問題： 1、辦公業(yè)務(wù)慢嗎? 2、全局問題還是局部問題？即分公司全部慢，還是個(gè)別網(wǎng)點(diǎn)慢?其它分公司業(yè)務(wù)狀況？ 3、最近是否進(jìn)行網(wǎng)絡(luò)調(diào)整？,客戶信息反饋： 1、分公司生產(chǎn)、辦公所有業(yè)務(wù)都比較慢，業(yè)務(wù)高峰期明顯 2、其它分公司業(yè)務(wù)正常 3、用戶網(wǎng)絡(luò)近期無調(diào)整 因此，可以推斷：是分公司局部故障，全省地市分公司正常。,故障信息收集,根據(jù)對客戶網(wǎng)絡(luò)組網(wǎng)結(jié)構(gòu)及網(wǎng)絡(luò)運(yùn)行原理的掌握，收集以下信息： 1、分公司訪問省公司、總公司的路 由是否正確？ 2、分公司RSR50-40及RSR20-18設(shè)備狀態(tài)信息，重點(diǎn)查看： 1、設(shè)備日志 2、路由器各接口是否正常。帶寬占用情況。 3、OSPF鄰居建立是否正常。 3、廣域網(wǎng)電路是否正常？,OSPF area N,OSPF area 0,故障信息收集,14,省公司網(wǎng)絡(luò),網(wǎng)點(diǎn)1,網(wǎng)點(diǎn)2,網(wǎng)點(diǎn)n,2*E1,2*E1,RSR50-40,RSR20-18,H3C-S7506,生產(chǎn)上行流,RSR08E-1,分公司,省公司,RSR08E-2,生產(chǎn)下行流,辦公上行流,辦公下行流,第一、查看辦公、生產(chǎn)業(yè)務(wù)的路徑信息。 1、 模擬分公司一臺主機(jī)，tracert省公司生產(chǎn)及辦公服務(wù)器，發(fā)現(xiàn)生產(chǎn)業(yè)務(wù)的路徑繞行RSR20-18，如圖所示，所有業(yè)務(wù)都走辦公線路，業(yè)務(wù)未分流 2、查看RSR20-18的上行鏈路，發(fā)現(xiàn)鏈路帶寬接近4M，鏈路出現(xiàn)擁塞 業(yè)務(wù)慢的原因已找到：全部業(yè)務(wù)走辦公線路，造成辦公線路擁塞所致。,測試機(jī),OSPF area N,OSPF area 0,故障信息收集,15,省公司網(wǎng)絡(luò),網(wǎng)點(diǎn)1,網(wǎng)點(diǎn)2,網(wǎng)點(diǎn)n,2*E1,2*E1,RSR50-40,RSR20-18,H3C-S7506,生產(chǎn)上行流,RSR08E-1,分公司,省公司,RSR08E-2,生產(chǎn)下行流,辦公上行流,辦公下行流,第二步、收集RSR50-40的設(shè)備信息： 1、路由表信息，發(fā)現(xiàn)去往省公司、總公司的路由全部指向RSR20-18。 2、查看RSR50-40上行接口的信息，發(fā)現(xiàn)帶寬占用很小。 3、查看RSR50-40的OSPF鄰居，發(fā)現(xiàn)與省公司的鄰居未建立起來。 4、查看RSR50-40的日志，發(fā)現(xiàn)日志從昨天開始，鄰居頻繁UP及DOWN。 *Jan 21 01:37:37: %OSPF-5-ADJCHG: Process 1, Nbr 10.32.16.6-multilink 1 from Full to Down, InactivityTimer. *Jan 21 01:37:40: %OSPF-5-ADJCHG: Process 1, Nbr 10.32.16.6-multilink 1 from Down to Init, HelloReceived. *Jan 21 01:37:45: %OSPF-5-ADJCHG: Process 1, Nbr 10.32.16.6-multilink 1 from Exchange to Full, ExchangeDone.,經(jīng)驗(yàn)判斷及理論分析,業(yè)務(wù)慢的原因： 業(yè)務(wù)未分流，造成所有業(yè)務(wù)走辦公線 路，造成線路擁塞所致 原因分析： 因RSR50-40與省公司RSR08E-1的OSPF鄰居建立不穩(wěn)定，導(dǎo)致RSR50-40去往省公司、總公司的路由表下一跳錯(cuò)誤指向RSR20-18。,什么原因可以導(dǎo)致RSR50-40與RSR08E-1的OSPF鄰居無法正常建立？,可能原因列表,OSPF鄰居頻繁UP、DOWN的原因 1、設(shè)備配置錯(cuò)誤 2、OSPF運(yùn)行故障 3、設(shè)備產(chǎn)品自身缺陷,對每一種原因?qū)嵤┡挪榉桨?1、配置錯(cuò)誤 與省公司、分公司網(wǎng)絡(luò)維護(hù)人員確認(rèn)，配置無人改動(dòng)，該原因排除。 2、OSPF運(yùn)行故障 可能原因列表： 生產(chǎn)線路故障，廣域網(wǎng)線路故障，會(huì)導(dǎo)致OSPF報(bào)文交互異常，鄰居建立 失敗。 設(shè)備BUG，因全省路由器、型號、版本都一樣，這個(gè)可能性很小。,OSPF area N,OSPF area 0,故障原因初步查明,19,省公司網(wǎng)絡(luò),網(wǎng)點(diǎn)1,網(wǎng)點(diǎn)2,網(wǎng)點(diǎn)n,2*E1,2*E1,RSR50-40,RSR20-18,H3C-S7506,生產(chǎn)下行流,RSR08E-1,分公司,省公司,生產(chǎn)上行流,辦公上行流,辦公下行流,RSR08E-2,生產(chǎn)線路丟包是造成OSPF鄰居不穩(wěn)定的原因！,RSR50-40與RSR08E-1之間OSPF鄰居頻繁up、down,導(dǎo)致RSR50-40路由重新選路，生產(chǎn)業(yè)務(wù)流迂回至RSR20-18，經(jīng)辦公線路上行至省公司,生產(chǎn)業(yè)務(wù)流及辦公業(yè)務(wù)流都經(jīng)過辦公線路，在業(yè)務(wù)高峰期時(shí)，2*E1線路出現(xiàn)擁塞，業(yè)務(wù)辦理緩慢。,登陸RSR50-40，ping與RSR08E-1的互聯(lián)接口IP，發(fā)現(xiàn)丟包率在50%以上。E1線路的故障導(dǎo)致OSPF鄰居頻繁up及down,問題最終定位是廣域網(wǎng)線路丟包，而廣域網(wǎng)電路故障已超出我們的范圍，且運(yùn)營商稱：其電路沒有問題，如何有效排查呢?,廣域網(wǎng)電路排查,21,本次RSR50-40互聯(lián)接口相互ping丟包是哪條E1線路故障？最直接的方法是檢查接口狀態(tài). show inter Serial 1/0:0 時(shí)，發(fā)現(xiàn)了問題 = Serial 1/0:0 = Index(dec):7 (hex):7 Serial 3/0:0 is UP , line protocol is UP Hardware is Serial Description: to-HN-DLR-RSR08E-1-e1-0/0/0:21-SDH-DianXin Interface address is: no ip address MTU 1500 bytes, BW 2000 Kbit Encapsulation protocol is PPP, loopback not set Keepalive interval is 10 sec , set Carrier delay is 2 sec RXload is 218 ,Txload is 8 LCP Open, Multilink Open Closed: ipcp Queueing strategy: FIFO Output queue 0/4096, 0 drops; Input queue 0/75, 0 drops Timeslot(s) Used:0-31, Transmitter delay is 0 flags 30 seconds input rate 75314 bits/sec, 156 packets/sec 30 seconds output rate 69373 bits/sec, 145 packets/sec 172967270 packets input, 82503848443 bytes, 0 no buffer, 0 dropped Received 0 broadcasts, 0 runts, 0 giants 43045 input errors, 0 CRC, 6 frame, 0 overrun, 0 abort 233022603 packets output, 38531458697 bytes, 0 underruns , 0 dropped 0 output errors, 0 collisions, 6 interface resets 0 output errors, 0 collisions, 6 interface resets,入方向有錯(cuò)誤包，且一直增加！,廣域網(wǎng)電路故障排查,接口有錯(cuò)誤包，造成線路丟包發(fā)生，可能原因列表： 1、E1線纜接口故障。 路由器接口-E1非平衡線纜-運(yùn)營商廣域網(wǎng)線路，任何一個(gè)節(jié)點(diǎn)出現(xiàn)問題，都有可能產(chǎn)生錯(cuò)誤包。 2、運(yùn)營商SDH設(shè)備故障 運(yùn)營商SDH設(shè)備故障也會(huì)引起故障，此類故障需運(yùn)營商的配合。,廣域網(wǎng)電路故障排查,故障排錯(cuò)過程： 1、shutdown該接口Serial 1/0:0故障線路，查看OSPF鄰居是否正常，ping包是否正常，根據(jù)MP協(xié)議運(yùn)行機(jī)理，單條E1線路的故障，不會(huì)引起業(yè)務(wù)的中斷。 Shutdown故障線路后，ping包正常，OSPF鄰居建立穩(wěn)定。業(yè)務(wù)正常。因此確定該線路Serial 1/0:0 線路故障，另外一條E1線路正常。 2、更換該Serial 1/0:0線路路由器接口線纜，故障依舊。 3、聯(lián)系運(yùn)營商E1電路運(yùn)維人員，重新制作該E1的BNC接頭后，錯(cuò)誤包不在增加。OPSF鄰居正常建立 ，業(yè)務(wù)恢復(fù) ！,廣域網(wǎng)電路故障排查,兩條E1做了MP捆綁，其中一條E1故障，為何另外一條E1也無法工作？,MP是將兩條PPP鏈路捆綁起來，擴(kuò)容帶寬的技術(shù)，數(shù)據(jù)流負(fù)載均衡，平均分配到兩條E1線路上。兩條E1虛擬成一個(gè)multilink接口 當(dāng)數(shù)據(jù)流分配到有故障的E1線路時(shí)，數(shù)據(jù)包丟失，造成互聯(lián)接口相互ping丟包。相當(dāng)于multilink接口故障！ MP捆綁只有檢測到E1線路down時(shí)，才將業(yè)務(wù)全部切換到另外一條E1線路上，而本次故障，不會(huì)引起E1線路的down，MP協(xié)議的負(fù)載均衡反而成了故障的幫兇！,故障原因,E1線纜接頭故障,生產(chǎn)線路丟包,OSPF鄰居UP/DOWN,RSR50-40路由收斂,生產(chǎn)線路擁塞，全部業(yè)務(wù)變慢,生產(chǎn)業(yè)務(wù)切換至辦公線路,26,運(yùn)營商稱：廣域網(wǎng)線路正常。該結(jié)論直接將故障原因推給了銳捷網(wǎng)絡(luò)。 事后與運(yùn)營商維護(hù)人員溝通：他們只是通過打環(huán)路來測試線路的通斷，并沒有采用誤碼測試儀來測試電路的質(zhì)量。 該信息一定程度誤導(dǎo)了故障的處理進(jìn)程。,故障處理過程的干擾,課程內(nèi)容,第一章 XX保險(xiǎn)故障現(xiàn)象 第二章 故障處理過程 第三章 經(jīng)驗(yàn)總結(jié),27,28,故障處理技能的培養(yǎng)包括以下方面： 加強(qiáng)技術(shù)理解 對協(xié)議準(zhǔn)確而深入的理解有助于快速確定故障原因，并能夠減少和避免由于網(wǎng)