問題描述

某局點電多條ces業(yè)務(wù)經(jīng)常夜間中斷，其中一條中斷最為頻繁的業(yè)務(wù)組網(wǎng)如下：

該條業(yè)務(wù)每天下午6、7點鐘開始中斷，中斷時無任何人為操作，持續(xù)幾個小時后自動恢復(fù)。

處理過程

1、網(wǎng)管查詢傳輸鏈路配置和狀態(tài)，發(fā)現(xiàn)：

1）115號站點OSN3500和158號OSN550時鐘通過同步以太跟蹤到100號OSN7500II，100號OSN7500II跟蹤外部時鐘源；但兩端用戶設(shè)備沒法設(shè)置跟蹤傳輸?shù)臅r鐘跟蹤。

2）58號OSN550有少量buffer下溢記錄，懷疑和用戶設(shè)備沒有跟蹤到傳輸?shù)臅r鐘相關(guān)，但數(shù)量較少，不可能是業(yè)務(wù)每天夜里中斷幾個小時的原因。

3）115號站點OSN3500 E1端口24小時歷史性能，發(fā)現(xiàn)19-md75-23和其它幾個端口都有大量誤碼上報。

進一步查詢歷史性能發(fā)現(xiàn)，誤碼只在夜間產(chǎn)生，白天正常沒有誤碼。而且誤碼秒時間有6個小時左右，和業(yè)務(wù)中斷時間比較吻合。

2、將業(yè)務(wù)斷開，一端環(huán)回，一端掛儀表（CMA3000）測試，測試時間為下午3:30到第二天上午8:30，測試時間覆蓋夜間業(yè)務(wù)中斷時間，發(fā)現(xiàn)無業(yè)務(wù)長斷情況出現(xiàn)。說明至少網(wǎng)絡(luò)側(cè)工作正常。

3、客戶排查其它業(yè)務(wù)情況，發(fā)現(xiàn)農(nóng)發(fā)行業(yè)務(wù)、財務(wù)專網(wǎng)業(yè)務(wù)等也都存在晚上6、7點鐘開始中斷的情況，只是因為這些業(yè)務(wù)的客戶側(cè)終端設(shè)備都不是24小時開機，所以沒有上報每天中斷的故障。

而這些中斷的業(yè)務(wù)全部都是經(jīng)過158號網(wǎng)元OSN3500 19-md75傳輸?shù)模?/p>

19-md75-18 業(yè)務(wù)1

19-md75-20 業(yè)務(wù)2

19-md75-21 業(yè)務(wù)3

19-md75-22 業(yè)務(wù)4

19-md75-23 掛表測試業(yè)務(wù)

19-md75-1到19-md75-10 其它業(yè)務(wù)

這些端口出來之后，就分別接不同的光電轉(zhuǎn)換器或協(xié)議轉(zhuǎn)換器（都在158號網(wǎng)元機房），之后通過光纖拉遠到不同的客戶機房。

至此，問題基本鎖定在158號網(wǎng)元機房。

4、在雷達站業(yè)務(wù)中斷的時間，做了以下測試：

1）158號網(wǎng)元OSN3500 19-md75-23端口軟件外環(huán)，此時158號網(wǎng)元用戶機房終端“信號丟失”故障燈仍然長亮；但將與此端口對接的光電轉(zhuǎn)換器電纜環(huán)回，故障燈滅。說明故障出在158號網(wǎng)元3500 19-md75-23端口以及與其對接的光電轉(zhuǎn)換器之間。

2）故障時19-md75-23和光電轉(zhuǎn)換器上都有誤碼指示，但兩端分別通過E1電纜環(huán)回后，兩端誤碼都會消失。調(diào)整傳輸上ces業(yè)務(wù)端口，從19-md75-23調(diào)整到19-md75-1，故障未消失；更換光電轉(zhuǎn)換器的E1端口，故障未消失；兩端設(shè)備分別掉電重啟，故障也未消失。說明并不是某一端設(shè)備故障導(dǎo)致的誤碼。

3）分別將19-md75接入業(yè)務(wù)的各E1端口拔掉，發(fā)現(xiàn)其它端口誤碼情況并沒有明顯好轉(zhuǎn)。說明誤碼并不是某一路遠端設(shè)備的干擾引入的。

從以上測試結(jié)果和故障現(xiàn)象分析，懷疑158號網(wǎng)元機房供電、接地問題或外部干擾導(dǎo)致此故障發(fā)生。

5、實地觀察158號網(wǎng)元機房周邊環(huán)境，發(fā)現(xiàn)：

1）雖然附近存在多個通信基站、大型戶外照明廣告牌以及市電變壓器等設(shè)備，但沒有發(fā)現(xiàn)和故障時間完全吻合的干擾源。儀表也未檢測出故障前后無線電干擾的明顯變化。外部干擾源無法明確。

2）市電供電情況，白天一直穩(wěn)定在233V左右，但下午6、7點用電高峰開始，電壓會有明顯的升高，最高可到達240V。比機房UPS輸出的穩(wěn)定在220V左右的電壓高出許多。

3）OSN3500接地線接往UPS電源，與3500 E1端口對接的各個光電轉(zhuǎn)換器和協(xié)議轉(zhuǎn)換器的三相市電插頭直接插接線板，各接線板地線也最終接往UPS電源。但UPS地線從機房出來后懸空，沒有真正接地。

從上述機房環(huán)境來看，機房未接地是最大的疑點。

6、機房接地后，觀察7天，發(fā)現(xiàn)之前每天中斷的雷達站業(yè)務(wù)沒再出現(xiàn)中斷情況，158號網(wǎng)元OSN3500各E1端口也沒再出現(xiàn)誤碼記錄，確認問題解決。

根因

施工不規(guī)范造成158號網(wǎng)元OSN3500設(shè)備和對接設(shè)備均沒有接地導(dǎo)致問題發(fā)生。

解決方案

將設(shè)備接地按照規(guī)范連接地排。

建議與總結(jié)

CES業(yè)務(wù)或者分組業(yè)務(wù)如果遇到一些規(guī)律性的誤碼又無法找到問題原因時建議先找到中斷業(yè)務(wù)的共性首先排查時鐘跟蹤和機房接地。