今天有一臺華爲MA5603T，出現一個奇怪的現象，SSH上去之後不定時中斷，再過一會又能連上，網管通過SNMP監控也隔段時間發出告警，提示設備斷線，而實際上設備一直在線，客戶也沒有收到影響。
排查的過程中，保持一個窗口持續Ping設備管理地址，一直沒有丟包，時延什麼的都很正常。而另一個窗口裏traceroute有時可達，有時在最後一跳，就是直連的路由器上drop了。
首先懷疑OLT是否有配置或系統問題，登錄到設備上，開始蒐集各種log，需要root登錄
(diagnose)%%scroll
(diagnose)%% undo idle-timeout
(diagnose)%%display time
(diagnose)%%display board 0
(diagnose)%%display patch all
(diagnose)%%display version
(diagnose)%%display cpu 0/6
(diagnose)%%display cpu 0/7
(diagnose)%%display current-configuration
(diagnose)%%display reboot-record active
(diagnose)%%display reboot-record standby
(diagnose)%%display reset-record
(su)%%display lastwords current
(su)%%clear lastwords current
(su)%%ping xx.xx.xx.xx //NMS IP, 10 seconds
(diagnose)%%display event history all
(diagnose)%%display alarm history all
(diagnose)%%display log all
(diagnose)%%display log failure
看了半天並沒有發現什麼問題，把log發給華爲技術支持，也認爲OLT沒有問題，那就再繼續檢查路由器。
登錄上OLT直連的NE05E，同樣，生成診斷報告。BTW，通過軟件蒐集硬件序列號等信息在NE05E路由器上的命令是：
display elabel
生成診斷報告，保存下來，通過tftp下載到本地來檢查
display diagnostic-information dia-info.txt
在診斷報告裏，找到一條告警：
6663/Independent/2019-08-07 19:59:06/-/0x416e2003/hwEthernetARPIPConflictEvent/Warning/Start/OID 1.3.6.1.4.1.2011.5.25.123.2.6 ARP detects IP conflict. (IP address=10.111.32.2, Local interface=Eth-Trunk15, Local MAC=c447-3f52-70c5, Local vlan=69, Local CE vlan=0, Receive interface=Eth-Trunk15, Receive MAC=c0bf-c0e2-c9d5, Receive vlan=69, Receive CE vlan=0, IP conflict type=Remote IP conflict).
這下基本清楚了，地址衝突，現在要找到衝突的這個地址在哪裏。
可以看到，管理地址10.111.32.2運行在vlan69上，客戶流量在另外一個vlan上，所以客戶不會受到影響。而10.111.32.0/24這個私網網段，通過DHCP提供給客戶的ONT管理地址。
地址池配置在NE05E上，檢查一下DHCP 地址池的使用情況：
disp ip pool name pool-10.111.32.0_24 used
發現10.111.32.2這個地址果然在地址池中並且已被佔用。原來地址池裏配置
section 0 10.111.32.2 10.111.32.254
沒有去掉10.111.32.2這個地址，改之。
要更改地址池配置的section，需要先recycle地址池裏所有被佔用的IP地址，然後才允許修改section裏的地址範圍。
改完之後，SSH和SNMP就沒有再出現問題了，看來這就是問題所在。
可以問題又來了，查看了其他路由器的DHCP配置，也有類似問題，其他NE05E地址池也沒有排除OLT的管理地址，爲什麼其他OLT沒有出現地址衝突現象呢？雖然問題解決了，總感覺哪裏還有遺漏了呢？
不由感嘆，運維道路仍然漫長啊。