檢查發現監聽異常
C:\Users\Administrator>crsctl status res -t
NAME TARGET STATE SERVER STATE_DETAILS
Local Resources
ora.DATA.dg
ONLINE ONLINE rac2
ora.LISTENER.lsnr
ONLINE INTERMEDIATE rac2 Not All Endpoints R
egistered
ora.asm
ONLINE ONLINE rac2 Started
ora.gsd
OFFLINE OFFLINE rac2
ora.net1.network
ONLINE ONLINE rac2
ora.ons
ONLINE ONLINE rac2
ora.registry.acfs
ONLINE ONLINE rac2
Cluster Resources
ora.LISTENER_SCAN1.lsnr
1 ONLINE INTERMEDIATE rac2 Not All Endpoints R
egistered
ora.cvu
1 ONLINE ONLINE rac2
ora.oc4j
1 ONLINE ONLINE rac2
ora.rac.db
1 ONLINE ONLINE rac2 Open
2 ONLINE OFFLINE
ora.rac1.vip
1 ONLINE OFFLINE
ora.rac2.vip
1 ONLINE OFFLINE
ora.scan1.vip
1 ONLINE OFFLINE
C:\Users\Administrator>lsnrctl status
LSNRCTL for 64-bit Windows: Version 11.2.0.3.0 - Production on 12-6月 -2015 15:50:43
Copyright (c) 1991, 2011, Oracle. All rights reserved.
正在連接到 (ADDRESS=(PROTOCOL=tcp)(HOST=)(PORT=1521))
LISTENER 的 STATUS
別名 LISTENER
版本 TNSLSNR for 64-bit Windows: Version 11.2.0.3.0 - Production
啓動日期 12-6月 -2015 15:31:30
正常運行時間 0 天 0 小時 19 分 20 秒
跟蹤級別 off
安全性 ON: Local OS Authentication
SNMP OFF
監聽程序參數文件 D:\app\11.2.0\grid\network\admin\listener.ora
監聽程序日誌文件 D:\app\11.2.0\grid\log\diag\tnslsnr\rac2\listener\alert\log.xml
監聽端點概要...
(DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(PIPENAME=\.\pipe\LISTENERipc)))
(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=10.63.64.70)(PORT=1521)))
監聽程序不支持服務
命令執行成功
通過這裏可以看到LISTENER和LISTENER_SCAN1爲Not All Endpoints Registered狀態，而且這個RAC只有一個節點rac2,rac1節點未加入到集羣中.進一步檢查IP和hosts文件
C:\Users\Administrator>ipconfig -all
Windows IP 配置
主機名 . . . . . . . . . . . . . : rac2
主 DNS 後綴 . . . . . . . . . . . :
節點類型 . . . . . . . . . . . . : 混合
IP 路由已啓用 . . . . . . . . . . : 否
WINS 代理已啓用 . . . . . . . . . : 否
以太網適配器 pub:
連接特定的 DNS 後綴 . . . . . . . :
描述. . . . . . . . . . . . . . . : Intel(R) 82576 Gigabit Dual Port Network Connection #2
物理地址. . . . . . . . . . . . . : 00-25-90-5A-0F-47
DHCP 已啓用 . . . . . . . . . . . : 否
自動配置已啓用. . . . . . . . . . : 是
本地鏈接 IPv6 地址. . . . . . . . : fe80::c5ef:663f:7333:45f2%12(首選)
IPv4 地址 . . . . . . . . . . . . : 10.63.64.70(首選)
子網掩碼 . . . . . . . . . . . . : 255.255.255.192
默認網關. . . . . . . . . . . . . : 10.63.64.126
DHCPv6 IAID . . . . . . . . . . . : 301999504
DHCPv6 客戶端 DUID . . . . . . . : 00-01-00-01-1A-5C-19-A1-00-25-90-5A-0F-46
DNS 服務器 . . . . . . . . . . . : 218.30.19.40
TCPIP 上的 NetBIOS . . . . . . . : 已啓用
以太網適配器 priv:
連接特定的 DNS 後綴 . . . . . . . :
描述. . . . . . . . . . . . . . . : Intel(R) 82576 Gigabit Dual Port Network Connection
物理地址. . . . . . . . . . . . . : 00-25-90-5A-0F-46
DHCP 已啓用 . . . . . . . . . . . : 否
自動配置已啓用. . . . . . . . . . : 是
本地鏈接 IPv6 地址. . . . . . . . : fe80::c88d:78ff:d2e8:bde1%11(首選)
IPv4 地址 . . . . . . . . . . . . : 10.10.1.2(首選)
子網掩碼 . . . . . . . . . . . . : 255.255.255.0
默認網關. . . . . . . . . . . . . :
DHCPv6 IAID . . . . . . . . . . . : 234890640
DHCPv6 客戶端 DUID . . . . . . . : 00-01-00-01-1A-5C-19-A1-00-25-90-5A-0F-46
DNS 服務器 . . . . . . . . . . . : fec0:0:0:ffff::1%1
fec0:0:0:ffff::2%1
fec0:0:0:ffff::3%1
TCPIP 上的 NetBIOS . . . . . . . : 已啓用
--hosts文件
10.63.64.69 rac1
10.63.64.70 rac2
10.63.64.71 rac1-vip
10.63.64.72 rac2-vip
10.63.64.73 scan-cluster
10.10.1.1 rac1-priv
10.10.1.2 rac2-priv
這裏可以看到主機之上的pub網卡只有一個ip 10.63.64.70，不太符合我們對rac的理解(一般來說其上應該有vip,部分情況下甚至可能有scan ip),嘗試ping vip和scan ip
C:\Users\Administrator>ping 10.63.64.72
正在 Ping 10.63.64.72 具有 32 字節的數據:
來自 10.63.64.72 的回覆: 字節=32 時間<1ms TTL=128
來自 10.63.64.72 的回覆: 字節=32 時間<1ms TTL=128
來自 10.63.64.72 的回覆: 字節=32 時間<1ms TTL=128
10.63.64.72 的 Ping 統計信息:
數據包: 已發送 = 3，已接收 = 3，丟失 = 0 (0% 丟失)，
往返行程的估計時間(以毫秒爲單位):
最短 = 0ms，最長 = 0ms，平均 = 0ms
Control-C
^C
C:\Users\Administrator>ping 10.63.64.73
正在 Ping 10.63.64.73 具有 32 字節的數據:
來自 10.63.64.73 的回覆: 字節=32 時間<1ms TTL=128
來自 10.63.64.73 的回覆: 字節=32 時間<1ms TTL=128
來自 10.63.64.73 的回覆: 字節=32 時間<1ms TTL=128
10.63.64.73 的 Ping 統計信息:
數據包: 已發送 = 3，已接收 = 3，丟失 = 0 (0% 丟失)，
往返行程的估計時間(以毫秒爲單位):
最短 = 0ms，最長 = 0ms，平均 = 0ms
這裏發現一個異常問題：crs顯示只有rac2在集羣之中,而該主機ip中又不存在vip和scan ip屬於異常情況,但是這兩個ip又可以ping通,基於這樣情況,我第一反應就是vip和scanip可能飄到rac1中了，而rac1又未正常加入到crs中(因爲這個庫以前處理過,由於rac1的hba卡有問題,數據庫無法正常啓動,crs起來也無法提供工作),檢查rac1機器情況
C:\Users\Administrator>crsctl status res -t
CRS-4535: 無法與集羣就緒服務通信
CRS-4000: 命令 Status 失敗, 或已完成但出現錯誤。
C:\Users\Administrator>crsctl status res -t -init
NAME TARGET STATE SERVER STATE_DETAILS
Cluster Resources
ora.asm
1 ONLINE ONLINE rac1 Started
ora.crf
1 ONLINE ONLINE rac1
ora.crsd
1 ONLINE OFFLINE
ora.cssd
1 ONLINE ONLINE rac1
ora.cssdmonitor
1 ONLINE ONLINE rac1
ora.ctssd
1 ONLINE ONLINE rac1 OBSERVER
ora.drivers.acfs
1 ONLINE ONLINE rac1
ora.evmd
1 ONLINE ONLINE rac1
ora.gipcd
1 ONLINE ONLINE rac1
ora.gpnpd
1 ONLINE ONLINE rac1
ora.mdnsd
1 ONLINE ONLINE rac1
以太網適配器 pub:
連接特定的 DNS 後綴 . . . . . . . :
描述. . . . . . . . . . . . . . . : Intel(R) 82576 Gigabit Dual Port Network Connection
物理地址. . . . . . . . . . . . . : 00-25-90-5A-0E-E7
DHCP 已啓用 . . . . . . . . . . . : 否
自動配置已啓用. . . . . . . . . . : 是
本地鏈接 IPv6 地址. . . . . . . . : fe80::409d:8c2e:446b:af42%11(首選)
IPv4 地址 . . . . . . . . . . . . : 10.63.64.69(首選)
子網掩碼 . . . . . . . . . . . . : 255.255.255.192
IPv4 地址 . . . . . . . . . . . . : 10.63.64.71(首選)
子網掩碼 . . . . . . . . . . . . : 255.255.255.192
IPv4 地址 . . . . . . . . . . . . : 10.63.64.72(首選)
子網掩碼 . . . . . . . . . . . . : 255.255.255.192
IPv4 地址 . . . . . . . . . . . . : 10.63.64.73(首選)
子網掩碼 . . . . . . . . . . . . : 255.255.255.192
默認網關. . . . . . . . . . . . . : 10.63.64.126
DHCPv6 IAID . . . . . . . . . . . : 234890640
DHCPv6 客戶端 DUID . . . . . . . : 00-01-00-01-1A-5C-19-0A-00-25-90-5A-0E-E7
DNS 服務器 . . . . . . . . . . . : 8.8.8.8
TCPIP 上的 NetBIOS . . . . . . . : 已啓用
以太網適配器 priv:
連接特定的 DNS 後綴 . . . . . . . :
描述. . . . . . . . . . . . . . . : Intel(R) 82576 Gigabit Dual Port Network Connection #2
物理地址. . . . . . . . . . . . . : 00-25-90-5A-0E-E6
DHCP 已啓用 . . . . . . . . . . . : 否
自動配置已啓用. . . . . . . . . . : 是
本地鏈接 IPv6 地址. . . . . . . . : fe80::154:dad7:f9e3:bea3%13(首選)
IPv4 地址 . . . . . . . . . . . . : 10.10.1.1(首選)
子網掩碼 . . . . . . . . . . . . : 255.255.255.0
默認網關. . . . . . . . . . . . . :
DHCPv6 IAID . . . . . . . . . . . : 301999504
DHCPv6 客戶端 DUID . . . . . . . : 00-01-00-01-1A-5C-19-0A-00-25-90-5A-0E-E7
DNS 服務器 . . . . . . . . . . . : fec0:0:0:ffff::1%1
fec0:0:0:ffff::2%1
fec0:0:0:ffff::3%1
TCPIP 上的 NetBIOS . . . . . . . : 已啓用
果然這裏rac2的vip和scan ip都漂到rac1中,但是crs狀態屬於不正常情況,由於rac1無法正常使用,關閉該主機,並重啓rac2(由於rac2處於異常情況無法正常工作),後續rac2恢復正常
C:\Users\Administrator>crsctl status res -t
NAME TARGET STATE SERVER STATE_DETAILS
Local Resources
ora.DATA.dg
ONLINE ONLINE rac2
ora.LISTENER.lsnr
ONLINE ONLINE rac2
ora.asm
ONLINE ONLINE rac2 Started
ora.gsd
OFFLINE OFFLINE rac2
ora.net1.network
ONLINE ONLINE rac2
ora.ons
ONLINE ONLINE rac2
ora.registry.acfs
ONLINE ONLINE rac2
Cluster Resources
ora.LISTENER_SCAN1.lsnr
1 ONLINE ONLINE rac2
ora.cvu
1 ONLINE ONLINE rac2
ora.oc4j
1 ONLINE ONLINE rac2
ora.rac.db
1 OFFLINE OFFLINE Instance Shutdown
2 ONLINE ONLINE rac2 Open
ora.rac1.vip
1 ONLINE INTERMEDIATE rac2 FAILED OVER
ora.rac2.vip
1 ONLINE ONLINE rac2
ora.scan1.vip
1 ONLINE ONLINE rac2
C:\Users\Administrator>lsnrctl status
LSNRCTL for 64-bit Windows: Version 11.2.0.3.0 - Production on 12-6月 -2015 17:02:46
Copyright (c) 1991, 2011, Oracle. All rights reserved.
正在連接到 (ADDRESS=(PROTOCOL=tcp)(HOST=)(PORT=1521))
LISTENER 的 STATUS
別名 LISTENER
版本 TNSLSNR for 64-bit Windows: Version 11.2.0.3.0 - Production
啓動日期 12-6月 -2015 16:44:43
正常運行時間 0 天 0 小時 18 分 3 秒
跟蹤級別 off
安全性 ON: Local OS Authentication
SNMP OFF
監聽程序參數文件 D:\app\11.2.0\grid\network\admin\listener.ora
監聽程序日誌文件 D:\app\11.2.0\grid\log\diag\tnslsnr\rac2\listener\alert\log.xml
監聽端點概要...
(DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(PIPENAME=\.\pipe\LISTENERipc)))
(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=10.63.64.70)(PORT=1521)))
(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=10.63.64.72)(PORT=1521)))
服務摘要..
服務 "+ASM" 包含 1 個實例。
實例 "+asm2", 狀態 READY, 包含此服務的 1 個處理程序...
服務 "rac" 包含 1 個實例。
實例 "rac2", 狀態 READY, 包含此服務的 1 個處理程序...
服務 "racXDB" 包含 1 個實例。
實例 "rac2", 狀態 READY, 包含此服務的 1 個處理程序...
命令執行成功
出現該問題的原因至此可以總結出來：由於rac1和rac2的集羣處於異常狀態,rac1持有了vip和scan ip,但是又未正常加入crs,導致rac2無法獲得vip和scan ip,從而使得LISTENER和LISTENER_SCAN1爲Not All Endpoints Registered狀態.另外對於不能正常工作的集羣節點,建議關閉crs,甚至可以考慮關閉主機,減少異常節點對正常節點的影響.關於該類問題的分析,可以從Scan Listener In INTERMEDIATE Mode Not All Endpoints Registered (Doc ID 1667873.1)中找到依據,證明是由於IP被佔用導致