Oracle10g RAC 刪除節點實驗操作總結
目 錄
一. DBCA刪除dbi節點的Database實例... 4
1.1、 檢查刪除dbi節點的wxxrdb3實例前的crs_stat -t -v 狀態... 4
1.3、 用Xmanager連上dbp節點，執行dbca命令刪除dbi節點上的數據庫實例... 4
4.1、在保留的任意一個結點上執行如下命令，更新$ORACLE_HOME的Oracle Inventory 17
4.2、在要被刪除的節點（dbi）上執行下列命令，同樣是更新$ORACLE_HOME的Oracle Inventory. 17
6.1、在要刪除的dbi節點上用root用戶執行$CRS_HOME/install/rootdelete.sh腳本刪除dbi節點的集羣應用... 24
6.2、更新$CRS_HOME的Oracle Inventory. 27
RAC物理結構
現在的RAC環境是三個節點： dbp,dbs,dbi。這個實驗就是刪除節點dbi。
dbp，dbs和dbi節點的信息規劃如下：
|
服務器主機名 |
dbp |
dbs |
dbi |
|
公共IP地址（eth0） |
192.168.123.154 |
192.168.123.155 |
192.168.123.156 |
|
虛擬IP地址（eth0） |
192.168.123.130 |
192.168.123.131 |
192.168.123.132 |
|
私有IP地址（eth1） |
10.0.0.154 |
10.0.0.155 |
10.0.0.156 |
|
ORACLE RAC SID |
wxxrdb1 |
wxxrdb2 |
wxxrdb3 |
|
集羣實例名稱 |
crs(查看命令$CRS_HOME/bin/cemutlo -n) |
||
|
集羣件和數據庫軟件版本 |
10.2.0.1.0 (x86_64) |
||
|
操作系統版本 |
Red Hat Enterprise Linux Server release 5.6 (x86_64) |
||
|
OCR(oracle集羣註冊表) |
/dev/raw/raw1 /dev/sdb1 300M 1、$CRS_HOME/bin/ocrcheck 2、根據上述步驟1查到裸設備後，再執行 raw -q /dev/raw/raw1 查得裸設備的major和minor號後，再根據以下查ASM設備的方法查得對應的塊設備和計算大小。 |
||
|
表決磁盤（voting disk） |
/dev/raw/raw2 /dev/sdb2 300M 查看命令： 1、$CRS_HOME/bin/crsctl query css votedisk 2、根據上述步驟1查到裸設備後，再執行 raw -q /dev/raw/raw2 查得裸設備的major和minor號後，再根據以下查ASM設備的方法查得對應的塊設備和計算大小。 |
||
|
ASM |
ASM_diskname:VOL1 For_DG:+DATA Blockdev_name:/dev/sdc1 容量：6G ASM_diskname:VOL2 For_DG:+RECOVERY Blockdev_name:/dev/sdd1 容量：6G ASM_diskname: ARCH_DISK1 For_DG:+ARCH Blockdev_name:/dev/sdd2 容量：5G ASM_diskname: ARCH_DISK2 For_DG:+ARCH Blockdev_name:/dev/sdd3 容量：5G
檢查方法： 1、 oracleasm listdisks 查到所有的ASM diskname 2、 ls -ltr /dev/oracleasm/disks/VOL1 brw-rw---- 1 oracle dba 8, 33 02-12 00:16 /dev/oracleasm/disks/VOL1 查到VOL1的major是8，minor 是33 3、[root@dbp dev]# ls -ltr /dev | grep "8,.*33" brw-r----- 1 root disk 8, 33 2016-02-12 sdc1 根據VOL1的major和minor號查到的塊設備是/dev/sdc1 3、 查看 /dev/sdc1 的大小： fdisk -l /dev/sdc1 或 blockdev --getsize /dev/sdc1 查得塊數，再乘以512(OS塊大小)/1024/1024/1024 上述兩個命令計算的大小有差異，fdisk -l命令計算的大小比 blockdev命令計算的大，但blockdev命令計算的大小和v$asm_disk.total_mb 一樣差不多。 4、 查看 ASM disk所屬的DG(Disk Group)： select asmdg.name,asmd.group_number,asmd.path,asmd.total_mb,asmd.free_mb from v$asm_disk asmd,v$asm_diskgroup asmdg where asmd.group_number=asmdg.group_number; |
||
|
數據庫備份 |
無 |
||
刪除RAC節點遵循的步驟如下：
1、刪除數據庫實例
2、刪除ASM實例
3、刪除節點
一. DBCA刪除dbi節點的Database實例
1.1、 檢查刪除dbi節點的wxxrdb3實例前的crs_stat -t -v 狀態
1.2、 先停掉RAC 上的dbi節點實例的服務
[oracle@dbp tmp] $ srvctl stop instance -d wxxrdb -i wxxrdb3
或
[oracle@dbp tmp] $ crs_stop -f ora.wxxrdb.wxxrdb3.inst ## -f參數，強制停止CRS資源服務
1.3、 用Xmanager連上dbp節點，執行dbca命令刪除dbi節點上的數據庫實例
可以通過以下兩種方式刪除數據庫實例：
1）、通過DBCA圖形界面操作刪除數據庫實例：
[oracle@dbp tmp] $ export DISPLAY=192.168.123.1:0.0
[oracle@dbp tmp] $ dbca
選擇”Oracle Real Application Clusters database”，然後點擊”Next”
選擇”Instance Management”，然後點擊”Next”
選擇”Delete instance”，然後點擊”Next”
選擇數據庫，輸入sys用戶和密碼，然後點擊”Next”
選擇要刪除的實例，因爲執行dbca之前，已經把dbi節點的wxxrdb3實例關閉了，所以這時wxxrdb3實例的狀態是inactive（非活動），然後點擊”Next”，再點擊”Finish”
點擊”OK”
點擊”OK”
開始刪除數據庫實例
2）、通過dbca命令的靜默參數模式刪除數據庫實例：
[oracle@dbi tmp]$ dbca -silent -deleteInstance
[-nodeListdbi] -gdbName wxxrdb -instanceName wxxrdb3 -sysDBAUserName sys-sysDBAPassword caserver
##-nodeList 參數是可選項，可不加此參數
執行結果如下：
[oracle@dbp tmp]$ dbca -silent -deleteInstance -gdbNamewxxrdb -instanceName wxxrdb3 -sysDBAUserName sys -sysDBAPassword caserver
Deleting instance
20% complete
21% complete
100% complete
Look at the log file"/oracle/product/database/cfgtoollogs/dbca/silent.log"for further details. ##詳細情況可以查看這個日誌文件。
1.4、 刪除dbi節點的數據庫實例後檢查
執行上述步驟刪除數據庫實例後，執行crs_stat -t -v 命令檢查發現dbi節點的wxxrdb3實例已經刪除，但是dbi節點的其它CRS資源，如asm，listener，gsd，ons，vip還沒有刪除：
所以還得繼續以下的步驟。
注意：通過以上兩種方式刪除數據庫實例後，OCR中關於該數據庫實例的信息也會自動刪除，不用再通過crs_unregister ora.wxxrdb.wxxrdb3.inst 命令手工刪除，否則會報找不到該資源的錯誤，如下：
[oracle@dbp dbca]$ crs_unregister ora.wxxrdb.wxxrdb3.inst
CRS-0210: Could not findresource 'ora.wxxrdb.wxxrdb3.inst'.
二、 刪除dbi節點ASM實例
2.1、執行以下命令刪除dbi節點的ASM實例
[oracle@dbp dbca]$ srvctl stop asm -n dbi ##先停止dbi節點的ASM實例
[oracle@dbp dbca]$ srvctl remove asm -n dbi ##再刪除dbi節點的ASM實例
注意：通過以上方式刪除ASM實例後，OCR中關於該ASM實例的信息也會自動刪除，不用再通過crs_unregister ora.dbi.ASM3.asm 命令手工刪除，否則會報找不到該資源的錯誤，如下：
[oracle@dbp dbca]$ crs_unregister ora.dbi.ASM3.asm
CRS-0210: Could not findresource 'ora.dbi.ASM3.asm'.
2.2、刪除dbi節點上ASM實例的相關目錄
刪除dbi節點上/etc/oratab文件中對應的ASM實例信息：
[oracle@dbi wxxrdb]$ vi /etc/oratab
+ASM3:/oracle/product/database:N ##刪除掉這一行
wxxrdb:/oracle/product/database:N
刪除dbi節點上$ORACLE_BASE/admin/+ASM目錄：
[oracle@dbi oracle]$ rm -rf $ORACLE_BASE/admin/+ASM
刪除dbi節點上$ORACLE_HOME/dbs下面與asm有關的文件：
[oracle@dbi dbs]$ rm -rf $ORACLE_HOME/dbs/*+ASM*
2.3、刪除dbi節點的ASM實例後檢查
執行crs_stat -t -v 命令後，可以看到dbi節點的ASM實例對應的CRS資源 ora.dbi.ASM3.asm 已經刪除，但dbi節點的listener，gsd，ons，vip的CRS資源還沒有刪除：
所以還得繼續以下的步驟。
三、 刪除dbi節點的數據庫監聽器
3.1、執行以下命令刪除dbi節點的監聽器
[oracle@dbp tmp]$ export DISPLAY=192.168.123.1:0.0
[oracle@dbp tmp]$ netca
選擇”Cluster configuration”，然後點擊”Next”
選擇要刪除監聽器的節點，然後點擊”Next”
選擇”Listener configuration”，然後點擊”Next”
選擇”Delete”，然後點擊”Next”
選擇要刪除的監聽器名字，然後點擊”Next”。如果這個dbi節點存在有多個監聽器，則重複上述步驟，逐個刪除。
點擊”Yes”，確認刪除。
監聽器已經刪除，點擊”Next”，然後再點擊”Finish”退出。
3.2、刪除dbi節點的監聽器後檢查
執行crs_stat -t -v 命令後，可以看到dbi節點的監聽器對應的CRS資源ora.dbi.LISTENER_DBI.lsnr 已經刪除，但dbi節點的gsd，ons，vip的CRS資源還沒有刪除：
所以還得繼續以下的步驟。
四、 刪除dbi節點的數據庫軟件
4.1、在保留的任意一個結點上執行如下命令，更新$ORACLE_HOME的Oracle Inventory
[oracle@dbp tmp]$ export DISPLAY=192.168.123.1:0.0
[oracle@dbp tmp]$ $ORACLE_HOME/oui/bin/runInstaller-updateNodeList ORACLE_HOME=$ORACLE_HOME "CLUSTER_NODES=dbp,dbs" ##這裏的CLUSTER_NODES參數表示要保留（即不刪除）的節點
Starting Oracle Universal Installer...
No pre-requisite checks found in oraparam.ini, no systempre-requisite checks will be executed.
'UpdateNodeList' was successful.
4.2、在要被刪除的節點（dbi）上執行下列命令，同樣是更新$ORACLE_HOME的Oracle Inventory
[oracle@dbi tmp]$ export DISPLAY=192.168.123.1:0.0
[oracle@dbi tmp]$ $ORACLE_HOME/oui/bin/runInstaller-updateNodeList ORACLE_HOME=$ORACLE_HOME "CLUSTER_NODES=dbi" -local ##這裏的CLUSTER_NODES參數表示要刪除（即不保留）的節點
Starting Oracle Universal Installer...
No pre-requisite checks found in oraparam.ini, no systempre-requisite checks will be executed.
'UpdateNodeList' was successful.
4.3、刪除dbi節點上的數據庫軟件
可以通過以下兩種方式刪除數據庫軟件：
1）、通過runInstaller程序的圖形界面刪除數據庫軟件：
在要刪除的dbi節點上執行：
[oracle@dbi tmp]$ export DISPLAY=192.168.123.1:0.0
[oracle@dbi tmp]$ $ORACLE_HOME/oui/bin/runInstaller-deinstall
這裏先勾選數據庫軟件的ORACLE_HOME，然後點擊”Remove”進行刪除，集羣軟件的CRS_HOME在之後再勾選刪除，現在先不用勾選
點擊”Yes”，確認刪除這些數據庫軟件組件
開始刪除數據庫軟件
數據庫軟件刪除完成，點擊”Close”退出
1）、通過runInstaller程序的靜默參數模式刪除數據庫軟件：
[oracle@dbi tmp]$ $ORACLE_HOME/oui/bin/runInstaller-deinstall -silent "REMOVE_HOMES={ ORACLE_HOME }"
注意：這裏的REMOVE_HOMES指的是Oracle軟件所在目錄的名字，不一定是指$ORACLE_HOME環境變量，當然Oracle軟件所在目錄的名字是在安裝Oracle軟件時指定的，其名字也可以定義爲ORACLE_HOME，本例Oracle軟件所在目錄的名字就是ORACLE_HOME，所以REMOVE_HOMES參數值指定爲ORACLE_HOME（這裏不帶$符號，不是指$ORACLE_HOME環境變量）
4.4、刪除dbi節點的數據庫軟件後檢查
檢查發現：
1）、dbi節點上的$ORACLE_HOME目錄下的很多目錄和文件都已經刪除，剩餘的目錄文件如下：
[oracle@dbidatabase]$ ls -ltr $ORACLE_HOME
total 64
drwxr-xr-t 4 oracledba 4096 Feb 14 21:17 log
drwxr----- 3 oracledba 4096 Feb 15 03:29 dbp_wxxrdb1
drwxr----- 3 oracledba 4096 Feb 15 03:30 dbs_wxxrdb2
drwxr-xr-x 3 oracledba 4096 Feb 15 03:30 dbi_wxxrdb3
-rw-r----- 1 oracledba 16733 Feb 15 03:32 sqlnet.log
drwxr-x--- 2 oracledba 4096 Feb 16 02:23 dbs
drwxr-x--- 3 oracledba 4096 Feb 16 02:23 ctx
drwxr-x--- 3 oracledba 4096 Feb 16 02:23 racg
drwxr-x--- 2 oracledba 4096 Feb 16 02:23 lib32
drwxr-x--- 2 oracledba 12288 Feb 16 02:23 lib
另，刪除數據庫軟件後，在執行刪除數據庫軟件命令:$ORACLE_HOME/oui/bin/runInstaller–deinstall 的目錄下
會生成一個名爲deinstall_dbsoft 的文件，裏面記錄了刪除的數據庫組件，如下：
2）、/etc/oratab文件中關於oracle數據庫軟件安裝路徑($ORACLE_HOME)的條目也已經刪除，文件內容爲空：
[oracle@dbidatabase]$ cat /etc/oratab | grep -v"^#"
[oracle@dbidatabase]$
注意：如果dbi該服務器沒有安裝到其它的Oracle數據庫軟件，或不打算作爲Oracle數據庫服務器的話，可以將/etc/oratab文件刪除，如果該主機還有其它數據庫軟件運行的話，不能刪除，否則會影響其它數據庫的運行。
3）、執行crs_stat -t -v，顯示dbi節點的CRS資源gsd，ons，vip（即nodeapps資源）還沒有刪除：
所以還得繼續以下的步驟。
五、 刪除dbi節點NodeApps
5.1、刪除dbi節點的NodeApps
在任一節點上執行（最好在要保留的節點）：
[oracle@dbp tmp]$ srvctl stop nodeapps -n dbi ##停止CRS資源nodeapps
CRS-0210: Could not findresource 'ora.dbi.LISTENER_DBI.lsnr'. ##dbi節點的監聽器在之前已經刪除，這個報錯不用理會
使用root用戶執行刪除nodeapps資源：
[root@dbp tmp]# /oracle/product/crs/bin/srvctl remove nodeapps -n dbi
請確認要刪除節點 dbi 上的節點級應用程序 (y/[n]) y
5.2、刪除dbi節點的NodeApps後檢查
執行crs_stat -t -v 命令，發現OCR中dbi節點的nodeapps資源(gsd，ons，vip)都已經刪除：
如果發ons資源沒有刪除，側還需要執行以下的步驟：
5.3、刪除dbi節點的ons資源
在保留節點上執行：
[oracle@dbp tmp]$ oifcfg delif -node dbi
在要刪除的節點dbi查詢ons資源服務的端口號：
[oracle@dbi tmp]$ cat $CRS_HOME/opmn/conf/ons.config
localport=6113
remoteport=6200
loglevel=3
useocr=on
在任意保留節點中執行racgons命令，刪除dbi節點的ons配置：
[oracle@dbp tmp]$ $CRS_HOME/bin/racgons remove_configdbi:6200
六、 從集羣中刪除節點dbi
6.1、在要刪除的dbi節點上用root用戶執行$CRS_HOME/install/rootdelete.sh腳本刪除dbi節點的集羣應用
[root@dbi tmp]# /oracle/product/crs/install/rootdelete.sh
CRS-0210: Could not findresource 'ora.dbi.LISTENER_DBI.lsnr'.
CRS-0210: Could not findresource 'ora.dbi.ons'.
CRS-0210: Could not findresource 'ora.dbi.vip'.
CRS-0210: Could not findresource 'ora.dbi.gsd'.
Shutting down OracleCluster Ready Services (CRS):
Stopping resources.
Successfully stoppedCRS resources
Stopping CSSD.
Shutting down CSSdaemon.
Shutdown requestsuccessfully issued.
Shutdown has begun.The daemons should exit soon.
Checking to see if OracleCRS stack is down...
Oracle CRS stack isnot running.
Oracle CRS stack isdown now.
Removing script forOracle Cluster Ready services
Updating ocr file fordowngrade
Cleaning up SCRsettings in '/etc/oracle/scls_scr'
說明：上面報錯的紅色部分的資源在上面的步驟已經刪除，這裏不用理會。
執行完上述操作後，發現dbi節點在集羣中的所有服務資源都已經刪除了，只剩下dbp和dbs節點的服務資源，如下：
在dbi節點都不能執行相關的集羣管理命令了，如下：
6.2、從集羣中刪除dbi節點
在保留節點中用root用戶執行如下命令刪除dbi節點：
[root@dbp tmp]# /oracle/product/crs/install/rootdeletenode.shdbi 3
CRS nodeapps aredeleted successfully
clscfg: EXISTINGconfiguration version 3 detected.
clscfg: version 3 is10G Release 2.
Node deletionoperation successful.
'dbi' deletedsuccessfully
命令格式：
$CRS_HOME/install/rootdeletenode.sh node_name1node1_number,node2 node2_number,..
node_number 可以通過 olsnodes -n -i 命令 獲得：
[oracle@dbp tmp]$ olsnodes -n -i
dbp 1 dbp-vip
dbs 2 dbs-vip
dbi 3 <none>
執行完上述刪除dbi節點步驟後，執行 olsnodes -n 命令還是會顯示存在dbi節點：
[oracle@dbp tmp]$olsnodes -n -i
dbp 1 dbp-vip
dbs 2 dbs-vip
dbi 3 <none>
經測試，將命令[root@dbp tmp]# /oracle/product/crs/install/rootdeletenode.sh dbi 3
修改爲 /oracle/product/crs/install/rootdeletenode.shdbi ,3 就可以了（dbi和3之間要加一個,逗號）：
[root@dbp tmp]# /oracle/product/crs/install/rootdeletenode.shdbi,3
CRS nodeapps aredeleted successfully
clscfg: EXISTINGconfiguration version 3 detected.
clscfg: version 3 is10G Release 2.
Successfully deleted 14 valuesfrom OCR.
KeySYSTEM.css.interfaces.nodedbi marked for deletion is not there. Ignoring.
Successfully deleted 5 keys fromOCR.
Node deletionoperation successful.
'dbi,3' deletedsuccessfully
檢查發現dbi (3)節點已經成功刪除了：
[oracle@dbp install]$olsnodes -n -i
dbp 1 dbp-vip
dbs 2 dbs-vip
6.2、更新$CRS_HOME的Oracle Inventory
6.2.1、在保留的任意一個結點上執行如下命令，更新$CRS_HOME的Oracle Inventory
[oracle@dbp tmp]$ export DISPLAY=192.168.123.1:0.0
[oracle@dbp tmp]$ $CRS_HOME/oui/bin/runInstaller-updateNodeList ORACLE_HOME=$CRS_HOME "CLUSTER_NODES=dbp,dbs"CRS=TRUE ##這裏的CLUSTER_NODES參數表示要保留（即不刪除）的節點
Starting Oracle Universal Installer...
No pre-requisite checks found in oraparam.ini, no systempre-requisite checks will be executed.
'UpdateNodeList' was successful.
6.2.2、在要被刪除的節點（dbi）上執行如下命令，同樣是更新$CRS_HOME的Oracle Inventory
[oracle@dbi tmp]$ export DISPLAY=192.168.123.1:0.0
[oracle@dbi tmp]$ $CRS_HOME/oui/bin/runInstaller-updateNodeList ORACLE_HOME=$CRS_HOME "CLUSTER_NODES=dbi" CRS=TRUE-local ##這裏的CLUSTER_NODES參數表示要刪除（即不保留）的節點
Starting Oracle Universal Installer...
No pre-requisite checks found in oraparam.ini, no systempre-requisite checks will be executed.
'UpdateNodeList' was successful.
6.3、在dbi節點上刪除集羣軟件
6.3.1、在dbi節點上執行如下命令刪除集羣軟件
[oracle@dbi tmp]$ export DISPLAY=192.168.123.1:0.0
[oracle@dbi tmp]$ $CRS_HOME/oui/bin/runInstaller -deinstall
勾選”CRS_HOME”，點擊”Remove”
點擊”Yes”，確認刪除這些集羣軟件組件
點擊”Yes”，刪除集羣軟件的同時刪除集羣軟件目錄：/oracle/product/crs
點擊”No”，刪除集羣軟件，但不刪除集羣軟件目錄：/oracle/product/crs
開始執行刪除dbi節點的集羣軟件
dbi節點的集羣軟件已經刪除，點擊”Close”完成退出。
6.3.2、刪除dbi節點的集羣軟件後檢查
在以上倒數第三個截圖中，點擊了”Yes”表示刪除集羣軟件的同時刪除集羣軟件目錄，但刪除集羣軟件後，發現集羣軟件目錄並沒有刪除，dbi節點的$CRS_HOME目錄下的文件和目錄數和保留的dbp和dbs節點一樣，如下：
[oracle@dbi crs]$ ls -ltr $CRS_HOME | wc -l
45
[oracle@dbp tmp]$ ls -ltr $CRS_HOME | wc -l
45
[oracle@dbs tmp]$ ls -ltr $CRS_HOME | wc -l
45
這個不知道爲什麼，可能還是要手工刪除。
6.4、刪除dbi主機上的相關目錄
如果dbi主機上不再存在其它正常運行的Oracle軟件產品，側可以執行以下步驟徹底刪除Oracle軟件，否則以後安裝Oracle數據庫軟件時報錯：
刪除$ORACLE_BASE目錄（包括$ORACLE_HOME，$CRS_HOME和oraInventory目錄等）
刪除 /etc/oraInst.loc文件
刪除 /etc/oratab文件
刪除/usr/local/bin 目錄下的dbhome、coraenv和oraenv 文件
更改/etc/inittab文件，將相關的oracle條目刪除
刪除/var/tmp/.oracle目錄
刪除集羣和數據庫相關的啓動和關閉腳本，比如/etc/init.d/init*，以及/etc/rc?.d/*init.crs等文件，參考命令：
find /etc/rc.d /etc/rc?.d -name "*init*" -o -name"*crs*" -o -name "*css*"
刪除/etc/oracle目錄（該目錄下的ocr.loc文件記錄了OCR存儲的位置）
清除crontab中關於ORACLE的相關任務；
清除oracle用戶下profile中關於Oracle的相關環境變量設置；
刪除 oracleasm 軟件