1預安裝檢查與規劃
本文中有部分截圖沒有正常顯示，請轉至下載中心：http://down.51cto.com/data/1061781
1.1硬件環境
兩臺IBM P740/64GB小機，一臺IBM磁盤陣列（15T）。
1.2下載軟件
本次安裝的集羣與數據庫版本爲11.2.0.4
數據庫包：
p13390677_112040_AIX64-5L_1of7.zip、
p13390677_112040_AIX64-5L_2of7.zip
集羣安裝包
p13390677_112040_AIX64-5L_3of7.zip
安裝包存放位置：/opt/soft
每個安裝包的大表都在2G左右，aix 默認情況下無法上傳大文件，因此在上傳這個大文件之前，需要先修改aix參數限制，否則將無法正常上傳文件。
如下：
修改 /etc/security/limits文件
default:
fsize = -1 -----將此項值設置爲-1，即沒有限制。
core = 2097151
cpu= -1
data = 262144
rss= 65536
stack = 65536
nofiles = 2000
1.3系統硬件環境檢查
Oracle11gR2RAC最低安裝要求：
內存：
安裝grid infrastructure最少需要1.5GB的內存，
安裝grid infrastructure和RAC最少需要2.5GB的內存
swap：最少需要1.5GB
temp：最少1GB
安裝目錄：grid infrastructure+ASM+Clusterware最少需要12GB，
驗證方法：
1、確認內存大小
/usr/sbin/lsattr-E -l sys0 -a realmem
2、確認SWAP空間，最少2G。
/usr/sbin/lsps -a
3、確認/tmp大於1.5GB和/opt目錄空間不小於15GB
4、確認系統結構
/usr/bin/getconfHARDWARE_BITMODE
5、確認系統CPU個數和主頻：
lsdev-C |grep proc
1.4網絡規劃
1.4.1 IP地址要求
服務器 | public-ip | private-vip | vip | scanip |
p740a | 172.29.113.53 | 192.168.10.1 | 172.29.113.41 | 172.29.113.6 |
P740b | 172.29.113.54 | 192.168.10.2 | 172.29.113.61 |
1.4.2 NTP服務器
在安裝過程中，將會把節點一（p740a）作爲時間同步服務器，用做集羣節點間的時間同步服務。
1.5存儲規劃
1.5.1grid、ASM安裝目錄
grid和ASM安裝目錄爲：/opt/11.2.0
1.5.2oracle安裝目錄
Clusterware的安裝目錄爲：/opt/oracle/app/oracle
1.5.3 OCR、VOTE存儲規劃
本方案規劃使用6個3GB的asm磁盤存放OCR、VOTE文件。
存放ocr和vote 的磁盤組將選擇高冗餘度，最低爲需求三快盤，但是由於是存在ocr和vote因此在磁盤需求上，相對於普通磁盤組有些不同，如下：
磁盤的冗餘度不管是外部冗餘還是高冗餘，均可正常存放ocr文件，每個磁盤組存放一份ocr，爲了實現ocr 的多元化存放，可以指定多個磁盤組存放ocr，詳細的存儲狀況，可以使用ocrcheck命令查看。
votedisk的存放yuasm磁盤冗餘度密切相關，如果選擇外部冗餘則只需要存放一份votedisk，如果是普通冗餘則需要存放3份votedisk，如果是高度冗餘則需要存放5份votedisk，我們選擇的是高度冗餘，因此至少需要添加5塊盤，我們添加了6塊盤，多餘的一塊盤作爲備份，查看votedisk的詳細存儲狀況，可以使用以下命令：crsctl query css votedisk;
查詢結果如下：
1.5.4 數據庫存儲規劃
本方案規劃使用三個ASM磁盤用來存放數據庫數據文件兩個asm 磁盤組用來存放歸檔文件和備份文件。
磁盤組名稱 | 冗餘度 | 用途 | 底層raid | 大小（TB） | 備註 |
+ORADATA1 | external | 存放數據文件與ocr | 1 | ||
+ORADATA2 | external | 存放數據文件 | 1 | ||
+ORADATA3 | external | 存放數據文件 | 1 | ||
+ORABAK1 | external | 存放archivelog | 5 | ||
+ORABAK2 | external | 存放rman備份 | 5 | ||
OCRVOTE | high | 存放 | 1 | 共添加6塊磁盤 |
2安裝準備
2.1配置IP地址
在服務器中分別配置public-ip與private-ip。
詳細ip配置信息，請參考IP規劃部分。
2.2修改hosts文件
修改每節點上的/etc/hosts文件，增加以下信息：
172.29.113.53 p740a
172.29.113.54 p740b
172.29.113.41 p740a-vip
172.29.113.61 p740b-vip
192.168.10.1 p740a-priv
192.168.10.2 p740b-priv
172.29.113.6 cluster-scan
2.3安裝操作系統軟件包
2.3.1 安裝FILESETS
AIX6.1需要安裝如下軟件包：
bos.adt.base
bos.adt.lib
bos.adt.libm
bos.perf.libperfstat 6.1.2.1
bos.perf.perfstat
bos.perf.proctools
rsct.basic.rte
rsct.compat.clients.rte
xlC.aix61.rte 10.1.0.0
2.4創建用戶和用戶組
使用smit 工具創建相關用戶與用戶組。
在創建用戶和組時，需要確保手工指定每個用戶和每個組的id號，保整兩個節點的id號和用戶名完全相同。
oracle用戶相關組：
uid=1001(oracle)gid=1000(oinstall) groups=1100(dba),1200(asmdba)
grid用戶相關組：
uid=1011(grid)gid=1000(oinstall) groups=1100(dba),1200(asmdba),1300(asmadmin),1400(asmoper)
2.4.1grid用戶
1、在兩臺主機上要保證grid用戶具有以下能力：
CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM and CAP_PROPAGATE
查看grid用戶能力： # /usr/bin/lsuser -a capabilitiesgrid
2、設置grid用戶密碼： #passwdgrid
3、在兩臺主機上最消grid用戶shell限制
修改/etc/security/limits文件，具體參數如下：
fsize = -1
core = 2097151
cpu = -1 data = -1
rss = -1 stack = -1
nofiles = -1
2.4.2oracle用戶
1、在兩臺主機上要保證oracle用戶具有以下能力：
CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM and CAP_PROPAGATE
查看oracle用戶能力： # /usr/bin/lsuser -acapabilities oracle
2、設置oracle用戶密碼：#passwd oracle
3、在兩臺主機上最消oracle用戶shell限制
修改/etc/security/limits文件，具體參數如下：
fsize = -1
core = 2097151
cpu = -1
data = -1
rss = -1
stack = -1
nofiles = -1
2.4.3root用戶
在兩臺主機上最消root用戶shell限制，修改/etc/security/limits 文件。
具體參數如下：
fsize = -1
core = 2097151
cpu = -1
data = -1
rss = -1
stack = -1
nofiles = -1
2.4.3修改安裝目錄權限
將目錄權限授予對應的用戶，並修改文件系統權限：
將opt目錄授予oinstall 組
chownroot.oinstall /opt
chmod 775 /opt
2.4.4 修改.profile文件
在兩臺服務器的的grid用戶的.profile最後，增加如下內容：
umask022
exportORACLE_BASE=/opt/11.2.0
exportORACLE_HOME=$ORACLE_BASE/grid_1
exportORACLE_SID=+ASM1
exportNLS_LANG=AMERICAN_AMERICA.ZHS16GBK
exportNLS_DATE_FORMAT="yyyy-mm-dd hh24:mi:ss"
exportPATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/bin
exportPATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
exportPATH=${PATH}:$ORACLE_BASE/bin
exportORACLE_PATH=${PATH}:$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/adminexport ORACLE_TERM=xterm
exportTNS_ADMIN=$ORACLE_HOME/network/admin
exportORA_NLS10=$ORACLE_HOME/nls/data
exportLD_LIBRARY_PATH=$ORACLE_HOME/lib
exportLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
exportCLASSPATH=$ORACLE_HOME/JRE
exportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
exportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
exportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
exportTHREADS_FLAG=native export TEMP=/tmp
exportTMPDIR=/tmp
exportPS1=`hostname`:'$PWD'"$"
if[ -t 0 ]; then
sttyintr ^C
fi
在兩臺服務器的的oracle用戶的.profile最後，增加如下內容：
umask 022
export ORACLE_BASE=/opt/oracle/app/oracle
exportORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
export ORACLE_SID=fjyd1
export ORACLE_UNQNAME=fjyd
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
export NLS_DATE_FORMAT="yyyy-mm-ddhh24:mi:ss"
exportPATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/dbhome_1/bin
exportPATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
export PATH=${PATH}:$ORACLE_HOME/bin
exportORACLE_PATH=${PATH}:$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/adminexport ORACLE_TERM=xterm
export TNS_ADMIN=$ORACLE_HOME/network/admin
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
exportLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
export CLASSPATH=$ORACLE_HOME/JRE
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
export THREADS_FLAG=native export TEMP=/tmp
export TMPDIR=/tmp
export PS1=`hostname`:'$PWD'"$"
if [ -t 0 ]; then
stty intr ^C
fi
2.5 調試AIX操作系統參數
2.5.1 確認打開異步IO
通過以下命令查看：
ioo–o aio_maxreqs
注：aix6.1環境下，系統默認打開異步功能。
2.5.2調整虛擬內存管理
Oracle推存使用vmo命令去調優虛擬內存管理，參數推薦如下：
命令如下:
vmo-p -o minperm%=3
vmo-p -o maxperm%=90
vmo-p -o maxclient%=90
vmo-p -o lru_file_repage=0
vmo-p -o strict_maxclient=1
vmo-p -o strict_maxperm=0
備註：修改此參數後需要重啓系統生效。
2.5.3增加系統塊尺寸分配
Oracle推薦增加ARG/ENV空間分配到128，也就是128個4K的塊大小，命令如下：/usr/sbin/chdev -l sys0 -a ncargs='128'
2.5.4 調整SHELL限制
1.在/etc/security/limits文件中增加如下行:
default:fsize = -1
core= 2097151
cpu= -1
data= -1
rss= -1
stack= -1
nofiles= -1
2.查看系統當前允許運行的最大進程數:
/usr/bin/lsattr-E -l sys0 -a maxuproc
修改 maxuproc參數
/usr/sbin/chdev-l sys0 -a maxuproc = 16384
2.5.5調整用戶允計每戶最大進程參數
使用smitty chgsys修改“Maximum number of PROCESSES allowed per user”，調整爲4096。
2.5.6確認網絡配置參數
用# /usr/sbin/no -a | more來查看網絡參數是否滿足下面的要求
NetworkTuning Parameter Recommended Value
ipqmaxlen 512
rfc1323 1
sb_max 2*655360
tcp_recvspace 65536
tcp_sendspace 65536
udp_recvspace 655360
udp_sendspace 65536
2.6配置雙機信任關係
安裝rac 需要配置兩節點的ORACLE用戶和GRID用戶的ssh 互信。
mkdir ~/.ssh
chmod 700 ~/.ssh
ssh-keygen -t rsa
ssh-keygen -t dsa
在 p740b 上執行
mkdir ~/.ssh
chmod 700 ~/.ssh
ssh-keygen -t rsa
ssh-keygen -t dsa
在 p740a 上執行
cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
cat~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
scp~/.ssh/authorized_keys p740b:/opt/oracle/.ssh/authorized_keys
按照此方法，分別配置oracle和grid用戶。
2.7配置NTP保持雙機時間同步
在第一節點(p740a)節點執行，將第一節點配置ntp服務器。
1、編輯/etc/ntp.conf文件：
broadcastclient
server 127.127.1.0 prefer
driftfile /etc/ntp.drift
tracefile /etc/ntp.trace
2、啓動xntpd服務：
#startsrc -s xntpd
在第二節點(p740b)配置crontab，每5分鐘想第一節點同步一次。
3、在第二節點root用戶下配置crontab 定時同步時間
0,5,10,15,20,25,30,35,40,45,50,55 * * * *ntpdate 172.29.113.53 &
2.8文件系統大小的修改
系統安裝時默認分配系統分區較小，在安裝rac前，需要手工將一些分區調大，
使用smit chfs命令，進入管理界面，加大分區空間，分區空間大小的計算方式：
底層磁盤使用raid 1，因此在計算空間大小時，分配的空間應爲所需空間的兩倍。
例如想將磁盤擴展到80G，那麼新分區的大小應爲（默認分配單位爲byte）：
=80*1024*1204*2
2.9 磁盤屬性的調整
分別在兩臺主機上修改磁盤陣列映射到主機上的磁盤屬性，否則磁盤將無法實現共享，無法創建asm共享磁盤。
chdev-l hdisk4 -a reserve_policy=no_reserve
chdev-l hdisk5 -a reserve_policy=no_reserve
chdev-l hdisk6 -a reserve_policy=no_reserve
chdev-l hdisk7 -a reserve_policy=no_reserve
chdev-l hdisk8 -a reserve_policy=no_reserve
chdev-l hdisk9 -a reserve_policy=no_reserve
chdev-l hdisk10 -a reserve_policy=no_reserve
chdev-l hdisk11 -a reserve_policy=no_reserve
chdev-l hdisk12 -a reserve_policy=no_reserve
chdev-l hdisk13 -a reserve_policy=no_reserve
chdev-l hdisk14 -a reserve_policy=no_reserve
使用以下命令，查看磁盤屬性
lsattr-El hdisk5
擦除PVID（所有的共享盤全部都要操作）
/usr/sbin/chdev-l hdisk10 -a pv=clear
/usr/sbin/chdev-l hdisk11 -a pv=clear
/usr/sbin/chdev-l hdisk4 -a pv=clear
/usr/sbin/chdev-l hdisk5 -a pv=clear
/usr/sbin/chdev-l hdisk6 -a pv=clear
可以通過以下命令查看磁盤的pvid是否已經清空：
lspv
如下，顯示爲none的，表示已經清空。
# lspv
hdisk0 00f8c94b639eb353 rootvg active
hdisk1 00f8c94bea63c14f rootvg active
hdisk2 00f8c94bea66d1df rootvg active
hdisk3 00f8c94bea66d2cc rootvg active
hdisk4 none None
hdisk5 none None
hdisk6 none None
hdisk7 none None
hdisk8 none None
hdisk9 none None
hdisk10 none None
每一個hdisk 在系統中對應一個rhdisk ，修改rhdisk 的以下屬性，hdisk屬性不變所有的共享盤全部都要操作）。
chown grid.oinstall rhdisk4
chown grid.oinstall rhdisk5
chown grid.oinstall rhdisk6
chown grid.oinstall rhdisk7
chown grid.oinstall rhdisk8
chown grid.oinstall rhdisk9
chown grid.oinstall rhdisk10
將共享磁盤賦予660權限
chmod660 rhdisk4
chmod660 rhdisk5
chmod660 rhdisk6
chmod660 rhdisk7
chmod660 rhdisk8
chmod660 rhdisk9
chmod660 rhdisk10
3 安裝集羣軟件
3.1安裝前檢查與執行rootpre.sh
以grid用戶登錄，進入grid目錄，執行安裝檢查：
$./runcluvfy.sh stage -pre crsinst -n p740a,p740b –verbose
在與檢測步驟時，oracle 可能會提示需要打兩個系統補丁，如下：
因爲aix系統不同的系統版本，對應的補丁號也不同，因此在打了對應功能的補丁包後，oracle 仍提示檢測不通過，我們可以在安裝時忽略此告警。
執行rootpre.sh
在兩臺主機上分別執行rootpre.sh$/soft/grid/grid/rootpre.sh
3.2開始grid安裝
在$/soft/grid/grid/的目錄下，鍵入./runInstaller開始安裝：
1.選擇跳過軟件更新
2.選擇第一項安裝和配置GI
3.選擇“advancedinstallation”
4.選擇英文和簡體中文
5.指定scan name，並取消gns 的勾選。
6.指定安裝節點
7.指定網卡屬性
8.指定存儲ocr 和votedisk 的文件系統，這裏我們選擇asm存儲。
9.創建存放ocr和votedisk 的磁盤組，磁盤組名稱，我們指定爲ocrvote，選擇外部冗餘，添加三塊盤，這裏每塊盤爲3G，因此創建的磁盤組大小爲9G，因爲磁盤陣列上，尚有部分空間，爲了提高冗餘度和安全性，後面我重建了ocrvote磁盤組，變更冗餘度爲high，添加6塊盤，其中5塊盤用於存放votedisk（存放5份）和ocr 文件（在ocrvote磁盤組存放一份，另在oradata1磁盤組存放一份ocr）。
10.指定asm密碼
11.指定系統用戶組
12.指定安裝路徑
13.校驗目標服務器的環境與shell
14.檢查的不符合規格項。（以下選擇項都數據域可選項，可以不修改，兩個ospatch 其實已經打上，但是因爲系統版本的問題，patch號可以不同，但是oracle 始終檢測不到，這裏也一併忽略）
15.安裝信息的summary
16.查看安裝進度，確認所有項成功安裝。
17.安裝進度到100%時，會出現以下錯誤信息，這是由於沒有配置gns的原因，可以直接忽略。然後很據提示，分別在兩個節點以root用戶執行腳本。
4 安裝數據庫軟件
4.1執行rootpre.sh
以root用戶登錄，在兩臺主機上分別執行rootpre.sh
$/soft/db/database/rootpre.sh
4.2開始數據庫安裝
在$/soft/db/database/的目錄下，鍵入./runInstaller開始安裝：
1.進入安裝界面後，選擇只安裝數據庫軟件：
2.
選擇real application clusterdatabase installlation，然後選中所有的節點：
在此處可以一併驗證用戶的ssh對等性。
3.添加安裝預言
4.選擇企業版數據庫安裝
5.指定安裝路徑
6.指定安裝用戶組
7.安裝環境的與檢測
8.提示的不符合安裝項，這些項都是非必須安裝的，可以直接忽略。
9.完成安裝
10.安裝完成後，根據提示運行相應的腳本，然後點擊OK。
5 創建ASM磁盤組
在數據庫軟件安裝完成後，在grid用戶下執行asmca，創建asm磁盤組
根據預先規劃的磁盤用途，分別創建磁盤組：
輸入需要常見的磁盤組名稱，並添加磁盤，由於底層已經做了raid，所以我們這裏都選擇external
以下是創建完成的截圖
6創建數據庫
1.以oracle用戶登錄，執行dbca命令，創建數據庫：
2.選擇數據庫創建模板
3.指定實例名，並選擇兩個節點
4.取消企業管理器的配置
5.設置密碼
6.指定默認的磁盤組
7.指定閃回恢復區
8.數據塊默認是8K
9.選擇中文數據庫字符集爲簡體中文
10.連接模式：
11.確認創建數據庫
完成數據庫創建工作。
7.GI 的deinstall
1. 執行下面的命令來去掉GI的配置信息，包括刪除OCR和Votinkg等：
1). As root, 在除了最後一個節點之外的所有節點執行下面的命令，比如有兩個節點，那麼在節點1執行下面的命令：
$GRID_HOME/crs/install/rootcrs.pl -verbose -deconfig -force"
2). As root, 在最後一個節點運行下面的命令，如果有兩個節點，那麼在節點2執行下面的命令，這個命令會清除OCR和Voting Disk:
$GRID_HOME/crs/install/rootcrs.pl -verbose -deconfig -force -lastnode
3). 用grid用戶，在所有節點執行下面的命令刪除GI軟件：
$GRID_HOME/deinstall/deinstall
4). 如果上面的命令執行不成功，請按照下面文檔中的步驟手工刪除GI：
How to Deinstall Oracle Clusterware Home Manually (Doc ID 1364419.1)
本文中有部分截圖沒有正常顯示，請轉至下載中心：http://down.51cto.com/data/1061781