RHCS6.4_GFS2_ORACLE安裝配置(1)

1、1.描述本文系統(tǒng)環(huán)境為RHEL6.4x86 64 bit。預(yù)期RHCS搭建主備模式，服務(wù)ORACLE（自己寫的掛載共享磁盤腳本）測(cè)試?；靖拍睿篶man集群管理器 cman是一個(gè)基于內(nèi)核的對(duì)稱通用集群管理器。它由兩部分組成：連接管理器(cnxman)，用于處理成員、消息、投票數(shù)、事件通知和過渡；服務(wù)管理器(SM)，用于處理那些需要通過各種方式進(jìn)行集群管理的應(yīng)用及外部系統(tǒng)。cman是RHCS中最核心的服務(wù)，可通過系統(tǒng)中的serivce命令進(jìn)行啟/停操作；DLM、GFS、CLVM及Fence都依賴于cman群集管理器。 rgmanager資料組管理器 rgmanage

2、r(Resource Group Manager)基于cman并使用DLM動(dòng)態(tài)鎖管理機(jī)制。與cman一樣，rgmanager也是RHCS中的一個(gè)核心服務(wù)，可通過系統(tǒng)中的serivce命令進(jìn)行啟/停操作；rgmanager管理并為集群中的Service(服務(wù))和Resources(資源)提供Failover錯(cuò)誤切換功能。Service(服務(wù)) 每個(gè)服務(wù)都被指定存在于一個(gè)Failover Domain中，并與多個(gè)Resources(資源)關(guān)聯(lián)。每個(gè)服務(wù)可以理解為實(shí)際操作中的一個(gè)應(yīng)用，如Web服務(wù)器、Java中間件、數(shù)據(jù)庫、文件共享系統(tǒng)、郵件系統(tǒng)等。這些應(yīng)用在

3、運(yùn)行時(shí)不但對(duì)應(yīng)用程序本身有要求(如某個(gè)運(yùn)行指令或多個(gè)運(yùn)行腳本的組合)，還要提供對(duì)諸如虛擬IP、文件系統(tǒng)等資源的支持。 Failover Domain(錯(cuò)誤切換域) 每個(gè)Failover Domain都與兩個(gè)或兩個(gè)以上的Node(服務(wù)器節(jié)點(diǎn))進(jìn)行綁定，F(xiàn)ailover Domain指定了集群中某個(gè)Service運(yùn)行時(shí)的范圍，也就是指定此Service將會(huì)由哪些服務(wù)器提供Failover錯(cuò)誤切換功能。每個(gè)Node都允許與多個(gè)Failover Domain進(jìn)行綁定，也就是說每個(gè)Node都可以為多個(gè)Service服務(wù)，因此可以實(shí)現(xiàn)"

4、主動(dòng)/主動(dòng)(雙活動(dòng))"方式的集群配置。 Resources(資源) Resources指的是組成一個(gè)應(yīng)用所需的各種組件，通常包括：應(yīng)用程序、虛擬IP、文件系統(tǒng)。資源與Service組合時(shí)，往往還會(huì)體現(xiàn)出一定的層次關(guān)系，例如：通常系統(tǒng)都要求確認(rèn)虛擬IP及文件系統(tǒng)都已經(jīng)正常連接及掛載后，才可以運(yùn)行某個(gè)應(yīng)用程序，這個(gè)順序一旦調(diào)轉(zhuǎn)，就會(huì)使應(yīng)用程序運(yùn)行出錯(cuò)。 Fence機(jī)制 在RHCS集群運(yùn)行時(shí)，為了避免因出現(xiàn)不可預(yù)知的情況而造成的"腦裂"現(xiàn)象(如：心跳線斷連，此時(shí)兩臺(tái)服務(wù)器都無法找到對(duì)方，無法向?qū)Ψ桨l(fā)出操作指令，都各自認(rèn)為自己是主節(jié)

5、點(diǎn)；又或者主服務(wù)器系統(tǒng)崩潰，系統(tǒng)能接收到備用服務(wù)器的操作指令，但無法返回運(yùn)行情況的確認(rèn)信號(hào)，導(dǎo)致備用服務(wù)器無法獲知系統(tǒng)資源的使用情況)，系統(tǒng)要求通過Fence機(jī)制來保障系統(tǒng)切換時(shí)的I/O使用安全。 如上所述，F(xiàn)ence主要就是通過服務(wù)器或存儲(chǔ)本身的硬件管理接口，又或者是外部電源管理設(shè)備，來對(duì)服務(wù)器或存儲(chǔ)發(fā)起直接的硬件管理指令，控制服務(wù)器或存儲(chǔ)鏈路的開關(guān)。因此，F(xiàn)ence機(jī)制也被稱為"I/O屏障"技術(shù)。當(dāng)"腦裂"發(fā)生時(shí)徹底斷開問題服務(wù)器的所有I/O連接，保證問題服務(wù)器不能對(duì)集群中的I/O資源(共享的文件系統(tǒng)資源)進(jìn)行任何操作，嚴(yán)格保證集群環(huán)境中企

6、業(yè)核心數(shù)據(jù)的完整性。2.集群配置說明 node1node2hostname(/etc/sysconfig/network)NETWORKING=yesHOSTNAME=node1GATEWAY=54NETWORKING=yesHOSTNAME=node2GATEWAY=54/etc/hosts        localhost.localdomain localhost44 node45 node210.80.5.

7、246   node1-pub47   node2-pub48 node-rhcseth0(用于內(nèi)部網(wǎng)，作為心跳) /etc/sysconfig/network-scripts/ifcfg-eth044/2445/24eth1(用于外部網(wǎng)，提供服務(wù)，與將要設(shè)置的虛擬IP在同一網(wǎng)段)46/2447/24網(wǎng)絡(luò)連接eth1 與外網(wǎng)相連,eth0私有網(wǎng)絡(luò)或直接rhcs虛擬IP仲裁盤(裸盤)/dev/sdb1共享盤(mkfs.g

8、fs2)直接掛載（10G ）RHCS掛載(5G)/dev/sdc /dev/sdd源：/dev/mapper/rhcsgfs-lv_data源：/dev/mapper/vg_backup-lv_backup目標(biāo)：/oracle/db/oradata目標(biāo)：/backup48Oracle安裝ORACLE_HOME: /oracle/db/product/11.2.0/db_1ORACLE_SID: TESTDBOracle數(shù)據(jù)目錄(Database Area)Oracle Database Area: /oracle/db/oradata兩個(gè)服務(wù)器通過命令fdisk -l，可以看

9、到相同的外部存儲(chǔ)磁盤，如/dev/sdc由于數(shù)據(jù)存放在外部存儲(chǔ)中，因此系統(tǒng)進(jìn)行Failover切換后數(shù)據(jù)不會(huì)丟失，保證了數(shù)據(jù)的一致性3.詳細(xì)步驟操作Vmware共享盤配置部分略過3.1關(guān)閉iptables,selinuxrootnode1 # iptables -Frootnode1 # chkconfig iptables offrootnode1 # cat /etc/selinux/config# This file controls the state of SELinux on the system.# SELINUX= can take one of these three val

10、ues:#     enforcing - SELinux security policy is enforced.#     permissive - SELinux prints warnings instead of enforcing.#     disabled - No SELinux policy is loaded.SELINUX=disabled# SELINUXTYPE= can take one of these two v

11、alues:#     targeted - Targeted processes are protected,#     mls - Multi Level Security protection.SELINUXTYPE=targeted3.2 配置yum本地源rootnode1 # mkdir /mnt/cdrom/rootnode1 # mount /dev/cdrom  /mnt/cdrom/rootnode1 # cat /etc/yum.repos.d/

12、rhel-debuginfo.reporhel_6_isoname=local isobaseurl=file:/mnt/cdromgpgcheck=1gpgkey=file:/mnt/cdrom/RPM-GPG-KEY-redhat-release rhel_6-HA_isoname=local isobaseurl=file:/mnt/cdrom/HighAvailabilitygpgcheck=1gpgkey=file:/mnt/cdrom/RPM-GPG-KEY-redhat-release rhel_6-LB_isoname=local isobaseurl=fi

13、le:/mnt/cdrom/LoadBalancergpgcheck=1gpgkey=file:/mnt/cdrom/RPM-GPG-KEY-redhat-release rhel_6-RS_isoname=local isobaseurl=file:/mnt/cdrom/ResilientStoragegpgcheck=1gpgkey=file:/mnt/cdrom/RPM-GPG-KEY-redhat-releaserootnode1 #3.3 安裝HA軟件rootnode1 # yum install cluster-glue resource-agents pace

14、maker -nogpgcheckrootnode1 # yum install luci ricci cman openais rgmanager lvm2-cluster gfs2-utils -nogpgcheck3.4 設(shè)置HA服務(wù)自啟動(dòng)rootnode1 # chkconfig ricci onrootnode1 # chkconfig luci onrootnode1 # chkconfig cman onrootnode1 # chkconfig rgmanager onrootnode1 # chkconfi NetworkManager off 

15、   該服務(wù)必須關(guān)閉，否則集群加node會(huì)報(bào)錯(cuò)3.5 啟動(dòng)HA服務(wù)rootnode1 # service luci startrootnode1 # service ricci startrootnode1 # service rgmanager startrootnode1 # service cman start此錯(cuò)誤為集群配置文件還沒有產(chǎn)生配置文件/etc/cluster/cluster.conf（忽略）。3.6 修改ricci用戶密碼     使 用 passwd&#

16、160;ricci 命 令 為 用 戶 ricci 將 ricci 密 碼 設(shè) 定 為 root用戶的密碼4配置集群4.1登錄luci44:8084/4.2創(chuàng)建一個(gè)集群4.3創(chuàng)建Failover Domain4.4RHCS集群GFS2集群文件系統(tǒng)配置4.4.1配置GFS服務(wù)(1)node1和node2分別啟動(dòng)CLVM的集成cluster鎖服務(wù)rootnode1 # lvmconf -enable-clusterrootnod

17、e1 # chkconfig clvmd onrootnode2 # service clvmd start4.4.2配置GFS2集群文件系統(tǒng)(1)在任意一節(jié)點(diǎn)對(duì)磁盤進(jìn)行分區(qū),劃分出sdc1。然后格式化成gfs2.rootnode1 # fdisk /dev/sdcrootdb2 # partprobe使用fdisk工具只是將分區(qū)信息寫到磁盤，如果需要mkfs磁盤分區(qū)則需要重啟系統(tǒng)，而使用partprobe則可以使kernel重新讀取分區(qū) 信息，從而避免重啟系統(tǒng)。(2)node01節(jié)點(diǎn)上通過共享磁盤創(chuàng)建gfs2集群卷組出現(xiàn)以上提示，需要在node2執(zhí)行partprobe或者重起rootnode

18、2 # partprobe回到node1節(jié)點(diǎn)上：lvcreate -l +100%FREE -n lv_data rhcsgfs(3)格式化GFS文件系統(tǒng)node01節(jié)點(diǎn)上：rootnode1 # mkfs.gfs2 -p lock_dlm -t RHCS_HA:gfs2 -j 2 /dev/rhcsgfs/lv_data 說明:RHCS_HA:gfs2這個(gè)rhcs就是集群的名字，gfs2是定義的名字，需要與RHCS內(nèi)的資源名稱對(duì)應(yīng)。-j是指定掛載這個(gè)文件系統(tǒng)的主機(jī)個(gè)數(shù)，不指定默認(rèn)為1個(gè)。如果掛載節(jié)點(diǎn)數(shù)建少了，可用如下命令增加rootnode1 /# gfs2_jadd -j 1 /dev/r

19、hcsgfs/lv_data(4)依上面，新增共享磁盤RHCS_HA:backup4.1在任意一節(jié)點(diǎn)對(duì)磁盤進(jìn)行分區(qū),劃分出sdd1。然后格式化成gfs2.（也可用ext4）rootnode1 # fdisk /dev/sddrootnode1 #pvcreate /dev/sdd1rootnode1 # vgcreate vg_backup /dev/sdd1rootnode1 # lvcreate -l +100%FREE -n lv_backup vg_backup4.2同步磁盤信息node2節(jié)點(diǎn)上：rootdb2 # partprobe4.3格式化GFS文件系統(tǒng)node01節(jié)點(diǎn)上：roo

20、tnode1 # mkfs.gfs2 -p lock_dlm -t RHCS_HA:backup -j 2 /dev/vb_backup/lv_backup4.4.3掛載GFS文件系統(tǒng)（本地方式掛載/backup）(1)node1,node2手動(dòng)掛載測(cè)試，掛載成功后，創(chuàng)建文件測(cè)試集群文件系統(tǒng)情況。rootnode1 # modprobe gfs2 rootnode1 # /etc/init.d/gfs2 restartrootnode1 # /etc/init.d/clvmd restart rootnode1 #chkconfig add cman rootnode1 #chkconfig

21、add clvmd rootnode1 #chkconfig add gfs rootnode1 #chkconfig level 35 cman on rootnode1 #chkconfig level 35 clvmd on rootnode1 #chkconfig level 35 gfs on rootnode1 # lvscanrootnode1 # mount.gfs2 /dev/vg_backup/lv_backup /lv_data /backuprootnode1 /# vi /etc/fstab/dev/vg_backup/lv_backup /backup gfs2 d

22、efaults 0 0出現(xiàn)這個(gè)錯(cuò)誤，是mkfs.gfs2 j這個(gè)參數(shù)節(jié)點(diǎn)數(shù)建少了4.4.4配置仲裁磁盤#仲裁磁盤是共享磁盤，10M大小就可以了，無需要太大，本例采用/dev/sdb1來進(jìn)行創(chuàng)建。1rootnode1 # fdisk /dev/sdb(1)創(chuàng)建表決磁盤1rootnode1# mkqdisk -c /dev/sdb1 -l qdisk(2)查看仲裁盤（表決盤）信息1rootnode01# mkqdisk -L節(jié)點(diǎn)2，同步信息rootnode2 # partprobe(3)配置表決磁盤qdisk查看狀態(tài)4.5新增資源4.5.1新源IP4.5.2新共享盤（RHCS方式掛載oradata

23、）(1)資源名稱為gfs2，與前面格式化時(shí)候的那個(gè)名稱對(duì)應(yīng) 4.5.3新增Service Group：oradata（用于存放數(shù)據(jù)庫數(shù)據(jù)文件）4.6安裝oracle單節(jié)點(diǎn)數(shù)據(jù)庫（略） 資源切換到node1上，按oracle正常步驟安裝，node2上，只需安裝數(shù)據(jù)庫軟件，然后同步ORACLE_BASE目錄、pfile、spfile、owapw文件即可，然后再新增各自的listener.ora、tnsnames.ora4.7手動(dòng)切換服務(wù)到node2上，測(cè)試數(shù)據(jù)庫開啟是否正常clusvcadm r oradatasqlplus / as sysdba測(cè)試OK4.8方法一：配置Service Group的script（切換時(shí)，自動(dòng)啟動(dòng)數(shù)據(jù)庫）4.8.1 新建oracle啟動(dòng)和關(guān)閉腳本rootnode1 db# vi /etc/init.d/oracleexport ORACLE_HOME=/ora