CentOS 7下搭建高可用集群
本文以兩臺(tái)機(jī)器實(shí)現(xiàn)雙集熱備高可用集群，主機(jī)名node1的IP為192.168.122.168 ，主機(jī)名node2的IP為192.168.122.169 。
一、安裝集群軟件
必須軟件pcs，pacemaker，corosync，fence-agents-all，如果需要配置相關(guān)服務(wù)，也要安裝對(duì)應(yīng)的軟件
二、配置防火墻
1、禁止防火墻和selinux
- # systemctl disable firewalld
- # systemctl stop firewalld
修改/etc/sysconfig/selinux確保SELINUX=disabled，然后執(zhí)行setenforce 0或者reboot服務(wù)器以生效
2、設(shè)置防火墻規(guī)則
- # firewall-cmd --permanent --add-service=high-availability
- # firewall-cmd --add-service=high-availability
三、各節(jié)點(diǎn)之間主機(jī)名互相解析
分別修改2臺(tái)主機(jī)名分別為node1和node2，在centos 7中直接修改/etc/hostname加入本機(jī)主機(jī)名和主機(jī)表，然后重啟網(wǎng)絡(luò)服務(wù)即可。
- #vi /etc/hostname
- node1
- #systemctl restart network.service
- #hostname
- node1
配置2臺(tái)主機(jī)的主機(jī)表，在/etc/hosts中加入
- 192.168.122.168 node1
- 192.168.122.169 node2
四、各節(jié)點(diǎn)之間時(shí)間同步
在node1和node2分別進(jìn)行時(shí)間同步，可以使用ntp實(shí)現(xiàn)。
- [root@node1 ~]# ntpdate 172.16.0.1 //172.16.0.1 為時(shí)間服務(wù)器
五、各節(jié)點(diǎn)之間配置ssh的無(wú)密碼密鑰訪問(wèn)。
下面的操作需要在各個(gè)節(jié)點(diǎn)上操作。
- # ssh-keygen -t rsa -P ‘’ #這個(gè)生成一個(gè)密碼為空的公鑰和一個(gè)密鑰，把公鑰復(fù)制到對(duì)方節(jié)點(diǎn)上即可
- # ssh-copy-id -i /root/.ssh/id_rsa.pub root@node2 #對(duì)方主機(jī)名用登錄用戶名
兩臺(tái)主機(jī)都要互相可以通信，所以兩臺(tái)主機(jī)都得互相生成密鑰和復(fù)制公鑰，相互的節(jié)點(diǎn)上的hosts文件是都要解析對(duì)方的主機(jī)名， 192.168.122.168 node1 192.168.122.169 node2
- # ssh node2 ‘date’;date #測(cè)試一下是否已經(jīng)互信
六、通過(guò)pacemaker來(lái)管理高可用集群
1、創(chuàng)建集群用戶
為了有利于各節(jié)點(diǎn)之間通信和配置集群，在每個(gè)節(jié)點(diǎn)上創(chuàng)建一個(gè)hacluster的用戶，各個(gè)節(jié)點(diǎn)上的密碼必須是同一個(gè)。
- # passwd hacluster
- Changing password for user hacluster.
- New password:
- Retype new password:
- passwd: all authentication tokens updated successfully.
2、設(shè)置pcsd開(kāi)機(jī)自啟動(dòng)
- # systemctl start pcsd.service
- # systemctl enable pcsd.service
3、集群各節(jié)點(diǎn)之間進(jìn)行認(rèn)證
- # pcs cluster auth node1 node2Username: hacluster Password: node1: Authorized node2: Authorized
4、創(chuàng)建并啟動(dòng)集群
- [root@z1 ~]# pcs cluster setup --start --name my_cluster node1 node2
- node1: Succeeded
- node1: Starting Cluster...
- node2: Succeeded
- node2: Starting Cluster...
5、設(shè)置集群自啟動(dòng)
- # pcs cluster enable –all
6、查看集群狀態(tài)信息
- [root@z1 ~]# pcs cluster status
7、設(shè)置fence設(shè)備
這個(gè)可以參考<Red Hat Enterprise Linux 7 High Availability Add-On Reference>
corosync默認(rèn)啟用了stonith，而當(dāng)前集群并沒(méi)有相應(yīng)的stonith設(shè)備，因此此默 認(rèn)配置目前尚不可用，這可以通過(guò)如下命令驗(yàn)證：
- #crm_verify -L -V
可以通過(guò)如下面命令禁用stonith：
- #pcs property set stonith-enabled=false（默認(rèn)是true）
8、配置存儲(chǔ)
高可用集群既可以使用本地磁盤(pán)來(lái)構(gòu)建純軟件的鏡像型集群系統(tǒng)，也可以使用專(zhuān)門(mén)的共享磁盤(pán)裝置來(lái)構(gòu)建大規(guī)模的共享磁盤(pán)型集群系統(tǒng)，充分滿足客戶的不同需求。
共享磁盤(pán)主要有iscsi或DBRD。本文并沒(méi)有使用共享磁盤(pán)。
9、配置浮點(diǎn)IP
不管集群服務(wù)在哪運(yùn)行,我們要一個(gè)固定的地址來(lái)提供服務(wù)。在這里我選擇192.168.122.101作為浮動(dòng)IP,給它取一個(gè)好記的名字 ClusterIP 并且告訴集群 每30秒檢查它一次。
- # pcs resource create VIP ocf:heartbeat:IPaddr2 ip=192.168.122.170 cidr_netmask=24 op monitor interval=30s
- # pcs update VIP op monitor interval=15s
10、配置apache服務(wù)
在node1和node2上安裝httpd ，確認(rèn)httpd開(kāi)機(jī)被禁用
- # systemctl status httpd.service；
配置httpd監(jiān)控頁(yè)面（貌似不配置也可以通過(guò)systemd監(jiān)控），分別在node1和node2上執(zhí)行
- # cat > /etc/httpd/conf.d/status.conf << EOF
- SetHandler server-status
- Order deny,allow
- Deny from all
- Allow from localhost
- EOF
首先我們?yōu)?/span>Apache創(chuàng)建一個(gè)主頁(yè)。在centos上面默認(rèn)的Apache docroot是/var/www/html,所以我們?cè)谶@個(gè)目錄下面建立一個(gè)主頁(yè)。
node1節(jié)點(diǎn)修改如下：
- [root@node1 ~]# cat <<-END >/var/www/html/index.html
- <html>
- <body>Hello node1</body>
- </html>
- END
node2節(jié)點(diǎn)修改如下：
- [root@node2 ~]# cat <<-END >/var/www/html/index.html
- <html>
- <body>Hello node2</body>
- </html>
- END
下面語(yǔ)句是將httpd作為資源添加到集群中：
- #pcs resource create WEB apache configfile="/etc/httpd/conf/httpd.conf" statusurl="http://127.0.0.1/server-status"
11、創(chuàng)建group
將VIP和WEB resource捆綁到這個(gè)group中，使之作為一個(gè)整體在集群中切換。（此配置為可選)
- # pcs resource group add MyGroup VIP
- # pcs resource group add MyGroup WEB
12、配置服務(wù)啟動(dòng)順序
以避免出現(xiàn)資源沖突，語(yǔ)法：(pcs resource group add的時(shí)候也可以根據(jù)加的順序依次啟動(dòng)，此配置為可選)
- # pcs constraint order [action] then [action]
- # pcs constraint order start VIP then start WEB
13、指定優(yōu)先的 Location （此配置為可選)
Pacemaker 并不要求你機(jī)器的硬件配置是相同的,可能某些機(jī)器比另外的機(jī)器配置要好。這種狀況下我們會(huì)希望設(shè)置:當(dāng)某個(gè)節(jié)點(diǎn)可用時(shí),資源就要跑在上面之類(lèi)的規(guī)則。為了達(dá)到這個(gè)效果我們創(chuàng)建location約束。同樣的,我們給他取一個(gè)描述性的名字(prefer-node1),指明我們想在上面跑WEB 這個(gè)服務(wù),多想在上面跑(我們現(xiàn)在指定分值為50,但是在雙節(jié)點(diǎn)的集群狀態(tài)下,任何大于0的值都可以達(dá)到想要的效果),以及目標(biāo)節(jié)點(diǎn)的名字:
- # pcs constraint location WEB prefers node1=50
- # pcs constraint location WEB prefers node2=45
這里指定分值越大，代表越想在對(duì)應(yīng)的節(jié)點(diǎn)上運(yùn)行。
14、資源粘性（此配置為可選)
一些環(huán)境中會(huì)要求盡量避免資源在節(jié)點(diǎn)之間遷移。遷移資源通常意味著一段時(shí)間內(nèi)無(wú)法提供服務(wù)，某些復(fù)雜的服務(wù)，比如Oracle數(shù)據(jù)庫(kù)，這個(gè)時(shí)間可能會(huì)很長(zhǎng)。
為了達(dá)到這個(gè)效果，Pacemaker 有一個(gè)叫做“資源粘性值”的概念，它能夠控制一個(gè)服務(wù)(資源)有多想呆在它正在運(yùn)行的節(jié)點(diǎn)上。
Pacemaker為了達(dá)到***分布各個(gè)資源的目的，默認(rèn)設(shè)置這個(gè)值為0。我們可以為每個(gè)資源定義不同的粘性值，但一般來(lái)說(shuō)，更改默認(rèn)粘性值就夠了。資源粘性表示資源是否傾向于留在當(dāng)前節(jié)點(diǎn)，如果為正整數(shù)，表示傾向，負(fù)數(shù)則會(huì)離開(kāi)，-inf表示負(fù)無(wú)窮，inf表示正無(wú)窮。
- # pcs resource defaults resource-stickiness=100
常用命令匯總：
查看集群狀態(tài)：#pcs status
查看集群當(dāng)前配置：#pcs config
開(kāi)機(jī)后集群自啟動(dòng)：#pcs cluster enable –all
啟動(dòng)集群：#pcs cluster start –all
查看集群資源狀態(tài)：#pcs resource show
驗(yàn)證集群配置情況：#crm_verify -L -V
測(cè)試資源配置：#pcs resource debug-start resource
設(shè)置節(jié)點(diǎn)為備用狀態(tài)：#pcs cluster standby node1
