[HP-UX] 36. MCSG

# 기존 raw device에 raw device 추가시
vgora dactive 시키기
vgchange -a n /dev/vgora
vgchange -c n /dev/vgora
vgchange -a y /dev/vgora
pvcreate,lvextend 등 일반 disk 추가 해서 생성하듯이 하면 됨.
우선 기본적으로 serviceguard, serviceguard for rac, serviceguard patch, rac patch 수행
-----------------------------------------------------------
1. vi /.rhosts <= 각 서버에서 실행
db1 root
db2 root
hb1 root
hb2 root

2. vi /etc/cmcluster/cmclnodelist <= 각 서버에서 실행
###########################################################
# Do Not Edit This File
# This is only a temporary file to bootstrap an unconfigured
# node with Serviceguard version A.11.17
# Once a cluster is created, Serviceguard will not consult
# this file.
###########################################################
# [hostname or ip address] [user] [#Comment]

db1        root
db2        root
hb1        root
hb2        root

3. ip setting하기
-----------------------------------------------------------
vi /etc/hosts    <==== 각 서버에서 실행

192.168.127.171 db1   <=> db2
127.0.0.1       localhost       loopback

##  for Oracle RAC  ##     <=== 고객으로 부터 사전에 알아둔다
192.168.127.172 db2   <=> db1
192.168.127.173 vip1
192.168.127.174 vip2
10.0.0.1        hb1
10.0.0.2        hb2
-----------------------------------------------------------

4. lvm구성 하기(pkg에 포함된 volume중 lock volume은 activate 되어 있어야 한다)
   # lock volume 빼고는 모두 deactivate 시켜야 한다.
-----------------------------------------------------------
우선 eva 에서 할당
lock disk, oracle disk 할당
eva 구성 방법 추가 할것   < ****************************
#### eva 구성 하기  ####
우선 manual을 이용하여 포트, 전원 연결
1. eva storage 관리 서버에 OS 설치(보통 default로 깔려 들어온다)
2. hba 카드 드라이버 설치
3. command eva view 설치(이하 cev로 부름)
4. 관리에서 user(hpadmin), passwd(hpinvent) 추가
   user에서 hpadmin을 만들고 group에 hpadmin을 추가 한다.
5. cev실행. initialize하기. cev에 사용할 이름과 pysical disk개수 넣어준다
   # initialize하면 모두 초기화 되니 조심
6. eva의 www와 order number을 사용하여 인터넷에서 license를 다운 받는다
   www는 eva앞면에 order number은 eva 들어 올때 종이에 적혀 있다.
7. hosts 추가. 이때 각 서버의 wwn을 넣게 되어있다. os type도 선택. 보통 wwn이 보이지만 안보일 경우
   각 서버에서 ioscan -fnC disk 해주면 보인다.
8. vdisk생성. 얼마만큼 할당할지 생성하고 해당서버에 present 시켜 주면 된다.
9. 이렇게 하면 서버에서 할당된 disk가 보일 것이다
-----------------------------------------------------------
기본 volume로 lock device(vglock), oracle device(vgora)
pvcreate -f /dev/rdsk/cxtxdx   <=== 처음 사용하는 disk일 경우 -f 생략
pvcreate -f /dev/rdsk/cxtxdx
mkdir /dev/vglock
mkdir /dev/vgora
mknod /dev/vglock/group c 64 0x0a0000
mknod /dev/vgora/group c 64 0x0b0000
vgcreate -s 32 /dev/vglock /dev/dsk/cxtxdx /dev/dsk/cxtxdx /dev/dsk/cxtxdx /dev/dsk/cxtxdx
vgcreate -s 32 /dev/vgora /dev/dsk/cxtxdx /dev/dsk/cxtxdx /dev/dsk/cxtxdx /dev/dsk/cxtxdx
# lock device의 경우 vgcreate까지만 해준다.
lvcreate -L 1024 -n system01 /dev/vgora  <=== 해당 law volume 생성 해준다.
............................
............................
# lvcreate 까지가 law volume 생성 하는 것임.
vgexport -s -p -m /tmp/vglock.map /dev/vglock
vgexport -s -p -m /tmp/vgora.map /dev/vgora
rcp /tmp/vglock.map db2:/tmp
rcp /tmp/vgora.map db2:/tmp
###############  db2 서버로 이동  #######################
mkdir /dev/vglock
mkdir /dev/vgora
mknod /dev/vglock/group c 64 0x0a0000
mknod /dev/vgora/group c 64 0x0b0000
vgimport -s -v -m /tmp/vglock.map /dev/vglock
vgimport -s -v -m /tmp/vgora.map /dev/vgora
-----------------------------------------------------------

5. cluster.conf(conf.ascii) 파일 생성 후 cluster.conf파일 편집
-----------------------------------------------------------
cmquerycl -v -C cluster.conf -n db1 -n db2
vi cluster.conf  <==== 이하 cluster.conf 파일 편집 내용

 CLUSTER_NAME            DB_ORACLE

 FIRST_CLUSTER_LOCK_VG /dev/vglock

 NODE_NAME               db1
   NETWORK_INTERFACE     lan901
     HEARTBEAT_IP        10.0.0.1
   NETWORK_INTERFACE     lan900
     HEARTBEAT_IP        192.168.127.171
   FIRST_CLUSTER_LOCK_PV /dev/dsk/c4t1d3  <== lock disk의 경우 path다 지우고 하나만 남김 아래..
       ### 보통 (c4,c6,c8,c10)4개의 path로 보이면 한개만 남기고 모두 vgreduce로 없앤다

 NODE_NAME               db2
   NETWORK_INTERFACE     lan901
     HEARTBEAT_IP        10.0.0.2
   NETWORK_INTERFACE     lan900
     HEARTBEAT_IP        192.168.127.172
   FIRST_CLUSTER_LOCK_PV /dev/dsk/c4t1d3  <== db1의 path와 같아야 한다.

        HEARTBEAT_INTERVAL              1000000
 NODE_TIMEOUT            2000000

 MAX_CONFIGURED_PACKAGES         5  <== default값은 150 이다. 바꿔도 무방할 듯.

 OPS_VOLUME_GROUP                /dev/vglock
        OPS_VOLUME_GROUP                /dev/vgora
#### 다른 것도 있지만 거의 default로 놔둔다. ####

6. cluster.conf(conf.ascii)파일 check 및 compile
-----------------------------------------------------------
cmcheckconf -C /etc/cmcluster/cluster.conf
    no error일때, 정상. error시 내용 확인
cmapplyconf -v -C /etc/cmcluster/cluster.conf
cmruncl -v    <=== cluster 전체 기동
cmviewcl      <=== cluster 기동 상태 확인
cmhaltcl -f   <=== cluster 전체 내리기

7. pkg 만들고 적용까지
------------------------------------------------------------
mkdir pkgdb1
mkdir pkgdb2
cd pkgdb1
cmmakepkg -v -p pkgdb1.conf    <=== package의 option setting
cmmakepkg -v -s pkgdb1.cntl    <=== package에서 사용되는 script setting
cp -rp * ../pkgdb2/
cd ..
cd pkgdb2
mv pkgdb1.cntl pkgdb2.cntl
mv pkgdb1.conf pkgdb2.conf
cd ..
---------------------여까지하고 cntl,conf 편집
cmapplyconf -v -C cluster.conf
cmapplyconf -v -P ./pkgdb1/pkgdb1.conf -P ./pkgdb2/pkgdb2.conf
rcp -rp pkgdb* db102:/etc/cmcluster
cmapplyconf -v -P ./pkgdb1/pkgdb1.conf -P ./pkgdb2/pkgdb2.conf   <==== 확인 후 실행
cmruncl -v
cmviewcl
cmrunpkg pkgdb1  <= 바로 아래 한줄 실행하고 이부분 실행
vgchange -c y -S y vgora   <==아래와 같은 에러 발생시
-> # cmmodpkg -n node 1 -e pkg1
   # cmmodpkg -n node 1 -e pkg2
   # cmmodpkg -n node 2 -e pkg1
   # cmmodpkg -n node 2 -e pkg2

   # cmmodpkg -e pkg1
   # cmmodpkg -e pkg2

-> # cmruncl -v  
vgchange:activationn mode requested for the volume group "/dev/vgora" conflicts with configured mode
-----------------------------------------------------------------
vi pkgdb1.conf        <====
-----------------------------------------------------------------
PACKGE_NAME pkgdb1    <====
PACKAGE_TYPE FAILOVER
FAILOVER_POLICY CONFIGURED_NODE
FAILBACK_POLICY MANUAL
NODE_NAME db101 <=====
AUTO_RUN YES
LOCAL_LAN_FAILOVER_ALLOWED YES
NODE_FAIL_FAST_ENABLED NO
RUN_SCRIPT  /etc/cmcluster/pkgdb1/pkgdb1.cntl   <=======
RUN_SCRIPT_TIMEOUT  NO_TIMEOUT
HALT_SCRIPT /etc/cmcluster/pkgdb1/pkgdb1.cntl   <======
HALT_SCRIPT_TIMEOUT NO_TIMEOUT
-----------------------------------------------------------------
vi pkgdb1.cntl
-----------------------------------------------------------------
. ${SGCONFFILE:=/etc/cmcluster.conf}
PATH=$SGSBIN:/usr/bin:/usr/sbin:/etc:/bin
VGCHANGE="vgchange -a s"      <============
VG[0]="vgora"   <===========
VXVM_DG_RETRY="NO"
DEACTIVATION_RETRY_COUNT=0
KILL_PROCESSES_ACCESSING_RAW_DEVICES="NO"
FS_UMOUNT_COUNT=1
FS_MOUNT_RETRY_COUNT=0
COUNCURRENT_VGCHANGE_OPERATIONS=1
CONCURRENT_FSCK_OPERATIONS=1
CONCURRENT_MMOUNT_AND_UMOUNT_OPERATIONS=1
log_file=${SG_SCRIPT_LOG_FILE:-$-.LOG}
-----------------------------------------------------------------
vi pkgdb2.conf
-----------------------------------------------------------------
PACKGE_NAME pkgdb2    <====
PACKAGE_TYPE FAILOVER
FAILOVER_POLICY CONFIGURED_NODE
FAILBACK_POLICY MANUAL
NODE_NAME db102   <==========
AUTO_RUN YES
LOCAL_LAN_FAILOVER_ALLOWED YES
NODE_FAIL_FAST_ENABLED NO
RUN_SCRIPT  /etc/cmcluster/pkgdb2/pkgdb2.cntl   <=======
RUN_SCRIPT_TIMEOUT  NO_TIMEOUT
HALT_SCRIPT /etc/cmcluster/pkgdb2/pkgdb2.cntl   <======
HALT_SCRIPT_TIMEOUT NO_TIMEOUT
-----------------------------------------------------------------
vi pkgdb2.cntl
-----------------------------------------------------------------
. ${SGCONFFILE:=/etc/cmcluster.conf}  
PATH=$SGSBIN:/usr/bin:/usr/sbin:/etc:/bin
VGCHANGE="vgchange -a s"      <============
VG[0]="vgora"   <===========
VXVM_DG_RETRY="NO"
DEACTIVATION_RETRY_COUNT=0
KILL_PROCESSES_ACCESSING_RAW_DEVICES="NO"
FS_UMOUNT_COUNT=1
FS_MOUNT_RETRY_COUNT=0
COUNCURRENT_VGCHANGE_OPERATIONS=1
CONCURRENT_FSCK_OPERATIONS=1
CONCURRENT_MMOUNT_AND_UMOUNT_OPERATIONS=1
log_file=${SG_SCRIPT_LOG_FILE:-$-.LOG}