Miners IT 기록 일지

Openstack Neutron Port 생성 방법

Miners1205 — Wed, 22 May 2024 21:59:35 +0900

Openstack Neutron Port 생성 방법

Openstack Port Create CLI 명령

#!/bin/bash
#####################################################################################
TENANT_INFO=admin-openrc

### Input Information ###
NET_NAME={NETWORK_NAME}

### Input Information ###
SUBNET_NAME={SUBNET_NETWORK_NAME}

LB_VIP=192.168.10.101
LB_NAME='TEST LB VIP'
#####################################################################################

source /root/${TENANT_INFO}
#####################################################################################
### Openstack Port Create & LB Settings

### Neutron 명령일 경우(옛날 버전) ### 
neutron oprt-create ${NET_NAME} --fixed-ip ip_address={$LB_VIP} --name ${LB_NAME}

### Openstack 명령일 경우 ###
openstack port create --network ${NET_NAME} --fixed-ip subnet=${SUBNET_NAME},ip-address=${LB_VI{} ${LB_NAME}

RHCSA - Find 파일 찾기

Miners1205 — Fri, 29 Dec 2023 23:21:57 +0900

Find 명령어 사용

Find 명령어 사용하여 문제를 해결한다.

Find 명령어를 사용하여 소유자가 Guest인 파일을 시스템 전체 검색하여 /root/findfiles 디렉토리에 복사한다.

Q. Find 명령어를 사용하여 소유자가 Guest인 파일을 시스템 전체 검색하여 /root/findfiles 디렉토리에 복사한다.

### 복사할 폴더 생성
[root@test01~]# mkdir /root/findfiles

### 검색 및 해당 경로 복사
[root@test01~]# find / -user guest -exec cp -a {} /root/findfiles/ \;

Kolla-ansible Openstack vGPU Virtual Machine 설정 방법

Miners1205 — Wed, 20 Dec 2023 14:24:08 +0900

Kolla-ansible Openstack vGPU(Virtual GPU) Virtual Machine 설정 방법

vGPU 사용을 위한 Openstack VM 환경 설정을 한다.

Openstack vGPU VM 환경 세팅

1.Virtual Machine 환경

### OS 기본 환경 세팅 ###

o Rocky 8.6 OS Kernel 4.18.0-372.13.1.el8_6.x86_64

### 커널 버전 확인 ###
[root@vgputestvm01]# rpm -qa |grep kernel
kernel-core-4.18.0-372.13.1.el8_6.x86_64
kernel-headers-4.18.0-372.13.1.el8_6.x86_64
kernel-modules-4.18.0-372.13.1.el8_6.x86_64
kernel-tools-4.18.0-372.13.1.el8_6.x86_64
kernel-tools-libs-4.18.0-372.13.1.el8_6.x86_64
kernel-devel-4.18.0-372.13.1.el8_6.x86_64
kernel-4.18.0-372.13.1.el8_6.x86_64

-> 버전이 맞지 않는 경우 일치 시켜주어야함.

### Grub 모드 세팅###

[root@vgputestvm01]# cat /etc/default/grub
GRUB_TIMEOUT=1
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto resume=/dev/mapper/rl-swap rd.lvm.lv=rl/root rd.lvm.lv=rl/swap rd.driver.blacklist=nouveau nouveau.modeset=0"
GRUB_DISABLE_RECOVERY="true"
GRUB_ENABLE_BLSCFG=true

### Grub 설정 변경 ###

[root@vgputestvm01]# grub2-mkconfig -o /bot/efi/EFI/rocky/grub2.cfg
[root@vgputestvm01]# grub2-mkconfig -o /boot/grub2/grub
[root@vgputestvm01]# dracut -v /boot/initramfs-$(uname -r).img $(uname -r)

2. NVIDIA Driver 설치

### 패키지 종속성을 위한 필수 패키지 사전 설치 ###

[root@vgputestvm01 ]# dnf install gcc* make pciutils -y

[root@vgputestvm01 ]# lspci -nn |grep NVIDIA
00:05.0 VGA compatible controller [0300]: NVIDIA Corporation TU104GL [Tesla T4] [10de:1eb8] (rev a1)

### rpm 패캐지 버전들은 커널 버전과 동일하게 맞춤.
[root@vgputestvm01 ]# rpm -ivh kernel-devel-4.18.0-372.13.1.el8_6.x86_64.rpm

[root@vgputestvm01 ]# rpm -ivh kernel-headers-4.18.0-372.13.1.el8_6.x86_64.rpm (rpm -Uvh kernel-headers-4.18.0-372.13.1.el8_6.x86_64.rpm)

[root@vgputestvm01 ]# rpm -ivh dkms-3.0.12-1.el8.noarch.rpm
→ dkms 설치시 디펜던시 필요시 다음 설치
→ rpm -ivh elfutils-libelf-devel-0.189-3.el8.x86_64.rpm
→ rpm -ivh elfutils-libelf-0.189-3.el8.x86_64.rpm

[root@vgputestvm01]# chmod +x NVIDIA-Linux-x86_64-470.161.03-grid.run

[root@vgputestvm01]# ./NVIDIA-Linux-x86_64-470.161.03-grid.run
→ 설치시 필요한 패키지 있으면 추가 설치 필요.

### 설치 완료 확인

[root@vgputestvm01 ]# lsmod |grep nvidia
nvidia_drm 65536 0
nvidia_modeset 1200128 1 nvidia_drm
nvidia 35454976 1 nvidia_modeset
drm_kms_helper 266240 4 cirrus,nvidia_drm
drm 585728 5 drm_kms_helper,nvidia,cirrus,nvidia_drm

[root@vgputestvm01 ]# nvidia-smi

3. NVIDIA Driver 인식

[root@vgputestvm01]# ll /etc/nvidia/
ClientConfigToken
gridd.conf
license
nvidia-topologyd.conf.template

### 최근 라이센스 인식이 설정값이 아닌 토큰값으로 변경됨
→ gridd.conf.template 으로 있으면 명칭을 gridd.conf로 변경해도 되고 안해도 된다.

### NVIDIA 라이센스 다운받아 하단 폴더에 넣는다.
[root@vgputestvm01 nvidia]# cd ClientConfigToken/
[root@vgputestvm01 nvidia]# ls
client_configuration_token_12-04-2023-18-04-25.to

### 라이센스 인식을 위한 vGPU 서비스 재기동 및 인식 확인
[root@vgputestvm01 ]# systemctl restart nvidia-gridd.service

[root@vgputestvm01 nvidia]# nvidia-smi -q
==============NVSMI LOG==============
Timestamp : Tue Dec 12 02:16:37 2023
Driver Version : 470.161.03
CUDA Version : 11.4
Attached GPUs : 1
GPU 00000000:00:05.0
Product Name : GRID T4-1B
Product Brand : NVIDIA Virtual PC
Display Mode : Enabled
Display Active : Disabled
Persistence Mode : Enabled
..................................................................................................................
GPU UUID : GPU-UUID
..................................................................................................................
GPU Virtualization Mode
Virtualization Mode : VGPU
Host VGPU Mode : N/A
vGPU Software Licensed Product
Product Name : NVIDIA Virtual PC
License Status : Licensed (Expiry: 2023-12-13 0:28:35 GMT) -> 해당 부분이 정상 인식으로 변경된것 확인.
..................................................................................................................
라이센스 상태 정상 확인 완료.

o vGPU 참고 사이트
1)NVIDIA : https://docs.nvidia.com/grid/13.0/grid-vgpu-user-guide/index.html
2) vGPU : https://docs.openstack.org/nova/queens/admin/virtual-gpu.html
3) https://www.nvidia.com/en-us/data-center/graphics-cards-for-virtualization/
4) 참고용 사이트 : https://cloud-atlas.readthedocs.io/zh-cn/latest/machine_learning/hardware/nvidia_gpu/nvidia-smi.html

Kolla-ansible Openstack VGPU 설정 방법

Miners1205 — Mon, 27 Nov 2023 18:13:01 +0900

Kolla-ansible Openstack vGPU(Virtual GPU) 설정 방법

Kolla-ansible Openstack vGPU 사용을 위한 Openstack Host 환경 설정을 한다.

Openstack vGPU Host 환경 세팅

1. BIOS 세팅

### BIOS 기본 세팅 ###

VT-d on
VT-x on

2. Host OS 설치

### 지원 되는 OS 설치 ###

o 본 설정에 맞는 OS를 설치한다.

o Ubuntu, Rocky, CentOS 등

o 설치 버전 : Rocky 8

3. Host OS 환경 설정

### NVIDIA 그래픽 드라이버 인식 확인

[root@gpu01]# lspci -nn |grep NVIDIA
c1:00.0 3D controller [0101]: NVIDIA Corporation TU104GL [Tesla T4] [10de:1eb8] (rev a1)

[root@gpu01]# cat /etc/default/grub
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto resume=/dev/mapper/rl-swap rd.lvm.lv=rl/root rd.lvm.lv=rl/swap intel_iommu=on vfio-pci.ids=10de:1eb8"
GRUB_DISABLE_RECOVERY="true"
GRUB_ENABLE_BLSCFG=true

[root@gpu01]# grub2-mkconfig -o /boot/efi/EFI/rocky/grub.cfg

[root@gpu01]# mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak

[root@gpu01]# dracut -v /boot/initramfs-$(uname -r).img $(uname -r)

5. 서버 재기동

### blacklist 내용 추가
[root@gpu01]# vim /etc/modprobe.d/blacklist.conf
blacklist nouveau

### 서버 재기동
[root@gpu01]# reboot

[root@gpu01]# lsmod | grep nouveau
-> 출력값 X

6. NVIDIA 패키지 설치

### NVIDIA VGPU 패키지 설치를 위한 사전 작업

[root@gpu01]# dnf install make gcc -y

[root@gpu01]# yum group install "Development Tools"

### 필요시 설치

[root@gpu01]# dnf install gcc*

### NVIDIA VGPU 설치시 해당 설정 요청에 따른 추가
[root@gpu01]# cat nvidia-installer-disable-nouveau.conf
# generated by nvidia-installer
blacklist nouveau
options nouveau modeset=0

### NVIDIA 패키지 공홈 다운 및 설치

[root@gpu01]# ./NVIDIA-Linux-x86_64-510.73.06-vgpu-kvm.run

[root@gpu01]# nvidia-smi

[root@gpu01]# reboot ← reboot 해야 mdev_bus 가 보인다

[root@gpu01]# ls /sys/class/mdev_bus/*/mdev_supported_types
nvidia-222 nvidia-224 nvidia-226 nvidia-228 nvidia-230 nvidia-232 nvidia-234 nvidia-319 nvidia-321
nvidia-223 nvidia-225 nvidia-227 nvidia-229 nvidia-231 nvidia-233 nvidia-252 nvidia-320

### 위 폴더 및 리스트가 뜨면 확인 VGPU 기본 환경 설정 완료.

7. Openstack Config 수정

Docker container 기반 Openstack Kolla-ansible 설치

####################################################################################
### Contoller 서버 nova-api, nova.conf 설정값 추가

[pci]
alias = { "vendor_id":"10de", "product_id":"1eb8", "device_type":"type-PF", "name":"T4" }
passthrough_whitelist = { "vendor_id":"10de", "product_id":"1eb8" }

### controller 서버 nova-scheduler nova.conf 설정 추가
[filter_scheduler]
enabled_filters = RetryFilter,AvailabilityZoneFilter,ComputeFilter,ComputeCapabilitiesFilter,ImagePropertiesFilter,ServerGroupAntiAffinityFilter,ServerGroupAffinityFilter,NUMATopologyFilter,AggregateInstanceExtraSpecsFilter,PciPassthroughFilter
available_filters = nova.scheduler.filters.all_filters
####################################################################################

### Nova Compute Node nova.conf 설정

[devices]
enabled_vgpu_types = nvidia-223
####################################################################################

[root@gpu01]# docker restart nova_compute

Graphic Card : Tesla V100S
- Openstack 설정값 vGPU 사양 설명

1 nvidia-355 num_heads=4, frl_config=60, framebuffer=1024M, max_resolution=5120x2880, max_instance=32
2 nvidia-356 num_heads=4, frl_config=60, framebuffer=2048M, max_resolution=7680x4320, max_instance=16
3 nvidia-357 num_heads=4, frl_config=60, framebuffer=4096M, max_resolution=7680x4320, max_instance=8
4 nvidia-358 num_heads=4, frl_config=60, framebuffer=8192M, max_resolution=7680x4320, max_instance=4
5 nvidia-359 num_heads=4, frl_config=60, framebuffer=16384M, max_resolution=7680x4320, max_instance=2
6 nvidia-360 num_heads=4, frl_config=60, framebuffer=32768M, max_resolution=7680x4320, max_instance=1
7 nvidia-361 num_heads=1, frl_config=60, framebuffer=4096M, max_resolution=4096x2160, max_instance=8
8 nvidia-362 num_heads=1, frl_config=60, framebuffer=8192M, max_resolution=4096x2160, max_instance=4
9 nvidia-363 num_heads=1, frl_config=60, framebuffer=16384M, max_resolution=4096x2160, max_instance=2
10 nvidia-364 num_heads=1, frl_config=60, framebuffer=32768M, max_resolution=4096x2160, max_instance=1
11 nvidia-365 num_heads=1, frl_config=60, framebuffer=1024M, max_resolution=1280x1024, max_instance=32
12 nvidia-366 num_heads=1, frl_config=60, framebuffer=2048M, max_resolution=1280x1024, max_instance=16
13 nvidia-367 num_heads=1, frl_config=60, framebuffer=4096M, max_resolution=1280x1024, max_instance=8
14 nvidia-368 num_heads=1, frl_config=60, framebuffer=8192M, max_resolution=1280x1024, max_instance=4
15 nvidia-369 num_heads=1, frl_config=60, framebuffer=16384M, max_resolution=1280x1024, max_instance=2
16 nvidia-370 num_heads=1, frl_config=60, framebuffer=32768M, max_resolution=1280x1024, max_instance=1
17 nvidia-371 num_heads=4, frl_config=45, framebuffer=1024M, max_resolution=5120x2880, max_instance=32
18 nvidia-373 num_heads=4, frl_config=45, framebuffer=2048M, max_resolution=5120x2880, max_instance=16

Graphic Card : Tesla T4
- Openstack 설정값 vGPU 사양 설명

1 nvidia-222 num_heads=4, frl_config=45, framebuffer=1024M, max_resolution=5120x2880, max_instance=16
2 nvidia-223 num_heads=4, frl_config=45, framebuffer=2048M, max_resolution=5120x2880, max_instance=8
3 nvidia-224 num_heads=4, frl_config=45, framebuffer=2048M, max_resolution=5120x2880, max_instance=8
4 nvidia-225 num_heads=1, frl_config=60, framebuffer=1024M, max_resolution=1280x1024, max_instance=16
5 nvidia-226 num_heads=1, frl_config=60, framebuffer=2048M, max_resolution=1280x1024, max_instance=8
6 nvidia-227 num_heads=1, frl_config=60, framebuffer=4096M, max_resolution=1280x1024, max_instance=4
7 nvidia-228 num_heads=1, frl_config=60, framebuffer=8192M, max_resolution=1280x1024, max_instance=2
8 nvidia-229 num_heads=1, frl_config=60, framebuffer=16384M, max_resolution=1280x1024, max_instance=1
9 nvidia-230 num_heads=4, frl_config=60, framebuffer=1024M, max_resolution=5120x2880, max_instance=16
10 nvidia-231 num_heads=4, frl_config=60, framebuffer=2048M, max_resolution=7680x4320, max_instance=8
11 nvidia-232 num_heads=4, frl_config=60, framebuffer=4096M, max_resolution=7680x4320, max_instance=4
12 nvidia-233 num_heads=4, frl_config=60, framebuffer=8192M, max_resolution=7680x4320, max_instance=2
13 nvidia-234 num_heads=4, frl_config=60, framebuffer=16384M, max_resolution=7680x4320, max_instance=1
14 nvidia-252 num_heads=4, frl_config=45, framebuffer=1024M, max_resolution=5120x2880, max_instance=16
15 nvidia-319 num_heads=1, frl_config=60, framebuffer=4096M, max_resolution=4096x2160, max_instance=4
16 nvidia-320 num_heads=1, frl_config=60, framebuffer=8192M, max_resolution=4096x2160, max_instance=2
17 nvidia-321 num_heads=1, frl_config=60, framebuffer=16384M, max_resolution=4096x2160, max_instance=1

8. Openstack Flavor 생성

### vGPU Flavor 생성, 설정
[root@controller01]# openstack flavor create --vcpus 2 --ram 2048 --disk 100 vgputest01
[root@controller01]# openstack flavor set vgputest01 --property "resources:VGPU=1"

vgpu01 사양에 vgpu를 1개씩 사용함.
위 설정대로 nvidia-184 세팅시 해당 사양으로 인스턴스 2개 생성 가능

GPU & vGPU 참고 사이트

NVIDIA : Virtual GPU Software User Guide :: NVIDIA Virtual GPU Software Documentation
vGPU : OpenStack Docs: Attaching virtual GPU devices to guests
Supported NVIDIA GPUs: NVIDIA A10, A16, A30, A40, A100, T4, RTX 8000, RTX 6000, V100S, V100, P100, P40, P6, P4, M60, M10
vGPU는 설치, 할당 가능하지만 NVIDIA 관련 라이센스 구매해야됨.

Openstack GPU & VGPU 설정 방법 - Ubuntu

Miners1205 — Mon, 27 Nov 2023 17:18:08 +0900

1. Openstack VGPU Setting 관련한 내용을 정리한다.

### Kolla-ansible VGPU 세팅 테스트

### VGPU OS 설치 파일 다운로드 및 컴퓨트 노드 설치

$ dpkg -i nvidia-vgpu-ubuntu-470_470.82_amd64.deb

$ vim /etc/default/grub

GRUB_CMDLINE_LINUX="intel_iommu=on modprobe.blacklist=nouveau"

$ lspci -nn | grep NVIDIA

$ update-grub

### 설정 가능한 nvidia 디바이스 타입 확인

$ cd /sys/class/mdev_bus/0000\:3b\:00.0
$ cd mdev_supported_types/

$ for i in *; do echo "" $(cat $i/name) available: $(cat $i/avail*); done

### nova.conf에 해당 설정 디바이스 타입 적용하여 vgpu 사용할 타입 선택

$ vim /etc/kolla/nova-compute/nova.conf

[devices]
enabled_vgpu_types = nvidia-232

$ nvidia-smi

RHCSA - 사용자 계정 추가 생성

Miners1205 — Sat, 11 Nov 2023 22:06:14 +0900

사용자 계정 생성

신규 사용자 생성에 대한 설정 문제이다.

쉬운 문제이니 필수로 확인 필요

Q. 사용자 ID가 2000를 가지는 사용자 manalo를 생성한다.

[root@test01~]# useradd -u 2000 manalo

[root@test01~]# cat /etc/passwd | grep manalo

RHCSA - 시간 동기화 Chronyd

Miners1205 — Tue, 17 Oct 2023 14:29:11 +0900

NTP 시간 동기화

Linux 서버의 시간 동기화 작업에 관한 문제이다. 매우 쉬운 문제에 속한다.

Chronyd 서비스를 통해서 NTP 시간 동기화를 구성한다.
Timezone은 문제에서 제공하기에 해당 문제 바탕으로 푼다.

Q. 다음과 같이 NTP 설정을 하여라.

2.pool.ntp.org

[root@test01~]# yum install chrony -y

[root@test01~]# vim /etc/chrony.conf

### 라인 추가(예시)
server 2.pool.ntp.org iburst

[root@test01~]# systemctl start chronyd

[root@test01~]# systemctl enable chronyd

[root@test01~]# systemctl status chronyd

### 시간 동기화 확인

[root@test01~]# chronyc sources

[root@test01~]# date

RHCSA - Selinux & httpd 서비스 확인

Miners1205 — Fri, 8 Sep 2023 14:15:29 +0900

SELINUX & HTTPD 서비스 확인

SELINUX 관련 설정 문제이다. 설정이 enforcing으로 되어 있고 이상태에서 httpd 서비스가 정상적으로 작동하게 설정하는 것이다.

httpd 서비스 포트 : 82
httpd 서비스 경로 : /var/www/html
httpd 서비스 재부팅시 자동 시작 설정

### 상태 확인 failed
[root@test01~]# systemctl status httpd

[root@test01~]# getenforce  ### SELINUX 상태값 확인
Enforcing

[root@test01~]# setenforce 0    ### SELINUX 상태 Permissive 변경

[root@test01~]# getenforce  ### SELINUX 상태값 확인
Permissive

[root@test01~]# systemctl restart httpd    ### httpd 재시작 정상 확인

[root@test01~]# semanage port -l | grep http_port_t   ### 해당 서비스 포트 확인
http_port_t tcp 80,81,443,488,8008...9000

### semanage 포트에 httpd 서비스 포트인 82 포트 추가 명령어
[root@test01~]# semanage port -a -t http_port_t -p tcp 82

### 해당 서비스 포트 추가 확인
[root@test01~]# semanage port -l | grep http_port_t
http_port_t tcp 80, 81, 82, 443,488,8008...9000

[root@test01~]# setenforce 1    ### SELINUX 상태 Enforcing 변경

[root@test01~]# systemctl restart httpd
[root@test01~]# systemctl enable httpd
[root@test01~]# firewall-cmd --add-port=82/tcp
[root@test01~]# curl localhost

순차적으로 httpd 서비스 확인하고 이후 semanage 명령어를 통해 82 포트 추가를 한다. 이후 httpd 재기동 및 재부팅시 자동 시작을 하며 방화벽에 해당 포트 추가 및 웹이나 curl 명령을 통해 정상적으로 접근이 가능한지 확인한다.

RHCSA - 사용자 계정 생성

Miners1205 — Sun, 20 Aug 2023 14:44:49 +0900

사용자 계정 생성

신규 사용자 생성
사용자 그룹 설정
사용자 암호 설정

Q. sysgrp 그룹을 생성하라.

Q. sysgrp 그룹에 속하는 사용자 natasha를 생성하라.

Q. sysgrp 그룹에 속하는 사용자 harry를 생성하라.

Q. sysgrp 그룹에 속하지 않고 쉘 접속이 허용되지 않는 사용자 sarah를 생성하라.

Q. natasha, harry, sarah 암호는 모두 'sksxk'로 설정하라.

$ groupadd -g sysgrp

### 그룹 생성 확인
$ cat /etc/group |grep sysgrp

### 사용자 생성
$ useradd -G sysgrp natasha
$ useradd -G sysgrp harry
$ useradd -s /sbin/nologin sarah

### 그룹에 natasha, harry 포함 확인
$ cat /etc/group |grep sysgrp

### 계정에 대한 암호 설정
$ passwd natasha
$ passwd harry
$ passwd sarah

RHCSA - 레포지토리 설정하기

Miners1205 — Fri, 18 Aug 2023 23:25:28 +0900

Repository 설정하기

1대의 서버에 대해서 Repository를 잡는다.

Q. 다음과 같은 설정에 대해서 Repository를 설정하라.

A. 2가지 방법이 있다.

dnf-config manager 사용
수동 설정

### dnf config-manager 사용
$ dnf config-manager --add-repo http://server1.example.com/BaseOS
$ dnf config-manager --add-repo http://server1.example.com/Appstream

$ cd /etc/yum.repo.d/

### 생성 된 레포 파일 확인(이름 XXX1.repo / XXX2.repo)
$ vim XXX1.repo

### 하단 키 인증은 없기에 추가해준다.
[BaseOS]
name=~~~
baseurl=~~~
enabled=1
gpgcheck=0   ### 내용 추가

$ vim XXX1.repo

### 하단 키 인증은 없기에 추가해준다.
[Appstream]
name=~~~
baseurl=~~~
enabled=1
gpgcheck=0   ### 내용 추가

$ yum clean al
$ yum repolist

추가된 레포지토리 확인

### 수동 설정하기

$ cd /etc/yum.repo.d/
$ vim BaseOS.repo
[BaseOS]
name=BaseOS
baseurl={문제 URL 입력]
enabled=1
gpgcheck=0

$ vim AppStream.repo
[AppStream]
name=AppStream
baseurl={문제 URL 입력]
enabled=1
gpgcheck=0

$ yum clean al
$ yum repolist

추가된 레포지토리 확인

위와 같이 설정을 한 이후 repository 확인 및 yum install vim 으로 잘 되는지 확인한다.

RHCSA - hostname 설정

Miners1205 — Fri, 18 Aug 2023 21:48:22 +0900

Hostname 설정

1대의 가상 서버의 Hostname을 설정하는 문제이다.

Q. Hostname을 다음과 같이 설정하라.

예시 : server1.example.com

### 현재 hostname 확인
$ hostname
testa

### 예시 hostname 설정
$ hostnamectl set-hostname server1.example.com

### 변경된 hostname 확인
server1.example.com

RHCSA - IP 세팅

Miners1205 — Fri, 18 Aug 2023 17:40:52 +0900

네트워크 환경 세팅

2대의 VM 중 1대는 네트워크 세팅이 안되어 있다. 그렇기에 설정을 해주어야 통신이 되며 다음 문제 풀이가 가능하다.

예시)

Q. IP 192.168.0.100 / Subnet 255.255.255.0 / Gateway 192.168.0.254 / dns 8.8.8.8 / 세팅해라.

### nmtui, nmcli명령으로 수동 설정을 해도 된다.

A. 하단 참조

### nmtui 사용
$ nmtui

$ ip setting
$ subnet setting
$ gateway setting
$ dns setting

$ ifdown eth0
$ ifup eth0

### nmcli 사용
$ nmcli con mode eth0 ipv4.address 192.168.0.100/24 ipv4.gateway 192.168.0.1 ipv4.dns 8.8.8.8 ipv4.method manual autoconect yes

### 나는 스크립트를 변경했다.

### 인터페이스 명칭 확인
$ cd /etc/sysconfig/network-scripts/

$ vim ifcfg-eth0

TYPE=Ethernet
DEVICE=eth0
IPADDR=192.168.0.100
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
ONBOOT=yes
NM_CONTROLLED=yes
DNS1=8.8.8.8

$ ifdown eth0
$ ifup eth0
$ ip a

### IP 정상 설정 확인

위와 같이 설정을 해주고 ip 정상적으로 부여된지 확인을 하면 된다.

RHCSA - root 암호 복구/설정

Miners1205 — Fri, 18 Aug 2023 12:34:26 +0900

root 암호 복구/설정

2대의 VM 중 1대는 네트워크 세팅이 안되어 있다. 그렇기에 설정을 해주어야 통신이 되며 다음 문제 풀이가 가능하다.

앞으로 이 곳에 RHCSA 준비하면서 필수적인 문제와 그 외 문제들을 확인할 예정이다.

추후에 내가 일이 생겼을때도 함께 확인하면 좋기 때문이다.

문제는 가상서버 2대가 주어진다.

초기 환경 설정 등 기본 세팅에 대한 설명이 있고 hostname, 계정, ip, repository 등 기본적인것이 주어진다.

이것들은 문제풀면서 봐도 되기에 그렇구나 하고 넘기자.

Q. VM의 root 계정 암호를 복구하라.(암호 주어짐)

이 문제는 쉬운 문제이다.

하지만 이 문제를 못풀면 그 다음 문제, 해당 가상머신의 문제를 못풀기에 무조건 실습해서 익혀야한다.

1. 시스템 재기동

2. Grub 모드 선택시 'e' 선택

- 부팅 화면 확인시 Grub 모드 선택시(커널 선택시) 'e' 키를 눌루서 부팅 편집기에 들어간다.

3. 커널 명령줄 이동

4. 맨 끝 라인 rd.break 추가

5. 변경 내용 저장

- 부팅시 하단과 같은 모드로 ㄴ머어가게 된다.

6. bash 화면에서 다음과 같이 입력

### sysroot 읽기 쓰기 remount 한다.
switch_root:/  mount -o rw,remount /sysroot

### chroot 환경으로 변경
switch_root:/ chroot /sysroot

### 주어진 암호의 값으로 root 계정 암호 변경한다.
sh-4.2# passwd root

passwdroot(문제 암호 설정)
passwdroot(문제 암호 설정)

### 레이블 없는 파일 재부팅시 적용되도록 설정한다.
sh-4.2# touch /.autorelabel

sh-4.2# exit

sh-4.2# exit

재기동 시간이 좀 걸린다. 재기동이 되면서 root 계정 설정된 암호로 로그인 확인한다.

RHCSA 목차 리스트

Miners1205 — Fri, 18 Aug 2023 12:33:46 +0900

RHCSA

목차 리스트

Redhat RHCSA 시험 접수 방법 및 원격 시험 방법

Miners1205 — Mon, 14 Aug 2023 10:18:51 +0900

RHCSA 란?

대상 : 레드햇 리눅스 시스템 관리자, 최종 RHCE를 취득하기 위한 엔지니어
시험 : RHCSA(Red Hat Certified System Administrator) Exam EX200
직무 능력 :
- 파일, 디렉터리, 커맨드, 파일 등 문서 처리를 위한 툴 이해 및 사용
- 시스템 레벨 부팅, 시스템 시작 및 중지, 서비스 제어 등 시스템 운영
- 볼륨 파티션 설정, 논리 볼륨 파티션 설정
- 파일 시스템 속성 설정(권한, 암호화, 액세스 제어, 네트워크 파일 시스템, 로컬 스토리지)
- 사용자 계정 생성, 암호 설정 및 그룹 관리
- 기본 컨테이너 관리 및 User 계정 실행

시험 준비

시험 준비는 인터넷, 유튜브만 보고 1주일 정도 3번정도 반복해서 풀었다.(암기한것도 있다.)

필자는 IT 관련 업무를 하기에 기본적인 문제들은 자주 사용했었다.

하지만 처음 하는 분도 계시기에 다음과 같은 테스트 환경 구성 이후 문제 테스트를 하면 된다.

시험 환경 구축
- VMWARE 무료 평가판 다운로드 및 설치
- Rocky 8.2 iso Download 및 설치(2대)
구글 서치하여 시험 덤프 확인
유튜브 검색시 관련 문제 강의 확인(강의 영상 확인)
헷갈린 문제는 체크 이후 주기적 테스트 풀기
모든것 맞출 필요 없이 210점을 넘기면 되기에 과감하게 잘 안되는 문제는 포기하는 마인드

나 또한 2번째 컨테이너는 안풀겠다는 생각으로 시험 봤다.(진짜 안풀음) 왜냐면 1번째 컨테이너 문제 파일들 삭제해야되서 2번째 못풀면 1번째 문제도 틀릴거라는 생각으로..

시험 신청

시험 비용 : 55만원(23년 기준, 매년 상승)
준비물 : 여권
- 주민등록증, 운전면허증은 안되고 여권으로만 본인 인증이 가능하니 여권 필수!
시험 시간 : 3 시간
시험 방법 : 현장 시험 / 원격 시험

자격증 시험 신청

RHCSA시험은 국내에서는 바로 안되고 기관을 거쳐서 결제를 한 이후 이메일로 해당 시험 접수 방법을 안내 받아 시험 신청을 해야 한다. 나는 다음과 같은 기관을 통해 시험 접수를 했다.

Redhat 계정 생성(이름 영문 필수) : Redhat 바로가기
시험 신청 방법 : 패스트레인 바로가기

패스트레인 접속 및 회원가입
ex200 검색(맨 하단 이동 및 온라인 수강 신청)

시험 결제 및 이메일 안내 대기
- 시험 결제시 희망시작날짜가 있는데 이건 결제일 기준 해당 일자로 설정
- 결제 완료 이후 3일 ~ 5일 이내 메일 안내
메일 안내 이후 링크 접속 및 로그인
- ex200 시험 선택
- 응시 국가 Korea South 선택
- 여권 캡처본 업로드
- 업로드 이후 메일 안내에 따라 승인 요청 메일 발송

메일 수신시 해당 링크 접속
시험 일정 조율(장소, 일정)
- 현장
  - 현장 시험은 신청시 시험 자리가 있는 일정 선택.
  - 현장에 가상 환경 세팅(노트북, 웹) 모두 구비되어 있어 채팅 메세지로 오는 감독관 지시에 따르면 됨.
- 원격
  - 필자의 시험 방법.
  - 필수 항목
    - 외부 연결 캠(쿠팡 구매)
    - 마이크

원격 환경 세팅하기
- 테스트 메일 안내 수신
- 해당 메일을 통해 iso 파일 다운로드
- iso파일 USB 굽기
- PC USB 부팅
- 부팅 이후 본인 시험 환경 테스트(마이크, 캠, 화면 공유)
- 자세한 내용 해당 파일 확인 : 파일 확인하기

모든 환경이 완료되면 시험 시간 3시간전부터인가도 접속해서 다시 환경 테스트가 가능하며 시험 20분전 로그인하여 시험 보기 전 대기를 할 수 있다.

또한, 궁금한 사항이 있으면 USB 부팅 이후 오른쪽 하단 관리자 채팅 모드가 활성화 되어 있어 실시간으로 확인 요청이 가능하다.

IT 정리 블로그

Miners1205 — Sun, 13 Aug 2023 20:34:03 +0900

IT 정리 블로그

Redhat - RHCSA 취득 후기

Miners1205 — Sun, 13 Aug 2023 20:32:42 +0900

미루고 미루던 Redhat RCHSA 8 자격증을 취득했다.

귀찮기도 하고 시험에는 그닥 자신감은 있지 않아서 미루던 시험이지만 기본적인거라도 따놔야겠다 해서 신청을 하여 구글 검색과 유튜브 일부 강의만 보고 취득 완료.

이전과 조금 다르지만 그래도 일상에서 쓰던것들이라 나쁘지 않았던것 같다.

23년도 기준 시험 비용은 55만원으로 비싼편이지만.. 있는것도 나쁘지는 않다.

약간의 애매한 부분(권한)은 했지만 2번째 컨테이너 문제는 패스해도 합격에 문제없을것 같아 안풀었다.(못풀면 1번째 컨테이너 문제도 틀릴것 같아서..)

관련분야 분들은 어렵지 않게 따실 것 같고.. 처음이시라면 기본적인것부터 검색해서 덤프들 보면 될 것 같다.

다음은 9버전을 해볼까.. CE를 할까 고민중.. 미리좀 따놓을걸 하는 생각도 든다.

Ceph Install Guide Using Ceph-Deploy

Miners1205 — Thu, 10 Aug 2023 12:55:50 +0900

1. 설치 환경

o 가상 서버 환경 3대 구성

o Deploy 서버와 Ceph Node 3대로 구성

2. Ceph Package 설치

o Ceph 노드 모두 설치

$ apt install ntp python -y

$ sudo useradd -d /home/cephnode -m cephnode

$ sudo passwd cephnode
암호 임력 : test123

$ echo "cephnode ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephnode

$ sudo chmod 0440 /etc/sudoers.d/cephnode

o /etc/hosts 파일 등록

10.0.0.5 node01
10.0.0.4 node02
10.0.0.6 node03

o Deploy 노드 설치

- Ceph Deploy 패키지 설치

$ wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -

$ echo deb https://download.ceph.com/debian-luminous/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

$ sudo apt update

$ sudo apt install ceph-deploy

- Ceph 유저 생성

$ sudo useradd -d /home/cephdeploy -m cephdeploy

$ sudo passwd cephdeploy
암호 임력 : test123

$ echo "cephdeploy ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephdeploy

$ sudo chmod 0440 /etc/sudoers.d/cephdeploy

- Key 복사 및 설정

$ ssh-keygen -t rsa
$ ssh-copy-id cephnode@node01
$ ssh-copy-id cephnode@node02
$ ssh-copy-id cephnode@node03

o 키 등록

$ vim ~/.ssh/config

Host node01
   Hostname node01
   User cephnode
Host node02
   Hostname node02
   User cephnode
Host node03
   Hostname node03
   User cephnode

3. Ceph Cluster 구성

### ceph 설정 폴더 생성
$ mkdir my-cluster

$ cd my-cluster

### Ceph Cluster 초기화 작업
$ ceph-deploy purge node01 node02 node03
$ ceph-deploy purgedata node01 node02 node03
$ ceph-deploy forgetkeys
$ rm ceph-deploy-ceph.log

### Ceph Cluster 구성
### Monitor Daemon과 MGR은 node01 deploy 서버에 구성
$ ceph-deploy new node01
$ ceph-deploy install node01 node02 node03
$  ceph-deploy mon create-initial
$  ceph-deploy admin node01 node02 node03
$ ceph-deploy mgr create node01
$  ceph-deploy osd create --data /dev/vdb node01
$ ceph-deploy osd create --data /dev/vdb node02
$ ceph-deploy osd create --data /dev/vdb node03
$ ceph-deploy mds create node01
$  ceph-deploy rgw create node01

Openstack Router Failover 설정하기

Miners1205 — Thu, 10 Aug 2023 12:53:41 +0900

Openstack 관리 서버의 이슈 발생으로 종료시 Router 테넌트의 Failover 설정

* Opentsack Router Failover 세팅값

$ vim /etc/kolla/neutron-l3-agent/neutron.conf

[Default]
### Adding
allow_automatic_l3agent_failover = true

$ docker restart neutron_l3_agent

Openstack VM MTU 변경하기

Miners1205 — Thu, 10 Aug 2023 12:52:55 +0900

* VM의 MTU 값 변경

* Openstack Network MTU 값 변경
$ vim /etc/kolla/neutron-dhcp-agent/dnsmasq.conf

log-facility=/var/log/kolla/neutron/dnsmasq.log
### Adding ###
dhcp-option-force=option:mtu,1400
또는
dhcp-option-force=26,1400

$ docker restart neutron_dhcp_agent

Openstack Kolla-ansible GPU & VGPU 세팅

Miners1205 — Thu, 10 Aug 2023 12:38:24 +0900

1. Openstack VGPU Setting 관련한 내용을 정리한다.

### Kolla-ansible VGPU 세팅 테스트

### VGPU OS 설치 파일 다운로드 및 컴퓨트 노드 설치

$ dpkg -i nvidia-vgpu-ubuntu-470_470.82_amd64.deb

$ vim /etc/default/grub

GRUB_CMDLINE_LINUX="intel_iommu=on modprobe.blacklist=nouveau"

$ lspci -nn | grep NVIDIA

$ update-grub

### 설정 가능한 nvidia 디바이스 타입 확인

$ cd /sys/class/mdev_bus/0000\:3b\:00.0
$ cd mdev_supported_types/

$ for i in *; do echo "" $(cat $i/name) available: $(cat $i/avail*); done

### nova.conf에 해당 설정 디바이스 타입 적용하여 vgpu 사용할 타입 선택

$ vim /etc/kolla/nova-compute/nova.conf

[devices]
enabled_vgpu_types = nvidia-232

$ nvidia-smi

Kolla-ansible Openstack install in CentOS 7.8 - Stein

Miners1205 — Thu, 10 Aug 2023 12:37:38 +0900

1. Openstack Kolla-ansible 설치 방법을 안내한다.

2. OpenVSwitch를 사용하여 네트워크를 세팅한다.

1. OS 환경

CentOS 7.8
Controller, Compute 각각 운영 환경
네트워크 포트 최소 2~4개(External, MGMT, Data, Storage)

2. Openstack OS 기본 설정

2.1 기본 툴 설치

$ yum install vim net-tools -y               ### 기본 툴 설치

$ yum install nfs-utils -y                   ### NAS 스토리지 연결시 필요

2.2 네트워크 설정

### IPv6 중지 및 설정 확인

$ vim /etc/sysctl.conf 
 net.ipv6.conf.all.disable_ipv6 = 1 
 net.ipv6.conf.default.disable_ipv6 = 1 
 net.ipv6.conf.lo.disable_ipv6 = 1

$ sysctl -p

### 방화벽 및 네트워크 매니저 중지

$ systemctl stop firewalld

$ systemctl disable firewalld

$ systemctl stop NetworkManager

$ systemctl disable NetworkManager

2.3 Hosts 파일 설정

### Hosts 파일 설정

$ vim /etc/hosts
 172.16.0.1 controller01 con01
 172.16.0.2 controller02 con02
 172.16.0.3 controller03 con03
 172.16.0.11 compute01 com01
 172.16.0.12 compute02 com02

2.4 네트워크 세팅

### 네트워크 설정

### External IP 세팅 

$ vim /etc/sysconfig/network-scripts/ifcfg-br-ex
DEVICE=br-ex
DEVICETYPE=ovs
ONBOOT=yes
TYPE=OVSBridge
DELAY=0
STP=off
NM_CONTROLLED=no
PIFDEV=eno3
BOOTPROTO=none
IPADDR=192.168.10.1 ~ 192.168.10.5
NETMASK=255.255.255.0
GATEWAY=192.168.10.254
DNS1=8.8.8.8

$ vim /etc/sysconfig/network-scripts/ifcfg-eno3
DEVICE=eno3
DEVICETYPE=ovs
ONBOOT=yes
TYPE=OVSPort
NM_CONTROLLED=no
BOOTPROTO=none
OVS_BRIDGE=br-ex
USERCTL=no

### 데이터망 IP 세팅
$ vim /etc/sysconfig/network-scripts/ifcfg-br-int
DEVICE=br-int
DEVICETYPE=ovs
ONBOOT=yes
TYPE=OVSBridge
DELAY=0
STP=off
NM_CONTROLLED=no
PIFDEV=eno5
BOOTPROTO=none
IPADDR=172.17.0.1 ~ 172.17.0.5
NETMASK=255.255.255.0

$ vim /etc/sysconfig/network-scripts/ifcfg-eno5
DEVICE=eno5
DEVICETYPE=ovs
ONBOOT=yes
TYPE=OVSPort
NM_CONTROLLED=no
BOOTPROTO=none
OVS_BRIDGE=br-int
USERCTL=no
IPADDR=172.17.0.101 ~ 172.17.0.105
NETMASK=255.255.255.0

### 관리망 IP 세팅
$ vim /etc/sysconfig/network-scripts/ifcfg-eno4
TYPE=Ethernet
BOOTPROTO=none
NAME=eno4
DEVICE=eno4
ONBOT=yes
IPADDR=172.16.0.1 ~ 172.16.0.5
NETMASK=255.255.255.0

### 스토리지망 IP 세팅
$ vim /etc/sysconfig/network-scripts/ifcfg-eno6
TYPE=Ethernet
BOOTPROTO=none
NAME= eno6
DEVICE= eno6
ONBOT=yes
IPADDR=100.100.100.1 ~ 100.100.100.5
NETMASK=255.255.255.0

2.5 Openstack 패키지 설치

### Kolla-ansible Stein 버전 설치를 위한 패키지 다운로드

$ yum install –y epel-release
$ yum install –y epel-release https://repos.fedorapeople.org/repos/openstack/openstack-stein/rdo-release-stein-3.noarch.rpm
$ yum install –y openvswitch bridge-utils
$ systemctl start openvswitch
$ systemctl enable openvswitch

### 서버 재부팅시 다음 모듈 ON 시켜주어야함.

modprobe ip_vs

modprobe ip6_tables

modprobe openvswitch

2.6 SSH Key 설정

### 모든 서버들의 SSH Key 설정

$ ssh-keygen -t rsa

$ ssh-copy-id root@controller01 ~ compute02

2.7 Selinux 비활성화

$ vim /etc/selinux/config

  SELINUX=disabled

$ reboot

3. Kolla 의존성 설치

3.1 Kolla 의존성 설치

- 현재 Python 2 지원대가 끊김으로 Python 3 버전도 추가설치 해준다.

- Python 패키지 설치, pip 설치, pip docker 설치

$ yum install -y python-devel libffi-devel gcc openssl-devel libselinux-python python-pip

$ yum install -y python3-devel libselinux-python3 

$ pip list |grep pip               

### pip 버전이 낮을 경우 업그레이드 해준다.
$ pip install --upgrade pip==20.2.4
$ pip install docker==4.4.0

3.2 Ansible 설치 및 설정

$ yum install –y ansible
$ rpm –qa |grep ansible                     ### Ansible 버전 확인
$ vim /etc/ansible/ansible.cfg              ### Ansible 설정값 변경
 [defaults]
	forks = 100
	host_key_checking = false
 [ssh_connection]
	pipelining = True

### pip ansible 둘다 설치 필요
$ pip install ansible==2.8.8 또는 pip install ‘ansible<2.10’
$ pip3 install ansible==2.8.8 또는 pip3 install ‘ansible<2.10’


### Error 발생시 
pip3 install setuptools_rust
pip3 install wheelpython 
pip install --ignore-installed PyYAML

3.3 Kolla 패키지 설치 (Controller01 서버만 수행)

- Kolla-ansible Stein 버전 기준, 타 버전 설치시 Openstack 공홈 참고
- https://releases.openstack.org/teams/kolla.html


pip install kolla-ansible==8.3.0                                  ### Stein 8.3.0

cp -r /usr/share/kolla-ansible/etc_examples/kolla /etc/kolla/        ### 파일 복사

cp -r /usr/share/kolla-ansible/ansible/inventory/ /root/            ### 파일 복사

4. Kolla 설치 패키지 설정

4.1 Multinode 파일 설정

# ansible -i multinode all -m ping
network_interface = 해당 서버내부 data nic 명칭
api_interface = 해당 서버 내부 mgmt. nic 명칭
neutron_external_interface = 해당 서버 서비스망 nic 명칭
kolla_external_vip_interface = 해당 서버 서비스망 nic 명칭
storage_interface = 해당 서버 스토리지 nic 명칭
tunnel_interface = 해당 서버내부 data nic 명칭


$ vim /root/inventory/multimode

[control]
controller01 network_interface=eno5 api_interface=eno4 neutron_external_interface=eno3 kolla_external_vip_interface=eno3
controller02 network_interface=eno5 api_interface=eno4 neutron_external_interface=eno3 kolla_external_vip_interface=eno3
controller03 network_interface=eno2 api_interface=eno3 neutron_external_interface=eno4 kolla_external_vip_interface=eno4

[network]
controller01 network_interface=eno5 api_interface=eno4 neutron_external_interface=eno3 kolla_external_vip_interface=eno3
controller02 network_interface=eno5 api_interface=eno4 neutron_external_interface=eno3 kolla_external_vip_interface=eno3
controller03 network_interface=eno2 api_interface=eno3 neutron_external_interface=eno4 kolla_external_vip_interface=eno4
		
[compute]
compute01 network_interface=eno2 api_interface=eno3 storage_interface=eno1 tunnel_interface=eno2
compute02 network_interface=eno2 api_interface=eno3 storage_interface=eno1 tunnel_interface=eno2

[monitoring]
controller01 network_interface=eno5 api_interface=eno4 neutron_external_interface=eno3 kolla_external_vip_interface=eno3
controller02 network_interface=eno5 api_interface=eno4 neutron_external_interface=eno3 kolla_external_vip_interface=eno3
controller03 network_interface=eno2 api_interface=eno3 neutron_external_interface=eno4 kolla_external_vip_interface=eno4
		
[storage]
controller01 network_interface=eno5 api_interface=eno4 neutron_external_interface=eno3 kolla_external_vip_interface=eno3
controller02 network_interface=eno5 api_interface=eno4 neutron_external_interface=eno3 kolla_external_vip_interface=eno3
controller03 network_interface=eno2 api_interface=eno3 neutron_external_interface=eno4 kolla_external_vip_interface=eno4

4.2 Kolla 파일 설정(globals.yml)

$ vim /etc/kolla/global.yml

kolla_base_distro: "centos"                           ### OS 선택
kolla_install_type: "binary"                          ### type 선택
openstack_release: "stein"                            ### Openstack 설치 버전
kolla_internal_vip_address: "172.16.0.X"             ### 내부 VIP 작성
kolla_external_vip_address: "192.168.10.X"           ### 외부 VIP 작성
enable_mariadb: "yes"                                 ### DB 설치 확인
enable_cinder: "yes"                                  ### NFS 설정 사용
enable_cinder_backend_nfs: "yes"                      ### NFS 설정 사용
enable_neutron_lbaas: “no”                            ### 아래 참고
enable_openvswitch: "no"                              ### OVS 설치 안함

### enable_neutron_lbaas는 Stein버전에서는 사용하지 않으며, Octavia로 프로젝트 변경되었기에 “no”로 설정 및 Openstack 설치 이후 Octavia 추가 설정, 설치를 진행한다.

### 그 외 다른 프로젝트 설치 및 사용 요구시 추가적으로 yes 변경하여 사용
enable_aodh: “yes”
enable_ceilometer: “yes”
enable_gnocchi: “yes”
enable_magnum: “yes”
enable_murano: “yes”
### 등등….

### MariaDB를 Docker가 아닌 서버 직접 설치시 다음과 같이 설정한다.
enable_mariadb: "no"
enable_external_mariadb_load_balancer: yes
database_address: "서버 내부 VIP"
database_password: openstack                 ### DB root 계정 암호

4.3 Kolla 파일 설정(password.yml)

$ kolla-genpwd

$ vim /etc/kolla/passwords.yml
database_password: openstack                          ### DB 접속 암호 설정
keystone_admin_password: openstack                    ### horizon 암호
cinder_database_password: openstack                   
glance_database_password: openstack
heat_database_password: openstack
horizon_database_password: openstack
magnum_database_password: openstack                   
mariadb_backup_database_password: openstack
neutron_database_password: openstack                  
nova_api_database_password: openstack                 
nova_database_password: openstack                     
placement_database_password: openstack

5. Kolla 및 Openstack 설치

5.1 프레임워크 설치

$ kolla-ansible -i ~/inventory/multinode bootstrap-servers         **//multimode의** **경우** 

### 위 명령을 실행하여 [baremetal : Install apt packages]에서 docker-engine 에러가 발생할 경우, 도커가 제대로 설치 되지 않은 것이므로 docker를 완전히 삭제한다.

$ rpm -e docker-engine

$ rm -fR /var/lib/docker

### 도커가 완전히 삭제되었는지 확인하고, 남아 있다면 pip uninstall 을 통해 지운다.

$ pip list | grep docker

$ rpm -qa | grep docker

$ kolla-ansible -i ~/inventory/multinode prechecks

### 바로 ‘4.3 Openstack 배포’를 해도 자동으로 이미지 받아서 설치함

$ kolla-ansible  -i ~/inventory/multinode pull

### 바로 ‘4.3 Openstack 배포’를 해도 자동으로 이미지 받아서 설치함

$ kolla-ansible -i ~/inventory/multinode deploy

### Openstack Container 모두 삭제 명령어

$ kolla-ansible -i ~/inventory/multinode destroy --yes-i-really-really-mean-it

5.2 Openstack CLI Install

$ kolla-ansible post-deploy

$ pip install python-openstackclient

$ openstack --version

$ source /etc/kolla/admin-openrc.sh

5.3 기본 세팅 파일

$ mkdir -p /etc/kolla/config/nfs_shares
NASIP:/cinder


### Controller 서버
$ vim /etc/fstab
NASIP:/cinder         /var/lib/docker/volumes/cinder/_data/mnt/fa11b71731c13623a6035ee69402eaf3       nfs defaults,_netdev 0 0
NASIP:/cinder_backup  /var/lib/docker/volumes/cinder/_data/backup/62683d11af0ec8d6492d59f5e90e1e80    nfs defaults,_netdev 0 0
NASIP:/glance         /var/lib/docker/volumes/glance/_data/images                                     nfs defaults,_netdev 0 0
		
### Compute 서버

$ vim /etc/fstab
NASIP:/nova /var/lib/docker/volumes/nova_compute/_data/instances nfs defaults,_netdev 0 0

Openstack OVN Network

Miners1205 — Thu, 10 Aug 2023 12:36:15 +0900

1. Opensetack OVN Network란?

* OVN ?

Open Virutal Network(OVN) 약어로 OVS(Open vSwitch) 팀에서 개바한 오픈소스이다.

기존 OVS의 기능을 보완하고 가상 L2, L3 오버레이, 보안그룹, DHCP 서비스와 같은 가상 네트워크 추상화를 제공한다.

가상화 플랫폼(VM, Container)에서 모든 유형의 워크로드에 대한 가상 네트워킹 기능에 대한 접근 방식 제공한다.

* Openstack OVN Network Architecture

OVN은 OVS기능과 함께 수천개의 하이퍼바이저로 확장할 수 있는 높은 확장성과 향상된 성능, 안정성을 보여준다.

1) OVN database

(1) ovn-northbound db(ovn_nb_db)

- OVN ML2 플러그인의 논리적 네트워크 구성이 저장되는곳으로 컨트롤러 노드에서 실행됨

(2) ovn-northd(ovn_northd)

- 논리적 네트워크 요소를 논리적 데이터 경로 흐름으로 변환하고 OVN SB DB에 전달하며 컨트롤러 노드에서 실행됨

(3) ovn-southbound db(ovn_sb_db)

- 변호나된 논리적 데이터 경로 흐름을 저장하고 컨트롤러 노드에서 실행됨

(4) ovn-controller(ovn_controller)

- ovn_sb_db와 연결하고 OVS 역할을 하여 네트워크 트래픽을 제어하고 모니터링하며 컴퓨트노드에서 실행됨

(5) ovn-meta-agent(neutron_ovn_metadata_agent

- API 요청을 프록시하는데 사용되는 OVS 인터페이스, 네트워크 네임스페이스 및 HAProxy 프로세스 관리하기 위한 Haproxy 인스턴스 생성.

(6) ovs database(openvswitch_db)

- ovn_nb_db, ovn_sb_db를 호스팅하고 ovs-vswitchd와 상호작용하여 ovs db를 호스팅하는 역할

Openstack OVN

Openstack Kolla-ansible OVN Network

Openstack OVN 굿어시 네트워크 구성은 위와 같다고 보며 각각 호스트에 다음 서비스들이 설치가 된다.

Controller : ovn_northd, ovn_controller, openvswitch_vswitchd, openvswitch_db. ovn_sb_db, ovn_nb_db

Compute : neutron_ovn_metadata_agent, ovn_controller, openvswitch_vswitchd, openvswitch_db

설치 이후 각각 br-ex, br-int 브릿지가 생성되며 br-ex는 외부 네트워크, br-int는 내부 통신을 위해 설정된다.

(참조 : kolla-ansible xena 설치 가이드)

Openstack Network 생성시 tap~(숫자) 테넌트 네트워크가 생성되며 이것은 br-int 브릿지의 tab 디바이스가 생성된다.

외부 통신을 위해 라우터 생성하고 네트워크 연결시 br-int와 br-ex 연결 되며 컴퓨트 노드에 ovnmeta-fdea8b75-ba46-4e51-a85c-9f599c92cffb 이라는 네임스페이스가 생성되어 테넌트 관리를 할 수있다.

https://docs.openstack.org/networking-ovn/pike/admin/refarch/refarch.html

Linux local repository 설정 방법

Miners1205 — Thu, 10 Aug 2023 12:35:23 +0900

1. Linux Local Repostiroy 설정 방법

* lcoal repository 설정 방법

1) 외부 통신 가능한 환경인 경우

$ yum install createrepo -y

$ mkdir /test

$ createrepo /test

$ vim /etc/yum.repo.d/test.repo

[test]
name=test
baseurl=file:///root/test/
gpgcheck=0
enabled=1

$ yum clean all

$ yum repolist

2) 외부 통신이 불가능한 경우

* 업로드된 파일 해당 서버 업로드

$ rpm -ivh *.rpm

$ mkdir /test

$ createrepo /test

$ vim /etc/yum.repo.d/test.repo

[test]
name=test
baseurl=file:///root/test/
gpgcheck=0
enabled=1

$ yum clean all

$ yum repolist

Linux SSH 접속시 암호 늦게뜨는것 해결하기

Miners1205 — Thu, 10 Aug 2023 12:35:04 +0900

1. Linux SSH 접속 시 로그인/암호 늦게 뜨는것(딜레이) 해결하기

어느순간 Linux 서버 접근하려니 계정 입력 이후 암호 입력창이 늦게 나온다.

이런 경우 다음과 같은 서버의 설정이로 일부 해결할 수 있다.

SSH 접속시 암호 입력창 늦게 뜨는것 확인하기

$ vim /etc/ssh/sshd_config

# yes를 no로 바꾸기
GSSAPIAuthentication no

# 주석을 해제하고 no로 설정
UseDNS no

$ service sshd restart

wget 하위 디렉토리 다운로드

Miners1205 — Thu, 10 Aug 2023 12:34:21 +0900

1. wget을 이용한 디렉토리 다운로드 명령어 모음

o wget --help 시 많은 명령어가 나온다. 하지만 자주 쓰는 필요한것들만 정리.

-m : 웹사이트를 미러링하는 옵션. 웹페이지, 하위 링크, 이미지, 스타일시트 등을 재귀적으로 다운로드합니다.
-p : 모든 필요한 파일을 다운로드하는 옵션입니다. 웹페이지를 구성하는 모든 리소스(이미지, 스타일시트 등)를 다운로드합니다.
-E : 다운로드된 파일의 확장자를 조정하는 옵션입니다. 서버가 확장자를 제공하지 않거나 잘못된 확장자를 가지는 경우, 이 옵션을 사용하여 파일의 확장자를 조정합니다.
-k : 다운로드한 HTML 파일의 링크를 조정하는 옵션입니다. HTML 파일 내의 링크를 로컬 파일로 변환하여 링크가 원격 서버에 의존하지 않도록 합니다.
-K : 변환된 파일을 백업하는 옵션입니다. 변환된 파일의 원본을 백업 파일로 저장합니다.
-np : 상위 디렉토리로 이동하지 않는 옵션입니다. 다운로드한 파일을 현재 디렉토리에 저장하고, 상위 디렉토리로 이동하지 않습니다.

### url 주소 다운로드
$ wget {URL}

### 파일 이름 저장하여 다운로드
$ wget -O {파일이름} {URL}

### 백그라운드로 실행
$ wget -b {URL}

### 파일, 폴더 전체 다운로드
$ wget -r {URL}

### 하위 디렉토리 다운로드
$ wget -m -p -E -k -K -np {URL}

Database 업데이트, 백업, 복원 명령어 모음

Miners1205 — Thu, 10 Aug 2023 12:33:43 +0900

1. Databse 업데이트 명령어

데이터베이스 테이블 업데이트

# tabletest 테이블에 test 항목의 real을 모두 test로 변경

MariaDB [tables]> update tabletest set test='test' where test='real';

2. Database 백업 & 복원 명령어

데이터베이스 백업 & 복원

* [전체 데이터베이스 백업& 복원]
MySQL/MariaDB 전체 데이터베이스를 백업받는다.

mysqldump -uroot -p -A > backup_full.sql

* 생성된 덤프를 이용한 복원
mysql -uroot -p < backup_full.sql

* [특정 데이터베이스 백업]
sw_test 라는 데이터베이스만 백업
mysqldump -uroot -p sw_test > backup_sw_test.sql

Kubernetes Apache Web Test

Miners1205 — Thu, 10 Aug 2023 12:33:14 +0900

$ vim nginx-deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx
        ports:
        - containerPort: 80

$ vim nginx-service.yaml

apiVersion: v1
kind: Service
metadata:
name: ngnix-service
spec:
selector:
app: nginx
type: NodePort
ports:
- protocol: TCP
port: 80
targetPort: 80

Kubernetes install in CentOS 7.8

Miners1205 — Thu, 10 Aug 2023 11:54:28 +0900

* Kubernetes Install in CentOS 7.8

- 서버 구성

Name	IP	Role
master	10.0.0.5	master
worker	10.0.0.4	worker

OS 설정

### hosts 등록
$ vim /etc/hosts
10.0.0.8 master
10.0.0.4 worker

### Selinux 비활성화
$ vim /etc/selinux/config
SELINUX=disabled

### 방화벽 중지
$ systemctl stop firewalld
$ systemctl disable firewalld

### Swap 메모리 OFF
$ swapoff -a

### 커널 설정 변경
$ yum install bash-completion rsync git vim net-tools tree bridge-utils

$ echo "vm.swappiness=1" >> /etc/sysctl.d/docker.conf

$ echo "net.ipv4.ip_forward=1" >> /etc/sysctl.d/docker.conf

$ sysctl -w vm.swappiness=1
$ sysctl -w net.ipv4.ip_forward=1

$ vim /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1

$ sysctl --system

Docker 설치

$ yum install -y yum-utils device-mapper-persistent-data lvm2
$ yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
$ yum -y install docker-ce docker-ce-cli containerd.io
$ mkdir -p /etc/docker/
$ cat <<EOF | sudo tee /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2"
}
EOF

$ systemctl daemon-reload
$ systemctl enable docker
$ systemctl start docker
$ systemctl start docker && systemctl enable docker

Kubernetes 설치 준비

$ vim /etc/yum.repos.d/kubernetes.repo

[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=0
gpgkey=https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
exclude=kubelet kubeadm kubectl

또는

[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-$basearch
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg
https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
exclude=kubelet kubeadm kubectl

### 2022.05.19 업데이트
sudo bash -c 'cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg exclude=kube*
EOF'
###

$ yum repolist

### 최신 버전 설치시 하단 명령어
$ yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes

$ systemctl enable kubelet && systemctl start kubelet

Master, Worker 노드 설치

### Master 노드 ###
### ip는 해당 내부 IP
$ kubeadm init --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=10.0.0.5
....
kubeadm join 10.0.0.5:6443 --token 4cbvqr.btjrgtfqyj649jtl \ --discovery-token-ca-cert-hash sha256:4fb93a143d8a5cc5c755a62f04d1d40332abfe7684b057e789007b9b5adebdf0

### 위 명령시 아래와 같은 에러 발생시 조치사항 ###
[init] Using Kubernetes version: v1.24.0 [preflight] Running pre-flight checks error execution phase preflight: [preflight] Some fatal errors occurred: [ERROR CRI]: container runtime is not running: output: time="2022-05-19T15:53:31+09:00" level=fatal msg="getting status of runtime: rpc error: code = Unimplemented desc = unknown service runtime.v1alpha2.RuntimeService" , error: exit status 1 [preflight] If you know what you are doing, you can make a check non-fatal with
--ignore-preflight-errors=...
To see the stack trace of this error execute with --v=5 or higher

$ rm -rf /etc/containerd/
$ reboot
### 위 폴더 삭제 이후 서버 모두 재부팅

### 위 내용을 Worker 노드에 설치해야하니 복사
### Worker 노드
$ kubeadm join 10.0.0.5:6443 --token 4cbvqr.btjrgtfqyj649jtl \ --discovery-token-ca-cert-hash sha256:4fb93a143d8a5cc5c755a62f04d1d40332abfe7684b057e789007b9b5adebdf0

### Master 노드
$ export KUBECONFIG=/etc/kubernetes/admin.conf

### Master 노드
### CNI Flannel 설치
$ kubectl apply -f
https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml

마스터 실행 확인

$ kubectl get pods --all-namespaces

Node NotReady 이슈

o 위 그림처럼 Pending 및 Not Ready 이슈시 하단 내용 확인

o Kubernets Not Ready & Coredns Pending 이슈 확인

o kube-flannel.yaml 적용
$ kubectl edit cm corends -n kube-system
-> 하단 24번줄 loop 주석처리 및 저장

$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

24줄 주서처리

o 이후 coredns 서비스 정상 작동 확인 완료 및 NotReady -> Ready 변경 확인

Running 상태 확인

Ready 상태 확인

Virtual Machine vs Container

Miners1205 — Thu, 10 Aug 2023 11:47:50 +0900

공통 : 리소스를 가상화하고 고립화시키는 공통점이지만 실행 방식에 차이점 존재

* Docker

- 운영체제를 제외한 나머지 App 실행에 필요한 파일 패키징하여 제공

- 여러 개의 컨테이너가 동일한 호스트 커널 공유

- 커널이 없어 더 가볍고 적은 리소스 사용

* VM

- 하드웨어 가상화 기술

- 가상머신은 기존 서버에 하이퍼바이저 설치와 그 위에 가상 OS와 App을 설치하여 서비스를 수행하는 방식

- 오버헤드 증가로 인한 무겁고 느림

* 온프레미스

- 기업이 IDC 보유 및 시스템 구축부터 운영까지 모두 수행하는 방식.

- 하드웨어, 네트워크, OS, 미들웨어 등 시스템 구성 요소 자체적인 인프라 구축.

* 하이퍼바이저

- 하드웨어를 가상화하는 기술로 각각 가상머신들을 관리 및 환경 제공.

Ceph Storage 노드 추가

Miners1205 — Thu, 10 Aug 2023 11:47:10 +0900

1. 설치 환경

o 가상 서버 환경 4대 구성

o Deploy 서버와 Ceph Node 3대로 구성 + 신규 Ceph Node 1대 추가

2. Ceph Package 설치

o Ceph 신규 노드 설치

o /etc/hosts 파일 등록

10.0.0.5 node01
10.0.0.4 node02
10.0.0.6 node03
10.0.0.3 node04

3. Deploy Ceph

- Deploy 서버에서 해당 명령 수행

$ ceph-deploy install node04

$ ceph-deploy admin node04

$ ceph-deploy osd create --data /dev/vdb node04

50GB 스토리지 용량 증가 확인

오픈스택 '인스턴스 크기 변경' instance resize 에러

Miners1205 — Thu, 10 Aug 2023 11:46:36 +0900

현재 Kolla-ansible Ussuri 버전 설치시 '인스턴스 크기 변경' 기능이 동작하지 않음
크기 선택창과 기능이 동작하지 않아 해당 기능 해결 작성

참고사항

https://review.opendev.org/c/openstack/horizon/+/808102

review.opendev.org

이슈사항

- 오픈스택 기능인 '인스턴스 크기 변경' 기능이 동작하지 않으며 팝업창 또한 뜨지 않음

- '가상서버 크기 변경' 선택시 하단과 같은 오류 발생

- 에러 발생 : Danger -> 오류가 발생했습니다. 나중에 다시 시도하십시오.

패치방안

1) 맨 하단 첨부파일 압축 해제

2) Openstack_Resize_file_view 업로드 및 파일 안 스크립트 수행

$ cd /Openstack_Resize_file_view/
$ chmod +x *.sh
$ ./horizon_resize_fuction.sh

3) Openstack_Resize_file_function 업로드 및 파일 안 스크립트 수행

$ cd /Openstack_Resize_file_fucntion/
$ chmod +x *.sh
$ ./horizon_resize_view.sh

4) horizon container 재시작

$ docker restart horizon

이후 해당 기능 정상 사용 가능.

아직 오픈스택쪽 패키지에서 업데이트 되지 않아 수동으로 업데이트함
하지만 프로젝트 제한 용량은 안나온다..

Openstack_Resize_File.zip

0.06MB

- 해당 첨부파일

Openstack install 관련 명령어 모음

Miners1205 — Thu, 10 Aug 2023 11:45:47 +0900

1. 특정 컨테이너 서비스 재설치

$ kolla-ansible -i inventory/multinode deploy --tags heat <- heat 부분 서비스 명
$ kolla-ansible -i inventory/multinode deploy -t octavia

2. 특정 컨테이너 서비스 설정 적용 이후 재적용

$ kolla-ansible -i inventory/multinode reconfigure -t horizon

3. 컴퓨트 노드 추가 설치

$ kolla-ansible -i inventory/multinode pull --limit (host명)
$kolla-ansible -i inventory/multinode deploy --limit (host명) -vvv

4. 설치된 컨테이너 서비스 모두 삭제

$ kolla-ansible -i multinode destroy --yes-i-really-really-mean-it

VM Compute Node 수동 이동하기

Miners1205 — Thu, 10 Aug 2023 11:44:48 +0900

* 가상서버(VM)를 가진 Compute 노드가 중지되었을 경우 해당 가상서버 다른 노드로 이동 시켜 부팅하기

$ root@con01:~# docker exec -it -uroot bash

$ (mariadb)[root@con01 /]# mysql -uroot -p

$ MariaDB [(none)]> use nova;

$ MariaDB [(nova)]> select * from instances where uuid='해당 가상서버 UUID';

$ MariaDB [(nova)]> update instances SET host='옮길 서버 노드 명칭' where uuid='해당 가상서버 UUID';

$ MariaDB [(nova)]> exit

$ (mariadb)[root@con01 /]# exit

$ openstack server reboot uuid

참고 : https://docs.openstack.org/nova/latest/admin/node-down.html

Openstack Octavia Install Guide - Xena

Miners1205 — Thu, 10 Aug 2023 11:42:55 +0900

* Openstack Octavia Install Guide(Xena - Ubuntu 20.04.2 LTS)

Octavia는 사전 배포 이후 인증서 생성한다.
Ussuri 버전부터 Octavia는 admin이 아닌 service 프로젝트에 등록된다.
https://docs.openstack.org/kolla-ansible/latest/reference/networking/octavia.html#customise-network-and-subnet

Octavia — kolla-ansible 14.1.0.dev62 documentation

Octavia Octavia provides load balancing as a service. This guide covers configuration of Octavia for the Amphora driver. See the Octavia documentation for full details. The installation guide is a useful reference. Enabling Octavia Enable the octavia servi

docs.openstack.org

1. Octavia 파일 생성

$ cp admin-openrc.sh octavia-openrc.sh
# Ansible managed

# Clear any old environment that may conflict.
for key in $( set | awk '{FS="="} /^OS_/ {print $1}' ); do unset $key ; done
export OS_PROJECT_DOMAIN_NAME=Default
export OS_USER_DOMAIN_NAME=Default
export OS_PROJECT_NAME=service
export OS_TENANT_NAME=service
export OS_USERNAME=octavia
export OS_PASSWORD=openstack
export OS_AUTH_URL=http://172.16.0.110:35357/v3
export OS_INTERFACE=internal
export OS_ENDPOINT_TYPE=internalURL
export OS_IDENTITY_API_VERSION=3
export OS_REGION_NAME=RegionOne
export OS_AUTH_PLUGIN=password

2. Amphora 이미지 생성

$ apt -y install debootstrap
$ git clone https://opendev.org/openstack/octavia -b stable/xena
$ pip3 install diskimage-builder
$ apt install debootstrap qemu-utils kpartx -y
$ cd /octavia/diskimage-create
$ ./diskimage-create.sh

$ openstack image create amphora-x64-haproxy.qcow2 --container-format bare --disk-format qcow2 --private --tag amphora --file amphora-x64-haproxy.qcow2

3. SSL 인증서 생성

### 다음 두가 빙법 설정
############################################################################################
* 자동 생성

$ vim /etc/kolla/globals.yml

octavia_certs_country: KR
octavia_certs_state: Oregon
octavia_certs_organization: OpenStack
octavia_certs_organizational_unit: Octavia

$ kolla-ansible octavia-certificates

############################################################################################
* 수동 생성

$ mkdir -p /etc/kolla/config/octavia/certs
$ chmod -R 700 /etc/kolla/config/octavia/certs
$ cd octavia/bin/
$ cp openssl.cnf /etc/kolla/config/octavia/certs
$ cd /etc/kolla/config/octavia/certs
$ mkdir server_ca
$ mkdir client_ca

$ cd server_ca/
$ mkdir certs crl newcerts private
$ chmod 700 private
$ touch index.txt
$ echo 1000 > serial

# 서버 CA key 생성
$ openssl genrsa -aes256 -out private/ca.key.pem 4096     -> password : openstack
$ chmod 400 private/ca.key.pem

# 서버 CA 인증서 생성
$ openssl req -config ../openssl.cnf -key private/ca.key.pem -new -x509 -days 7300 -sha256 -extensions v3_ca -out certs/ca.cert.pem
Country Name (2 letter code) [US]:US
State or Province Name [Oregon]:Oregon
Locality Name [Corvallis]:Corvallis
Organization Name [OpenStack]:openstack
Organizational Unit Name [Octavia]:octavia
Common Name [example.org]:openstack
Email Address []:
$

$ cd ../client_ca
$ mkdir certs crl csr newcerts private
$ chmod 700 private
$ touch index.txt
$ echo 1000 > serial

# 클라이언트 CA 키 생성
$ openssl genrsa -aes256 -out private/ca.key.pem 4096     -> password : openstack
$ chmod 400 private/ca.key.pem

# 클라이언트 CA 인증서 생성
$ openssl req -config ../openssl.cnf -key private/ca.key.pem -new -x509 -days 7300 -sha256 -extensions v3_ca -out certs/ca.cert.pem

# 클라이언트 CA 인증서 키 생성
$ openssl genrsa -aes256 -out private/client.key.pem 2048     -> password : openstack

$ openssl req -config ../openssl.cnf -new -sha256 -key private/client.key.pem -out csr/client.csr.pem

$ touch index.txt.attr
# 클라이언트 인증서 요청에 서명
$ openssl ca -config ../openssl.cnf -extensions usr_cert -days 7300 -notext -md sha256 -in csr/client.csr.pem -out certs/client.cert.pem

# 연결된 클라이언트 인증서 및 키 파일 생성
$ openssl rsa -in private/client.key.pem -out private/client.cert-and-key.pem
$ cat certs/client.cert.pem >> private/client.cert-and-key.pem

##### 아래 칸 생략해도 됨
------------------------------------------------------------------------------------
$ cd ..
$ mkdir -p octavia/certs
$ chmod 700 octavia/certs/
$ cp server_ca/private/ca.key.pem octavia/certs/server_ca.key.pem
-> cp server_ca/private/ca.key.pem /etc/kolla/config/octavia/server_ca.key.pem
$ chmod 700 /etc/kolla/config/octavia/certs/server_ca.key.pem
------------------------------------------------------------------------------------
#####
$ cd /etc/kolla/config/octavia/certs/
$ cp client_ca/certs/ca.cert.pem /etc/kolla/config/octavia/client_ca.cert.pem
$ cp server_ca/certs/ca.cert.pem /etc/kolla/config/octavia/server_ca.cert.pem
$ cp server_ca/private/ca.key.pem /etc/kolla/config/octavia/server_ca.key.pem
$ cp client_ca/private/client.cert-and-key.pem  /etc/kolla/config/octavia/client.cert-and-key.pem
$ cd ..
$ chmod 700 client.cert-and-key.pem
### $ chmod 700 octavia/certs/client.cert-and-key.pem -> 없음 제외

생성된 client_ca.cert.pem, client.cert-and-key.pem, server_ca.cert.pem, server_ca.key.pem 4개의 파일이
/etc/kolla/config/octavia 디렉토리에 있으면 됨!

4. Octavia 배포

4.1 Octavia 설정

$ vim /etc/kolla/password.yml

# 원하는 password로 변경, ca_password는 인증서 생성시 password와 동일해야함.

Octavia_ca_password: openstack
Octavia_database_password: openstack
Octavia_keystone_password: openstack

4.2 Octavia 자동 설치 설정

$ vim /etc/kolla/globals.yml
### 하단 내용 추가

enable_horizon_octavia: "yes"
enable_neutron_provider_networks: "yes"
enable_octavia_driver_agent: "{{ enable_octavia | bool and neutron_plugin_agent == 'ovn' }}"
enable_octavia: "yes"

octavia_auto_configure: yes
octavia_amp_flavor:
  name: "m1.amphora"
  is_public: yes
  flavorid: 100
  vcpus: 2
  ram: 2048
  disk: 10
octavia_amp_security_groups:
    mgmt-sec-grp:
      name: "octavia-sec"
      enabled: yes
      rules:
        - protocol: icmp
        - protocol: tcp
          src_port: 22
          dst_port: 22
        - protocol: tcp
          src_port: "9443"
          dst_port: "9443"
octavia_amp_network:
  name: octavia-net
  shared: true
  #provider_network_type: geneve  ### 자동으로 geneve로 설정됨
  subnet:
      name: octavia-sub
      cidr: "{{ octavia_amp_network_cidr }}"
      #allocation_pool_start: "20.0.0.11"  ### 범위 설정 해도 되고 안해도됨
      #allocation_pool_end: "20.0.0.100"
      gateway_ip: "20.0.0.1"
      no_gateway_ip: no
      enable_dhcp: yes
octavia_amp_network_cidr: 20.0.0.0/24

octavia_amp_image_tag: "amphora"
octavia_loadbalancer_topology: "SINGLE"

octavia_certs_country: KR
octavia_certs_state: Oregon
octavia_certs_organization: OpenStack
octavia_certs_organizational_unit: Octavia

4.3 Network 포트 설정

$ sudo docker exec -it openvswitch_vswitchd bash
$ pip3 install python-neutronclient
$ vi octavia-openrc.sh

$ source octavia-openrc.sh

######### 수동설치시 다음 내용 설정하지만 자동 설치시는 하지 않는다.#####################################
$ OCTAVIA_MGMT_SUBNET=30.0.0.0/24
$ OCTAVIA_MGMT_SUBNET_START=30.0.0.101
$ OCTAVIA_MGMT_SUBNET_END=30.0.0.200
$ OCTAVIA_AMP_NETWORK_ID=$(neutron net-create lb-mgmt-net | awk '/ id / {print $4}')
$ neutron subnet-create --name lb-mgmt-subnet --allocation-pool start=$OCTAVIA_MGMT_SUBNET_START,end=$OCTAVIA_MGMT_SUBNET_END lb-mgmt-net $OCTAVIA_MGMT_SUBNET
############################################################################################

######################### 멀티 Controller일 경우 모든 노드에 설정################################
(openvswitch-vswitchd)[root@lsmopensteack /] $ neutron port-create --name octavia-hm-port --binding:host_id=$HOSTNAME octavia-net
(openvswitch-vswitchd)[root@lsmopensteack /] $ MGMT_PORT_ID=$(neutron port-show octavia-hm-port | awk '/ id / {print $4}')
(openvswitch-vswitchd)[root@lsmopensteack /] $ MGMT_PORT_MAC=$(neutron port-show octavia-hm-port | awk '/ mac_address / {print $4}')

(openvswitch-vswitchd)[root@lsmopensteack /] $ sudo ovs-vsctl -- --may-exist add-port br-int octavia-hm0 -- set Interface octavia-hm0 type=internal -- set Interface octavia-hm0 external-ids:iface-status=active -- set Interface octavia-hm0 external-ids:attached-mac=$MGMT_PORT_MAC -- set Interface octavia-hm0 external-ids:iface-id=$MGMT_PORT_ID
(openvswitch-vswitchd)[root@lsmopensteack /] $ ip link set dev octavia-hm0 address $MGMT_PORT_MAC
(openvswitch-vswitchd)[root@lsmopensteack /] $ exit

root@lsmopensteack:~$ HM_IP=$(openstack port show octavia-hm-port | awk '/ fixed_ips / {print $4}' | cut -d "'" -f 2)
root@lsmopensteack:~$ echo $HM_IP
20.0.0.X

root@lsmopensteack:~$ ifconfig octavia-hm0 20.0.0.X/24
##################################################################################################################

### 하단 내용은 LB 생성시 운영 상태를 온라인으로 변경하는 세팅이며 미설정시 운영 상태는 오프라인으로 표기.
### 멀티노드인 경우 각 노드별 설정 필요
$ vim /etc/kolla/config/octavia.conf

[health_manager]
bind_ip = {Controller External IP}
controller_ip_port_list = {Controller External IP}:5555

4.4 Reconfigure Octavia

$ kolla-ansible -i inventory/all-in-one deploy -t octavia
$ kolla-ansible -i inventory/multinode deploy -t octavia

$ kolla-ansible -i inventory/all-in-one reconfigure -t octavia
$ kolla-ansible -i inventory/multinode reconfigure -t octavia

4.5 추가설정

1. deploy 이후 생성되는 octavia-net를 기본 라우터에 추가한다.
2. octavia-net에서 생성된 octavia-hm-port가 active인지 확인한다.
3. 보안그룹은 확인이후 ICMP, TCP 모두 허용 설정
4. 위 가이드는 global.yml 파일의 설정을 바탕으로 octavia 자동 설치 설정 가이드이다.
# 수동 설치는 https://githubhot.com/repo/prastamaha/openstack-octavia 참고
5. https://www.notion.so/miners1205/Openstack-Install-Guide-Xena-Ubuntu-20-04-Netplan-ddca795edd264970b5c4d89648c32b88 가이드와 함께 확인

Openstack Install Guide(Ussuri - Ubuntu 18.04) - networking 사용

Miners1205 — Thu, 10 Aug 2023 11:42:28 +0900

Ussuri Version - MariaDB

mysql Ver 15.1 Distrib 10.3.32-MariaDB, for debian-linux-gnu (x86_64) using readline 5.2

Docker version

Docker version 20.10.11, build dea9396

1. 물리 환경 및 네트워크 구성

1.1 물리 환경

4 Network Interface(External, MGMT, DATA, STORAGE)
8GB Main Memory
40GB Disk Space

Openstack kolla-ansible Version 10.4.0(Ussuri)

OS	Ubuntu 18.04.5
NIC	External, MGMT, DATA, STORAGE

1.2 네트워크 설정

1) root 계정 활성화

# root 계정 암호 설정 및 로그인
$ sudo passwd root

2) 방화벽 중지

$ ufw disable
$ ufw status
Status: inactive

3) ipv6 중지

$ vim /etc/sysctl.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

4) SSH 키 분배

$ ssh-keygen -t rsa
$ ssh-copy-id root@hosts

5) OVS 설치 및 설정

$ apt install openvswitch-switch

$ systemctl status openvswitch-switch

$ vim /lib/systemd/system/ovsdb-server.service

### Unit 기존 주석 및 신규 Unit 추가
### 이유 : 재부팅시 OVS 브릿지 보다 일반 네트워크가 먼저 올라와 브릿지 인터페이스가 시작되지 않음

#[Unit]
#Description=Open vSwitch Database Unit
#After=syslog.target network-pre.target
#Before=network.target network.service
#ReloadPropagatedFrom=openvswitch-switch.service
#PartOf=openvswitch-switch.service

[Unit]
Description=Open vSwitch Database Unit
After=syslog.target network-pre.target dpkg.service local-fs.target
Before=network.target network.service
PartOf=openvswitch-switch.service
DefaultDependencies=no

[Service]
LimitNOFILE=1048576
Type=forking
Restart=on-failure
EnvironmentFile=-/etc/default/openvswitch-switch
ExecStart=/usr/share/openvswitch/scripts/ovs-ctl \\
--no-ovs-vswitchd --no-monitor --system-id=random \\
start $OVS_CTL_OPTS
ExecStop=/usr/share/openvswitch/scripts/ovs-ctl --no-ovs-vswitchd stop
ExecReload=/usr/share/openvswitch/scripts/ovs-ctl --no-ovs-vswitchd \\
--no-monitor restart $OVS_CTL_OPTS
RuntimeDirectory=openvswitch
RuntimeDirectoryMode=0755

6) NAS 연결 패키지 설치 및 시간 설정

$ apt-get install nfs-kernel-server

$ mkdir -p /etc/kolla/config/nfs_shares

$ vim /etc/kolla/config/nfs_shares

NASIP:/NFS/os/cinder

$ timedatectl set-timezone 'Asia/Seoul'

7) networking 서비스 사용을 위한 패키지 설치

$ apt-get install ifupdown
$ vim /etc/network/interfaces

### Interface 확인 및 브릿지 설정
auto lo
iface lo inet loopback

#####################
External 네트워크 세팅
#####################
auto br-ex
allow-ovs br-ex
iface br-ex inet static
address 192.168.0.X ~ 192.168.0.XX
netmask 255.255.255.0
gateway 192.168.0.X
dns-nameservers 8.8.8.8
ovs_type OVSBridge
ovs_ports enp26s0f1

auto enp26s0f1
allow-br-ex enp26s0f1
iface enp26s0f1 inet manual
ovs_bridge br-ex
ovs_type OVSPort

#####################
DATA 네트워크 세팅 - 사설망
#####################
auto br-int
allow-ovs br-int
iface br-int inet static
address 172.22.0.1 ~ 172.22.0.12
netmask 255.255.255.0
ovs_type OVSBridge
ovs_ports br-int

auto enp24s0f0
allow-br-int enp24s0f0
iface enp24s0f0 inet static
address 172.22.0.101 ~ 172.22.0.112
netmask 255.255.255.0
ovs_bridge br-int
ovs_type OVSPort

#####################
MGMT 네트워크 세팅 - 사설망
#####################
auto eno1
iface eno1 inet static
address 172.21.0.1 ~ 172.21.0.12
netmask 255.255.255.0

#####################
STORAGE 네트워크 세팅 - 사설망
#####################
auto enp26s0f0
iface enp26s0f0 inet static
address 172.18.0.1 ~ 172.18.0.12

8) modprobe 설정

$ modprobe ip_vs

$ modprobe ip6_tables

$ vi /etc/modules-load.d/ip_vs.conf
ip_vs

$ vi /etc/modules-load.d/ip6_tables.conf
ip6_tables

9) 파이썬 버전 설정

### 파이썬 3버전 설정
$ sudo update-alternatives --install /usr/bin/python python /usr/bin/python2.7 1

$ sudo update-alternatives --install /usr/bin/python python /usr/bin/python3.6 2

$ update-alternatives --config python

2. Kolla 설치 준비 & 설치

2.1 Kolla 의존성 설치

$ apt-get install python3-dev libffi-dev gcc libssl-dev

$ pip3 install ‘ansible<2.10’

$ pip3 install ansible==2.9.6

$ apt install ansible

$ vim /etc/ansible/ansible.cnf

[defaults]
forks = 100
host_key_checking = False

[ssh_connection]
pipelining = True

2.2 Kolla 설치

Kolla-ansible 설치시 Openstack Release 버전에 따라 설치한다. 이 문서는 Ussuri 버전에 맞추어 설치한다.
https://releases.openstack.org/teams/kolla.htm

$ pip install 'kolla-ansible==10.4.0' --ignore-installed PyYAML

$ cp -r /usr/local/share/kolla-ansible/etc_examples/kolla /etc/

$ cp -r /usr/local/share/kolla-ansible/ansible/inventory/ /root/

2.3 Kolla 설정 파일 세팅(1)

<컨트롤노드 호스트명> network_interface=<내부물리NIC이름> neutron_external_interface=<외부물리NIC이름> kolla_external_vip_interface=<외부물리NIC이름>
<컴퓨트노드 호스트명> network_interface=<내부물리NIC이름> api_interface=<관리(없는 경우 내부 물리)NIC이름> storage_interface=<내부물리NIC이름> tunnel_interface=<내부물리NIC이름>

$ cd /root/inventory
$ vim /root/inventory/multinode

# 그 외 설치 패키지에 따라 세팅 변경

[control]
controller01 network_interface=enp24s0f0 api_interface=eno1 neutron_external_interface=enp26s0f1 kolla_external_vip_interface=enp26s0f1
controller02 network_interface=enp24s0f0 api_interface=eno1 neutron_external_interface=enp26s0f1 kolla_external_vip_interface=enp26s0f1
controller03 network_interface=enp24s0f0 api_interface=eno1 neutron_external_interface=enp26s0f1 kolla_external_vip_interface=enp26s0f1

[network]
controller01 network_interface=enp24s0f0 api_interface=eno1 neutron_external_interface=enp26s0f1 kolla_external_vip_interface=enp26s0f1
controller02 network_interface=enp24s0f0 api_interface=eno1 neutron_external_interface=enp26s0f1 kolla_external_vip_interface=enp26s0f1
controller03 network_interface=enp24s0f0 api_interface=eno1 neutron_external_interface=enp26s0f1 kolla_external_vip_interface=enp26s0f1

[compute]
compute01 network_interface=enp24s0f0 api_interface=eno1 storage_interface=enp26s0f0 tunnel_interface=enp24s0f0
compute02 network_interface=enp24s0f0 api_interface=eno1 storage_interface=enp26s0f0 tunnel_interface=enp24s0f0
compute03 network_interface=enp24s0f0 api_interface=eno1 storage_interface=enp26s0f0 tunnel_interface=enp24s0f0

[monitoring]
controller01 network_interface=enp24s0f0 api_interface=eno1 neutron_external_interface=enp26s0f1 kolla_external_vip_interface=enp26s0f1
controller02 network_interface=enp24s0f0 api_interface=eno1 neutron_external_interface=enp26s0f1 kolla_external_vip_interface=enp26s0f1
controller03 network_interface=enp24s0f0 api_interface=eno1 neutron_external_interface=enp26s0f1 kolla_external_vip_interface=enp26s0f1

[storage]
controller01 network_interface=enp24s0f0 api_interface=eno1 neutron_external_interface=enp26s0f1 kolla_external_vip_interface=enp26s0f1
controller02 network_interface=enp24s0f0 api_interface=eno1 neutron_external_interface=enp26s0f1 kolla_external_vip_interface=enp26s0f1
controller03 network_interface=enp24s0f0 api_interface=eno1 neutron_external_interface=enp26s0f1 kolla_external_vip_interface=enp26s0f1

2.4 Kolla 설정 파일 세팅(2)

### Octavia 설치시 미리 함께 설치해놓기

$ vim /etc/kolla/globals.yml

# enable_cinder_backend_lvm: "yes"  //cinder에 사용할 디스크가 lvm인 경우 yes
# enable_cinder_backend_nfs: "yes"  // cinder에 사용할 디스크가 nfs인 경우 yes
# enable_mariabackup: "yes"         //mariadb 백업 기능 사용 시 yes
# enable_neutron_provider_networks: "yes" # Octavia 설치 시 yes

config_strategy: "COPY_ALWAYS"
kolla_base_distro: "ubuntu"
kolla_install_type: "source"
openstack_release: "ussuri"
kolla_internal_vip_address: "172.21.0.100"
kolla_external_vip_address: "192.168.0.X"
enable_openstack_core: "yes"
enable_glance: "{{ enable_openstack_core | bool }}"
enable_haproxy: "yes"
enable_keepalived: "{{ enable_haproxy | bool }}"
enable_keystone: "{{ enable_openstack_core | bool }}"
enable_mariadb: "yes"
enable_memcached: "yes"
enable_neutron: "{{ enable_openstack_core | bool }}"
enable_nova: "{{ enable_openstack_core | bool }}"
enable_rabbitmq: "{{ 'yes' if om_rpc_transport == 'rabbit' or om_notify_transport == 'rabbit' else 'no' }}"
enable_chrony: "yes"
enable_cinder: "yes"
enable_cinder_backup: "yes"
enable_cinder_backend_nfs: "yes"
enable_fluentd: "yes"
enable_heat: "{{ enable_openstack_core | bool }}"
enable_horizon: "{{ enable_openstack_core | bool }}"
enable_horizon_heat: "{{ enable_heat | bool }}"
enable_horizon_octavia: "yes"
enable_neutron_provider_networks: "yes"
enable_nova_ssh: "yes"
enable_octavia: "yes"
enable_openvswitch: "no"
enable_ovn: "{{ enable_neutron | bool and neutron_plugin_agent == 'ovn' }}"
enable_placement: "{{ enable_nova | bool or enable_zun | bool }}"
glance_backend_file: "yes"

# Valid options are [ nfs, swift, ceph ]
cinder_backup_driver: "nfs"
cinder_backup_share: "NASIP:/cinder_backup"
#cinder_backup_mount_options_nfs: "vers=3"

nova_compute_virt_type: "kvm"
nova_console: "novnc"
###########################################################
Octavia Setting list - Octavia 추후 설치시 세팅 이후 재배포
###########################################################
octavia_loadbalancer_topology: "ACTIVE_STANDBY"
octavia_amp_flavor_id: "100"
octavia_amp_boot_network_list: "b19eb298-78bf-4e7a-a373-3ab7d3d46bad"
octavia_amp_secgroup_list: "2934a87d-28b6-4960-9272-2adb9b4c3c43"

### Yes 목록 확인
$ grep -vE '^$|^#' /etc/kolla/globals.yml

2.5 Kolla 설정 파일 세팅(3)

$ kolla-genpwd
$ vim /etc/kolla/passwords.yml

# DB 접속 시 편의를 위해 설치할 서비스들의 (서비스명)_database_password 를 “openstack” (혹은 사용할 패스워드) 로 변경.

Database_password: openstack //mariaDB 패스워드 변경 (원하는 패스워드)
Keystone_admin_password: openstack //web 접속 시 admin의 password

#아래는 Octavia 설치 시 변경
Octavia_ca_password: openstack
Octavia_database_password: openstack
Octavia_keystone_password: openstack

3. Openstack 설치

3.1 Openstack 배포

$ cd ~/inventory
$ kolla-ansible -i inventory/multinode bootstrap-servers
$ kolla-ansible -i inventory/multinode prechecks -vvv
$ kolla-ansible -i inventory/multinode deploy -vvv

4. Openstack 초기 설정

### Neutron MTU 값 설정

$ vim /etc/kolla/neutron-dhcp-agent/dnsmasq.conf
dhcp-option-force=option:mtu,1400

또는
log-facility=/var/log/kolla/neutron/dnsmasq.log
dhcp-option-force=26,1400

$ docker restart neutron_dhcp_agent

### Openstack CLI 설정
$ pip3 install python-openstackclient --ignore-installed PyYAML

### Warning 시 아래와 같이 해결 - 기능상 문제는 없음
$ pip3 install cryptography==3.3.2

### admin-openrc.sh 생성
$ kolla-ansible post-deploy
$ . /etc/kolla/admin-openrc.sh

### /etc/fstab 설정
$ vim /etc/fstab
NASIP:/glance /var/lib/docker/volumes/glance/_data/images nfs defaults,_netdev 0 0
NASIP:/nova /var/lib/docker/volumes/nova_compute/_data/instances nfs defaults,_netdev 0 0

자동 스크립트 네트워크, 라우터 등 생성

### 자동 스크립트 파일
### public network, private network, router, security group, flavor, cirros image 자동 생성
### 한번 잘못 실행시 자원 다 지우고 cirros.img 도 삭제 이후 다시 가능

$ cp /usr/local/share/kolla-ansible/init-runonce /root/inventory/
$ cd /root/inventory

# init-runonce 파일을 수정(public 네트워크 대역을 맞게 수정)
$ vim init-runonce
…
# External network 생성을 위한 IP 대역, 범위, Gateway수정.
ENABLE_EXT_NET=${ENABLE_EXT_NET:-1}
EXT_NET_CIDR='192.168.0.0/24'
EXT_NET_RANGE='start=192.168.0.X,end=192.168.0.XX'
EXT_NET_GATEWAY='192.168.0.X'
…
# 위에서 정의된 내용으로 External network 생성
openstack network create --external --provider-physical-network physnet1 --provider-network-type flat public1
openstack subnet create --no-dhcp --allocation-pool ${EXT_NET_RANGE} --network public1 --subnet-range ${EXT_NET_CIDR} –gateway ${EXT_NET_GATEWAY} public1-subnet

# Internal Network 생성 (demo-net이라는 이름으로 네트워크 생성됨. 이름 수정가능)
openstack network create --provider-network-type vxlan demo-net
openstack subnet create --subnet-range 10.0.0.0/24 --network private-net --gateway 10.0.0.1 --dns-nameserver 8.8.8.8 demo-subnet

# router 생성 및 위에서 생성한 subnet을 라우터에 연결(demo-router 라는 이름으로 라우터 생성됨.)
openstack router create demo-router
openstack router add subnet demo-router demo-subnet
if [[ $ENABLE_EXT_NET -eq 1 ]]; then
openstack router set --external-gateway public1 demo-router
# host의 공개키(id_rsa.pub)로 mykey라는 keypair를 생성하므로, host에서 별도의 키 지정이나 인증없이 mykey를 이용하여 생성한 vm으로 바로 ssh 접속 가능.
openstack keypair create --public-key ~/.ssh/id_rsa.pub mykey

# 수정 후 init-runonce 스크립트 실행
$ . init-runonce

수동 스크립트 네트워크, 라우터 등 생성

# External네트워크 생성
$ openstack network create --external --provider-physical-network physnet1 --provider-network-type flat public1

# External 서브넷 생성
$ openstack subnet create --no-dhcp --allocation-pool start=192.168.0.X,end=192.168.0.XX --network public1 --subnet-range 192.168.0.X/24 –gateway 192.168.0.X public1-net

# Internal 네트워크 생성
$ openstack network create private-net

# Internal 서브넷 생성
$ openstack subnet create --subnet-range 10.10.0.0/24 --network private-net --gateway 10.0.0.1 --dns-nameserver 8.8.8.8 private-subnet

# 라우터 생성
$ openstack router create router1

# 라우터에 서브넷 연결
$ openstack router add subnet router1 private-subnet

# 라우터의 외부 게이트웨이를 public 네트워크로 설정.
$ openstack router set --external-gateway public1-net router1

Openstack Install Guide - Victoria - CentOS 7.8

Miners1205 — Thu, 10 Aug 2023 11:41:11 +0900

Openstack Install Guide(Victoria - CentOS)

CentOS 8.2 환경 기준 설치

1. OS 환경

1.1 CentOS 8.2

1.2 All-in-One 기준 구성

1.3 기본적으로 네트워크 외부 통신 연결 가능상태

1.4 네트워크 포토 최소 2~4개 필요

2. Openstack OS 기본 설정

모든 서버에 같은 설정
네트워크 서비스 기본 설정 완료 상태

2.1 기본 툴 설치

$ yum install vim net-tools -y ### 기본 툴
$ yum install nfs-utils -y ### NAS 스토리지 연결시 필요

2.2 네트워크 설정

IPv6 중지 및 설정 확인

$ vim /etc/sysctl.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

$ sysctl -p

방화벽 중지

$ systemctl stop firewalld
$ systemctl disable firewalld

2.3 SSH KEY 설정

모든 서버 동시 수행

$ ssh-keygen -t rsa
$ ssh-copy-id root@{모든 서버}

2.4 SELINUX 비활성화

$ vim /etc/selinux/config

SELINUX=disabled

$ reboot

2.5 Openvswitch 설치 및 패키지 설치

$ dnf install epel-release -y

$ dnf install python3-devel libffi-devel gcc openssl-devel python3-libselinux -y

$ dnf install python3-pip -y

$ pip3 install -U pip

$ dnf install ansible        ### (==2.9.18)
### 2021.03.30 2.9.18 ansible version 설치
### 2021.07.02 2.9.23 ansible version 설치

$ pip3 install 'ansible==2.9.18'

### $ yum install -y centos-release-openstack-victoria  ### 참고
-> OVS 설치 레포

$ yum install -y openvswitch

$ modprobe ip_vs

$ modprobe ip6_tables

$ modprobe openvswitch

$ vi /etc/modules-load.d/ip_vs.conf
   ip_vs

$ vi /etc/modules-load.d/ip6_tables.conf
   ip6_tables

$ systemctl enable openvswitch

$ systemctl start openvswitch

$ yum install network-scripts

### centos7 과 동일 하게 사용
$ service network start

3. Openstack 설치 구성

3.1 Openstack 설치 패키지 구성

### kolla-ansible 구성 설치

### Openstack Victoria 버전
$ pip3 install kolla-ansible==11.0.0

### ERROR: Cannot uninstall 'PyYAML'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.

### 에러 발생시 대처
$ pip3 install --ignore-installed PyYAML

$ mkdir -p /etc/kolla

$ cp -r /usr/local/share/kolla-ansible/etc_examples/kolla/* /etc/kolla

$ cp -r /usr/local/share/kolla-ansible/ansible/inventory/ /root/

$ vim /etc/ansible/ansible.cfg
[defaults]
host_key_checking=False
pipelining=True
forks=100

3.2 All-in-One 노드 설정

$ cd /root/inventory

### localhost -> {hostname} 으로 변경
$ sed -i s/localhost/호스트네임/g all-in-one

$ vim /root/inventory/all-in-one
[control]
all01       ansible_connection=local

[network]
all01       ansible_connection=local

[compute]
all01       ansible_connection=local

[storage]
all01       ansible_connection=local

[monitoring]
all01       ansible_connection=local

[deployment]
all01       ansible_connection=local

3.3 Kolla globals.yml 파일 설정

**### All-in-One 경우**
$ vim /etc/kolla/globals.yml

kolla_base_distro: "centos"           ### Docker 운영체제 선택
kolla_install_type: "source"          ### Source, binary 설치 선택
openstack_release: "victoria"         ### openstack 선택

kolla_internal_vip_address: "10.10.10.10"      ### 관리 network VIP 입력, 관리 network가 따로 없는 경우에는 Internal network VIP
kolla_external_vip_address: "192.168.0.XXX"  ### External Network VIP
network_interface: "enp1s0f1"                  ### 내부 물리 NIC (internal network(data))
kolla_external_vip_interface: "enp1s0f0"       ### 외부 물리 NIC
api_interface: "enp1s0f2"                      ### 관리 NIC (관리 네트워크 없는 경우 =network_interface)
octavia_network_interface: "enp1s0f0"          ### 외부 물리 NIC
neutron_external_interface: "enp1s0f0"         ### 외부 물리 NIC

# 사용할 서비스를 enable(주석 해제, yes)하면됨.
enable_cinder: "yes"
enable_cinder_backup: "yes"
# enable_cinder_backend_lvm: "yes"  # cinder에 사용할 디스크가 lvm인 경우 yes
# enable_cinder_backend_nfs: "yes"  # cinder에 사용할 디스크가 nfs인 경우 yes
# enable_horizon_neutron_lbaas: "no"# Octavia 설치 시 no
# enable_horizon_octavia: "yes"     # Octavia 설치 시 yes
# enable_mariabackup: "yes"         # mariadb 백업 기능 사용 시 yes
# enable_neutron_lbaas: "yes"       # Octavia 설치 시 yes
enable_openstack_core: "yes"
enable_openvswitch: "no"
glance_enable_rolling_upgrade: "no"
nova_compute_virt_type: "kvm"       # vmware 등 가상환경에 설치 시 qemu로 변경
…
# database_port: 33306              # mariadb port를 변경하고 싶은 경우

################################
# Cinder - Block Storage Options
################################
…
# Cinder backup 디스크가 NFS 인 경우 수정
# Valid options are [ nfs, swift, ceph ]
cinder_backup_driver: "nfs"
cinder_backup_share: "NASIP:/nfs/cinder_backup"
cinder_backup_mount_options_nfs: "vers=3"

# 입력한 정보 확인
$ grep -vE '^$|^#' /etc/kolla/globals.yml

### Multinode 경우
$ vim /etc/kolla/globals.yml

###############
# Kolla options
###############
kolla_base_distro: "centos"  //docker에 올릴 운영체제
kolla_install_type: "source":Lq
openstack_release: "stein"   //openstack 버전 이름

kolla_internal_vip_address: "172.16.0.250" # 관리 network VIP /관리 network가 따로 없는 경우에는 Internal network VIP를 입력
kolla_external_vip_address: "192.168.0.XXX" # External Network VIP
…
# Multimode 파일에 NIC 인터페이스를 정의하였으므로 설정할 필요 X
…

# 사용할 서비스를 enable(주석 해제, yes)하면됨.
enable_cinder: "yes"
enable_cinder_backup: "yes"
# enable_cinder_backend_lvm: "yes"  //cinder에 사용할 디스크가 lvm인 경우 yes
# enable_cinder_backend_nfs: "yes"  // cinder에 사용할 디스크가 nfs인 경우 yes
# enable_horizon_neutron_lbaas: "no"//Octavia 설치 시 no
# enable_horizon_octavia: "yes"     //Octavia 설치 시 yes
# enable_mariabackup: "yes"         //mariadb 백업 기능 사용 시 yes
# enable_neutron_lbaas: "yes"       //Octavia 설치 시 yes
enable_openstack_core: "yes"
enable_openvswitch: "no"
glance_enable_rolling_upgrade: "no"
nova_compute_virt_type: "kvm"       //vmware 등 가상환경에 설치 시 qemu로 변경

…
################################
# Cinder - Block Storage Options
################################
…
# Cinder backup 디스크가 NFS 인 경우 수정
# Valid options are [ nfs, swift, ceph ]
cinder_backup_driver: "nfs"
cinder_backup_share: "NASIP:/nfs/cinder_backup"
cinder_backup_mount_options_nfs: "vers=3"

3.4 Kolla Password 설정

$ kolla-genpwd

### Openstack 서비스들의 암호를 설정하는것
$ vim /etc/kolla/passwords.yml
Database_password: openstack ### MariaDB 접속 암호 설정
Keystone_admin_password: openstack ### Horizon 접속 암호 설정

### 하단 Octavia 설치시 암호 설정
Octavia_ca_password: openstack
Octavia_database_password: openstack
Octavia_keystone_password: openstack

### 추가 서비스들에 대하여 변경하여 사용 필요.

3.5 Cinder Volume 구성

$ pvcreate /dev/sdb1

### cinder-volumes 명칭으로 구성해야한다. 명칭 변경시 하단 변경 필요
$ vgcreate cinder-volumes /dev/sdb1

3.6 Openstack 설치

$ cd ~/inventory

### All-in-One인 경우
$ kolla-ansible -i all-in-one bootstrap-servers
$ kolla-ansible -i all-in-one prechecks -vvv
$ kolla-ansible -i all-in-one deploy -vvv

### MultiNode인 경우
$ kolla-ansible -i multinode bootstrap-servers
$ kolla-ansible -i multinode prechekcs -vvv
$ kolla-ansible -i multinode deploy -vvv

$ mount /dev/sdb /var/lib/docker/volumes/nova_compute/_data/instances

### 내부 디스크 사용시 instances 권한 42436으로 변경 필요
$ chown 42436:42436 /var/lib/docker/volumes/nova_compute/_data/instances

Openstack CLI 설치

$ kolla-ansible post-deploy
$ pip install python-openstackclient

$ openstack --version
$ source /etc/kolla/admin-openrc.sh

Openstack Configuration

Openstack Router Failover

# vim /etc/kolla/neutron-l3-agent/neutron.conf
[Default]
allow_automatic_l3agent_failover = true

Openstack dnsmasq MTU 값 조정
# vim /etc/kolla/neutron-dhcp-agent/dnsmasq.conf
log-facility=/var/log/kolla/neutron/dnsmasq.log
dhcp-option-force=option:mtu,1400

# docker restart neutron_dhcp_agent

Openstack Port 리스트 정리

Miners1205 — Thu, 10 Aug 2023 10:05:31 +0900

1. Openstack Port List 정리

가끔 필요에 의해서 사용하기에 Openstack 공홈에서 해당 내용을 가져왔다.

o Openstack ort list 목록

Openstack Service	Default Port
Application Catalog (murano)	8082
Backup Service (Freezer)	9090
Big Data Processing Framework (sahara)	8386
Block Storage (cinder)	8776
Clustering (senlin)	8777
Compute (nova) endpoints	8774
Compute ports for access to virtual machine consoles	5900-5999
Compute VNC proxy for browsers (openstack-nova-novncproxy)	6080
Compute VNC proxy for traditional VNC clients (openstack-nova-xvpvncproxy)	6081
Container Infrastructure Management (Magnum)	9511
Container Service (Zun)	9517
Data processing service (sahara) endpoint	8386
Database service (Trove)	8779
DNS service (Designate)	9001
High Availability Service (Masakari)	15868
Identity service (keystone) endpoint	5000
Image service (glance) API	9292
Key Manager service (Barbican)	9311
Loadbalancer service (Octavia)	9876
Networking (neutron)	9696
NFV Orchestration service (tacker)	9890
Object Storage (swift)	6000, 6001, 6002
Orchestration (heat) endpoint	8004
Orchestration AWS CloudFormation-compatible API (openstack-heat-api-cfn)	8000
Orchestration AWS CloudWatch-compatible API (openstack-heat-api-cloudwatch)	8778
Placement API (placement)	8003
Proxy port for HTML5 console used by Compute service	6082
Rating service (Cloudkitty)	8889
Registration service (Adjutant)	5050
Resource Reservation service (Blazar)	1234
Root Cause Analysis service (Vitrage)	8999
Shared File Systems service (Manila)	8786
Telemetry alarming service (Aodh)	8042
Telemetry event service (Panko)	8977
Workflow service (Mistral)	8989

ServiceDefault portUsed by

Service	Default Port	Used by
HTTP	80	OpenStack dashboard (Horizon) when it is not configured to use secure access.
HTTP alternate	8080	OpenStack Object Storage (swift) service.
HTTPS	443	Any OpenStack service that is enabled for SSL, especially secure-access dashboard.
rsync	873	OpenStack Object Storage. Required.
iSCSI target	3260	OpenStack Block Storage. Required.
MySQL database service	3306	Most OpenStack components.
Message Broker (AMQP traffic)	5672	OpenStack Block Storage, Networking, Orchestration, and Compute.

* 참고

https://docs.openstack.org/install-guide/firewalls-default-ports.html

Firewalls and default ports — Installation Guide documentation

Firewalls and default ports On some deployments, such as ones where restrictive firewalls are in place, you might need to manually configure a firewall to permit OpenStack service traffic. To manually configure a firewall, you must permit traffic through t

docs.openstack.org

Phython 기본 버전 변경

Miners1205 — Thu, 10 Aug 2023 10:03:19 +0900

$ python --version

python 기본 버전 확인

$ yum install python3

기본적인 Python 버전은 2.7.5를 바라보기에 Alias 수정 필요

Python3 설치 이후 Alias 확인

$ ll /usr/bin/python*

$ unlink /bin/python

$ ln -s /bin/python3.6 /bin/python

$ ln -s /bin/python3.6 /bin/python3

$ ln -s /bin/pip3.6 /

최종 변경 확인 완료

http://semantics.kr/yum-%EC%8B%A4%ED%96%89-%EC%8B%9C-syntaxerror/

Openstack lbaas Load Balance Delete(삭제) 방법

Miners1205 — Thu, 10 Aug 2023 10:01:21 +0900

* Delete Load Balance

LB 생성시에는 정상적이지만 삭제시는 CLI로 삭제해야하며 모니터, 풀, 멤버, 리스너 모두 삭제를 해주어야 LB가 정상적으로 삭제가 된다.

* healthmonitor -> member -> pool -> listener -> LB 순으로 삭제

Delete healthmonitor

(neutron) lbaas-healthmonitor-list
+--------------------------------------------------------+---------+----------------------------------------------------+--------+------------------------+
| id                                                                 | name | tenant_id                                                  | type   | admin_state_up |
+--------------------------------------------------------+---------+----------------------------------------------------+--------+------------------------+
| 9201ca04-1e9a-47eb-b0c1-161853fdc4b1 |           | e4cb70dd38b44665bd20dce52e5c8c51 | PING | True                    |
+--------------------------------------------------------+---------+----------------------------------------------------+--------+------------------------+

(neutron) lbaas-healthmonitor-delete 9201ca04-1e9a-47eb-b0c1-161853fdc4b1
Deleted lbaas_healthmonitor(s): 9201ca04-1e9a-47eb-b0c1-161853fdc4b1

Delet Member & Pool
### 삭제하려는 pool ID 확인

(neutron) lbaas-pool-list
+--------------------------------------------------------+---------+----------------------------------------------------+-----------------------+------------+---------------------+
| id                                                                | name   | tenant_id                                               | lb_algorithm         | protocol | admin_state_up |
+--------------------------------------------------------+---------+----------------------------------------------------+-----------------------+------------+---------------------+
| c65fbc5a-2ff1-453d-8e52-9278288cf232 | Pool 1 | e4cb70dd38b44665bd20dce52e5c8c51 | ROUND_ROBIN  | HTTP     | True                  |
+--------------------------------------------------------+---------+----------------------------------------------------+-----------------------+------------+---------------------+

### pool의 멤버 확인

(neutron) lbaas-member-list c65fbc5a-2ff1-453d-8e52-9278288cf232
+--------------------------------------+------+----------------------------------+-----------+---------------+--------+--------------------------------------+----------------+
| id                                                               | name | tenant_id                        | address   | protocol_port | weight | subnet_id                            | admin_state_up |
+--------------------------------------+------+----------------------------------+-----------+---------------+--------+--------------------------------------+----------------+
| f0c66904-9816-49af-ab42-d87c73914407 |      | e4cb70dd38b44665bd20dce52e5c8c51 | 10.0.0.11 |            80 |      1 | da6d1aef-e1fa-4cf4-b475-ef80bcb5466f | True           |
| 1057cb5d-e9c8-4c0e-ba36-8797fa54d1db |      | e4cb70dd38b44665bd20dce52e5c8c51 | 10.0.0.18 |            80 |      1 | da6d1aef-e1fa-4cf4-b475-ef80bcb5466f | True           |
+--------------------------------------+------+----------------------------------+-----------+---------------+--------+--------------------------------------+----------------+

### 해당 멤버 삭제
### 삭제시 lbaas-member-delete 'member id' 'pool id'형식

(neutron) lbaas-member-delete f0c66904-9816-49af-ab42-d87c73914407 c65fbc5a-2ff1-453d-8e52-9278288cf232
Deleted lbaas_member(s): f0c66904-9816-49af-ab42-d87c73914407

(neutron) lbaas-member-delete 1057cb5d-e9c8-4c0e-ba36-8797fa54d1db c65fbc5a-2ff1-453d-8e52-9278288cf232
Deleted lbaas_member(s): 1057cb5d-e9c8-4c0e-ba36-8797fa54d1db

### 해당 풀 삭제
(neutron) lbaas-pool-delete c65fbc5a-2ff1-453d-8e52-9278288cf232
Deleted lbaas_pool(s): c65fbc5a-2ff1-453d-8e52-9278288cf232

### listener 삭제

(neutron) lbaas-listener-list
+--------------------------------------+-----------------+------------+----------------------------------+----------+---------------+----------------+
| id                                   | default_pool_id | name       | tenant_id                        | protocol | protocol_port | admin_state_up |
+--------------------------------------+-----------------+------------+----------------------------------+----------+---------------+----------------+
| 19496e80-1af8-44d3-8028-7af2ade87a19 |                 | Listener 1 | e4cb70dd38b44665bd20dce52e5c8c51 | HTTP     |            80 | True           |
+--------------------------------------+-----------------+------------+----------------------------------+----------+---------------+----------------+
(neutron)
(neutron) lbaas-listener-delete 19496e80-1af8-44d3-8028-7af2ade87a19
Deleted listener(s): 19496e80-1af8-44d3-8028-7af2ade87a19

### Load Balance 삭제

(neutron) lbaas-loadbalancer-list
+--------------------------------------+-----------------+----------------------------------+-------------+---------------------+----------+
| id                                   | name            | tenant_id                        | vip_address | provisioning_status | provider |
+--------------------------------------+-----------------+----------------------------------+-------------+---------------------+----------+
| f6fe77ec-f6cf-47d7-adee-ed85454f05f0 | Load Balancer 1 | e4cb70dd38b44665bd20dce52e5c8c51 | 10.0.0.17   | ACTIVE              | haproxy  |
+--------------------------------------+-----------------+----------------------------------+-------------+---------------------+----------+
(neutron) lbaas-loadbalancer-delete f6fe77ec-f6cf-47d7-adee-ed85454f05f0
Deleted loadbalancer(s): f6fe77ec-f6cf-47d7-adee-ed85454f05f0