쵸비의 끄적끄적

아주 쉬운 Docker 이미지 hub에 올리기

쵸비 — Mon, 10 Jul 2023 10:15:16 +0900

오늘은 Local pc에 있는 Docker 컨테이너를 이미지로 만들어보고 hub에 올려보는 작업을 해보자

인터넷만 된다면 휴대용 이미지를 갖는 것이니 얼마나 좋은가

제일 먼저 도커에 로그인이 되어있는지 확인.

도커 홈에서 로그인을 하니 자동으로 연동이 되었다. 개꿀

그리고 도커 컨테이너를 확인해보자

docker ps -a

컨테이너 이름이 nn1을 대상으로 이미지를 말아보자

docker commit [컨테이너 이름] [저장할 이미지 이름]

docker commit nn1 nn1

이미지 확인

docker images

생성이 잘 됨을 확인한다.

이제 도커 메인 홈에 가서 repository를 생성한다.

https://hub.docker.com/

Docker

hub.docker.com

이런 식으로 [Username]/[repository 이름] 생성 완료!

다음은 도커 허브 리포지토리에 업로드 하기위해서 도커 이미지를 만들어주자

docker image tag [기존 이미지명]:[Tag] [Username]/[repository 이름]:[리포지토리에 저장할 태그명]

이런 식으로 작성해 주면 된다. (Tag는 이미지 리스트를 검색할 때 나오는 TAG를 뜻함. 위 첨부 사진을 참고)

docker image tag nn1:latest gpdla233/zeeplin:namenode1

다음 hub에 push를 해준다

docker push gpdla233/zeeplin:namenode1

이제 도커 홈에 접속하면 이미지가 hub에 올라간것을 확인할 수 있다.

아주간단!

참고로 hub에 올릴 수 있는 용량은 아래와 같으니 같이 알고있으면 좋을 것 같다.

Pull을 할 경우는 다음과 같다.

docker pull [username]/zeeplin:datanode3

끝.

[Django] 3. html 파일용 templates 설정

쵸비 — Fri, 7 Jul 2023 13:22:16 +0900

오늘은 장고에서 views에 return해주는 값을 html 경로를 넣어줘 페이지를 보여주게 해보자

우선 Bootstrap에서 샘플용 html을 받아옵니다.

https://getbootstrap.kr/docs/5.2/getting-started/introduction/

Bootstrap 시작하기

Bootstrap은 강력하고 기능이 풍부한 프론트엔드 툴킷입니다. 프로토타입부터 프로덕션까지 뭐든지 빠르게 빌드해보세요.

getbootstrap.kr

빠른 시작에 html 태그 가져와서 띄워보도록 하겠습니다.

pubg 이름으로 되어있는 app 하위에 templates라는 폴더를 만들고 test.html 생성

빠른 시작의 html 샘플 태그를 복사하여 붙여넣기, 저장

다음으로 내 프로젝트가 templates경로에서 test.html을 찾을 수 있게 settings.py 파일을 편집

아래 항목을 찾아 설정을 합니다.

app 이름이 pubg이므로 하단에 추가

이제 설정이 완료 되었으니 pubg/views.py 파일에서 경로를 넣어줍니다.

다음은 pubg/urls.py에 show_test 추가해줍니다.

서버를 실행시키고 url창에 http://127.0.0.1:8000/show_test/ 를입력해주면 성공!

#6 Zookeeper 클러스터 설정 및 Hadoop & Yarn 클러스터 실행

쵸비 — Fri, 7 Jul 2023 12:49:43 +0900

인스턴스(컨테이너) 복제가 완료되었으니 Zookeeper 클러스터를 설정해주자.

myid 파일 편집
: nn1,nn2,dn1 서버에 myid를 각각 1,2,3으로 편집

# nn2 서버에서
vim /usr/local/zookeeper/data/myid
# 아래 내용으로 수정 후 저장
2
# nn1으로 이동
exit

# dn1 서버에서
vim /usr/local/zookeeper/data/myid

# 아래 내용으로 수정 후 저장
3

Zookeeper 실행

: nn1, nn2, dn1 서버에서 각각 실행한다.

# nn1 서버 zookeeper 시작
/usr/local/zookeeper/bin/zkServer.sh start

# nn2 서버 zookeeper 시작
/usr/local/zookeeper/bin/zkServer.sh start

# dn1 서버 zookeeper 시작
/usr/local/zookeeper/bin/zkServer.sh start

Zookeeper 상태 확인

: nn1, nn2, dn1 서버에서 각각 실행한다. namenode 하나가 Leader가 나오고 나머지는 Follower가 나오게 된다.

# nn1 서버 zookeeper 확인
/usr/local/zookeeper/bin/zkServer.sh status
#follower

# nn2 서버 zookeeper 확인
/usr/local/zookeeper/bin/zkServer.sh status
#leader

# dn1버 zookeeper 확인
/usr/local/zookeeper/bin/zkServer.sh status
#follower

HDFS ZKFC 초기화

HDFS에서 ZKFC를 초기화 하는 이유는 HDFS의 고가용성을 유지하기 위해서 주키퍼가 네임노드의 상태를 모니터링하기에 앞서 하는 작업입니다.

nn1 서버에서 진행.

source /etc/environment
# zkfc 초기화
hdfs zkfc -formatZK

HDFS ZKFC 초기화 확인

nn1 서버에 진행.

# zookeeper 폴더로 이동
cd /usr/local/zookeeper

# zkCli 실행
./bin/zkCli.sh

# Hadoop 클러스터 확인 [zk: localhost:2181(CONNECTED) 1] 하나확인
ls /hadoop-ha

# [my-hadoop-cluster] 확인 후 quit 명령으로 종료
quit

Journalnode 실행

: nn1, nn2, dn1 에서 실행한다.

# nn1서버에서 실행
hdfs --daemon start journalnode

# nn2서버에서 실행
hdfs --daemon start journalnode

# dn1에서 실행
hdfs --daemon start journalnode

만약에 에러가 발생하면 시스템 변수가 활성이 안되어서 그럴 수 있으니 아래 코드를 실행해주자.

#필요에 따라 (bash: hdfs: command not found)
source /etc/environment

Hadoop & Yarn 클러스터 실행

[ Namenode ]

NameNode 초기화

: nn1 에서 실행.

# hdfs namenode 포맷
hdfs namenode -format

NameNode 실행

: nn1 에서만 실행.

# hdfs namenode 실행
hdfs --daemon start namenode

jps를 커멘드에 입력했을 때 namenode가 보이는지 체크

[ Standby NameNode ]

Standby NameNode 실행

: nn2 에서만 실행.

# hdfs standby namenode 실행
hdfs namenode -bootstrapStandby

[ Hadoop 실행 ]

start-dfs.sh실행

: nn1 에서만 실행. 해당 단계에서 “DFSZKFailoverController” 프로세스가 실행 된다.

start-dfs.sh

[ Yarn 실행 ]

start-yarn.sh실행

: nn1 에서만 실행. 해당 단계에서 “ResourceManager” 프로세스가 실행된다. 나머지 DataNode 서버에서는 “NodeManager” 프로세스가 실행된다.

start-yarn.sh

jps를 커멘드에 입력하여 각각의 서버에 실행한 Manager, Node가 생성이 되었는지 체크

[ JobHistory 실행 ]

historyserver 실행

: nn1 에서만 실행. 해당 단계에서 “JobHistoryServer” 프로세스가 실행된다.

mapred --daemon start historyserver

Active, Standby NameNode 확인

#nn1 서버에서 실행
hdfs haadmin -getServiceState namenode1
#active

#nn2 서버에서 실행
hdfs haadmin -getServiceState namenode2
#standby

active와 standby가 보이는데 active는 말그대로 실행중인 서버로 인식되는 표시이고 standby는 nn1서버가 모종의 이유로 문제가 생길시 nn2가 이어받을 준비가 되었다는 표시이다.

jps를 커멘드에 입력하고 manager와 node들이 실행이 되었다면 클러스터를 정상적으로 실행한 것이다.

[기초]네트워크란? 네트워크의 기능

쵸비 — Fri, 7 Jul 2023 11:20:11 +0900

Network 란?

컴퓨터나 기타 기기들이 리소스를 공유하거나 데이터를 주고 받기 위해 유선 혹은 무선으로 연결된 통신 체계

Network의 기능

1. 애플리케이션 목적에 맞는 통신 방법 제공

2. 신뢰할 수 있는 데이터 전송 방법 제공

3. 네트워크 간의 최적의 통신 경로 결정

4. 목적지로 데이터 전송

5. 노드 사이의 데이터 전송

통신 기능이 제대로 이루어지기 위해서는 서로 약속된 통신 방법이 있어야 한다.

약속된 통신 형식, 절차, 규약이 있는데 이것을 네트워크 프로토콜(network protocol)이라고 한다.

Network의 기능을 구현하기 위해서는 프로토콜 하나로 구현할 수 없고 여러 프로토콜이 필요하며 이것을 수행하기 위해서 모듈화를 해야한다.

다시 모듈화를 간단하게 말하자면 위에 5가지 Network기능별로 나눴다 라고 생각하면 된다.

그렇게 계층으로 나누게 된 것을 Layerd architecture(계층 구조)라고 한다.

계층 구조로 모델링한 두가지 모델링이 있다.

OSI model (7 layer) : 범용적인 네트워크 구조
TCP/IP stack (4 layer) : 인터넷에 특화된 네트워크 구조

그러면 이제 OSI model 7계층에 대해서 자세하게 알아보자!

OSI 7 layer

L1 ~ L7로 구성됨
각 레이어에 맞게 프로토콜이 세분화돼서 구현
각 레이어의 프로토콜은 하위 레이어의 프로토콜이 제공하는 기능을 사용하여 동작.

출처 : https://www.networkworld.com/article/3239677/the-osi-model-explained-and-how-to-easily-remember-its-7-layers.html

application layer

application : 애플리케이션 목적에 맞는 통신 방법 제공 (HTTP, DNS, SMTP, FTP)
presentation : 애플리케이션 간의 통신에서 메시지 포맷 관리 (인코딩, 디코딩, 암호화, 복호화)
session : 애플리케이션 간의 통신에서 세션을 관리

transport : 애플리케이션 간의 통신 담당( 안정적이며 신뢰 : TCP, 필수 기능만 제공 : UDP)
network : 호스트 간의 통신 담당(IP), 네트워크 간의 최적의 경로 결정
data link : 직접 연결된 노드 간의 통신 담당, IP 주소를 MAC 주소로 변환하며 기반인 통신(ARP)
physical : bits 단위로 데이터 전송

처리과정

1. 7개층을 통해 데이터를 포장

2. 라우터로 이동

3. 라우터는 목적지를(IP) 찾기 위해 Network 레이어까지 포장을 해체

4. 다시 포장

5. 목적지까지 이동

6. 포장을 풀면서 데이터를 확인

이렇게 포장을 하고 풀고의 과정을 encapsulation, decapsulation이라고 한다.

TCP/IP stack

TCP/IP는 7개층에서 Application과 Link,Physical을 묶으면서 구성을 하여 4계층으로 보는 것 이다.

Application은 합쳐서 보면 좋긴하나 Data link와 Physical의 경우에는 따로 구분하여 보는게 더 좋을 것 같다.

왜냐하면 세분화된 기능과 중요 역할이 있는 부분은 따로 익히면 좋지만 Application 부분에 대한 프로토콜의 기능의 목적은 서비스 목적의 더 강하다고 느껴지기 때문이다.

[Git] 왕초보 Git 사용하기

쵸비 — Thu, 6 Jul 2023 14:19:25 +0900

오늘은 git 관리를 하기 위해서 git Bash를 활용해 보자

먼저 새 프로젝트를 만들어 주자

Repository를 만들고 나면 git bash를 설치해주자 (https://code-lab1.tistory.com/249)

윈도우 검색 창에 Git Bash를 검색하고 실행을 시켜주면..

귀여운 터미널이 나오게된다.

여기서 사용자 이름과 이메일을 config해주자

#사용자이름
git config --global user.name "youngcher"

#사용자 이메일
git config --global user.email "youngcher1@naver.com"

여기서 내가 git에 올리고 싶은 폴더로 이동해주자

어떤 파일들이 있는지 확인해보자

먼저 깃을 초기화 해주자

git init

모든 파일을 git에 올릴 것이기에 git add .을 입력해준다. 만일 하나의 파일을 올리고 싶다면 git add manage.py를 입려해주면 된다.

#해당 경로 모든 파일 add
git add .

올릴 파일들이 잘 add가 되어있는지 확인을 위해서 git status를 입력해준다.

#add가 되어있는 상태확인
git status

그리고 수정사항을 commit 해준다.

#commit 하기
git commit -m 'test'

1개의 파일이 수정상태이고 'test'라는 이름으로 커밋이 되었다.

이제 push를 해주기에 앞서서 내가 만든 git에 repository와 local과의 연결다리를 만들어 줍니다.

#git remote를 제거
git remote remove origin

#remote 확인
git remote -v

#git remote 생성
git remote add origin https://github.com/youngcher/Pubg.git

git remote 확인

자 이제 연결이 끝났으니 Push를 해주자.

git push origin main

문제 없이 잘 돌아가면 성공!

하지만 이것 저것 만지다 보니 에러가 발생했다..

해당 에러는 Git에서 로컬 브랜치와 리모트 브랜치가 서로 다른 경우 발생하는 충돌로 인한 문제라고 한다.

다음 명령어를 차례로 실행.

#리모트 브랜치의 변경 사항을 로컬 브랜치에 병합하게 됩니다.
git pull origin main  

#다시 push
git push origin main

다시 에러 발생..

이번 에러는 Git에서 로컬 브랜치의 커밋과 리모트 브랜치의 커밋이 서로 다르기 때문에 발생하는 충돌로 인한 문제라고 한다.

다음 명령어를 실행.

#리모트 브랜치와 로컬 브랜치를 합칠 때, 로컬 브랜치의 HEAD를 리모트 브랜치로 
#옮기는 것이 아니라 리모트 브랜치의 HEAD를 로컬 브랜치의 HEAD위에 올리는 것.
git pull --rebase origin main

#다시 push
git push origin main

성공!

git hub에서 확인을 해보자

manage.py, myproject 폴더가 잘 들어온 것을 확인 할 수 있다.

[Django] 2. 라우팅

쵸비 — Tue, 4 Jul 2023 13:58:35 +0900

가장 먼저 project는 생성을 했으나 app은 보이지 않을 것이기에 먼저 app을 생성해주자

django-admin startapp <app이름>

Project urls.py에서 Request를 받게 되면 아래 코드를 통해서 들어온다.

경로: myproject/urls.py

그 다음으로 app에 있는 urls.py로 이동하게 되고

경로: myapp/urls.py

app의 views.py로 들어가게 된다.

views에 있는 메소드를 통해 로직 또는 DB를 통해 응답하게 된다.

[Django] 1. 설치

쵸비 — Tue, 4 Jul 2023 13:56:09 +0900

오늘은 웹 프레임워크인 Django를 한번 해보자 Spring boot를 먼저 해봤지만 python으로도 해보고 싶어 시작했다.

<장고 아키텍쳐>

VS 터미널에서 아래 코드를 실행

pip install django

#명령어 확인
django-admin

프로젝트 생성

django-admin startproject myproject .

#메니저 코드 명령어 출력
manage.py

#서버 실행하는 코드
manage.py runserver

서버를 키고 주소애 들어가서 로켓이 보이면 서버가 정상 작동 됨을 확인 할 수 있다.

#포트 8888로 서버 실행하는 코드
manage.py runserver 8888

# myapp 이름으로 앱 생성
django-admin startapp myapp

#5 컨테이너 복제 및 네트워크 구축

쵸비 — Mon, 3 Jul 2023 17:41:14 +0900

이번에는 이미지를 생성하여 복제를 해보자.

5개의 컨테이너를 생성하여 두개는 Namenode, 세게는 Datanode로 사용할 예정이다.

[ Docker 컨테이너 나가기 & 이미지 만들기 ]

Docker 컨테이너에서 나가기 위해 Ctrl + P 키를 누르고 바로 Ctrl + Q 키를 누르면 됩니다.

#이미지 만들기 [이름이 test라는 컨테이너로 test 이미지 만들기]
docker commit test test

#이미지 확인
docker images

[ Docker network 설정 ]

: 특정 네트워크 대역을 지정하여 도커 네트워크를 생성한다.

docker network create --gateway 172.19.0.1 --subnet 172.19.0.0/16 testnet

Docker network 리스트 확인

docker network ls

Docker network 정보 확인

docker inspect testnet

Docker 컨테이너 1번 생성[test 이미지 사용]

docker run -it -d -p 18888:18888 --network testnet --ip 172.19.0.11 --hostname nn1 --name nn1 test /bin/bash

Docker 컨테이너 2~5번 생성

# 같은 방법으로 ip 172.19.0.13~ip 172.19.0.15(dn1, dn2, dn3)까지 만들어준다
#2번
docker run -it -d --network testnet --ip 172.19.0.12 --hostname nn2 --name nn2 test /bin/bash
#3번
docker run -it -d --network testnet --ip 172.19.0.13 --hostname dn1 --name dn1 test /bin/bash
#4번
docker run -it -d --network testnet --ip 172.19.0.14 --hostname dn2 --name dn2 test /bin/bash
#5번
docker run -it -d --network testnet --ip 172.19.0.15 --hostname dn3 --name dn3 test /bin/bash

Docker 컨테이너 호스트 이름 확인

: nn1, nn2 컨테이너에 접속하여 각각 호스트 이름이 정상적으로 지정 되었는지 확인한다.

docker exec -it nn1 /bin/bash

cat /etc/hostname

nn1 ~dn3 컨테이너 모두 하위 작업 반복

SSH KEY 생성

#5개의 서버 모두 실행
ssh-keygen -t rsa

SSH KEY를 인증 KEY로 복사

#5개의 서버 모두 실행
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

SSH 디렉토리 확인

#5개의 서버 모두 실행
cd ~/.ssh && ls
>>> authorized_keys  id_rsa  id_rsa.pub

SSH 인증키 확인

#5개의 서버 모두 실행
cat authorized_keys
# ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQDGFz2na47vkmzxeqISPycd0HzySVCFengqBUji9VlzYOb6gf155GrPU/iX8FPzikD0ziVG9RYagmvtEyiegzCtMQRoomnm1QYz9JLjYjf6hxQZLnKEIpK+fC7n+Jxn7iEs7jyC/zf0uqQyirPfyTlNvcoY1z7pb0rfxVNT7oCL8FhVCFFCBtFpphnK5dCv0J15cqr+NN7eo7OfHvDqVBKD4LEhS3hpQLP3meB/YCdqw6WEi6lrb6uUvyIftKe65Jmm/B5WqTI4dJUhFCtyIXqpyYRWdXRubb0QEXIPvQk2sxHBlaYTyacdJD5B5+uaAt083eqwNBuJhtkpLTAHPgwz2ThwixGSl1i+pJuLEhSK3vcZXJvC8TgU6UfEI3wDejkTtCDtRMj9HIjulLjBBJ+/+O0ms8+TpkGX0lUvIoE31jdBN/Otg3GAn+WGtsAY61Fcz1cwGx6o/MAL99FBXXljYkXyKYZ82IHBJn3mbf4NRYM90R0MoTFLUnB0EN0a+m8= root@server01

통신할 Docker 컨테이너끼리 SSH 인증키 등록 : nn1~dn3까지 ssh키를 입력.

예 : nn1 과 nn2 컨테이너가 양방향 SSH 인증 통신을 하기 위해서 nn1의 인증키를 nn2에 등록하고, nn2의 인증키를nn1에 등록한다.

nn1 컨테이너

#5개의 서버 모두 실행
#해당 파일에 5개 서버의 ssh키를 넣어준다

vi ~/.ssh/authorized_keys
"""
# nn1
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQDGFz2na47vkmzxeqISPycd0HzySVCFengqBUji9VlzYOb6gf155GrPU/iX8FPzikD0ziVG9RYagmvtEyiegzCtMQRoomnm1QYz9JLjYjf6hxQZLnKEIpK+fC7n+Jxn7iEs7jyC/zf0uqQyirPfyTlNvcoY1z7pb0rfxVNT7oCL8FhVCFFCBtFpphnK5dCv0J15cqr+NN7eo7OfHvDqVBKD4LEhS3hpQLP3meB/YCdqw6WEi6lrb6uUvyIftKe65Jmm/B5WqTI4dJUhFCtyIXqpyYRWdXRubb0QEXIPvQk2sxHBlaYTyacdJD5B5+uaAt083eqwNBuJhtkpLTAHPgwz2ThwixGSl1i+pJuLEhSK3vcZXJvC8TgU6UfEI3wDejkTtCDtRMj9HIjulLjBBJ+/+O0ms8+TpkGX0lUvIoE31jdBN/Otg3GAn+WGtsAY61Fcz1cwGx6o/MAL99FBXXljYkXyKYZ82IHBJn3mbf4NRYM90R0MoTFLUnB0EN0a+m8= root@server01

# nn2
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQCYNzyBRDNXlthOa+GX37jUk/OCAKex520ckfxohYKNqGo0tP0vb2eTXKNXpECdp7wxI89/YUuPdcnyUF4Lu7kjuQ5MvSwg2hLaLe8gNiaU50YpnePHL4zkHAJ7DdWmKNqYmWpXJ8cRSpKp4vYhi9L9MZ7FPYYtvAYm8Lr56+dT2ea73Z/mJ5LnZRYdZRTtR9DN6/OQEQU0WQQvV1C3Nrs8O2MwSIbfrVyrYQ6gDt0DTzusp8d92vFiHsbhstsFnv4yWQbS4oL+KXUUKkGsZnFrS7ChuF0fSsSuxQc3ycg2Q5h/xzmyp22EVSeJRNGrQvmGNIjP278SuDfPhTm7t0VXT0bhNlo9K8ih27Kj66SseHp4ept0QrnxDSZyec1pE5kkHnOVm9kCCZrNklUUQ5JOmXDGb2bxBgoZurefYikztUzyVCv6rYG5K6D5DxC0ukAg9cOAPBl5MBqKkW5mxeEaNKAXbLFO34FDGwPqNs4eW5IhxCGND2AJo/teBO7gnG0= root@server02

# dn1
ssh-rsa~~
# dn2
ssh-rsa~~~
# dn3
ssh-rsa~~~
"""

nn2 컨테이너도 같은 상황으로 만들어준다.

vi ~/.ssh/authorized_keys
"""
# nn1
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQDGFz2na47vkmzxeqISPycd0HzySVCFengqBUji9VlzYOb6gf155GrPU/iX8FPzikD0ziVG9RYagmvtEyiegzCtMQRoomnm1QYz9JLjYjf6hxQZLnKEIpK+fC7n+Jxn7iEs7jyC/zf0uqQyirPfyTlNvcoY1z7pb0rfxVNT7oCL8FhVCFFCBtFpphnK5dCv0J15cqr+NN7eo7OfHvDqVBKD4LEhS3hpQLP3meB/YCdqw6WEi6lrb6uUvyIftKe65Jmm/B5WqTI4dJUhFCtyIXqpyYRWdXRubb0QEXIPvQk2sxHBlaYTyacdJD5B5+uaAt083eqwNBuJhtkpLTAHPgwz2ThwixGSl1i+pJuLEhSK3vcZXJvC8TgU6UfEI3wDejkTtCDtRMj9HIjulLjBBJ+/+O0ms8+TpkGX0lUvIoE31jdBN/Otg3GAn+WGtsAY61Fcz1cwGx6o/MAL99FBXXljYkXyKYZ82IHBJn3mbf4NRYM90R0MoTFLUnB0EN0a+m8= root@server01

# nn2
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQCYNzyBRDNXlthOa+GX37jUk/OCAKex520ckfxohYKNqGo0tP0vb2eTXKNXpECdp7wxI89/YUuPdcnyUF4Lu7kjuQ5MvSwg2hLaLe8gNiaU50YpnePHL4zkHAJ7DdWmKNqYmWpXJ8cRSpKp4vYhi9L9MZ7FPYYtvAYm8Lr56+dT2ea73Z/mJ5LnZRYdZRTtR9DN6/OQEQU0WQQvV1C3Nrs8O2MwSIbfrVyrYQ6gDt0DTzusp8d92vFiHsbhstsFnv4yWQbS4oL+KXUUKkGsZnFrS7ChuF0fSsSuxQc3ycg2Q5h/xzmyp22EVSeJRNGrQvmGNIjP278SuDfPhTm7t0VXT0bhNlo9K8ih27Kj66SseHp4ept0QrnxDSZyec1pE5kkHnOVm9kCCZrNklUUQ5JOmXDGb2bxBgoZurefYikztUzyVCv6rYG5K6D5DxC0ukAg9cOAPBl5MBqKkW5mxeEaNKAXbLFO34FDGwPqNs4eW5IhxCGND2AJo/teBO7gnG0= root@server02

# dn1
ssh-rsa~~
# dn2
ssh-rsa~~~
# dn3
ssh-rsa~~~
"""

SSH 서비스 활성화(모든 컨테이너에서 실행)

service ssh start # 이미 실행 되어 있다면 restart

통신 테스트

# server01 에서
$ ssh nn2

# server02 에서
$ ssh nn1

SSH 디렉토리 권한 설정(모든 컨테이너에서 실행)

chmod 700 ~/.ssh
chmod 600 ~/.ssh/id_rsa
chmod 644 ~/.ssh/id_rsa.pub  
chmod 644 ~/.ssh/authorized_keys
chmod 644 ~/.ssh/known_hosts

SSH 서비스 자동 실행 등록(모든 컨테이너에서 실행)

vim ~/.bashrc

# 아래 내용을 파일 맨 하단에 기입하고 저장
service ssh start

#환경변수 활성화
source ~/.bashrc

[ Hosts 및 Hostname 설정 ]

nn1 서버 hosts 파일 편집

: nn1 서버로 접속해서 hosts 파일에 각 서버의 Private IP와 hostname을 등록한다.

# 로컬에서 nn1 서버 접속
ssh nn1

# hosts 파일 편집
vim /etc/hosts

# 아래 내용으로 추가 후 저장
172.19.0.11 nn1
172.19.0.12 nn2
172.19.0.13 dn1
172.19.0.14 dn2
172.19.0.15 dn3

모든 인스턴스에 Hosts 파일 복제

: nn1 에서만 진행한다. (수동으로 내용 복붙가능)

# 복제
cat /etc/hosts | ssh nn2 "sh -c 'cat >/etc/hosts'"
cat /etc/hosts | ssh dn1 "sh -c 'cat >/etc/hosts'"
cat /etc/hosts | ssh dn2 "sh -c 'cat >/etc/hosts'"
cat /etc/hosts | ssh dn3 "sh -c 'cat >/etc/hosts'"

hdfs-site.xml 파일 복제

: nn1 에서만 진행한다. (수동으로 내용 복붙가능)

# 복제
cat $HADOOP_HOME/etc/hadoop/hdfs-site.xml | ssh nn2 "sh -c 'cat >$HADOOP_HOME/etc/hadoop/hdfs-site.xml'"

이상 5개의 컨테이너를 복제하 SSH 통신, Hosts 설정 까지 완료

#4 SSH Key 생성

쵸비 — Mon, 3 Jul 2023 16:30:12 +0900

이번에는 컨테이너들과의 통신을 해줄 SSH Key를 생성해보자

[SSH Key 설정을 위한 설치]

Ubuntu apt-get 업데이트 및 라이브러리 설치 (#1에서 이미 했다면 Pass)

apt-get update
apt-get upgrade -y
apt-get install -y curl
apt-get install -y openssh-server openssh-client
apt-get install -y rsync wget vim iputils-ping htop

# 6. Asia
# 69. Seoul

[ SSH 설정 ]

ssh key 생성

# ssh key 생성
ssh-keygen -t rsa

ssh키가 정상적으로 동작되면 아래와 같이 이상하게 생긴 key가 보인다.

# authorized_keys 생성
cat >> ~/.ssh/authorized_keys < ~/.ssh/id_rsa.pub

# localhost 접속 테스트
ssh localhost
#yes를 입력해도 아직 컨테이너 이름과 localhost가 다름으로 Erorr 발생

#3 Spark & Python & Zookeeper 설치

쵸비 — Mon, 3 Jul 2023 10:43:01 +0900

스파크 클러스터를 사용하기 위해서는 spark-env.sh, spark-defaults.conf, workers 를 편집하면 된다.

[ Spark 설치 ]

Apache Spark 3.2.1 설치 및 압축 해제

# 설치 관리용 디렉토리 이동
cd /download

# Spark 3.2.1 설치 [Not Found 뜰 경우 <https://dlcdn.apache.org/spark/> 접속하여 맞는 버전 탐색]
wget <https://dlcdn.apache.org/spark/spark-3.2.4/spark-3.2.4-bin-hadoop3.2.tgz>

# Spark 3.2.1 압축 해제
tar -xzvf spark-3.2.4-bin-hadoop3.2.tgz -C /usr/local

# Spark 디렉토리 이름 변경
mv /usr/local/spark-3.2.4-bin-hadoop3.2 /usr/local/spark

[ Python & PySpark 설치 ]

Python3 설치 및 파이썬 라이브러리 설치

# Python 설치
apt-get install -y python3-pip

# Python 버전 확인
python3 -V

# PySpark 설치
pip3 install pyspark findspark

[ Spark 환경설정 ]

# Hadoop 시스템 환경변수 설정
vim /etc/environment

# 아래 내용 추가 후 저장
PATH 뒤에 ":/usr/local/spark/bin" 추가
PATH 뒤에 ":/usr/local/spark/sbin" 추가
PATH 밑에 SPARK_HOME="/usr/local/spark"

# 시스템 환경변수 활성화
source /etc/environment

#  Spark 사용자 환경변수 설정
echo 'export SPARK_HOME=/usr/local/spark' >> ~/.bashrc

# 사용자 환경변수 활성화
source ~/.bashrc

spark-env.sh파일 편집

# spark-env.sh 파일 카피
cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh

# spark-env.sh 파일 편집
vim spark-env.sh

# 아래 내용 수정 후 저장
export SPARK_HOME=/usr/local/spark
export SPARK_CONF_DIR=/usr/local/spark/conf
export JAVA_HOME=/usr/lib/jvm/java
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_WEBUI_PORT=18080

spark-defaults.conf 파일 편집

# Spark spark-defaults.conf.template 파일 복사
cp /usr/local/spark/conf/spark-defaults.conf.template /usr/local/spark/conf/spark-defaults.conf

# Spark spark-defaults.conf 파일 설정
vim /usr/local/spark/conf/spark-defaults.conf

# 아래 설정 후 저장 
# 클러스터 매니저 정보
spark.master              yarn

# 스파크 이벤트 로그 수행 유무
# true시 spark.eventLog.dir에 로깅 경로 지정해야합니다 - 스파크 UI에서 확인 가능합니다.
spark.eventLog.enabled    true

# 스파크 이벤트 로그 저장 경로
spark.eventLog.dir        /usr/local/spark/logs

Spark logs 디렉토리 생성

mkdir -p /usr/local/spark/logs && chown -R $USER:$USER /usr/local/spark/

workers 파일 편집

: HDFS의 workers 를 설정 하였던 것과 같이, Spark 의 workers도 설정한다.

# Spark workers 파일 생성
cp /usr/local/spark/conf/workers.template /usr/local/spark/conf/workers

# Spark workers 파일 설정
vim /usr/local/spark/conf/workers

# 아래 설정 후 저장(localhost는 주석처리)
dn1
dn2
dn3

[ Python 환경설정 ]

Python 환경 변수 설정

# 시스템 환경변수 편집
vim /etc/environment

# 아래 내용 추가 후 저장
PATH 뒤에 ":/usr/bin/python3" 추가

# 시스템 환경변수 활성화
source /etc/environment

#  Python & PySpark 사용자 환경변수 설정
echo 'export PYTHONPATH=/usr/bin/python3' >> ~/.bashrc
echo 'export PYSPARK_PYTHON=/usr/bin/python3' >> ~/.bashrc

# 사용자 환경변수 활성화
source ~/.bashrc

Apache Zookeeper 3.8.0를 설치하고 환경설정을 진행

주키퍼 클러스터를 사용하기 위해서는 zoo.cfg, myid를 편집

[ Zookeeper 설치 ]

Apache Zookeeper 3.8.0 설치 및 압축 해제

# 설치 관리용 디렉토리 이동
cd /download
# Zookeeper 3.8.0 설치
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz
# Zookeeper 3.8.0 압축 해제
tar -xzvf apache-zookeeper-3.8.0-bin.tar.gz -C /usr/local
# Zookeeper 디렉토리 이름 변경
mv /usr/local/apache-zookeeper-3.8.0-bin /usr/local/zookeeper

[ Zookeeper 환경설정 ]

Zookeeper 환경 변수 설정

# Hadoop 시스템 환경변수 설정
vim /etc/environment

# 아래 내용 추가 후 저장
ZOOKEEPER_HOME="/usr/local/zookeeper"

# 시스템 환경변수 활성화
source /etc/environment

#  Spark 사용자 환경변수 설정
echo 'export ZOOKEEPER_HOME=/usr/local/zookeeper' >> ~/.bashrc

# 사용자 환경변수 활성화
source ~/.bashrc

zoo.cfg 파일 편집

# Zookeeper 설정 경로 이동
cd /usr/local/zookeeper

# Zookeeper 설정 파일 복사
cp ./conf/zoo_sample.cfg ./conf/zoo.cfg 

# zoo.cfg 편집
vim ./conf/zoo.cfg

# 아래 내용 수정 후 저장
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/logs
clientPort=2181
maxClientCnxns=0
maxSessionTimeout=180000
server.1=nn1:2888:3888
server.2=nn2:2888:3888
server.3=dn1:2888:3888

myid 설정

# Zookeeper 데이터 디렉토리 생성
mkdir -p /usr/local/zookeeper/data
mkdir -p /usr/local/zookeeper/logs

# Zookeeper 디렉토리 사용자 그룹 변경
chown -R $USER:$USER /usr/local/zookeeper

# myid 파일 편집
vim /usr/local/zookeeper/data/myid

# 아래 내용 수정 후 저장
1

출처 : 빅공잼