쵸비의 끄적끄적

오늘은 Local pc에 있는 Docker 컨테이너를 이미지로 만들어보고 hub에 올려보는 작업을 해보자 인터넷만 된다면 휴대용 이미지를 갖는 것이니 얼마나 좋은가 제일 먼저 도커에 로그인이 되어있는지 확인. 도커 홈에서 로그인을 하니 자동으로 연동이 되었다. 개꿀 그리고 도커 컨테이너를 확인해보자 docker ps -a 컨테이너 이름이 nn1을 대상으로 이미지를 말아보자 docker commit [컨테이너 이름] [저장할 이미지 이름] docker commit nn1 nn1 이미지 확인 docker images 생성이 잘 됨을 확인한다. 이제 도커 메인 홈에 가서 repository를 생성한다. https://hub.docker.com/ Docker hub.docker.com 이런 식으로 [Userna..

오늘은 장고에서 views에 return해주는 값을 html 경로를 넣어줘 페이지를 보여주게 해보자 우선 Bootstrap에서 샘플용 html을 받아옵니다. https://getbootstrap.kr/docs/5.2/getting-started/introduction/ Bootstrap 시작하기 Bootstrap은 강력하고 기능이 풍부한 프론트엔드 툴킷입니다. 프로토타입부터 프로덕션까지 뭐든지 빠르게 빌드해보세요. getbootstrap.kr 빠른 시작에 html 태그 가져와서 띄워보도록 하겠습니다. pubg 이름으로 되어있는 app 하위에 templates라는 폴더를 만들고 test.html 생성 빠른 시작의 html 샘플 태그를 복사하여 붙여넣기, 저장 다음으로 내 프로젝트가 templates경로에서..

인스턴스(컨테이너) 복제가 완료되었으니 Zookeeper 클러스터를 설정해주자. myid 파일 편집 : nn1,nn2,dn1 서버에 myid를 각각 1,2,3으로 편집 # nn2 서버에서 vim /usr/local/zookeeper/data/myid # 아래 내용으로 수정 후 저장 2 # nn1으로 이동 exit # dn1 서버에서 vim /usr/local/zookeeper/data/myid # 아래 내용으로 수정 후 저장 3 Zookeeper 실행 : nn1, nn2, dn1 서버에서 각각 실행한다. # nn1 서버 zookeeper 시작 /usr/local/zookeeper/bin/zkServer.sh start # nn2 서버 zookeeper 시작 /usr/local/zookeeper/bin/z..

Network 란? 컴퓨터나 기타 기기들이 리소스를 공유하거나 데이터를 주고 받기 위해 유선 혹은 무선으로 연결된 통신 체계 Network의 기능 1. 애플리케이션 목적에 맞는 통신 방법 제공 2. 신뢰할 수 있는 데이터 전송 방법 제공 3. 네트워크 간의 최적의 통신 경로 결정 4. 목적지로 데이터 전송 5. 노드 사이의 데이터 전송 통신 기능이 제대로 이루어지기 위해서는 서로 약속된 통신 방법이 있어야 한다. 약속된 통신 형식, 절차, 규약이 있는데 이것을 네트워크 프로토콜(network protocol)이라고 한다. Network의 기능을 구현하기 위해서는 프로토콜 하나로 구현할 수 없고 여러 프로토콜이 필요하며 이것을 수행하기 위해서 모듈화를 해야한다. 다시 모듈화를 간단하게 말하자면 위에 5가지..

오늘은 git 관리를 하기 위해서 git Bash를 활용해 보자 먼저 새 프로젝트를 만들어 주자 Repository를 만들고 나면 git bash를 설치해주자 (https://code-lab1.tistory.com/249) 윈도우 검색 창에 Git Bash를 검색하고 실행을 시켜주면.. 귀여운 터미널이 나오게된다. 여기서 사용자 이름과 이메일을 config해주자 #사용자이름 git config --global user.name "youngcher" #사용자 이메일 git config --global user.email "youngcher1@naver.com" 여기서 내가 git에 올리고 싶은 폴더로 이동해주자 어떤 파일들이 있는지 확인해보자 먼저 깃을 초기화 해주자 git init 모든 파일을 git에 ..

가장 먼저 project는 생성을 했으나 app은 보이지 않을 것이기에 먼저 app을 생성해주자 django-admin startapp Project urls.py에서 Request를 받게 되면 아래 코드를 통해서 들어온다. 경로: myproject/urls.py 그 다음으로 app에 있는 urls.py로 이동하게 되고 경로: myapp/urls.py app의 views.py로 들어가게 된다. views에 있는 메소드를 통해 로직 또는 DB를 통해 응답하게 된다.

오늘은 웹 프레임워크인 Django를 한번 해보자 Spring boot를 먼저 해봤지만 python으로도 해보고 싶어 시작했다. VS 터미널에서 아래 코드를 실행 pip install django #명령어 확인 django-admin 프로젝트 생성 django-admin startproject myproject . #메니저 코드 명령어 출력 manage.py #서버 실행하는 코드 manage.py runserver 서버를 키고 주소애 들어가서 로켓이 보이면 서버가 정상 작동 됨을 확인 할 수 있다. #포트 8888로 서버 실행하는 코드 manage.py runserver 8888 # myapp 이름으로 앱 생성 django-admin startapp myapp

이번에는 이미지를 생성하여 복제를 해보자. 5개의 컨테이너를 생성하여 두개는 Namenode, 세게는 Datanode로 사용할 예정이다. [ Docker 컨테이너 나가기 & 이미지 만들기 ] Docker 컨테이너에서 나가기 위해 Ctrl + P 키를 누르고 바로 Ctrl + Q 키를 누르면 됩니다. #이미지 만들기 [이름이 test라는 컨테이너로 test 이미지 만들기] docker commit test test #이미지 확인 docker images [ Docker network 설정 ] : 특정 네트워크 대역을 지정하여 도커 네트워크를 생성한다. docker network create --gateway 172.19.0.1 --subnet 172.19.0.0/16 testnet Docker networ..

이번에는 컨테이너들과의 통신을 해줄 SSH Key를 생성해보자 [SSH Key 설정을 위한 설치] Ubuntu apt-get 업데이트 및 라이브러리 설치 (#1에서 이미 했다면 Pass) apt-get update apt-get upgrade -y apt-get install -y curl apt-get install -y openssh-server openssh-client apt-get install -y rsync wget vim iputils-ping htop # 6. Asia # 69. Seoul [ SSH 설정 ] ssh key 생성 # ssh key 생성 ssh-keygen -t rsa ssh키가 정상적으로 동작되면 아래와 같이 이상하게 생긴 key가 보인다. # authorized_keys..

스파크 클러스터를 사용하기 위해서는 spark-env.sh, spark-defaults.conf, workers 를 편집하면 된다. [ Spark 설치 ] Apache Spark 3.2.1 설치 및 압축 해제 # 설치 관리용 디렉토리 이동 cd /download # Spark 3.2.1 설치 [Not Found 뜰 경우 접속하여 맞는 버전 탐색] wget # Spark 3.2.1 압축 해제 tar -xzvf spark-3.2.4-bin-hadoop3.2.tgz -C /usr/local # Spark 디렉토리 이름 변경 mv /usr/local/spark-3.2.4-bin-hadoop3.2 /usr/local/spark [ Python & PySpark 설치 ] Python3 설치 및 파이썬 라이브러리 설..