쵸비의 끄적끄적

Spark 실습을 어떻게 할까 고민하던 와중 Colab에서도 가능한가? 싶어서 시도 해본 결과이다. Spark 환경을 빠르게 만들고싶다면 유용할 것 같으니 급하면 사용해보자! 콜웹 사용방법은 구글 드라이브에 접속하여 찾아보면 쉽게 들어갈 수 있으니 생략하고 바로 소스코드 먼저 확인해보자 구글 콜웹을 키고 런타임 유형 변경에서 GPU로 바꿔주면 더 빠르다 순차적으로 코드를 실행해준다 !pip install pyspark !pip install -U -q PyDrive !apt install openjdk-8-jdk-headless -qq import os os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64" #환경변수 설정 import pyspark..

도커는 리눅스의 응용 프로그램들을 프로세스 격리 기술들을 사용해 컨테이너로 실행하고 관리하는 오픈 소스 프로젝트이다. 아래 공식 문서에 WSL2 환경 설치 법이 나와있으니 설치! https://docs.docker.com/desktop/windows/wsl/ Docker Desktop WSL 2 backend on Windows docs.docker.com 설치, 셋팅 완료 후 리눅스 환경에서 설치 확인 #리눅스 docker ps -a #all 옵션으로 동작하지 않는 컨테이너 리스트 출력 #Docker Test docker run —name nginx-test -d -p 8080:80 nginx:lates docker ps 인터넷 주소창에 localhost:8080 검색을 했을 때 웹페이지가 잘 열리면 ..

시험 범위는 대략 아래와 같다. ------------------------------------------------------------------------ 데이터 준비(15-20%) 데이터 모델링(30-35%) 데이터 시각화 및 분석(30~35%) 자산 배포 및 유지 관리(10~15%) ------------------------------------------------------------------------ 시험은 온라인으로 진행이 되었고 문항 수는 45~52로 시험을 볼 때마다 달랐다. 총 2번의 시험을 봤는데 처음에는 유데미 Dump문제를 풀어보고 시험을 봤다. 시험과 Dump유형이 많이 다르게 나와 좀 아쉬웠지만 한편으론 다행이었다. (Dump문제가 너무 어려워서..) 두번째 시험을 ..

WSL2란? 기존 가상 머신 또는 이중 부팅 설정의 오버헤드 없이 Windows에서 직접 Linux 애플리케이션, 유틸리티 및 Bash 명령줄 도구를 사용할 수 있음 설치 방법은 아래 윈도우 공식 홈페이지에서 수동 설치를 하면됩니다~ https://learn.microsoft.com/ko-kr/windows/wsl/install WSL 설치 wsl --install 명령을 사용하여 Linux용 Windows 하위 시스템을 설치합니다. Ubuntu, Debian, SUSE, Kali, Fedora, Pengwin, Alpine 등 원하는 Linux 배포판에서 실행되는 Windows 머신에서 Bash 터미널을 사용할 수 있습니 learn.microsoft.com 설치를 완료한 후 원하는 버전을 설치를 한다 ..

우선 물론 해킹은 아니다. ㅎㅎ 한 회사의 서버문제로 어드민 페이지를 크롤링하여 구글 시트에 업데이트 시키는 자동화 의뢰를 받아 수행하였다. 사용언어는 python으로 여러가지 시도를 통해 고생한 결과 크롤링 성공을 하였다. url로 직접 request, response를 받으려고 했으나 보안상 불가능하여, forbiden error만 주구장창 보다가 편법으로 해결을 하였다. from selenium import webdriver import time from bs4 import BeautifulSoup import pandas as pd from datetime import datetime #크롬드라이브 다운로드 : https://sites.google.com/a/chromium.org/chromedr..

데이터 타입은 크게 기본 타입(primitive type)과 참조 타입(reference type)이 있다. ★ 기본 타입(primitive type) 1. 정수 타입 (byte, char, short, int, long) 2. 실수 타입 (float, double) 3. 논리 타입 (boolean) ★ 참조 타입(reference type) 배열타입, 열거타입, 클래스, 인터페이스 ※ String은 배열타입이다. 메모리 사용 영역 Static area 전역변수와 정적 멤버변수(static)는 Static에 저장 Static영역의 데이터는 프로그램의 시작부터 종료가 될 때까지 메모리에 유지 Stack area 기본 자료형(byte, int, long, double, boolean)에 해당하는 지역변수의 ..

★ 연산자의 종류 데이터의 출력문

추상 클래스란 구체적이지 않고, 완성되지 않은 클래스를 의미한다. 클래스 앞에 abstract 키워드를 이용해서 정의 추상 클래스를 상속받은 클래스는 추상 클래스가 갖고 있는 추상 메소드를 반드시 구현해야 한다. 추상 클래스를 상속받고, 추상 클래스가 갖고 있는 추상 메소드를 구현하지 않으면 해당 클래스도 추상 클래스가 된다. public class Duck extends Bird{ @Override public void sing(){ System.out.println("꽥꽥!!"); } } 사용하기 위해서 Bird는 추상 클래스이므로 객체를 생성할 수 없다. public class DuckExam{ public static void main(String[] args){ Duck duck = new Du..

상속이란 자식(하위, 파생) 클래스가 부모(상위) 클래스의 맴버(필드, 메소드)를 물려 받는 것을 의미한다. 객체 지향 프로그램 상속의 효과!! 유지 보수 편리성 객체 다형성 구현 가능 상속 대상 제한 부모 클래스의 private 접근 갖는 필드와 메소드 제외 부모 클래스가 다른 패키지에 있을 경우, .defualt 접근을 갖는 필드와 메소드도 제외 ex) public class CallPhone{ //필드 String model; String color; void powerOn() void powerOff() } extends를 사용하여 활용하면 필드와 메소드를 사용할 수 있다. public class DmbCellPhone extends CellPhone{ powerOn(); }

★ 접근 제어자 - 클래스 및 클래스의 구성 멤버에 대한 접근을 제한하는 역할 다른 패키지에서 클래스를 사용하지 못하도록(클래스 제한) 클래스로부터 객체를 생성하지 못하도록 (생성자 제한) 특정 필드와 메소드를 숨심 처리(필드와 메소드 제한)