쵸비의 끄적끄적

데이터를 분석하기 위한 분석의 핵심 구성 요소 가끔 PL-300에 나오는 문제니까 한번 쯤 확인해보자! 1.설명적 분석(Descriptive analytics) 결과를 설명하기 위해 대규모 데이터 세트를 요약하는 분석 2. 진단적 분석(Diagnostic analytics) 개선 또는 문제 파악을 위해 하는 분석 비정상 데이터 파악 예외된 데이터를 수집 통계학적 기술을 사용하여 비정상 추세를 파악 3. 예측적 분석(Predictive analytics) 기록 데이터를 사용하여 추세를 파악하고 이를 되풀이할 가능성이 있는지 판단 4. 처방적 분석(Prescriptive analytics) 목표에 달성하기 위해 수행하는 작업. 불확실한 상황에서 합리적인 의사 결정 빅데이터 셋에서 패턴을 찾기 위해 기계학습을..

쿼리 캐싱도 시험에 자주 나오는 단골 문제이다. 쿼리 캐싱이란? 사용자와 보고서 단위로 결과를 유지 관리하는 로컬 캐싱 기능. 기능 Power BI의 로컬 캐싱 서비스를 통해 쿼리 결과를 처리할 수 있는 기능 데이터 세트로 쿼리를 계산하는 대신(오버로드된 경우 성능 저하) Power BI 서비스 프리미엄 용량의 클라우드 리소스로 보고서를 로드하여 지속적인 성능을 보장 로드 시간을 줄이고 쿼리 속도를 높여 보고서, 대시보드, 대시보드 타일의 성능을 향상합니다. 쿼리 캐싱을 사용해도 만든 책갈피는 모두 유지 캐시된 쿼리 결과는 사용자에게 고유 모든 보안 레이블을 따른다. 전용 용량의 로드를 줄여준다.

시험 방법: 시험 시간 - 1시간 40분, 문제 수 -> 54 문제 [처음 보는(모르겠는) 문제들이 40~45% 비율] 시험 문제 : 1. 행 수준 보안 문제 많이 나옴 -> 특정 케이스를 주고 보안을 어떻게 줄 것인지 선택하는 문제들 (3,4 문제 나온 듯?) 2. 역할 권한 문제 -> 어드민, 맴버, 컨트리뷰터, 뷰어 별로 최소한의 역할 파악하기 (3 문제 정도 나옴) 3. Bath문제: 부모-자식 관계에서 최상위 계층까지 포함하는 구조 (DAX식) 문제 4. 트리 문제도 나옴(기억나면 수정) 5. 데이터가 1000개 있는데 이상 수치를 잡으려면 어떤 시각적 개체가 좋은가? (답: scatter) 6. 1억 개의 데이터가 있는데 어떻게 해야 direct query 환경에서(?) 최적화 시킬 수 있는가..

이번에 다뤄볼 DAX 함수는 FILTER 함수이다. 굉장히 자주사용하는 함수이니 잘 익혀두면 좋을 듯 하다. FIlTER('테이블',조건문) 이런 DAX 방식의 중요점은 테이블(가상으로) 만들어내서 계산하는 행위를 주어진 Context별로 반복적으로 수행한다는 것!! FILTER(ALL('Calendar'[Date]), 'Calendar'[Date]

이번에 알아볼 DAX 함수는 LastNonBlank, LastNonBlankValue이다. 최신 날짜, 또는 최신 Value값을 구하고 싶을 때 사용하면 유용할 듯 하다. LastNonBlankValue (열이름, 식) : 마지막달의 매출을 반환한다. 마지막달매출 = LASTNONBLANKVALUE('Calendar'[년월],[매출액]) LastNonBlank (열이름, 식) : 마지막달을 반환한다. 마지막달매출2 = LASTNONBLANK('Calendar'[년월],[매출액]) 최종월을 구하고 싶다면 LASTDATE를 사용해보자 뒤에 "MMM YYYY"는 서식을 나타낸다 최종월 = FORMAT(LASTDATE('Sales'[Purchase Date]), "MMM YYYY")

이번에 알아볼 DAX 함수는 TOPN으로 기준에 따라 상위 몇 등까지 뽑아주는 함수이다. TOPN(”상위 몇 등까지 뽑을 INT”, “기준 테이블”, “계산할 측정값(열)”, “오름차순=ASC , 내림차순=DESC”) 예시를 보면서 이해를 해보자 [매출액]를 계산해 놓고서 그 테이블을 [매출액]이 큰 순서대로 정렬한 뒤 상위 10개로 된 sub-table을 뽑아낸다. 매출액 = sumx(Sales, Sales[Quantity]*RELATED('Products'[Current Price])) Top10_SP_Sales = CALCULATE([매출액],TOPN(10,'Sales People',[매출액],DESC))

DAX식에서 새열을 생성할 때 사용할 수 있는 문법이며, 문자열의 슬라이싱 기능으로 RIGHT와 LEFT가 있다. 이 문법은 예시를 보면 쉽게 이해 할 수 있다. 끝네자리 = RIGHT('Products'[Product ID],4) 'Product ID'의 오른쪽 부터 4번쨰 까지 문자를 슬라이싱하여 '끝네자리' 라는 새 열을 만들었다. 왼쪽 부터 문자열을 추출 하고 싶으면 LEFT함수 사용하면 쉽게 가져올 수 있다. 첫세자리 = LEFT('Products'[Product ID],3)

오늘은 알아 두면 좋을 DAX식에 관해 얘기를 해보자 Power BI에서는 필터 기능을 다양한 방법으로 넣을 수 있다. 예를 들어 모든 페이지에 적용되는 필터, 특정 페이지에 적용되는 필터 또는 특정 시각적 객체에 적용되는 필터 등 다양한 방법으로 필터 적용이 가능하다. 하지만 측정값을 사용하는데 있어서 필터가 걸림돌이 되는 경우도 있다. 그럴 때 사용할 수 있는게 REMOVEFILTERS와 ALLSELECTED이다. REMOVEFILTERS : 선택한 열에 걸려있는 필터를 제거 ALLSELECTED : 선택한 열에서 모두 선택 예시) 대분류% = [Total Sales] / CALCULATE([Total Sales], REMOVEFILTERS('제품'[대분류])) 대분류1% = [Total Sales]..

Power BI에서 왜 날짜 테이블이 필요할까? 그 이유는 Power BI에서 날짜 테이블을 사용하면 관계형 데이터 모델에서 다양한 다른 테이블과 관계를 설정할 수 있다. 이를통해 더 풍부한 분석 및 시각화가 가능하며, 신속한 성능을 낼수있기 때문이다. Calendar 테이블을 만들기 위해서 우선 Power BI Desktop 상단에 테이블 도구 → 새 테이블을 클릭 새로운 DAX식을 넣을 수 있게 되면 아래와 같이 넣어준다. 만약 Static한 날짜를 넣어주고 싶은면 주석 처리된 DATE() 형식으로 넣어줘도 무관하다. Calendar = VAR MinDate = MIN ( 'Sales'[Purchase Date] ) /*DATE(2010, 1, 1)*/ VAR MaxDate = MAX ( 'Sales..

[DataFrame] DataFrame : 엑셀과 같이, 인덱스(Index), 변수(Column), 값(Value)로 이루어진 데이터 구조 Pandas DataFrame의 장점 대용량 데이터를 빠르고 쉽게 다를 수 있다. 한계용량 : 엑셀 약 100MB / Pandas 1GB ~ 100GB 복잡한 기능을 구현하기 쉽고, 데이터 전처리를 쉽게 할 수 있다. 다른 시스템과 연동이 쉽다. Flask 라이브러리 : 웹 개발 / SQLAlchemy : 데이터베이스 / Sklearn : 머신러닝 리스트를 이용한 DataFrame 생성 import pandas as pd df = [ [1,2,3], [4,5,6], [7,8,9] ] df #[[1, 2, 3], [4, 5, 6], [7, 8, 9]] pd.DataFr..