키자드에 등록된 kiaelf의 네이버 블로그 포스트 목록

안녕하세요, HELLO 이번에 K-MOOC에서 글로벌 강좌를 시작하게 되어 진행되는 이벤트를 공유하려고 합니다. 존스홉킨스대학, 스태퍼드대학, 미시간대학 등 외국 대학에서 데이터 사이언스, 인문학 등 강의가 오픈될 예정입니다. 그리고 무엇보다 글로벌 강좌를 오픈하면서, 코세라(coursera) 구독권 이벤트를 진행합니다. 코세라는 전세계 유명 대학 석학의 강의를 들을 수 있는 MOOC 플랫폼입니다. 기본적으로 코세라의 강의는 무료이며 수료증을 받으려면 유료로 등록해야 합니다. 이번 K-MOOC 이벤트는 코세라 플랫폼의 모든 강좌를 수강할 수 있으며, 유료로 발급되는 수료증도 제한 없이 무료 발급이 가능합니다. - 신청 기간: 2021년 12월.......

[통계] 순열(Permutation), 조합(Combination)란? 개념, 정의, 설명 [내부링크]

안녕하세요, HELLO 조합론(Combinatorial analysis)은 주어진 성질을 만족시키는 것들의 가짓수나 어떤 주어진 성질을 극대화하는 것을 연구하며, 특정 성질을 만족하는 이산(discrete)적 대상 찾기, 최적의 대상 찾기 등을 다루는 분야입니다. 이 중에서 순열(Permutation)과 조합(Combination)에 대해서 살펴보려고 합니다. STEP 1. '순열(Permutation)' 개념 STEP 2. '조합(Combination)' 개념 STEP 3. '순열(Permutation) 및 조합(Combination)' 정리 STEP 1. '순열(Permutation)' 개념 서로 다른 n 개를 1열로 나열하는 방법으로, 반드시 1열로 나열됩니다. 이는 비복원 추출과 순서(order)를 포함.......

[R] 순열(permutaion), 조합(combination) 계산 방법 (순열, 중복순열, 조합, 중복조합) [내부링크]

안녕하세요, HELLO 오늘은 R을 활용해서 순열(permutation)과 조합(combination)을 살펴보고자 합니다. 이번 포스팅에서는 R을 활용하여 순열과 조합을 구하는 방법을 확인하고자 해서, 각 개념, 설명 및 자세한 내용은 아래 포스팅에서 확인하실 수 있습니다. STEP 0. '순열(Permutation)과 조합(Combination)' 개념 STEP 1. '순열(Permutation)' 계산 방법 STEP 2. '조합(Combination)' 계산 방법 STEP 0. '순열(Permutation)과 조합(Combination)' 개념 순열, 조합에 대한 계산 공식은 아래와 같이 구할 수 있습니다. 각 계산 공식을 아래에서 R을 활용해 구해보겠습니다. STEP 1. '순열(Permut.......

[통계] 확률의 공리적 정의,란? 개념, 정의, 설명 [내부링크]

안녕하세요, HELLO 이전에 특정 사건이 일어날 가능성을 나타내는 비율, 확률 (Probability)에 대해서 살펴봤습니다. 고전적 정의, 상대도수, 주관적, 공리적 정의 등을 살펴봤으며, 오늘은 이 중에서 확률의 공리적 정의에 대해서 자세히 살펴보려고 합니다. STEP 0. '확률 (Probability)' 개념 STEP 1. '확률의 공리적 정의' 개념 STEP 2. '확률의 공리적 정의' 정리 STEP 0. '확률(Probability)' 개념 특정 사건이 일어날 가능성을 나타내는 비율, 확률 (Probability)은 표본공간의 결과가 유한할 때, 모든 가능한 실험 결과들이 확률로 일어나는 고전적 정의, 표본공간에서 일어나는 상대도수(relat.......

[카카오뷰] 콘텐츠 큐레이션_수익 창출 (채널 만들기, 친구 100명, 친구 추가, 큐레이팅) [내부링크]

안녕하세요, HELLO 이번에는 카카오 콘텐츠 큐레이팅 서비스 '카카오뷰 (kakaoview)'에 대해서 공유하려고 합니다. 카카오의 콘텐츠 구독 서비스 '카카오뷰'는 콘텐츠 제작보다는 연결, 네트워킹, 큐레이션 형식을 통해 콘텐츠 확산의 중점인 오픈 플랫폼을 지향하고 있습니다. 카카오뷰는 콘텐츠를 발행하는 ‘뷰 에디터’들이 뉴스나 영상, 텍스트, 음악 등 다양한 콘텐츠 링크를 모아 보드 형태로 발행하는 형태입니다. 외부 링크를 활용한다는 점에서 기존 콘텐츠 구독 서비스와는 차별점을 가집니다. 하나의 보드에는 최대 10개의 콘텐츠 링크를 담을 수 있다. 가장 큰 특징은 홈페이지, 유튜브, 블로그 등 주소 링크만.......

[통계] 조건부 확률 (Conditional probability)란? 정리 개념, 이론, 설명 [내부링크]

안녕하세요, HELLO 조건부 확률은 원래의 확률 함수를 P라고 할 때, 확률 실험에서 새로운 정보 또는 조건(A)이 추가되었을 때, 사건 B의 확률을 P(B|A)라고 합니다. 이번에는 새로운 조건 (condition) 또는 사건 (event)가 발생하여, 새로운 표본공간에서 발생하는 사건에 대한 확률인 조건부 확률 (conditional probability)에 대해서 살펴보려고 합니다. STEP 0. '확률 (Probability)' 개념 STEP 1. '조건부 확률 (conditional probability)' 개념 STEP 2. '조건부 확률 (conditional probability)' 활용 및 공식 STEP 0. '확률 (Probability)' 개념 특정 사건이 일어날 가능성을 나타내는 비율, 확.......

[통계] 독립사건 (Independence event)란? 개념, 정의, 설명 [내부링크]

안녕하세요, HELLO 사건 A가 일어나는 것에 상관없이 사건 B가 일어날 확률이 일정할 떄, A가 B에 영향을 안 주고 B가 A에 영향을 주지 않는다면, 두 사건 A, B는 서로 독립이라 하고, 서로 독립인 두 사건을 독립사건 (Independent events)라고 합니다. 오늘은 독립사건에 대해서 살펴보고자 합니다. STEP 1. '독립사건 (Independent events)' 개념 STEP 2. '독립사건 (Independent events)' 확장 STEP 1. '독립사건 (Independent events)' 개념 사건 A가 일어나는 것에 상관없이 사건 B가 일어날 확률이 일정할 떄, A가 B에 영향을 안 주고 B가 A에 영향을 주지 않는다면, 두 사건 A, B는 서로 독립이라 하고, 서.......

[R] 연산자 유형, 종류 (논리, 산술, 할당, 비교 연산자) [내부링크]

안녕하세요, HELLO 오늘은 R에서 사용하는 연산자를 정리하고자 합니다. R에는 조건을 지정할 때 쓰는 '논리 연산자', 계산할 때 사용하는 '산술 연산자', 객체에 값을 저장하는 '할당 연산자', 값을 비교하는 '비교 연산자' 등이 있습니다. 오늘은 연산자 중에서 '논리, 산술, 할당, 비교 연산자'에 대해 살펴보고자 합니다. STEP 1. 조건을 지정할 때 쓰는 '논리 연산자' STEP 2. 계산할 때 사용하는 '산술 연산자' STEP 3. 객체에 값을 저장하는 '할당 연산자' STEP 4. 값을 비교하는 '비교 연산자' STEP 1. 조건을 지정할 때 쓰는 '논리 연.......

[통계] 확률(Probability)이란? 개념, 정의, 설명 [내부링크]

안녕하세요, HELLO 확률(Probability)은 특정 사건이 일어날 가능성을 나타내는 비율로서, 0과 1사이로 표현되며 1을 넘을 수 없고, 음수가 될 수 없습니다. 확률 1은 사건이 항상 일어나는 것을 의미하고, 확률 0은 절대로 일어나지 않음을 의미합니다. 오늘은 확률(Probability)에 대해서 알아보고자 합니다. STEP 1. '확률'의 정의 1. 확률의 고전적 정의 확률을 정의하는 역사적인 방법은 동전 던지기, 주사위 등처럼 표본공간의 결과가 유한할 때, 모든 가능한 실험 결과들이 확률로 일어나는 경우를 의미합니다. 고전적 정의에 따라 사건 A의 확률을 고전적 확률이라고 하며, 표현하면 아래와 같이 나타납니다. 표본공간에 속한.......

[Deep Learning] 시계열 데이터(Time series data) 개념, 종류, 분해방식(덧셈, 곱셈) [내부링크]

안녕하세요, HELLO 시계열 데이터(Time series data)는 시간의 흐름에 따라 일정한 시간 동안 수집되며, 순서대로 관측되는 데이터 셋(Data set)의 집합입니다. 시간에 관련되어 순서가 매겨지며, 연속한 관측치는 서로 상관관계를 가집니다. 시계열 데이터의 분석 목적은 시계열이 가지는 법칙성을 발견하여 이를 모형화하고, 추정 모형을 통해 미래의 값을 예측(forecast) 하거나, 모형화된 자료를 통해 시스템 또는 확률과정을 이해하고 제어(control) 하는 것입니다. 오늘은 시계열 데이터(Time series data)에 대해서 살펴보고자 합니다. STEP 1. '시계열 데이터(Time series data)' 개념 STEP 2. '시계열 데이터(Time serie.......

[Deep Learning] 회귀 모델 (Regression model) 성능 판단 기준 (MAE, MAPE, MSE, RMSE) [내부링크]

안녕하세요, HELLO 회귀 모델 (Regression model)의 성능을 판단함에 있어 여러 지표들을 활용합니다. 실제 값에서 예측값을 차감한 수치, error가 낮을수록 좋은 지표로 활용됩니다. 오늘은 회귀 모델에서 사용되는 평가 지표인 MAE (Mean Absolute Error), MAPE (Mean Absolute Percentage Error), MSE (Mean Squared Error) 그리고 RMSE (Root Mean Squared Error)에 대해서 살펴보겠습니다. STEP 1. 'MAE (Mean Absolute Error)', 'MAPE (Mean Absolute Percentage Error)' 개념 STEP 2. 'MSE (Mean Squared Error)' ,'RMSE (Root Mean Squared Error)' 개념 STEP 1. 'MAE (Mean Absolute Erro.......

[알고리즘] 모두 똑같이 만들기 (PYTHON 파이썬; 제어문, if 문, for 반복문) [내부링크]

안녕하세요, HELLO 오늘은 파이썬을 활용하여 알고리즘을 배우는 '퍼즐로 배우는 알고리즘 with 파이썬' 저서를 공부한 내용을 정리해 보려고 합니다. 저서는 각 챕터별로 퍼즐을 소개하고, 그에 대한 해결 방법을 안내해 줍니다. 그리고 챕터에서 배운 내용을 토대로 연습 문제를 제시합니다. 다만, 연습문제에 대한 해설은 책에는 없습니다. 앞으로는 책에서 소개한 퍼즐과 퍼즐의 해설 그리고 연습문제, 스스로 풀어본 연습문제 해답을 정리하려고 합니다. 그럼 오늘은 퍼즐 01_모두 똑같이 만들기에 대해서 살펴보고자 합니다. 이번 퍼즐에서 활용될 프로그래밍 구조 및 알고리즘은 아래와 같습니다. - 리스트 - 튜플 - 함수 - 제.......

[통계] 산포(Dispersion, 퍼짐)란? 개념, 정의, 설명 [내부링크]

안녕하세요, HELLO 산포(Dispersion)는 자료들이 얼마나 퍼져 있는지를 나타내는 측도입니다. 중심 위치(평균)가 얼마나 안정적인지에 대한 정보를 제공해 줍니다. 자료의 분포가 조밀한 경우에는 중심 위치의 변동성이 작아지고, 넓게 분포된 경우에는 중심 위치의 변동성이 커집니다. 오늘은 산포(Dispersion)와 이를 이해하기 위한 세부 항목에 대해서 알아보겠습니다. STEP 1. '중심 위치' 개념 STEP 2. '범위 (Range)과 사분위(간) 범위 (Interquartile-Range)' 개념 STEP 3. '표본분산 (Sample variance), 표본표준편차 (Sample standard deviation)과 표준화 (Standarization)' 개념 STEP 4. '변동계.......

[통계] 수치자료(Numerial data) 분포의 형태 (왜도 skewness; 첨도 kurtosis) [내부링크]

안녕하세요, HELLO 통계분석 방법은 모집단의 중심 위치를 기준으로 대칭(symmetric)이라고 가정합니다. 이에 따라 통계분석 방법의 적절성은 대칭이란 가정을 해당 자료가 얼마나 만족하고 있는지에 따라 영향을 받습니다. 이러한 모집단의 가정을 확인하기 위해, 자료의 분포 형태를 왜도(skewness) 그리고 첨도(kurtosis)를 통해 측정합니다. 오늘은 수치자료 분포의 형태를 알아보는 왜도(skewness)와 첨도(kurtosis)에 대해서 알아보겠습니다. STEP 1. '왜도(skewness)' 개념, 설명 STEP 2. '첨도(kurtosis)' 개념, 설명 STEP 1. '왜도(skewness)' 개념, 설명 왜도(skewness)는 자료가 대칭적으로 분포되어 있.......

[R] 수치적 기술 통계 (중심 위치, 산포, 자료 형태의 분포) [내부링크]

안녕하세요, HELLO 오늘은 R을 활용해서 수치자료(numerical data)의 기술적 통계를 살펴보고자 합니다. 기술적 통계의 개념, 정의 및 설명은 각 항목에 링크를 첨부하여, 자세한 내용을 확인하실 수 있습니다. 그리고 코드 및 내용은 k-mooc에 업로드된 "통계학의 이해 Ⅰ (숙명여자대학교 통계학과 여인권 교수)" 강의를 참조했습니다. STEP 1. '중심 위치' 기술적 통계 STEP 2. '산포(dispersion)' 기술적 통계 STEP 3. '수치자료(Numerial data) 분포의 형태' 기술적 통계 STEP 1. '중심 위치' 기술적 통계 중심 위치는 n 개의 수치자료 (x1, x2, x3, ..., xn)의 가운데 값을 의미합니다.......

[통계] 공분산(Covariance)과 상관계수(Coefficient of correlation)란? 개념, 정의, 설명 [내부링크]

안녕하세요, HELLO 공분산(covariance)은 확률 변수의 선형 관계(직선 관계)가 어느 정도인지를 나타내는 통계 값입니다. 그리고 변수 간의 상관관계의 정도를 수치적으로 표현하는 통계 값인 상관계수(Coefficient of correlation)가 있습니다. 오늘은 서로 다른 확률 변수의 관계를 확인하는 공분산과 상관계수에 대해서 알아보겠습니다. STEP 1. '산점도(scatter plot)' 개념 STEP 2. '공분산(covariance)' 개념 및 공식 STEP 3. '상관계수(coefficient of correlation)' 개념 및 공식 STEP 1. '산점도(scatter plot)' 개념 산점도(scatter plot)은 도표를 이용해서, 좌표 상의 점들(points)을 표시.......

[IT_INFO] 멀티테넌시(Multi Tenancy) 그리고 단일테넌시(Single Tenancy, 싱글테넨시) [내부링크]

안녕하세요, HELLO 최근에 클라우드 서비스에 대해 살펴보면서 관련된 용어를 많이 접하고 있습니다. 그 중에서 소프트웨어를 여러 사용자들에게 서비스를 제공하는 멀티테넌시(Multi Tenancy)를 알게 되었습니다. 오늘은 멀티테넌시, 단일테넌시(싱글테넌시)의 개념과 그 둘의 차이점에 대해서 정리해 보겠습니다. 또한, 멀티테넨스를 알기 전에 클라우드 사용자인 테넌트(Tenant)에 대해 자세히 알지 못하신 분들은, 아래에서 확인하시면 좋습니다. STEP 1. '멀티테넌시(Multi Tenancy)' 그리고 '단일테넌시(Single Tenancy)' 개념 STEP 2. '멀티테넌시(Multi Tenancy)' 그리고 '단일테넌시(Single Tenancy.......

[Deep Learning] 신경망, 퍼셉트론 그리고 딥러닝으로 이어지는 [내부링크]

안녕하세요, HELLO 최근에 업무와 관련해서 클라우드에 대해 살펴보았습니다. 앞으로 커리어 대비를 위해서 딥러닝에 대한 공부가 필요해서, 앞으로 공부를 진행하면서 정리한 내용을 공유하고자 합니다. 오늘은 신경망(Neural Network)에서 퍼셉트론(Peceptron) 그리고 딥러닝(Deep Learning) 연구로 이어지는 과정을 시간 순서에 따라 정리하고자 합니다. 그리고 이후에는 각 항목에 대해서 자세히 공부한 내용을 업데이트하려고 합니다. STEP 1. '딥러닝' 연구 흐름 TAKE A. 신경망 연구 (워렌 맥컬룩, 1943년) 워렌 맥컬룩(Warren Sturgis McCulloch)은 월터 피츠(Walter Pitts)와 함께 임계 논리(threshold logic)인 생물이 학습.......

[R] 그래프: ggplot2(ggplot) 활용 그리기 [내부링크]

안녕하세요, HELLO R의 기본 그래프 함수는 별다른 패키지를 설치하지 않아도 그래프를 생성할 수 있지만, 복잡한 그래프를 그리려면 제약사향이 있습니다. 그리고 색, 디자인 등을 모두 직접 설정해야 되기에 그래프의 미적인 부분도 부담이 됩니다. 그래서 R에서는 복잡한 그래프 생성 및 별다른 설정 없이도 예쁜 디자인을 만들 수 있는 ggplot2을 활용해서 그래프 제작의 부담을 덜 수 있습니다. ggplot2는 그래프 요소들을 함수로 분리하고 층(layer)을 쌓듯이 '+' 기호를 활용하여 여러 함수들을 연결하여 그래프를 더해가며 그려갈 수 있습니다. 이번에는 그래프 디자인 라이브러리 ggplot2에 대해서 알아보겠습니다. STEP 1. &.......

[Deep Learning] 시계열 분해 (STL: Seasonal and Trend decomposition using Loess) [내부링크]

안녕하세요, HELLO 이번에는 시간을 변수로 사용하는 시계열 데이터를 활용해서, 데이터의 추세와 계절성 특징을 측정하는 '시계열 분해(STL)'에 대해서 살펴보겠습니다. 시계열 분해(STL)는 시간의 흐름에 따른 변화를 직관적으로 이해하기 쉬우며, 주로 시계열 데이터를 연구하거나 시간에 따른 변화를 살펴볼 때 활용되지만, 예측에도 사용할 수 있습니다. STEP 1. '시계열 분해(STL)' 개념 STEP 2. '시계열 분해(STL)' 설명 STEP 1. '시계열 분해(STL)' 개념 시계열 데이터(Time series data)는 시간에 측정되는 값들의 집합이며 센서, 시스템 등에서 끝없이 데이터가 만들어집니다. 시계열 데이터.......

[PYTHON] 폴더/파일 하위 디렉토리 복사 및 동기화 (os, shutil, sync) [내부링크]

안녕하세요, HELLO 이번에는 파이썬을 활용해서 폴더/파일을 복사하는 방법을 공유하고자 합니다. os 모듈을 활용해서 폴더에 접근하여, shutil를 이용해 폴더/파일을 복사합니다. 그리고 원본 폴더와 복사본 폴더를 비교하여, 누락된 폴더와 파일을 확인하고 최종적으로 폴더 동기화(sync)를 진행합니다. 아래에서 각 절차별로 소스 코드와 함께 설명해보겠습니다. STEP 1. Import library STEP 2. 폴더/파일 저장 STEP 3. 폴더/파일 개수 확인 STEP 4. 누락된 폴더/파일 업데이트 STEP 5. 소스코드 STEP 1. Import library 본격적인 실습에 앞서 필요한 라이브러리를 불러오겠습니다. dirsync의 경우는 설치가 안 되어있는 경우, pip install d.......

[통계] 시계열분석_백색잡음(White Noise) 의미, 설명 [내부링크]

안녕하세요, HELLO 이번에 시계열 분석에서 중요한 개념인 백색잡음(White Noise) 개념에 대해서 정리해보겠습니다. STEP 1. '백색잡음(White Noise)' 개념 백색 잡음은 평균이 0이고 분산이 일정한 상수인 정규분포를 따르며, 시간에 흐름에 따른 다른 시계열 데이터와 선형 관계가 평균적으로 없음을 의미합니다. 이를 통해 통계적으로 분석 가능한 Noise로 가정합니다. 만약 White Noise 를 따른다고 한다면, 아래와 같은 가정을 달성해야 합니다. 1. 두 시계열 데이터의 선형 관계가 평균적으로 없어야 한다. 추가적으로 공분산(cov)은 두 변수의 선형 관계를 나타냅니다. 두 변수의 곱의 평균이 서로 독립이 되면 각각 따로 기대.......

[2021 마이 블로그 리포트] 블로그 빅데이터로 알아보는 '2021 내 블로그 스타일' [내부링크]

서강대학교 정보통신대학원 데이터 사이언스 합격 후기_데이터 사이언티스트가 되기 위해 [내부링크]

안녕하세요 HELLO 이번에 2022년 상반기 서강대학교 정보통신대학원에 데이터 사이언스 전공에 합격하게 되었습니다. 오늘은 데이터 사이언스 대학원을 가기 위해 내용과 후기를 공유하려고 합니다. 목차 STEP 0. BACKGROUND STEP 1. 입학 후기_2021년 하반기 STEP 2. 입학 후기_2022년 상반기 STEP 0. BACKGROUND 저는 학부 시절부터 스타트업, 창업 그리고 투자를 준비하면서, 대표가 되기 위해서는 경영학을 배워야 한다고 생각해 학부는 상경계를 졸업했습니다. 그리고 졸업 후에 스타트업 보육, 육성하는 액셀러레이터(Startup accelerator)의 정부 지원담당을 거쳐, 스타트업 투자심사역으로 커리어를 확장했습니다. 하지만 실무 경험도 적.......

[통계] 표본 공간(Sample space)란? 개념, 정의, 설명 [내부링크]

안녕하세요, HELLO 표본 공간 (Sample Space)은 "실험 (Experiment)을 시행한 결과 (Output)가 무작위로 (Random)으로 나올 때, 가능한 모든 경우 (Outcome)의 전체 집합"을 의미하며, S로 표기됩니다. 1차적으로 표본공간 (Sample space)을 벗어나는 것은 상관하지 않습니다. 오늘은 표본공간 (Sample space)에 대해서 살펴보려고 합니다. STEP 1. '표본공간 (Sample space)' 개념 표본공간 (Sample Space)은 "실험 (Experiment)을 시행한 결과 (Output)가 무작위로 (Random)으로 나올 때, 가능한 모든 경우 (Outcome)의 전체 집합"을 의미하며, S로 표기됩니다. 1차적으로 표본공간 (Sample space)을 벗어나는 것.......

[R] 데이터 분석 기초(평균, 중간값, 분산, 표준편차, 백분위수) [내부링크]

안녕하세요, HELLO 데이터 분석 개론서, 실습서 등을 살펴보면, 분석의 기초는 데이터를 왜곡없이 '있는 그대로' 보는 것을 강조합니다. 이처럼 관찰된 데이터를 수치화(평균, 분산, 표준편차 등)된 공통 기준을 활용함으로써 데이터를 정리할 수 있습니다. 이에 따라 데이터 특성을 파악할 수 있는 주요 지표에 대해서 아래와 같이 살펴보겠습니다. STEP 1. 평균 STEP 2. 중간값 STEP 3. 분산/표준편차 STEP 4. 백분위수 STEP 0. 실습 데이터 데이터는 아래와 같이 활용해서 진행합니다. STEP 1. 평균 평균(Mean)은 일반적으로 데이터 전체의 합을 데이터 개수로 나눈 '산술평균'을 의미합니다. (산술)평균은 mean() 함수로.......

[R] 문자열 나누기 및 자르기_strsplit(x , split ='any') [내부링크]

안녕하세요, Hello R에서 strsplit(x, split = 'any') 함수는 split 인자의 'any' 안에 들어가는 구분자(seperator) 예를 들어, 쉼표(,), 마침표(.) 등 기준에 따라서 문자열을 분리해주는 함수입니다. STEP 1. strsplit() STEP 1. strsplit(x, split = 'any') strsplit() 함수로 문자형 벡터를 나누면 결과가 리스트(list) 구조로 나옵니다. 아래와 같이 '띄어쓰기'로 구분된 주소에서 서울시, 경기도 등 광역시 정보만 추출해보겠습니다. 아래와 같이 결과가 출력됩니다. strsplit() 함수는 문자를 공백만 분리하는 것이 아니라 구분자에 의해서 다양하게 나눌 수 있습니다. 문자열을 한글.......

[R] 그래프: 상자그림 (box plot/box and whisker plot) 그리기 [내부링크]

안녕하세요, HELLO 데이터를 시각화를 통해 전체적인 모습을 확인하는 방법 중에 '사분위수(Quarter Percentile)와 이상치(Outlier)'을 시각화하여, 데이터의 중심과 분포를 파악하는 데 편리한 상자그림(box plot/box and whisker plot)에 대해서 알아보겠습니다. STEP 1. 상자그림(box plot) 개념 STEP 2. 상자그림(box plot) 그리기 STEP 1. 상자그림(box plot) 개념 상자그림(box plot)은 중앙값, 제1사분위수, 제3사분위수 등의 기술 통계량을 상자 모양으로 나타낸 그래프입니다. 상자그림과 각 요소별 의미는 아래와 같습니다. 1. 상자의 아래 부분: 제1사분위수(q1) 2. 상자의 윗 부분: 제3사분위수(q3) 3. 상자의 중앙에 표신.......

[R] 그래프: 히스토그램(HIST, Histogram) 그리기 [내부링크]

안녕하세요, HELLO 연속된 데이터를 구간별로 나누고, 그 구간에 해당하는 빈도수를 시각화하여, 데이터의 분포 특성을 파악하는 데 유용한 히스토그램(histogram)에 대해서 알아보겠습니다. STEP 1. 히스토그램(HIST, histogram) 개념 STEP 2. 히스토그램(HIST, histogram) 그리기 STEP 1. 히스토그램(HIST, histogram) 개념 히스토그램(histogram)은 연속형 자료에 대한 도수분포표를 시각화한 그래프다. 이로 인해, 히스토그램의 1개의 막대(봉)는 1개의 구간(가로)과 그 구간 내에 속하는 데이터의 빈도수(세로)를 표현합니다. 이를 통해 빈도수를 시각화함으로 상자그림(boxplot)에서 확인할 수 없던 데이터 특성을 파악할 수 있습니다. 추.......

[IT_INFO] 온프레미스(On-premise) 그리고 클라우드(Cloud, Off-premise) [내부링크]

안녕하세요, HELLO 데이터 분석 업무를 진행하게 되면, 자사 또는 타사, 고객사의 데이터를 확인하게 됩니다. 기업의 서버를 회사 자체 전산 서버에 보관하는가 아니면 서버를 인터넷을 통해 클라우드에 연결하는가에 따라 데이터 수집 방법에 차이가 있습니다. 이때, 기업의 서버가 회사 자체 서버에 보관하게 되면 온프레미스(On-premise) 방식이라 하며, 서버를 인터넷을 통해 클라우드에 연결하면 오프프레미스(Off-premise) 또는 클라우드(Cloud) 방식이라 합니다. 아래에서 온프레미스와 오프프레미스, 클라우드에 대해서 알아보겠습니다. STEP 1. 온프레미스(On-premise) 개념 STEP 2. 오프프레미스(Off-premise), 클라우드(Cloud) 개념 S.......

[R] 그래프: 파이 차트 (원 그래프/pie chart) 그리기 [내부링크]

안녕하세요, HELLO 이번엔 범주형 데이터를 살펴볼 때 사용되는 파이 차트(pie chart)에 대해서 살펴보고자 합니다. 파이 차트는 범주형 데이터들의 건수를 추출해 범주 간 차지하는 비율을 확인하는데 일반적으로 사용됩니다. STEP 1. 파이 차트 (원 그래프/pie chart) 개념 STEP 2. 파이 차트 (원 그래프/pie chart) 그리기 STEP 1. 파이 차트 (원 그래프/pie chart) 개념 파이 차트(원 그래프)는 범주형 데이터에 대한 상대도수분포를 나타내기 위해 일반적으로 사용되는 그래프로 전체 대비 범주 간 비중을 비교할 때 유용하게 활용할 수 있습니다. 그리는 방법은 전체에 대한 각 항목의 백분율을 계산합니다. 그리고 각 항목이 차지하는 백.......

[R] 그래프: 막대 차트(막대 그래프/barplot) 그리기 [내부링크]

안녕하세요, HELLO 이전에 범주형 데이터를 살펴볼 때 살펴본 파이 차트에 이어서, 유사하게 범주형 데이터를 살펴볼 때 사용하는 막대 차트(막대 그래프/barplot)에 대해서 살펴보고자 합니다. 막대 차트는 범주형 데이터의 값을 막대 높이로 표현함으로써 범주 간 차이를 쉽겍 파악할 수 있습니다. 이번에는 R의 내장 함수 barplot 함수를 활용해서, 막대 차트의 개념과 그리는 방법에 대하 살펴보겠습니다. STEP 1. '막대 차트(막대 그래프/barplot)' 개념 STEP 2. '막대 차트(막대 그래프/barplot)' 그리기 STEP 1. '막대 차트(막대 그래프/barplot)' 개념 막대 차트(bar chart), 막대 그래프(bar graph), 바.......

[IT_INFO] config file이란? [내부링크]

안녕하세요, HELLO 안녕하세요, 이번에는 응용 프로그램에서 사용되는 구성 정보 파일 config 파일에 대해서 알아 보겠습니다. 프로그램을 작성하거나 실행하기 위한 설정 또는 기본 설정을 정의하는 일반 텍스트에 프로그램의 실행 일부 등을 저장해둔 형식입니다. STEP 1. 'config' 개념 config 파일에는 텍스트로 저장하거나, XML이나 JSON 같은 저장방식으로 저장하기도 합니다. 텍스트 형식의 파일로 프로그램을 만들고자 할 때 어떤 확장자를 사용해도 상관없습니다. 다만, 동작하는 확장자를 사용자가 섞으면 안 됩니다 config 파일은 텍스트 에디터로 열 수 있습니다. 추가적으로 윈도우 기본으로 설치되어 있는 메모장(notepa.......

[IT_INFO] 개인 식별 정보, PII(Personally Identifiable Information, 개인 정보) [내부링크]

안녕하세요, HELLO 이번에 관계사의 ERP, 그룹웨어, 개인 PC 등을 통해 수집한 데이터를 바탕으로, 재무 정보를 시각화하여 제공하는 서비스를 진행하게 되었습니다. 이 와중에 서비스 기획 중에 주요하게 언급된 개인 식별 정보, PII에 대해서 살펴보려고 합니다. STEP 1. '개인 식별 정보' 개념 데이터를 수집 및 관리함에 있어,중요한 개인 보안 정보인 '개인 식별 정보 (Personally Identifiable Information, 이하 개인 정보)'는 개인을 직접 식별하거나 유추하여 특정화할 수 있는 모든 정보를 의미합니다. 직접 식별이 가능한 대표적인 개인 정보로는 핸드폰 번호, 주민등록번호 등이 있지만, 이와 더불어 단일 정보.......

[IT_INFO] 테넌트(Tenant)란? (그리고 인스턴스(instance)) [내부링크]

안녕하세요, HELLO 이번에는 클라우드 인프라/서비스(SaaS)에서 사용자를 의미하는 테넌트(Tenant)에 대해서 알아보고자 합니다. 테넨트를 이해하면, 추후에 설명할 클라우드의 서비스 구조, 멀티테넌시(Multitenancy) 이해에 도움이 되기에, 이번 기회에 정리합니다. STEP 1. '테넌트(Tenant)' 개념 테넌트(Tenant)는 클라우드 인프라/서비스 제공 방식에서 소프트웨어 인스턴스(Software Instance)를 공유하는 사용자를 의미합니다. 테넌트(Tenant, 입주자)는 단일 사용자일 수 있으며, 특정 접근 권한을 가진 사용자 그룹일 수 있습니다. 여기서 소프트웨어 인스턴스(Software instance)는 클래스(Class)란 설계도 안에 각각의 기능.......

[PYTHON] 파이썬 경고 메시지 숨기기(import warnings) [내부링크]

안녕하세요, Hello Jupyter notebook, colab 등을 사용하다 보면, 출력창에 변경될 사항 등을 알려주는 경고 글귀(warnings)가 출력됩니다. 딕셔너리에 존재하지 않는 키로 접근할 시 발생하는 키 오류(KeyError), 리스트에 존재하지 않는 인덱스로 접근하면 인덱스 오류(IndexError)와 다르게, 코드 결과에 큰 영향을 주지않지만, 경고 메시지 자체가 기분이 좋지 않기에, 글귀가 보이지 않도록 차단할 수 있습니다. 마무리 warnings 라이브러리를 통해 경고창을 숨기는 기능에 대해서 살펴봤습니다. 감사합니다. 위 포스팅은 카카오 티스토리, 네이버 블로그에도 동일하게 업로드합니다.

[PYTHON] 파이썬 np.percentile 백분위수 구하기 [내부링크]

안녕하세요, Hello 백분위수(Percentile)는 오름차순으로 정렬했을 때, 최소값 0부터 최대값 100까지 백분율로 특정 위치를 나타내는 값입니다. 예를 들어 데이터의 90%는 90번째에 위치하고, 데이터의 10%는 10번째에 위치합니다. 추가적으로, 사분위수(Quartile)는 데이터를 균등한 관찰값 수를 합계 100%를 25%, 50%, 75%, 100%로 4개의 그룹으로 나눈 값입니다. 제1 사분위수(또는 하위 사분위수) Q1은 0.25인 값으로 정의됩니다. 즉, 25번째 백분위수와 같습니다. 제3 사분위수(또는 상위 사분위수) Q3은 0.75입니다. 사분위수 범위 IQR(Inter Quartile Range)은 Q3-Q1으로 정의됩니다. 사용법은 numpy 내 percentile 함수를 호출해서 적용.......

[PYTHON] 파이썬 이모지(emoji) 제거 [내부링크]

안녕하세요, HELLO 틱톡에서 컨텐츠에 관련된 데이터를 수집하던 중에 제목 및 댓글에 이모지(emoji) 처리로 어려움이 있었습니다 이번에는 정규식을 활용해 이모지를 제거하는 방식에 대해 공유하고자 합니다. 1. 개요 2. 코드 공유 1. 개요 이번 실습에서는 stayc_official 2021.09.27에 업로드된 틱톡 제목을 활용한다. 2. 코드 공유 이렇게 코드를 작성하게 되면, '️️#STAYC #스테이씨 #색안경 #STEREOTYPE #STEREOTYPE_challenge #아띵춤 #STAYC_tiktok #ITZY #있지 @itzyofficial' 이렇게 일부 이모지는 제거되지 않는 결과물이 나오게 된다. 이렇게 코드를 작성하게 되면, '#STAYC # # #STEREOTYPE #STEREOTYPE.......

[PYTHON] 파이썬 Selenium 웹페이지 스크롤하기 [내부링크]

안녕하세요, HELLO 이번에는 PYTHON selenium을 활용해서 동적 페이지를 크롤링할 때, 웹 페이지를 스크롤 다운(scroll down)하여, 웹페이지 내릴 일이 있습니다. 이번 코드는 이전에 공유한 "[PYTHON] 크롤링_유튜브 (COLDPLAY X BTS)"를 참조합니다. 1. 소스 코드 2. 코드 설명 1. 개요 - PAGE DOWN 횟수를 활용한 웹 페이지 scroll down 2. 코드 설명 라이브러리 tqdm - 함수가 적용되는 시간을 체크 wait.until(EC.visibility_of_element_located((By.TAG_NAME, "body"))).send_keys(Keys.END) wait = WebDriverWait(driver, sec) - 드라이브에서 최대로 대기할 수 있는 시간 설정 (default = sec) -.......

[R] 데이터 구조 확인하기 str( ), head( ), tail( ) [내부링크]

안녕하세요, HELLO R의 문법 중에 객체(object) 및 데이터의 타입과 값을 확인하는 방법을 공유하고자 합니다. 1. str(structure) 객체의 변수 명과 문자형/숫자형 정보를 확인할 수 있다. 2. head() / tail() 데이터의 일부를 확인할 수 있으며, head()의 경우, 데이터의 앞 부분을/ tail()의 경우, 데이터의 뒷 부분을 확인할 수 있다. 확인하고 싶은 데이터의 범위는 함수에서 (n = 숫자) 옵션을 활용하면 된다. 3. dim() / ncol(), nrow() 데이터의 행과 열 개수를 확인할 수 있다. 마무리 R의 문법 중에서 데이터의 타입 및 값을 확인하는 함수를 살펴봤습니다. 감사합니다. 위 포스팅은 카카오 티스토리, 네이버 블로그에도 동일하.......

전국 맛집 매장 추천 1,086개 (2021.10월 기준) [내부링크]

안녕하세요, HELLO 이번에 네이버 지도에서 매장 정보를 확인하며, 정리하던 중에 괜찮은 매장들을 즐겨찾기에 추가하기 시작했는데, 하다보니 1,000개가 넘어갔습니다. 주변에 공유하니 다들 만족해서, 이번 기회에 공유하고자 합니다. 내용 구성은 아래와 같습니다. 1. 매장 선정 이유 2. 매장 리스트 3. 주의사항 1. 매장 선정 이유 - 네이버 평점 기준 4.4내외를 도달하는 매장을 선정 - 매장 및 메뉴 사진을 봤을 때, 괜찮다 싶은 매장을 개인적으로 선정 * 저는 곱창을 싫어해서, 곱창 매장은 적습니다. ** 와중에 선정된 곱창 매장은 괜찮겠다 싶어서 저장했습니다. 2. 매장 리스트 - 네이버 지도 앱을 통해, 즐겨찾기 공유 가능 - 이에 따.......

전국 카페 CAFE 추천 621개 (2021.10월 기준) [내부링크]

안녕하세요, HELLO 이번에 네이버 지도에서 매장 정보를 확인하며, 정리하던 중에 괜찮은 매장 그리고 카페를 즐겨찾기에 추가하기 시작했는데, 저장된 카페의 개수가 600개가 넘어갔습니다. 예쁜 카페가 많아서, 이번 기회에 공유하고자 합니다. 내용 구성은 아래와 같습니다. 1. 카페 선정 이유 2. 카페 리스트 3. 주의사항 1. 카페 선정 이유 - 네이버 평점 기준 4.3 내외를 도달하는 카페 선정 - 카페 이미지 및 방문 사진을 봤을 때, 예쁜 카페를 개인적으로 선정 * 실질적으로 이미지와 뷰를 중심으로 저장했습니다. 2. 카페 리스트 - 네이버 지도 앱을 통해, 즐겨찾기 공유 가능 - 이에 따라, 카페 즐겨찾기를 URL로 공유 3. 주의사항 - 네.......

[PYTHON] 파이썬 웹 크롤링 (무한 스크롤 크롤링/SCROLL_DOWN) [내부링크]

안녕하세요, HELLO 이번에는 PYTHON selenium을 활용해서 동적 페이지를 크롤링할 때, 웹 크롤링을 진행하게 되면 스크롤 다운(scroll down)하여, 웹페이지를 내려가면서 데이터를 수집하는 스크롤 다운 방법 중 마지막 항목까지 자동으로 내려가는 무한 스크롤 크롤링을 정리했습니다. 이번 코드는 이전에 공유한 횟수를 정하고 내려가는 방식도 향후에 참고하면 좋습니다. 0. 활용 데이터 1. 무한 스크롤 크롤링(SCROLL_DOWN) 소스 코드 2. 무한 스크롤 크롤링(SCROLL_DOWN) 코드 설명 3. 소스 코드 시간 체크 0. 활용 데이터 이번에는 유튜브에 업로드된 '오징어 게임 (공식 예고편)'을 활용하고자 합니다. 영상을 시청하게 되면, 아.......

[PYTHON] 파이썬 정규표현식을 활용한 괄호와 괄호 안 문자열 삭제 또는 추출 [내부링크]

안녕하세요, HELLO 특허청 특허 정보를 확인하며, 국내 출원/등록된 특허 데이터가 저장된 형태를 보게 되었습니다. 특허 정보는 아래와 같이, 특허 상태, 특허명(영문 포함), 특허 정보 등으로 구성되며, 이 중에서 특허명은 괄호()로 국문과 영문이 구분되어 있습니다. 국문 특허명과 영문 특허명을 구분해서 저장하며, 활용한 코드를 아래와 같이 공유합니다. 이번에는 PYTHON 정규식과 library re를 활용해서, STEP 1. 괄호와 괄호 안 문자열 삭제 STEP 2. 괄호와 괄호 안 문자열 추출 이 두가지에 대해서 살펴보고자 합니다 STEP 1. 괄호와 괄호 안 문자열 삭제 소스코드는 아래와 같이 정규표현식과 re.sub()를 이용해서 문자열을 수정할 수.......

[python] 파이썬 크롤링 진행_미쉐린 레스토랑 [내부링크]

안녕하세요, Hello, 데이터 수집 과정에서 미쉐린 레스토랑에 등록된 레스토랑 정보를 가져오게 되었다. 크롤링 진행하기 전, 레스토랑 페이지의 구성을 살펴보면, 1. 카드 형식의 레스토랑 리스트 2. 다음 페이지로 넘어가는 블록 3. 레스토랑 리스트 클릭 시, 해당 레스토랑 페이지로 이동 으로 구성되어 있다. 동적형 페이지를 크롤링하는데, python selenium webdriver를 사용하기도 하지만, 페이지 이동 > 페이지 정보 추출 > 다음 페이지 이동으로 이어지는 일련의 과정에서 기대한 속도가 나오지 않아서, 3. 레스토랑 리스트 클릭 시, 해당 레스토랑 페이지로 이동으로 하는 페이지 구성을 착안해서, 각 레스토랑 리스트 클릭 시 이.......

[PYTHON] 파이썬 "%matplotlib inline" 의미 [내부링크]

안녕하세요, Hello Kaggle 및 Dacon의 데이터 분석 경진대회에서 아래와 같은 "%matplotlib inline"를 살펴볼 수 있습니다. 위 코드는 Jupyter notebook과 IPython과 같이 코드 실행 결과를 바로 볼 수 있는 Interactive style에서 자주 볼 수 있습니다. Jupyer notebook을 실행한 브라우저에서 그림을 볼 수 있도록, 브라우저 내부(Inline)에 그려지도록 하는 코드입니다. 이는 도표, 그래프, 그림, 소리, 애니메이션 등과 같은 산출물(Rich output)을 표현하는 방법 중 하나입니다. 자세한 예시는 아래와 같습니다. 위처럼 코드를 실행하게 되면, 브라우저에 아래와 같은 이미지가 나타납니다. 마무리 감사합니다. 위 포스팅은 카.......

[PYTHON] 파이썬 크롤링_유튜브 (COLDPLAY X BTS) [내부링크]

안녕하세요, Hello 이번에는 유튜브 크롤링을 진행해보려고 합니다. 신사업 구축, 경쟁사 분석, 시장 동향 등 다양한 목적으로 유튜브 데이터를 수집하여, 활용할 수 있습니다. - 댓글 내 이메일 주소 등을 활용한, 서비스 이용자 DB 확보 - 댓글 내 영상 시간을 활용한 구독자 하이라이트 검토 - 댓글 반응을 통한 영상 우호도 확인 - 댓글 텍스트 데이터를 활용한 머신러닝/딥러닝 학습 목적 데이터 수집에 활용할 영상은 2021년 9월 30일에 등록된, Coldplay X BTS - My Universe입니다. 별도의 유튜브 크롤링 데이터가 필요하면, 이미지의 링크를 통해 연락주시면 회신드리도록 하겠습니다. 페이지 구성 1. LIBRARY IMPORT 2. 크롤링 전 세팅.......

[PYTHON] 파이썬 urllib/requests 웹페이지 추출 [내부링크]

안녕하세요, Hello python을 통해 웹페이지를 추출할 때 사용되는 1. urllib.request 모듈 2. Requests 두가지 방법에 대해서 정리하고자 합니다. 내용 및 코드는 위키북스의 '파이썬을 이용한 웹 크롤링과 스크레이핑'을 참조해서 작성했습니다. 1. urllib.request 모듈 urllib.request에 포함돼 있는 urlopen() 함수에 URL을 지정하면 웹 페이지를 추출할 수 있습니다. 2. requests Requests는 '인간을 위한 HTTP(HTTP for Humans)' 캐치프레이즈를 내세울만큼, 쉬운 사용성을 추구하는 라이브러리입니다. 이러한 목적에 부합하게 표준 라이브러리 urllib에 비해, Requests를 사용하면 쉽게 웹 페이지 내용을 추출할 수 있.......

[PYTHON] 파이썬 lxml로 스크레이핑 진행 [내부링크]

안녕하세요, Hello python을 활용하여 lxml을 사용해 HRML에서 데이터를 추출하고자 합니다. lxml에는 여러 가지 API가 있으며, 이 중에서 HTML을 파싱(Parsing)할 때는, lxml.html을 사용합니다. * 파싱(parsing) : 페이지(문서, html 등)에서 내가 원하는 데이터를 특정 패턴이나 순서로 추출해 가공하는 것 내용 및 코드는 위키북스의 '파이썬을 이용한 웹 크롤링과 스크레이핑'을 참조해서 작성했습니다. lxml은 libxml2와 libxslt을 사용한 C확장 라이브러리입니다. 최초 실행 시에는 설치가 되어 있지 않기에, 전용 패키지를 설치합니다. 마무리 python을 통해 HTML을 파싱하는 lxml.html에 대해서 살펴봤습니다. 감사합니다.......