유명한 Air Bnb의 dataset을 보면 위와 같은 정보들이 있다.. 필자와 같이 가정을 해보자 해당 Dataset중 위의 Data를 사용해서 K-mean Cluster 기법을 사용한 분석을 하고 싶다고 말이다. 일단 눈에 띄는 것은 변수들의 크기와 변화량이다. 수가 아닌 Data도 수로 변환하여 분석하는 것이 Machine Learning의 보편적인 방법인데.. Maximum_nights가 다른 변수에 비해서 많이 숫자가 크고 변화가 심한 것을 볼수 있다. Feature의 가중치등을 부여하는 작업을 하더라도 당연히 숫자 자체적으로 Maximum_nights의 정보가 분석결과에 너무나 많은 impact를 줄것은 사실 알고리즘을 이해하지 못해도 어느정도 예측이 가능하다. 이것 정말 우리가 원하는 상황은..

Data 파이프라인은 Data를 어느곳에서 다른곳으로 옮긴다는 표현이죠. 예를 들어 서버1에서 서비2로 옮긴다는 것이 될수도 있습니다. ETL ETL 파이프 라인은 Data 파이프 라인에서 가장 흔한 종류중 하나라고 생각하시면 되겠습니다. ETL의 뜻은 Extract, Transform, Load 의 각각을 첫 알파벳을 따온 것이죠. 자 웹로그를 가지고 잇는 데이터 베이스를 상상해봅시다. 각각의 entry는 유저의 ip 주소, time stamp, 혹은 유저가 클릭한 링크를 담고 있습니다. 만약 당신의 회사에서 링크 클릭정보를 도시별로 날짜별로 분석하고 싶어한다면, 당신은 유저 ip를 도시로 mapping 할수있는 다른 Dataset이 필요하겠죠. ETL파이프라인과 함께라면 당신은 1일별로 1회 코드를 ..

Data는 크게 두가지 분류로 나눌수 있습니다. 수치형의 Data와 분류형의 Data Numerical vs Categorical 이렇게 나누는 이유는 분류에 따라서 Data를 전처리하고 분석하는 방법이 상이하기 때문입니다. 금번 Post에는 위 두가지 Data가 스프레드시트 즉, Table형태로 혼재되어 있는 일반적인 Dataset에서 쉽게 Categorical Data 즉, 분류형 자료만 어떻게 분리해서 가져오는지 간단히 Posting 하겠습니다. 1. df.dtypes (Pandas Dataframe이름을 df라고 가정하고 dtypes 매서드를 처보면 아래와 같은 결과가 나옵니다.) 위와 같이 int64 혹은 float64라고 써져있는 것은 문자 자체가 의미하는 것과 같이 수치형 자료입니다. 그외에..

1. Check each column is a variable, and each row is an individual. - 각 열이 변수고, 각행이 개별 Data인지 여부 2. Look at the number of rows and columns in the dataset. - 열과 행이 총 얼마나 되는지 볼 것. 3. Check if there are missing values in any of the rows or columns - missing된 Data가 있는지 확인 할 것. 4. Check if any columns are of different data types than you would expect - 열의 Data가 예상된 Data Type과 같은지 다른지 확인 할 것. 5. Build ..

필자가 궁금한 순으로 공부하고 남기는 것이므로 순서가 뒤죽박죽일순 있다. 각설하고 시작하자. Numpy는 차원/모양이 다른 array간의 산술연산을 할때 broad casting이라는 mechanism을 사용한다. 일단 개념적으로 예를 한번들어보자. [2,4,6,8] 이라는 4개 원소를 가지는 array와 scalar 2를 곱하는 과정을 개념화한 아래의 그림을 참고하면 쉽게 broad casting에 대해서 이해할수 있다. Figure 1: Broadcasting example of adding a scalar to a vector (or 1-D array) array와 scalar 연산 뿐만 아니라 matrix간의 연산에도 해당 내용은 확장되어 적용된다. 다만 모든경우에 broad casting이 가능..

앞서서 posting한 numpy와 같이 pandas 라이브러리는 data를 다루는데 필수적인 라이브러리라고 볼수 있습니다. 오늘은 그 첫번째로 간단하게 raw data를 파악하고 정리?? /청소?? 하는 방법에 대해서 알아보고자 합니다. 일단 pandas를 불러봅시다. import pandas as pd 앞서 numpy 포스팅에서 설명했던 내용으로 계속적으로 pandas라는 full name을 type하기 귀찮기 때문에 위와같이 선언하는게 일반적입니다. 요리도구를 가져왔으니 이제 손질할 재료를 불러와야겠지오. kaggle에서 유명한 dataset인 Titanic Data set을 다운받아서 진행해보겠습니다. data_raw = pd.read_csv('E:/Titanic/input/train.csv') ..