유명한 Air Bnb의 dataset을 보면 위와 같은 정보들이 있다.. 필자와 같이 가정을 해보자 해당 Dataset중 위의 Data를 사용해서 K-mean Cluster 기법을 사용한 분석을 하고 싶다고 말이다. 일단 눈에 띄는 것은 변수들의 크기와 변화량이다. 수가 아닌 Data도 수로 변환하여 분석하는 것이 Machine Learning의 보편적인 방법인데.. Maximum_nights가 다른 변수에 비해서 많이 숫자가 크고 변화가 심한 것을 볼수 있다. Feature의 가중치등을 부여하는 작업을 하더라도 당연히 숫자 자체적으로 Maximum_nights의 정보가 분석결과에 너무나 많은 impact를 줄것은 사실 알고리즘을 이해하지 못해도 어느정도 예측이 가능하다. 이것 정말 우리가 원하는 상황은..

Data는 크게 두가지 분류로 나눌수 있습니다. 수치형의 Data와 분류형의 Data Numerical vs Categorical 이렇게 나누는 이유는 분류에 따라서 Data를 전처리하고 분석하는 방법이 상이하기 때문입니다. 금번 Post에는 위 두가지 Data가 스프레드시트 즉, Table형태로 혼재되어 있는 일반적인 Dataset에서 쉽게 Categorical Data 즉, 분류형 자료만 어떻게 분리해서 가져오는지 간단히 Posting 하겠습니다. 1. df.dtypes (Pandas Dataframe이름을 df라고 가정하고 dtypes 매서드를 처보면 아래와 같은 결과가 나옵니다.) 위와 같이 int64 혹은 float64라고 써져있는 것은 문자 자체가 의미하는 것과 같이 수치형 자료입니다. 그외에..

우리가 처리하려는 Data의 값이 듬성듬성 비어있다면 우리가 해야될 것은 당연히 전처리를 통해서 Missing Value를 처리해주는 것입니다. 처리방법은 크게 3가지로 나눌수 있습니다만.. 오늘은 제일 간단명료한 방법. 다시 말해 Missing이 있는 Data를 지우는 방법에 대해서 간단히 논의해보고자 합니다. 그런데 지우기전에 우리는 반드시 알아야 될 것이 있습니다. 생각없이 missing된 Data를 모두 날려버리고 Data를 분석한다면 잘못된 결과를 초래한다는 것을요. 머신러닝으로 치면 학습된 모델은 Biased된 Model이 될 가능성이 농후합니다. 당연히 예측 성능도 좋지 못하겠지요. 결국은 그 Data를 들여다 보고, Missing된 Data의 비율이 전체 정보에서 차지하는 비율이 어느정도인..

보통 검색으로 우연히 keyword가 매칭되서 들어온 독자들이 대부분 이실 것으로 생각됩니다. 본론부터 들어가봅시다. 보통 Table 형식의 Data들은 아래와 같은 구조로 되어 있을 겁니다. 열 index 1 열 index 2 열 index 3 열 index 4 ..... *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** 일반적인 형태죠. 여기서 출발해봅시다. 여기서 한번 가정을 해보죠. 열 index 1이 핸드폰 브랜드를 나타낸다라고요. (삼성 or 애플) 그리고 열 index2 는 당일 판매 대수를 나타낸다고 합시다. 우리는 이제 해당 Data를 종합적으로 보고 싶을 것이고, 문득 궁금해졌습니다. 해당 DataSet에서 삼성 과 애플로 구분되..

Pandas DataFrame에서 특정 행/열을 선택하는 방법은 여러가지가 있습니다. 단연코 Pandas를 사용하면서 이러한 선택의 기로에 많이 놓이게 됩니다. 어떤 방법을 써야될지 혼동이 오는 경우가 참 많죠. " 역시 반복 밖에 없나봅니다." 자 시작해보겠습니다. 일단 방법은 크게 2가지입니다. 1. 행번호(row number)로 선택하는 방법 (.iloc) 2. label이나 조건표현으로 선택하는 방법 (.loc) 1. 행번호(row number)로 선택하는 방법(.iloc) 조금 혼동이 있을수 있을수 있어 간단하게 다시 표현하면 " 행이든 열이든 숫자로 location을 나타내서 Selecting or indexing 하는 방법입니다." 상상을 조금 해봅시다. row number가 0부터 전체 r..

테이블 형태의 자료구조를 상상해봅시다. Column 중에 Text 정보를 가진 Column에서 일정 패턴 규칙을 가진 Text열을 추출 하고자 할때 정규표현식을 이용할수 있겠습니다. 관련 활용 예시를 간단히 알아보겠습니다. 일단 자료로 쓸 .csv파일을 load해서 추출대상 column을 따로 분리해두도록 합시다. import pandas as pd import re hn = pd.read_csv("hacker_news.csv") titles = hn['title'] pandas는 기본적으로 활용하는 모듈이니 그렇다 치고. re모듈은 정규표현식을 활용하는데 도움을 주는 모듈입니다. 상세한 내용은 별도 포스팅에서 다루겠습니다. hn으로 csv파일 전체를 불러왔고, titles라는 변수에 title열의 정보..