* anomaly / outlier란? 평소 데이터에서 거리가 먼 녀석, 특이한 녀석이라고 생각하면 되겠다. 보통은 이런 녀석들이 실제 우리 real-life에서 문제를 일으키는 녀석들이다. 예를 들면 본인이 무언가를 관리하는 엔지니어라고 생각해보자. 실질적으로 엔지니어의 메인 role중 하나는 이러한 이상치를 모니터링 하고 억제하기 위한 행위이지 않는가? 하다 못해 갑자기 내 주식 계좌가 녹으면 그것 또한 이런 케이스에 빗댈 수도 있겠다. 우선 이러한 이상치 찾는 문제는 3가지로 볼수 있다. 1. Supervised : 쉽게 말해서 데이터 내에 이것 이상치, 이건 정상치가 아니란 라벨이 다 나와있는 것 들이다. 족보가 있고 원리를 학습해서 새로운 문제에 대응하는 개념으로 보면 되겠다. Classific..

우리가 처리하려는 Data의 값이 듬성듬성 비어있다면 우리가 해야될 것은 당연히 전처리를 통해서 Missing Value를 처리해주는 것입니다. 처리방법은 크게 3가지로 나눌수 있습니다만.. 오늘은 제일 간단명료한 방법. 다시 말해 Missing이 있는 Data를 지우는 방법에 대해서 간단히 논의해보고자 합니다. 그런데 지우기전에 우리는 반드시 알아야 될 것이 있습니다. 생각없이 missing된 Data를 모두 날려버리고 Data를 분석한다면 잘못된 결과를 초래한다는 것을요. 머신러닝으로 치면 학습된 모델은 Biased된 Model이 될 가능성이 농후합니다. 당연히 예측 성능도 좋지 못하겠지요. 결국은 그 Data를 들여다 보고, Missing된 Data의 비율이 전체 정보에서 차지하는 비율이 어느정도인..

데이터 셋에 따라 데이터 분석을 위한 조건을 만족시키는 이진값을 가진 열을 반들기 위해 레이블 인코딩과 온-핫 인코딩을 섞어 사용해야 될 수도 있습니다. 예를 한번 같이 보시겠습니다. 특정 데이터 셋에 engine_type이라는 열이 있고 그 열에는 아래와 같이 몇가지 값으로 분류되어 있습니다. obj_df["engine_type"].value_counts() ohc 148 ohcf 15 ohcv 13 l 12 dohc 12 rotor 4 dohcv 1 Name: engine_type, dtype: int64 여기서 다른거 필요없이 분류값중에 'ohc'가 있느냐 없느냐만 금번 분석에 의미가 있다고 생각해봅시다. 전제를 깔자는 거지요. 이러한 판단을 하기 위해서는 관련 산업군이나 Tech쪽에 Domain ..

import datetime as dt 요로케 가지고 오면 datetime 패키지의 기능을 쓸수 있는데 string 형식의 날짜시간정보가 있다고 하면 datetime object로 바까주는게 좋겠지. 그럴때 쓰는 매쏘드는 strptime (str "pars" time) 이고 간단하게 아래와 같이 써줄수 있어. dt.datetime.strptime(변환할 str변수명, "%m/"%m/%d/%y %H:%M") "%m/%d/%y %H:%M" >>> 요거는 변환될 형식을 나타낸거고 %m은 month %d는 day %y는 네자리 year %H는 hour %M은 minute 이 되겠지. 여러가지 표현법이 더 있어서 위에게 다는 아니니까. 그때 그때 구글링 해봐야 될거야. 요즘 시계열 data라는 이야기 많이하고 저..