많은 기업에서 Traceability 목적으로 제품에 Marking을 하고 있는데 그중 가장 많이 이용되고 있는 것이 QR-Code와 Data Matrix일 것이다. 필자의 도메인은 QR Code를 쓸 일이 많이 없기 때문에 Data Matrix에 대한 기초 지식, 많은 사람들이 간과하는 것들.. 그리고 썰을 풀어 볼까 한다. DataMatrix란 무엇인가로 글을 길게 쓰고 싶지는 않고, 핵심만 짤막하게 확인해보자. 위에서 보는 바와 같이 Finder Pattern과 Data로 크게 나눌수 있다. 보통 Data 손실이 Critical한 것 같지만 인식적인 측면에서는 Finder Pattern의 손상이나 Image상의 짤림이 인식성공률이 지대한 영향을 끼칠수 있게 된다. 추가적으로 Symbol주변에는 Qu..

dEpoch과 Batch Size, Iterations 의 개별 의미와 차이점을 알아보쟈. 일단 어디서 들어봤을 것이다. 일단 이런 용어들은 Machine Learning 용어들인데 일단 Machine Learning에서 가장 기본이 되는 Gradient Descent 알고리즘을 간략히 요약 해보자. Gradient Descent Machine learning에서 쓰이는 반복 학습방법이다. Gradient 기울기 / Descent 는 내림차순? 정도의 의미로 이해한다면 우리는 단순히 기울기 하강법과 같은 촌스러운 한국판 번역 이름을 만들어 낼수 있음과 동시에 직관적인 이해를 할수있을 것이다. 그리고 왜 반복학습이냐.. 머리나쁜 학생도 오랜 수련으로 스승을 뛰어넘을수 있듯이 반복적으로 정답에 근접하는 과정..

Markdown 101 Markdown은 주로 READMEs를 작성하는데 많이 사용됩니다. 꽤나 직관적이고, 이해하기 쉬운 문법을 가지고 있죠. 그러나 종류가 꽤 많습니다. 마치 언어의 사투리 처럼요. flavor of Markdown이라고 알려져 있습니다. 대부분은 차이가 없습니다. Minor한 부분만 제외하면요. 하지만 이 글자체가 READMEs에 사용하는 것이 목적인 만큼 GitHub Flavored Markdown을 사용하여 금번 Post 작성토록 하겠습니다. Full Documentation은 별도 링크로 찾아보실수 있지만 간단하게 한번 같이 살펴보죠. Feeling Bold? 글자를 두껍게 하고 싶다면 ?? 대상 글자 앞뒤로 *을 두개씩 붙여주면 됩니다. (아주 심플하네요) 아래를 볼까요? I..

Data 파이프라인은 Data를 어느곳에서 다른곳으로 옮긴다는 표현이죠. 예를 들어 서버1에서 서비2로 옮긴다는 것이 될수도 있습니다. ETL ETL 파이프 라인은 Data 파이프 라인에서 가장 흔한 종류중 하나라고 생각하시면 되겠습니다. ETL의 뜻은 Extract, Transform, Load 의 각각을 첫 알파벳을 따온 것이죠. 자 웹로그를 가지고 잇는 데이터 베이스를 상상해봅시다. 각각의 entry는 유저의 ip 주소, time stamp, 혹은 유저가 클릭한 링크를 담고 있습니다. 만약 당신의 회사에서 링크 클릭정보를 도시별로 날짜별로 분석하고 싶어한다면, 당신은 유저 ip를 도시로 mapping 할수있는 다른 Dataset이 필요하겠죠. ETL파이프라인과 함께라면 당신은 1일별로 1회 코드를 ..

Data는 크게 두가지 분류로 나눌수 있습니다. 수치형의 Data와 분류형의 Data Numerical vs Categorical 이렇게 나누는 이유는 분류에 따라서 Data를 전처리하고 분석하는 방법이 상이하기 때문입니다. 금번 Post에는 위 두가지 Data가 스프레드시트 즉, Table형태로 혼재되어 있는 일반적인 Dataset에서 쉽게 Categorical Data 즉, 분류형 자료만 어떻게 분리해서 가져오는지 간단히 Posting 하겠습니다. 1. df.dtypes (Pandas Dataframe이름을 df라고 가정하고 dtypes 매서드를 처보면 아래와 같은 결과가 나옵니다.) 위와 같이 int64 혹은 float64라고 써져있는 것은 문자 자체가 의미하는 것과 같이 수치형 자료입니다. 그외에..

우리가 처리하려는 Data의 값이 듬성듬성 비어있다면 우리가 해야될 것은 당연히 전처리를 통해서 Missing Value를 처리해주는 것입니다. 처리방법은 크게 3가지로 나눌수 있습니다만.. 오늘은 제일 간단명료한 방법. 다시 말해 Missing이 있는 Data를 지우는 방법에 대해서 간단히 논의해보고자 합니다. 그런데 지우기전에 우리는 반드시 알아야 될 것이 있습니다. 생각없이 missing된 Data를 모두 날려버리고 Data를 분석한다면 잘못된 결과를 초래한다는 것을요. 머신러닝으로 치면 학습된 모델은 Biased된 Model이 될 가능성이 농후합니다. 당연히 예측 성능도 좋지 못하겠지요. 결국은 그 Data를 들여다 보고, Missing된 Data의 비율이 전체 정보에서 차지하는 비율이 어느정도인..