Data 파이프 라인 : ETL vs ELT
Data 파이프라인은 Data를 어느곳에서 다른곳으로 옮긴다는 표현이죠. 예를 들어 서버1에서 서비2로 옮긴다는 것이 될수도 있습니다. ETL ETL 파이프 라인은 Data 파이프 라인에서 가장 흔한 종류중 하나라고 생각하시면 되겠습니다. ETL의 뜻은 Extract, Transform, Load 의 각각을 첫 알파벳을 따온 것이죠. 자 웹로그를 가지고 잇는 데이터 베이스를 상상해봅시다. 각각의 entry는 유저의 ip 주소, time stamp, 혹은 유저가 클릭한 링크를 담고 있습니다. 만약 당신의 회사에서 링크 클릭정보를 도시별로 날짜별로 분석하고 싶어한다면, 당신은 유저 ip를 도시로 mapping 할수있는 다른 Dataset이 필요하겠죠. ETL파이프라인과 함께라면 당신은 1일별로 1회 코드를 ..
2019. 10. 27. 22:33