데이터 파이프라인이란?

데이터 파이프라인의 개념

다양한 소스에서 데이터를 변환하고 옮기는 일련의 과정을 구성한 시스템

데이터 파이프라인이 하는 일 

• Data extracting: 데이터 추출
• Data transforming: 데이터 변경
• Data combining: 데이터 결합
• Data validating: 데이터 검증
• Data loading: 데이터 적재

 

데이터 파이프라인 구축을 위해 필요한 요소

1. 분산 처리 프레임워크 
2. 데이터 레이크 
3. workflow 관리 시스템 
4. 데이터 웨어하우스 

 

참고 블로그

• 데이터 파이프라인의 개념 

데이터 파이프라인 구축 - 이론

• 데이터 파이프라인 구축 관련 용어 

[Data Engineering] 2. 데이터 파이프라인