반응형
데이터 파이프라인의 개념
다양한 소스에서 데이터를 변환하고 옮기는 일련의 과정을 구성한 시스템
데이터 파이프라인이 하는 일
- Data extracting: 데이터 추출
- Data transforming: 데이터 변경
- Data combining: 데이터 결합
- Data validating: 데이터 검증
- Data loading: 데이터 적재
데이터 파이프라인 구축을 위해 필요한 요소
- 분산 처리 프레임워크
- 데이터 레이크
- workflow 관리 시스템
- 데이터 웨어하우스
참고 블로그
- 데이터 파이프라인의 개념
데이터 파이프라인 구축 - 이론
데이터 파이프라인이란? 한마디로 언제든지 필요한 데이터를 가져와 꺼내 쓸 수 있도록 데이터를 계속 쌓아두는 파이프를 만드는 것이라고 보면된다. 데이터 파이프라인 사용 예시 파이프를 한
velog.io
- 데이터 파이프라인 구축 관련 용어
[Data Engineering] 2. 데이터 파이프라인
이번 포스팅에서는 데이터 파이프라인에 대해 알아보도록 하겠다. What is Data Pipeline? 데이터 파이프라인이란 무엇일까? 간단히 말하면 다양한 소스에서 데이터를 변환하고 옮기는 일련의 과정을
data-scientist-brian-kim.tistory.com
반응형