Staging Entity 란?
Staging Entity는 외부 데이터를 최종 목적지 테이블에 바로 넣지 않고, 중간 임시 저장소 역할을 하는 테이블이다.
왜 쓰는가?
- 데이터 검증(Validation)
외부 데이터 → [Staging] → 검증/정제 → [실제 테이블]
원본 데이터를 그대로 받아두고, 형식 오류/누락값/중복 등을 체크한 뒤에 본 테이블로 이동한다.
- 롤백 용이성
- 문제가 생겼을 때 Staging 단계에서 멈추면 실제 운영 데이터는 오염되지 않는다.
- 재처리(reprocessing)가 필요하면 Staging 데이터를 다시 활용 가능하다.
- 반환(Transform) 작업 공간
- 컬럼 매핑, 타입 변환, 코드값 치환 등을 Staging에서 수행한다.
- ETL의 E(Extract) → Staging → T(Transform) → L(Load) 구조.
- 성능 최적화
- 대량 데이터를 Staging에 Bulk Insert 후, 한 번에 검증/이동한다.