데이터 인프라 용어 정리

OLTP :  

- A계좌에서 B계좌로 1000원을 송금할 때 A에서 1000원을 빼고 B에 1000원을 추가하는 두 가지 작업을 모두 만족해야한다. 이 작업을 트랜잭션으로 묶어서 처리해주는 DB를 OLTP라고 한다.

- 보통 수많은 트랜잭션이 서비스에서 일어나고, 빠른 프로세싱을 요구하기 때문에 정규화된 데이터로 처리한다. 또한 수많은 테이블로 이루어져있다.

cf) OLAP는 데이터분석이나 데이터 웨어하우스에서 데이터를 처리하는 것과 비슷하다. 데이터의 볼륨이 크고, 복잡한 분석쿼리를 날리며 비정규화된 데이터로 이루어진다.

 

CDC :

- OLTP에서 일어나는 대부분의 행동은 데이터가 업데이트되는 일이다. OLTP의 DB는 트랜잭션을 기록하는데에만 집중되어 있고 그 트랜잭션 데이터를 다른 DB에 쓰지(W) 못한다. 이런 OTLP의 데이터를 가져다가 업데이트된 부분만 뽑아내서

외부 DB로 보내주는 것이 CDC(Change Data Capture) 이다. 이를 통해 OLTP의 데이터를 분석용 DB로 보내 처리할 수 있게 된다.

 

ERP :

- 전사적자원관리로, 회사에서 하고있는 재무, 프로젝트 관리, 조달, 리스크관리 등의 인력을 포함한 모든 자원을 관리한다.

 

CRM :

- 고객관계관리로, 판매 및 마케팅등 고객과 관련된 모든 행동을 관리한다.

 

Event Collector :

- 사용자가 만들어내는 모든 데이터를 수집하는 도구이다. 예를 들어 "Segment" 가 있는데 모바일, 웹 등에서 유저가 사용하는 모든 데이터를 Segment API를 통해서 다양한 분석 제품군(ex) Google Analytics, Facbook Pixel 등)으로 보내주는데, 이런 일을 해주는 것이 Event Collector 서비스이다. Event Collector에는 오픈소스인 Snowplow, Rudderstack 등 이 있다. Rudderstack이 조금 더