728x90

Data Engineering 3

데이터 인프라 용어 정리

OLTP : - A계좌에서 B계좌로 1000원을 송금할 때 A에서 1000원을 빼고 B에 1000원을 추가하는 두 가지 작업을 모두 만족해야한다. 이 작업을 트랜잭션으로 묶어서 처리해주는 DB를 OLTP라고 한다. - 보통 수많은 트랜잭션이 서비스에서 일어나고, 빠른 프로세싱을 요구하기 때문에 정규화된 데이터로 처리한다. 또한 수많은 테이블로 이루어져있다. cf) OLAP는 데이터분석이나 데이터 웨어하우스에서 데이터를 처리하는 것과 비슷하다. 데이터의 볼륨이 크고, 복잡한 분석쿼리를 날리며 비정규화된 데이터로 이루어진다. CDC : - OLTP에서 일어나는 대부분의 행동은 데이터가 업데이트되는 일이다. OLTP의 DB는 트랜잭션을 기록하는데에만 집중되어 있고 그 트랜잭션 데이터를 다른 DB에 쓰지(W) ..

Data Engineering 2023.05.01

Kubernetes ETL With EFK (포트 포워딩 및 배포)#2

1. git clone https://github.com/parksubo/ekf-with-flask 2. 현재 minikube에 elastic namespace가 없어서 아래 명령어를 실행할 수 없음, kubectl create namespace elastic로 namespace 생성 후 // resource create kubectl apply -f ./elasticsearch.yaml kubectl apply -f ./kibana.yaml kubectl apply -f ./fluentd.yaml 로 배포한다. 3. kubectl get svc -n elastic 로 elastic 레이블이 부착된 모든 서비스가 잘 돌아가는지 확인한다. 4. 포트포워딩 kubectl port-forward svc/fla..

Data Engineering 2022.09.08

Kubernetes ETL With EFK(개발 환경 설정)#1

1. vscode에서 kubernetes extension 설치 2. 설치하면 dependencies 없다고 나오는데 전부 설치 3. https://minikube.sigs.k8s.io/docs/start/ https://blog.naver.com/PostView.nhn?blogId=isc0304&logNo=221879359568 위 링크 참고해서 minukube 설치 (사전에 docker 설치 및 실행 잊지 말기 //ubuntu : sudo apt install docker.io -y // 여기서는 docker desktop 사용) 3. minikube가 설치되어 있다면 아래와 같이 cluster에 뜸 - 만약 안뜬다면 ~./user/.kube에 config 파일을 확인해 볼 것 필자는 vscode에서..

Data Engineering 2022.09.08