5_Clock

Kafka에서 가장 기본이 되는 Topic은 메시지(=레코드, 이벤트, 데이터)들이 저장되는 논리적인 개념이다. 각 Topic은 용도에 맞게 만들어서 데이터를 저장하게 된다. ex) 서버 모니터링, 어플리케이션 로그 데이터 등.. Kafka 사전 지식 Kafka에는 Topic과 연관된 여러 개념들이 있다. 나중에 설명하겠지만 미리 설명해보자면, 1. producer: 메시지를 생산 및 Kafka의 Topic으로 보냄 2. consumer: Topic의 메시지를 소비 3. consumer group: 협력하는 consumer들의 모임(분산, 병렬처리를 가능하게 함) 4. commit log: 추가만 가능하고 변경 불가능한 Data Structure. 메시지는 항상 로그 끝에 추가된다.(한번 추가되면 변경이..

이번 년도에 새롭게 Kafka를 맡으며 새로운 Cluster를 내가 운영해야하는 점에서 블로그에 정리하면서 공부하면 조금더 도움이 될까 싶어서 포스팅을 시작하려고 한다. 기본적으로 내가 느낀 Kafka는 분산처리용 MQ(Message Queue)이고 빅데이터가 중요해진 요즘 대용량의 데이터를 빠르게 적재할 수 있다는 점에서 요즘 핫한 Data Pipeline 기술 같다.