5_Clock

Kafka-Broker & Apache Zookeeper 우선 Broker와 Zookeeper는 Kafka Cluser의 기본적인 요소라고 할 수 있다. 간단하게 설명하면 Broker는 직접 분산처리를 하는 일꾼이고 Zookeeper는 그것을 관리하는 관제탑이라고 비유할 수 있다. 설명을 들어가기전 전체적인 그림을 먼저 봐보자. 위 그림에서 처럼 Broker는 Producer와 Consumer를 통해서 메시지를 읽고 처리하는 kafka의 messageQ의 메인 로직을 실행하지만 Zookeeper는 그 로직이 잘 수행될 수 있도록 관리를 해주는 소프트웨어이다. Broker Kafka에서 broker는 Partition에 대한 read/write를 관리하는 소프트웨어이다. producer에서 데이터를 각 p..

Kafka에서 가장 기본이 되는 Topic은 메시지(=레코드, 이벤트, 데이터)들이 저장되는 논리적인 개념이다. 각 Topic은 용도에 맞게 만들어서 데이터를 저장하게 된다. ex) 서버 모니터링, 어플리케이션 로그 데이터 등.. Kafka 사전 지식 Kafka에는 Topic과 연관된 여러 개념들이 있다. 나중에 설명하겠지만 미리 설명해보자면, 1. producer: 메시지를 생산 및 Kafka의 Topic으로 보냄 2. consumer: Topic의 메시지를 소비 3. consumer group: 협력하는 consumer들의 모임(분산, 병렬처리를 가능하게 함) 4. commit log: 추가만 가능하고 변경 불가능한 Data Structure. 메시지는 항상 로그 끝에 추가된다.(한번 추가되면 변경이..

이번 년도에 새롭게 Kafka를 맡으며 새로운 Cluster를 내가 운영해야하는 점에서 블로그에 정리하면서 공부하면 조금더 도움이 될까 싶어서 포스팅을 시작하려고 한다. 기본적으로 내가 느낀 Kafka는 분산처리용 MQ(Message Queue)이고 빅데이터가 중요해진 요즘 대용량의 데이터를 빠르게 적재할 수 있다는 점에서 요즘 핫한 Data Pipeline 기술 같다.

LVM(논리 볼륨 관리) 물리장치: 블록 장치로 디스크 파티션, 전체 디스크, RAID 어레이 또는 SAN디스크가 될 수 있다. PV(물리 볼륨): 장치를 LVM 시스템에서 사용하려면 물리 볼륨으로 초기화해야 한다. VG(볼륨 그룹): 하나 이상의 물리 볼륨으로 구성된 스토리지 풀 LV(논리 볼륨): 볼륨 그룹에서 사용하지 않는 물리 확장 영역으로 생성되며 애플리케이션, 사용자 , OS에서 사용하는 “스토리지”장치를 제공한다. 물리 장치 준비 parted -s /dev/vdb mkpart primary 1MiB 769MiB parted -s /dev/vdb mkpart primary 770MiB 1026MiB parted -s /dev/vdb mkpart set 1 lvm on parted -s /dev..

/dev: 물리적 장치에 연결하기 위한 인터페이스 /proc + /sys: 현재는 proc및 sys가 분리 - proc: 프로세스 상태정보를 가지고 있음(RO) - sys: 커널 모듈과 관련되어있는 디렉터리() * lsmod, modprobe, insmod FS H/P: CFS(x), RHEL 7(8이 최적)(미만은 비권장) (/proc/mounts == mount) 명령어 같음 /sys/block/vd*/queue - 예상했던 속도나 퍼포먼스가 안나올때 여기를 본다. - BFQ(BFS: Brain Fuck Scheduler의 영향을 받음) - mq-deadline: 최대한 결과를 빠르게 도출하는게 목적 만약 서버가 4cores(0~3)가 있다면, Linux Kernel 2.6, 3.2 미만으로는, I/..

부하량이란 work load, cpu load, CPU의 스케줄링 상태를 보통 이야기한다. (ForGround,BackGround, Idle(x)) 5초마다 커널은 실행 가능 및 중단되지 않는 상태의 프로세스 수를 기반으로 현재 부하 수치를 수집합니다. Kernel(5s)(Count((all process)(scheduler_avilablility))) ;; 5s 마다 특정영역에 숫자를 갱신 # uptime ; 30~60min ;; 실시간 정보가 아님. # watch -n1 'uptime' ;; 매 1초마다 uptime 명령어 실행 BSD(Unix): PROC.A: 0core (0~100, hold) == CPU 100% LINUX: PROC.B: 0core(0~10), 11core(11~30), loa..