본문 바로가기

Backend/Kafka

 (3)
[Kafka] 3. Kafka 동작 원리 — Producer, Consumer, Offset 이해 지난 글에서는 Kafka의 내부 구조와 데이터 흐름,즉 Broker, Topic, Partition, Consumer Group이 어떻게 구성되어 있는지를 살펴봤다. 이번 글에서는 그 구조 위에서 실제로 데이터가 어떻게 흘러가는지,즉 Producer → Broker → Consumer의 동작 원리를 단계별로 이해해보자. Kafka는 구조를 아는 것만큼이나 “데이터가 어떻게 오가고 관리되는가”를 이해하는 게 핵심이다.이 과정을 알면, Kafka를 실무 서비스에 적용하는 그림이 한눈에 잡힌다. 1. Producer — 데이터를 보내는 출발점 Producer는 Kafka에 데이터를 전송(produce) 하는 주체다.일반적으로 애플리케이션, 서버 로그, 이벤트 스트림 등이 Producer 역할을 한다. Kaf..
[Kafka] 2. Kafka 내부 구조와 데이터 흐름 — Broker, Topic, Partition 이해하기 지난 글에서 Kafka를 단순한 메시지 큐가 아닌“데이터 스트림을 저장하고 분산 처리하는 시스템”이라고 정리했다. 이번 글에서는 Kafka의 핵심 구성요소가 어떻게 연결되고 작동하는지,즉 내부 구조를 구체적으로 살펴본다. Kafka는 구조를 이해하면 절반은 끝난다.Broker, Topic, Partition, Consumer Group의 역할만 명확히 알면어떤 규모의 시스템에도 쉽게 적용할 수 있다. 1. Broker — Kafka의 중심 엔진Kafka의 기본 단위는 Broker다.Kafka는 하나 이상의 Broker로 구성되며, 각 Broker는 데이터를 저장하고 클라이언트 요청을 처리한다.하나의 Broker = 하나의 Kafka 서버 프로세스여러 Broker가 모여 Kafka 클러스터를 구성데이터를..
[Kafka] 1. Kafka란? 요즘 대규모 트래픽을 다루는 서비스라면 거의 빠지지 않고 등장하는 기술이 Apache Kafka다.Netflix, Uber, LinkedIn 등 글로벌 기업들은 물론, 국내에서도 실시간 로그 처리나 비동기 이벤트 전달에 Kafka를 많이 사용한다.하지만 막상 “Kafka가 정확히 뭐 하는 건데?”라고 물으면메시지 큐 정도로만 알고 있는 경우가 많다.이 글에서는 Kafka의 철학과 구조, 그리고 왜 실무에서 많이 쓰이는지를 정리해보았다. 1. Kafka란 무엇인가? Kafka는 대용량 데이터를 빠르고 안정적으로 전달하기 위한 분산 메시징 플랫폼이다.단순히 “메시지를 주고받는 시스템”이 아니라, 데이터 스트림을 저장하고 처리하는 중앙 허브라고 보는 게 더 정확하다. 즉, Kafka는 실시간 데이터 파이프라인..

티스토리툴바