카프카란?

카프카의 탄생

다음은 링크드인의 카프카 도입 이전의 아키텍처 이다.

https://www.confluent.io/blog/event-streaming-platform-1/

초기 운영 당시에는 아키텍처가 복잡하지 않았으므로 운영이 힘들지 않았다.

시간이 지날 수록 아키텍처는 거대해 졌고 소스 애플리케이션과 타깃 애플리케이션의 개수가 점점 많아지면서 문제가 생겼다.

https://www.confluent.io/blog/event-streaming-platform-1/

카프카 도입 이후에는 각각의 애플리케이션에서 처리하던 데이터를 카프카를 사용하여 중앙집중화 할 수 있었다.

카프카를 통해 각 애플리케이션에서 취합한 데이터 스트림을 한 곳에서 실시간으로 관리할 수 있었다.

 

카프카의 구성

 

카프카의 구조

파티션은 FIFO구조의 큐(queue) 자료구조 이다.

큐에 데이터를 보내는 것이 '프로듀서' 데이터를 가져오는 것이 '컨슈머'

카프카에 들어가는 데이터는 제한이 없다.(직렬화,역직렬화)