고승범 님의 "실전 카프카 개발부터 운영까지" 책을 정리한 포스팅 입니다. 0. 배경링크드인에 근무하던 제이 크렙스, 준 라오, 네하 나크헤데가 링크드인 내부에서 발생하고 있는 이슈들을 해결하기 위해 만들었음문제설명데이터 파이프라인 확장의 어려움데이터량이 급증하면서 기존 시스템으로는 감당을 못하게 됨이를 해결하기 위한 시스템 확장도 어려웠음이기종 간 호환성 문제서로 다른 시스템/서비스 간에 데이터를 주고받는 게 복잡하고 비효율적이었음.고성능 기반 실시간 데이터 처리의 어려움사용자 데이터 변화를 빠르게 처리하고 반영하기 어려웠음.➡️ 고성능 대용량 실시간 데이터 스트리밍 플랫폼 "Kafka" 개발 적용직장 정보를 변경하면 해당 변경 내용이 지인들에게 곧바로 업데이트됨➡️ 내부 추천 서비스에도 즉시 반영되어..