IT LAB

1. Environment배포 대상 환경을 의미함github actions에 어떤 환경에 배포할 지 알려주는 역할ex) development, staging, production 예시) 워크 플로더보기jobs: deploy: runs-on: [self-hosted, production] environment: production steps: - run: ./blue-green-deploy.sh 보호 장치 역할job 앞에 보호 장치를 걸 수 있음기능의미Required reviewers지정된 사람이 승인해야 배포 진행Prevent self-review실행한 사람이 자기 배포를 직접 승인하지 못하게 함Wait timer승인 후 일정 시간 기다렸다가 배포Deployment branch..

1. 전통적인 배포 방식의 한계과거 온프레미스 환경에는 서버 자원이 제한적이었음새로운 버전을 배포할 때 기존 운영 서버에 코드를 덮어쓰는 방식이였음✅ 현재 유저가 사용중인 서버에 직접 새 코드를 반영하는 구조⚠️ 장애 범위가 큼: 배포하다 터지면 직접 롤백해야 했음⚠️ 롤백 느림: 문제가 생기면 이전 버전으로 직접 돌려야 하므로 오래걸림⚠️ 디버깅이 어려움: 버그가 나면 서비스를 살리기 바빠 디버깅을 할 수가 없음⚠️ 무중단 배포가 어려움: 서버를 재시작하거나 교체하는 과정에서 일시적인 중단이 발생함 2. 블루/그린 배포 방법론현재 운영 중인 환경과 동일한 새로운 환경을 하나 더 만들어놓고, 새 버전을 그곳에 배포한 뒤 검증이 끝나면 트래픽만 전환하는 전략클라우드 기술이 발전하면서, 똑같은 서버 환경을 ..

1. Observability Framework & Toolkit코드에 계측을 심어서 Trace, Metric, Log를 뽑아낼 수 있게 해주는 표준 도구 모음✅ 애플리케이션이 Telemetry 데이터를 생성, 수집, 내보내기 하도록 도와줌✅ 저장소와 시각화는 다른 툴이 담당함 2. 특징OTLP 프로토콜 (Telemetry 데이터 형식 정의)Semantic Convention (공통 데이터의 표준 네이밍 규칙)오픈소스 (CNCF 주도)벤더 독립적: 유연성 + 독립성 출처OpenTelemetry - What is OpenTelemetry?

1. Dead Letter Queue란?메시지 브로커가 전달에 실패한 메시지를 별도로 보관하는 백업 저장소✅ 소비자가 처리 중 메시지 처리가 실패될 수 있음✅ 견고하고 장애에 강한 데이터 파이프라인을 구축할 때 중요한 요소 이점목적설명Fault Tolerance메시지 처리 중 오류가 발생해도 전체 시스템에 영향을 주지 않도록 함Data Integrity처리할 수 없는 메시지를 안전하게 저장해 데이터 손실을 방지Recovery원인 해결 후 DLQ에 쌓인 메시지를 선택적으로 재처리해 데이터/서비스 복구 가능Monitoring & Troubleshooting실패한 메시지를 추적·분석하여 오류 원인 파악 및 디버깅 용이Scalability실패한 메시지를 DLQ로 분리하여 메인 처리 흐름의 적체(Backlog) ..

다양한 데이터베이스의 CDC를 위한 오픈소스 커넥터 모음 (Kafka Connect 위에서 동작함)각 데이터베이스의 로그를 기반으로 한 변경 스트림을 읽음 장점항목설명예완전성모든 데이터 변경을 누락 없이 캡처 낮은 지연폴링 대비 매우 낮은 레이턴시MySQL·Postgres 사례: ms 수준스키마 변경 불필요Last Updated 같은 컬럼 추가 불필요 삭제 캡처DELETE 이벤트도 포함 메타데이터 제공DB/설정에 따라 포함 가능이전 레코드 상태, 트랜잭션 ID, 유발 쿼리 등 1. ArchitectureKafka Connect 위에서 동작하는 소스 커넥터로 배포됨구분내용가능 여부/비고토픽 네이밍기본은 서버/DB/테이블 기반 토픽명 생성✅ SMT로 패턴 치환/이름 변경 가능토픽 라우팅 1:1한 테이블 → ..

1. Kafka ConnectorApache Kafka의 하위 구성 요소Kafka를 데이터 저장소와 연결해줌 2. Install the MongoDB Kafka ConnectorKafka plugins 디렉토리에 복사커넥터 플러그인(JAR 파일들)을 plugin.path로 지정된 디렉토리에서 찾음예: plugin.path=/usr/local/share/kafka/plugins 라고 설정하면,/usr/local/share/kafka/plugins 폴더 안에 MongoDB Kafka Connector JAR을 넣어야 함.이렇게 하면 Kafka Connect 실행 시 해당 디렉토리에서 커넥터 클래스를 자동으로 로딩합니다. 분산 모드(Distributed Worker)Kafka Connect는 Standalon..

1. Data ModelPrometheus는 모든 데이터를 time series 형태로 저장함메트릭 이름 + 라벨로 고유한 시계열 데이터를 만들어냄 구성 요소항목설명예시Metric Name측정 대상의 의미를 나타내는 이름http_requests_total (총 HTTP 요청 수)Label같은 메트릭을 여러 기준으로 구분하기 위한 key-valuemethod="POST", handler="/api/tracks"Notation메트릭 이름과 라벨을 함께 사용하는 표기 형식http_requests_total{method="POST", handler="/api/tracks"}Sample특정 시점의 값(value) + 시간(timestamp)0.56 @ 2024-05-31T12:00:00Z 2. Metric Typ..

1. Prometheus시스템과 애플리케이션의 상태를 모니터링하기 위한 도구주로 애플리케이션에서 발생하는 메트릭을 수집하고 저장한 후, 이를 조회/시각화/알림에 활용함오픈소스 (CNCF 공식 프로젝트) 특징기능설명예 / 특징다차원 데이터 모델시계열 데이터에 key-value 형식의 Label을 붙일 수 있음같은 메트릭도 다양한 기준으로 구분할 수 있음독립 실행 가능별도 분산 스토리지 없이 단일 서버만으로 수집 및 동작 가능쉽게 도입 가능Pull 기반 수집 (scrape)Prometheus 서버가 직접 대상 서버의 HTTP endpoint에 접근하여 메트릭을 가져옴중앙에서 수집 주기 관리 가능Push 일부 지원짧게 실행되고 종료되는 작업일 경우 사용됨Push Gateway 활용 기능기능설명예 / 특징Pro..

3. Developer Guide항목명간단 설명Writing a Streams Application스트림 처리 로직을 작성하고 실행하는 기본 구조 제공 (토폴로지 정의)Configuring a Streams Application설정 지정 (브로커 주소, 앱 ID, 직렬화 방식 등)Streams DSL고수준 연산을 위한 간편 API (map, filter 등)Processor API사용자 정의 처리 로직을 위한 저수준 APINaming OperatorsDSL 연산자에 이름 붙이기 (디버깅/모니터링 용이)Data Types & Serialization메시지 직렬화/역직렬화 방식 정의TestingTopologyTestDriver로 로컬 테스트 가능Interactive Queries상태 저장소 데이터를 외부에서..

Docker는 애플리케이션을 개발, 배포 및 실행하기 위한 오픈 플랫폼입니다. 애플리케이션을 인프라에서 분리하여 빠르게 소프트웨어를 제공할 수 있습니다. 코드를 작성하고 프로덕션에서 실행하는 사이의 지연 시간을 크게 줄일 수 있습니다. 1. The Docker platform Docker는 컨테이너라는 약간 격리된 환경에서 애플리케이션을 패키지화하고 실행할 수 있게 합니다. 컨테이너는 경량화되어 있으며, 애플리케이션을 실행하는 데 필요한 모든 것을 포함하므로 호스트에 의존할 필요가 없습니다. 2. What can I use Docker for? Fast, consistent delivery of your applications 개발자가 로컬 컨테이너를 사용하여 표준화된 환경에서 작업할 수 있게 해줍니다...