IT LAB

최범균 님의 "주니어 백엔드 개발자가 반드시 알아야 할 실무 지식" 책을 정리한 포스팅 입니다. 1. 중요한 보안2. 인증과 인가3. 데이터 암호화4. HMAC을 이용한 데이터 검증5. 방화벽으로 필요한 트래픽만 허용하기서버가 외부에 노출되기 시작하면 다양한 공격이 들어옴이를 방지하려면 필요한 만큼만 네트워크 접근을 허용하고 나머지는 차단해야 함 웹 방화벽웹 기반 위협을 감지하고 차단함SQL Injection, XSS 공격 등 OS 방화벽 6. 감사 로그(audit log) 남기기컴플라이언스나 정책을 지키기 위해 기록함✅ 활동을 입증하는 증거로 사용됨✅ 보안 사고 발생 시, 문제 해결에 큰 도움이 됨 예시더보기사용자 로그인/로그아웃 내역설정 변경 내역 (암호 초기화 등)민감 데이터 조회/수정 내역 7..

최범균 님의 "주니어 백엔드 개발자가 반드시 알아야 할 실무 지식" 책을 정리한 포스팅 입니다.1. 동기 연동과 비동기 연동동기 연동순차적으로 진행됨✅ 외부 연동 시, 외부 연동 실패가 전체 기능의 실패인지 확인해야 함✅ 외부 연동 시, 외부 서비스의 응답 시간 고려하기⚠️ 전체 서비스가 먹통될 수 있음 비동기 연동한 작업이 끝날때까지 기다리지 않고 바로 다음 작업을 처리함✅ 외부 연동 결과가 즉시 필요하지 않을 경우✅ 연동에 약간의 시차가 생겨도 문제가 생기지 않을 경우✅ 실패했을 때 재시도가 가능한 경우✅ 실패했을 때 수동으로 복구 가능한 경우 예시) 비동기 연동더보기로그인 시, 포인트 적립주문이 들어오면 판매자에게 푸시 보내기학습을 완료하면 포인트 적립컨텐츠 등록 시 검색 서비스에도 등록인증 번호 ..

최범균 님의 "주니어 백엔드 개발자가 반드시 알아야 할 실무 지식" 책을 정리한 포스팅 입니다. 대규모 트래픽 요청 중 외부 시스템에 의존할 경우, 외부 시스템에서 부하를 감당하지 못해 장애가 발생할 수 있음✅ 연동 시스템의 품질도 함께 신경써야 함➡️ 문제를 완전히 차단하기는 어려우므로, 영향을 줄이도록 접근하기 1. 타임아웃외부 시스템 호출 시, 일정 시간 안에 응답이 없으면 강제로 중단하고 에러로 처리하는 기능타임아웃 시간을 설정하여 지정한 시간이 지나도 응답이 없을 경우 에러를 반환하기✅ 연동 서비스의 응답이 느릴 때, 연동 서비스에 대한 타임아웃을 설정하지 않으면 처리량이 급격히 떨어짐➡️ 사용자 경험 개선 (반응 없는 무한 대기보다는 에러 화면이 나음)➡️ 시스템 자원 보호 (자원이 포화되기 ..

최범균 님의 "주니어 백엔드 개발자가 반드시 알아야 할 실무 지식" 책을 정리한 포스팅 입니다.1. 성능에 핵심인 DB테이블 풀 스캔일 경우, DB 부하 커짐 2. 조회 트래픽을 고려한 인덱스 설계일반적인 시스템에서는 조회 기능의 실행 비율이 높음인기 있는 게시글과 인기 없는 게시글이 구분될 수 있음➡️ 인덱스 사용 (카테고리, 작성자 id 등) Full-Text Search더보기데이터베이스나 검색 시스템에서 문자열 전체를 대상으로 검색하는 기능➡️ 효율적으로 검색할 수 있음✅ 단어 단위 인덱스✅ 불용어 처리✅ 어근화 / 형태소 분석✅ 랭킹/점수 부영 MySQLCREATE FULLTEXT INDEX idx_title_content ON articles(title, content);SELECT * FROM..

최범균 님의 "주니어 백엔드 개발자가 반드시 알아야 할 실무 지식" 책을 정리한 포스팅 입니다. 1. 처리량과 응답 시간응답 시간 (Response Time)사용자의 요청을 처리하는데 걸리는 시간 구성API 요청: 서버 연결, 서버에 데이터 전송서버 실행API 응답: FFTB(첫번쨰 바이트 도착), FFLB(마지막 바이트 도착) 처리량 (Throughput)단위 시간 당 시스템이 처리하는 작업량TPS: 초당 트랜잭션 수RPS: 초당 요청 수 2. 서버 성능 개선 기초병목 지점시스템이 수용할 수 있는 최대 TPS를 초과하는 트래픽이 유입될 경우 발생➡️ 오래 걸리는 작업 식별하기 (주로 DB나 외부 API 연동에서 발생함) DB 커넥션 풀커넥션 풀은 커넥션을 미리 생성해서 보관함⚠️ 커넥션 생성 및 종료는..

0. Environment RepositoryConfig Server가 어디서 설정 데이터를 가져올지 정의하는 전략Config Server는 설정을 읽어서 Environment 객체로 변환해 클라이언트에게 내려줌✅ client는 config server에 "http://{config-server}/{application}/{profile}/{label}" 형식으로 요청함✅ config server는 "서비스 이름 + 환경 + 레이블" 조합으로 설정파일을 식별함 주요 변수변수매핑 대상의미예시{application}클라이언트 spring.application.name어떤 서비스인지 식별하는 이름user-serviceorder-service{profile}클라이언트 spring.profiles.active어떤..

0. Introduction분산 시스템에서 외부 설정을 중앙에서 관리하기 위한 프레임워크✅ 애플리케이션 설정을 중앙 저장소에 두기 (git)➡️ Config Server와 Client가 이를 동적으로 가져와 사용 구성 요소구성 요소역할비고Git Backend설정 파일들이 저장된 중앙 레포지토리환경/서비스별 파일 관리, 버전 관리 가능Config Server중앙에서 설정 파일을 읽어와 제공하는 서버Git에서 설정을 가져와 REST API로 노출Config Client애플리케이션 실행 시 Config Server로부터 설정값을 받아 사용가져온 값이 Spring Environment / PropertySource에 주입됨 예) Git Backend더보기application.ymluser-service-dev...

1. Dead Letter Queue란?메시지 브로커가 전달에 실패한 메시지를 별도로 보관하는 백업 저장소✅ 소비자가 처리 중 메시지 처리가 실패될 수 있음✅ 견고하고 장애에 강한 데이터 파이프라인을 구축할 때 중요한 요소 이점목적설명Fault Tolerance메시지 처리 중 오류가 발생해도 전체 시스템에 영향을 주지 않도록 함Data Integrity처리할 수 없는 메시지를 안전하게 저장해 데이터 손실을 방지Recovery원인 해결 후 DLQ에 쌓인 메시지를 선택적으로 재처리해 데이터/서비스 복구 가능Monitoring & Troubleshooting실패한 메시지를 추적·분석하여 오류 원인 파악 및 디버깅 용이Scalability실패한 메시지를 DLQ로 분리하여 메인 처리 흐름의 적체(Backlog) ..

다양한 데이터베이스의 CDC를 위한 오픈소스 커넥터 모음 (Kafka Connect 위에서 동작함)각 데이터베이스의 로그를 기반으로 한 변경 스트림을 읽음 장점항목설명예완전성모든 데이터 변경을 누락 없이 캡처 낮은 지연폴링 대비 매우 낮은 레이턴시MySQL·Postgres 사례: ms 수준스키마 변경 불필요Last Updated 같은 컬럼 추가 불필요 삭제 캡처DELETE 이벤트도 포함 메타데이터 제공DB/설정에 따라 포함 가능이전 레코드 상태, 트랜잭션 ID, 유발 쿼리 등 1. ArchitectureKafka Connect 위에서 동작하는 소스 커넥터로 배포됨구분내용가능 여부/비고토픽 네이밍기본은 서버/DB/테이블 기반 토픽명 생성✅ SMT로 패턴 치환/이름 변경 가능토픽 라우팅 1:1한 테이블 → ..

1. Kafka ConnectorApache Kafka의 하위 구성 요소Kafka를 데이터 저장소와 연결해줌 2. Install the MongoDB Kafka ConnectorKafka plugins 디렉토리에 복사커넥터 플러그인(JAR 파일들)을 plugin.path로 지정된 디렉토리에서 찾음예: plugin.path=/usr/local/share/kafka/plugins 라고 설정하면,/usr/local/share/kafka/plugins 폴더 안에 MongoDB Kafka Connector JAR을 넣어야 함.이렇게 하면 Kafka Connect 실행 시 해당 디렉토리에서 커넥터 클래스를 자동으로 로딩합니다. 분산 모드(Distributed Worker)Kafka Connect는 Standalon..