IT LAB

1. MongoDB Connection PropertiesKafka Source Connector - MongoDB cluster와의 연결 및 통신 속성이름설명주의사항connection.uriMongoDB 인스턴스 또는 클러스터에 연결할 URI.인증 정보를 노출하지 않으려면 ConfigProvider 사용 권장.database변경 감지를 수행할 데이터베이스 이름.미설정 시 모든 DB 감시collection변경 감지를 수행할 컬렉션 이름DB 설정이 비어 있으면 이 설정은 무시됨.server.api.version사용할 Stable API 버전MongoDB Stable API 지원 버전 확인 필요.server.api.deprecationErrorstrue 시, 설정된 Stable API 버전에서 depreca..

1. Change Streams애플리케이션이 실시간 데이터 변경 내용을 바로 받아볼 수 있게 하는 기능구분내용AggregationAggregation Pipeline을 사용해 Change Stream 이벤트를 원하는 형태로 가공 가능Change Event Structure - 메타데이터(_id, operationType, ns, documentKey, updateDescription)- 변경 내용* publish.full.document.only 옵션: 변경 내용만 Kafka Connector로 전송 (메타데이터 제외)Performance인덱스 사용 불가 (oplog가 특수한 capped 컬렉션이라 인덱스 불가)→ 고속 스토리지 사용, 충분한 캐시 메모리(WiredTiger cache) 확보 Source..

0. Change Streams애플리케이션이 실시간 데이터 변경 내용을 바로 받아볼 수 있게 하는 기능✅ Aggregation Framework 기반 (변경 이벤트를 Aggregation 파이프라인으로 처리)✅ 단일 컬렉션, 데이터베이스, 전체 클러스터 대상 1. AvailabilityReplica Set Protocol Version 1 (pv1) 사용✅ Replica Set 및 Sharded Cluster + WiredTiger 스토리지 엔진 환경✅ majority read concern 여부 관계없이 사용 가능✅ 암호화 가능 2. Watch클라이언트에서 change stream을 구독하기✅ 구독자 내부에서 대상 컬렉션에 대한 change stream이 생성됨 대상대상설명제외되는 대상관련 메서드 예시..

1. Oplog데이터베이스의 모든 변경 작업을 순차적으로 기록하는 특수한 컬렉션✅ 복제를 위한 변경 이력 로그✅ Secondary 노드는 자신의 local.oplog.rs 컬렉션에 Primary 노드로부터 Oplog를 복제함 크기구분설명 크기기본 192MBStorage Engine에 따라 어디에 계산되는 지 결정됨- WiredTiger: 남은 디스크 공간에서 192MB- In-Memory: 물리 메모리에서 192MB형태Capped Collection고정 크기 컬렉션특징설정된 크기 제한을 초과하여 커질 수 있음majority commit point 삭제 방지 목적 Minimum Oplog Retention Periodoplog의 최소 보존 시간oplog 항목을 지울 수 있는 조건을 만족하기 위해 설정 설정..

1. How does replication work in MongoDB?복제데이터를 여러 복제본으로 만들어서 물리적으로 분리된 서버들에 보관하는 것 Replica Set하나의 Primary 노드 (쓰기 연산)여러 Secondary 노드 (읽기 연산) ElectionPrimary 노드가 다운되면, 선거를 통해 Secondary 노드 중 하나가 새로운 Primary 노드로 승격됨장애 났던 Primary 노드가 복구 되면, Secondary 노드로 복귀 및 동기화를 수행함 2. How do I enable replication in MongoDB사전 준비서버 3대 이상 필요✅ 각 서버는 기본 포트(27017)로 통신 가능해야 함✅ private ip로 서로 통신 가능해야 함 (외부 접근 차단) 복제 시작mon..