[Elastic] 2-4. LLM: Context Engineering

1. Context란?

• LLM이 응답이나 다음 행동을 생성할 때 참고할 수 있는 모든 정보
• ➡️ 해당 정보들을 바탕으로 다음 행동이나 답변을 생성함

 

종류

구성요소	정의	주요 내용 및 예시
시스템 프롬프트	에이전트의 기본 역할, 행동 규칙, 권한, 제약 조건을 정의하는 지침	역할, 답변 방식, 사용 가능한 도구, 금지 행동, 보안 규칙, 출력 형식
사용자 프롬프트	현재 작업을 발생시키는 사용자의 직접적인 입력	질문, 명령, 요청 조건, 원하는 결과물, 추가 제약사항
단기 메모리	현재 세션이나 작업에 필요한 정보를 일시적으로 유지하는 공간	최근 대화, 현재 목표, 실행 계획, 완료 단계, 오류 내역
장기 메모리	여러 세션에 걸쳐 반복적으로 활용해야 하는 정보를 저장하는 공간	사용자 선호도, 장기 프로젝트 정보, 업무 규칙, 과거 결정
외부 컨텍스트	현재 작업을 수행하기 위해 외부 시스템에서 가져온 정보	검색 문서, RAG 결과, 데이터베이스 조회 결과, API 응답, 도구 실행 결과
작업 상태	다단계 작업의 현재 진행 상황을 나타내는 정보	현재 단계, 완료 단계, 남은 작업, 오류, 재시도 횟수, 중간 결과

 

컨텍스트 충돌 처리

• 컨텍스트에는 서로 다른 출처의 정보가 함께 포함됨 (시스템 지침, 사용자 요청, 조직 규칙, 검색 문서 등)
• ➡️ 컨텍스트 내 정보가 서로 충돌할 경우, 우선순위 규칙에 따라 판단하고 답변해야 함

 

표) 기본 우선순위

우선순위	항목	설명	예시
1	안전 및 법적 정책	법률, 개인정보 보호, 보안 등 반드시 지켜야 하는 규칙	개인정보 보호, 불법 행위 방지, 안전 정책
2	시스템 지침	AI의 역할, 행동 원칙, 금지 사항 등을 정의하는 기본 규칙	“공식 문서만 근거로 답변”, “추측하지 말 것”
3	조직의 업무 규칙	회사나 서비스의 정책 및 업무 프로세스	결재 절차, 운영 규정, 승인 정책
4	사용자 권한	사용자가 접근하거나 수행할 수 있는 범위	관리자 권한, 일반 사용자 권한, 조회 권한
5	현재 사용자 요청	사용자가 현재 수행해 달라고 요청한 작업	보고서 생성, 코드 분석, 일정 조회
6	검색된 외부 정보	RAG, 웹 검색, 파일, API 등에서 가져온 참고 정보	사내 문서, 웹 검색 결과, 데이터베이스 조회 결과

• ➡️ 행동 지침이나 명령이 충돌할 때 사용

 

2. Context Window

• LLM이 한 번의 처리 과정에서 입력으로 참고하고 출력 생성에 사용할 수 있는 최대 토큰 범위
• ➡️ 컨텍스트 윈도우로 어떤 정보를 어떤 구조로 제공했는지에 따라 결과 품질에 직접적인 영향을 줌

 

한계

구분	설명
Context Rot	컨텍스트의 길이와 정보량이 증가하면서 모델이 중요한 정보에 집중하거나 특정 내용을 정확하게 활용하는 능력이 떨어지는 현상
중간 정보 손실	긴 컨텍스트에서 시작 부분과 끝부분의 정보는 비교적 잘 활용하지만, 중간에 위치한 정보는 놓칠 가능성이 커지는 현상
노이즈 증가	컨텍스트가 커질수록 현재 작업과 직접 관련 없는 정보, 중복 정보, 오래된 정보가 포함될 가능성이 증가함
비용과 지연 시간 증가	입력 토큰이 많아질수록 처리 비용, 연산량, 메모리 사용량 및 응답 시간이 증가할 수 있음

 

관리 전략

• 독립된 단계이면서, 검색부터 결과 업데이트까지 전체 파이프라인에서 지속적으로 수행되는 활동임

전략	핵심 의미	주요 방법	기대 효과
선택	필요한 정보만 가져오기	검색, 필터링, 우선순위 지정	관련성 향상, 노이즈 감소
쓰기	외부 메모리에 기록하기	DB, 파일, 벡터 DB, 상태 저장소 활용	장기 작업의 상태와 기억 유지
압축	중요한 정보만 남기기	요약, 트리밍, 중복 제거, 축약, 구조화	토큰 절약, 핵심 정보 보존
격리	작업별 컨텍스트 분리하기	하위 에이전트, 별도 작업 공간 활용	컨텍스트 혼잡 및 오류 확산 방지

 

3. Context Engineering이란?

• 작업을 정확하게 수행할 수 있도록 LLM에 필요한 정보를 선별하고, 적절한 형태와 순서로 구성하여 제공하는 과정
• ✅ LLM이 참고할 전체 환경 정보를 설계하고 관리함
• ✅ 많은 정보를 넣는 것보다 필요한 정보를 선별하는 것이 중요함
• ❌ 관련 정보를 무조건 많이 제공하는것이 좋은것이 아님
• ex) 신입 사원에게 앞으로 맡을 업무에 대한 정보만 골라서 제공하기

 

필요성

구분	설명	발생 원인	영향
기억과 상태 부족	LLM 모델 자체는 기본적으로 호출간 상태를 기억하지 못함	현재 목표, 완료 단계, 남은 작업, 오류, 이전 결정 등을 별도로 관리하지 않음	같은 작업 반복, 이전 결정 망각, 작업 순서 혼란, 목표 이탈
컨텍스트 윈도우의 한계	LLM이 한 번에 처리할 수 있는 토큰 수가 제한됨	대화, 문서, 실행 결과, 로그 등을 계속 컨텍스트에 누적함	관련 없는 정보 증가, 중요 정보가 묻힘, 토큰 비용 증가, 응답 속도 저하, 오래된 정보와 최신 정보 충돌

 

파이프라인

• 필요한 정보를 수집하고, 가공하고, 관리한 뒤 LLM에 전달하고 결과를 다시 상태와 메모리에 반영하는 순환 과정

단계	주요 작업	목적
1. 컨텍스트 수집 및 검색	사용자 요청 분석, 필요한 정보 선택, RAG 검색, DB 조회, API 호출, 메모리 조회	현재 작업에 필요한 정보를 수집
2. 컨텍스트 처리	신뢰성과 권한 검증, 필터링, 시맨틱 청킹, 중복 제거, 요약, 압축, 구조화, 순위 재지정	관련성이 높은 정보만 남기고 LLM이 이해하기 쉬운 형태로 가공
3. 컨텍스트 관리	작업 상태 관리, 단기·장기 메모리 저장 및 조회, 목표·완료 단계·오류·사용자 결정 관리	여러 단계와 세션에 걸쳐 필요한 정보를 지속적으로 유지
4. 컨텍스트 조립	시스템 지침, 사용자 요청, 작업 상태, 검색 결과, 도구 정보 등을 중요도와 우선순위에 따라 배치	최종적으로 LLM에 전달할 입력(Context) 구성
5. LLM 실행	컨텍스트를 기반으로 추론 수행, 답변 생성, 계획 수립, 도구 선택 및 실행	사용자 요청에 대한 결과 생성
6. 결과 검증	사실 여부 확인, 규칙 및 권한 검증, 출력 형식 확인, 오류 및 누락 확인	결과의 정확성과 신뢰성 확보
7. 상태 및 메모리 업데이트	완료한 작업, 사용자 결정, 오류, 작업 상태 등을 메모리에 저장하거나 갱신	이후 작업에서도 연속성과 일관성을 유지

 

정보 검색 및 처리 기술

구성요소	정의	핵심 역할 및 예시
RAG	외부 문서나 지식 베이스에서 관련 정보를 검색하여 LLM에 제공하는 기술	최신 정보나 사내 문서를 활용하고, 답변의 정확성과 근거를 높임
시맨틱 청킹	문서를 단순한 글자 수가 아니라 의미 단위로 나누는 방식	제목, 문단, 논리적 섹션, 표, 페이지, 주제 전환 등을 기준으로 분할
하이브리드 검색	키워드 검색과 벡터 검색을 함께 사용하는 방식	정확한 단어 일치와 의미적 유사성을 함께 고려하여 검색 정확도를 높임
순위 재지정	1차 검색 결과를 더 정밀한 기준으로 다시 평가하고 정렬하는 과정	초기 검색으로 많은 후보를 빠르게 찾은 뒤, 질문 관련성, 최신성, 공식 문서 여부 등을 기준으로 순위를 다시 계산

 

에이전트 실행/상태/출력 관리 기술

구성요소	정의	핵심 역할 및 예시
동적 도구 탐색	전체 도구 목록이 아니라 현재 작업에 필요한 도구만 찾아 LLM에 제공하는 방식	불필요한 도구 정보를 줄이고, 도구 선택의 정확성과 컨텍스트 효율을 높임
작업 상태 관리	여러 단계의 작업에서 현재 목표, 진행 상황, 오류와 중간 결과를 저장하고 갱신하는 방식	현재 목표, 실행 계획, 완료한 단계, 남은 단계, 발생한 오류, 재시도 횟수 등을 기록
구조화된 출력	결과를 미리 정해진 일정한 데이터 형식으로 반환하는 방식	JSON, 표, XML, 객체 스키마 등으로 출력하여 후속 시스템이 결과를 안정적으로 처리하도록 함

 

 

 

출처

• Elastic - 컨텍스트 엔지니어링이란 무엇인가요?