[IBM] AI 스택

1. AI 스택이란?

• 실제 업무 문제를 해결하려면 5개 계층이 필요함
• ✅ 각 계층에서 어떤 기술을 선택하느냐에 따라 품질, 처리 속도, 운영 비용, 확장성, 보안성, 편의성 등이 달라짐

 

2. Infrastructure Layer

• AI 모델이 실행될 하드웨어와 배포 환경
• LLM은 보통 AI 전용 하드웨어가 필요함 (ex. GPU)
• 모델 크기와 요청량에 따라 필요한 인프라가 달라짐

 

배포 방식

방식	설명	장점	단점
On-Premise	회사 내부에 GPU 서버를 직접 구축	데이터 통제, 높은 보안성	높은 초기 비용, 운영 복잡성
Cloud	클라우드에서 GPU 자원을 임대	빠른 구축, 탄력적 확장	지속적인 사용 비용, 외부 의존
Local	개인 PC나 노트북에서 모델 실행	개인정보 보호, 인터넷 없이 사용 가능	실행 가능한 모델 크기와 성능 제한

 

3. Model Layer

• AI 시스템의 핵심 추론과 생성 능력을 담당함
• 목적에 맞는 모델을 선택해야 함 (ex. 추론, 생성, 코딩 등)

 

오픈 여부

구분	오픈 모델	독점 모델
접근 방식	모델 가중치나 코드 공개	API 또는 전용 서비스로 제공
장점	커스터마이징, 자체 배포 가능	높은 완성도, 편리한 사용
단점	직접 배포·운영 필요	비용, 벤더 의존성
예시 활용	사내 전용 모델, 로컬 AI	빠른 서비스 구축, 고성능 AI

 

크기

구분	LLM	SLM
정식 명칭	Large Language Model	Small Language Model
특징	높은 범용성과 추론 능력	가볍고 빠르며 특정 작업에 효율적
하드웨어 요구	높음	상대적으로 낮음
적합한 작업	복잡한 추론, 범용 작업	분류, 요약, 특정 도메인 업무

 

4. Data Layer

• 기본 모델이 알지 못하는 최신 정보나 조직 내부 지식을 제공하는 계층
• ✅ 대부분의 모델에서는 학습 데이터 기준 시점인 지식 마감일이 있음
• ➡️ 최신 데이터를 다루려면 외부 데이터를 추가로 제공해야 함

 

구성 요소

구성요소	역할	예시
Data Sources	원본 데이터	외부 문서, 사내 DB, 논문, API 등
Data Pipeline	데이터를 수집·정제·변환하는 처리 과정
Embedding Model	텍스트나 이미지를 벡터로 변환
Vector Database	벡터를 저장하고 의미 기반 검색 수행
Retrieval System	질문과 관련된 자료 검색
RAG	검색한 자료를 LLM 입력에 추가해 답변 생성

 

5. Orchestration Layer

• 복잡한 사용자 요청을 여러 단계로 나누고, 필요한 모델과 도구를 적절한 순서로 실행하는 계층
• ⚠️ 복잡한 업무는 하나의 긴 프롬프트만으로 안정적으로 처리하기 어려움

 

동작 방식

1. Planning: 작업 수행 순서를 계획함 (모델의 추론 능력을 사용)
2. Execution: 실제 외부 도구나 함수를 호출함
3. Review: 생성된 결과를 모델이 다시 검토
4. Feedback Loop: 검토 결과에 문제가 있으면 이전 단계로 돌아가 다시 작업함

 

6. Application Layer

• 사용자가 실제로 AI 시스템과 상호작용하는 계층

 

구성 요소

구성 요소	의미	주요 기능	예시
Interface	사용자가 AI에 요청을 보내고 결과를 확인하는 접점	텍스트·음성·이미지 입력, 결과 화면 제공, 파일 업로드, 표·그래프 출력	사용자가 논문 PDF를 업로드하고 질문하면, AI가 화면에 요약 결과를 표시
수정과 후속 작업	AI가 만든 결과를 사용자가 검토하고 개선하거나 승인하는 과정	답변 수정, 재생성, 후속 질문, 승인·거절, 버전 관리	AI가 작성한 보고서 초안을 사용자가 수정 요청한 뒤 최종 승인
Citation	AI가 답변을 생성할 때 참고한 근거와 출처를 제공하는 기능	문서명·페이지·링크 표시, 주장과 근거 연결, 출처 원문 확인	“최근 연구에서는 치료 효과가 증가했다”는 문장 옆에 논문 제목과 페이지 표시
Integration	AI의 입력과 결과를 사용자가 실제로 사용하는 업무 도구와 연결하는 기능	이메일·Slack·Notion·GitHub·Jira 연동, 결과 저장 및 자동 전달	AI가 회의록을 작성한 뒤 Notion에 저장하고 Slack 채널에 요약 전송

 

 

출처

• IBM Technology(youtube) - AI 스택이란? LLM, RAG, 그리고 AI 하드웨어