구축 로드맵
AI 플랫폼 구축 단계
중급 환경에서 AI 플랫폼을 구축하는 전 과정을 단계별로 안내합니다.
CUDA 12.x + cuDNN 설치
NVIDIA 드라이버 545+ / CUDA 12.3 / cuDNN 9.x 환경 구성
Ollama GPU 모드 활성화
GPU 가속 자동 감지, ollama ps로 GPU 사용 확인
ExLlamaV2 설치
pip install exllamav2 + Flash Attention 2 빌드
GGUF Q4_K_M 로드
Llama 3.2 8B / Mistral 7B 4비트 양자화 모델 구동
AWQ 4-bit 적용
AutoAWQ로 VRAM 절감, 품질 손실 최소화 비교 평가
배치 크기 튜닝
context window 8K~32K, KV 캐시 최적화, 토큰/초 측정
문서 전처리
PDF·DOCX·웹페이지 → chunk 500 token, overlap 50 전략
임베딩 + 벡터DB
bge-m3 임베딩 + Qdrant 로컬 인스턴스 구성
하이브리드 검색
BM25 + Dense Vector 앙상블, Reranker(cross-encoder) 적용
LangChain RAG Chain
RetrievalQA → LCEL로 마이그레이션, 스트리밍 응답 구현
도구 정의
Python 함수 → @tool 데코레이터로 검색·계산·DB 조회 등록
ReAct 에이전트
Thought → Action → Observation 루프, 최대 10회 반복 설정
멀티툴 테스트
날씨 조회 + 문서 검색 + 계산기 복합 쿼리 검증
FastAPI 게이트웨이
OpenAI 호환 /v1/chat/completions 엔드포인트 구현
Nginx 리버스 프록시
SSL 인증서, Rate Limiting, CORS 설정
Prometheus + Grafana
토큰 처리량·지연시간·GPU 사용률 실시간 대시보드
LLM FIT
이 환경에서 구동 가능한 모델
Llama 3.2 8B Instruct
Mistral 7B Instruct v0.3
Gemma 2 9B IT
Qwen2.5 7B Instruct
CodeLlama 7B
가능한 AI 작업
이 스펙으로 할 수 있는 AI 업무
RAG 기반 문서 검색
사내 매뉴얼·계약서·규정을 벡터DB로 구성, 자연어 검색 제공
코드 생성 & 리뷰
GitHub 연동, PR 자동 코드 리뷰 및 보안 취약점 탐지
업무 자동화 에이전트
이메일 분류·일정 관리·보고서 초안 생성 자동화
데이터 분석 어시스턴트
CSV·Excel 파일을 읽어 자연어 질의로 인사이트 도출
Architecture
중급 플랫폼 아키텍처
Tech Stack
