구축 로드맵
AI 플랫폼 구축 단계
입문 환경에서 AI 플랫폼을 구축하는 전 과정을 단계별로 안내합니다.
Ollama 설치
Windows / macOS / Linux 원클릭 설치, PATH 설정 자동화
llama.cpp 빌드
CPU AVX2/VNNI 최적화 빌드 or 사전 빌드 바이너리 사용
모델 다운로드
Phi-3 Mini Q4_K_M (2.2 GB), TinyLlama 1.1B Q4 (0.6 GB)
CLI 추론 테스트
ollama run phi3:mini "안녕하세요, 자기소개 해줘"
응답 속도 측정
CPU에서 tokens/sec 측정, 모델 사이즈별 비교
GGUF 양자화 선택
Q2_K / Q4_K_M / Q8_0 품질·속도 트레이드오프 이해
Ollama API 활성화
OLLAMA_HOST=0.0.0.0:11434 로컬 REST 엔드포인트 오픈
OpenAI 호환 래퍼
/v1/chat/completions 형식으로 기존 OpenAI SDK 재사용
Postman 연동 테스트
curl / Postman으로 프롬프트 요청·응답 확인
시스템 프롬프트 설계
역할·형식·안전 가이드라인을 담은 system message 작성
LangChain 연동
ChatOllama + ConversationBufferMemory로 멀티턴 대화 구성
문서 Q&A (Mini RAG)
PyPDF2 + ChromaDB(인메모리)로 PDF 문서 기반 Q&A 구현
로컬 웹 UI
Open WebUI Docker 컨테이너로 직원용 채팅 인터페이스 제공
기본 모니터링
CPU 사용률·메모리 로그 수집, 응답 지연 알림 설정
사용 매뉴얼 작성
비개발자용 사용 가이드 문서화 및 팀 내 배포
LLM FIT
이 환경에서 구동 가능한 모델
Phi-3 Mini 3.8B Q4
TinyLlama 1.1B Q4
Gemma 2B Q4_K_M
Mistral 7B Q2_K
가능한 AI 작업
이 스펙으로 할 수 있는 AI 업무
사내 FAQ 챗봇
자주 묻는 질문을 학습시켜 신규 입사자·고객 응대 자동화
문서 요약
보고서·계약서·회의록을 핵심 3줄로 자동 요약
텍스트 분류
고객 문의·VOC 자동 분류 및 라우팅
키워드 추출
뉴스·문서에서 핵심 키워드·인물·기관명 추출
Architecture
입문 플랫폼 아키텍처
Tech Stack
