회사소개GPU 인프라AI 플랫폼AI 교육견적문의
AI 플랫폼›입문 — CPU 전용 / 저사양 PC
입문 · Beginner

설치 5분, 오늘 바로 AI를 내 PC에서

고가의 GPU 없이도 경량 LLM을 CPU에서 구동하고, 사내 FAQ 챗봇·문서 요약 등 실무 AI 워크플로를 빠르게 체험·구축합니다.

하드웨어CPU 전용 / 저사양 PC
스펙RAM 8~16 GB · CPU 전용 (GPU 없음)
VRAMGPU 불필요
CPU Workstation

구축 로드맵

AI 플랫폼 구축 단계

입문 환경에서 AI 플랫폼을 구축하는 전 과정을 단계별로 안내합니다.

Phase 1

환경 설정

예상 소요: 30분

Ollama 설치

Windows / macOS / Linux 원클릭 설치, PATH 설정 자동화

llama.cpp 빌드

CPU AVX2/VNNI 최적화 빌드 or 사전 빌드 바이너리 사용

모델 다운로드

Phi-3 Mini Q4_K_M (2.2 GB), TinyLlama 1.1B Q4 (0.6 GB)

Phase 2

모델 구동 확인

예상 소요: 20분

CLI 추론 테스트

ollama run phi3:mini "안녕하세요, 자기소개 해줘"

응답 속도 측정

CPU에서 tokens/sec 측정, 모델 사이즈별 비교

GGUF 양자화 선택

Q2_K / Q4_K_M / Q8_0 품질·속도 트레이드오프 이해

Phase 3

REST API 서버

예상 소요: 30분

Ollama API 활성화

OLLAMA_HOST=0.0.0.0:11434 로컬 REST 엔드포인트 오픈

OpenAI 호환 래퍼

/v1/chat/completions 형식으로 기존 OpenAI SDK 재사용

Postman 연동 테스트

curl / Postman으로 프롬프트 요청·응답 확인

Phase 4

간단한 챗봇 구축

예상 소요: 2시간

시스템 프롬프트 설계

역할·형식·안전 가이드라인을 담은 system message 작성

LangChain 연동

ChatOllama + ConversationBufferMemory로 멀티턴 대화 구성

문서 Q&A (Mini RAG)

PyPDF2 + ChromaDB(인메모리)로 PDF 문서 기반 Q&A 구현

Phase 5

배포 & 운영

예상 소요: 1시간

로컬 웹 UI

Open WebUI Docker 컨테이너로 직원용 채팅 인터페이스 제공

기본 모니터링

CPU 사용률·메모리 로그 수집, 응답 지연 알림 설정

사용 매뉴얼 작성

비개발자용 사용 가이드 문서화 및 팀 내 배포

LLM FIT

이 환경에서 구동 가능한 모델

★ 추천

Phi-3 Mini 3.8B Q4

RAM 3 GB일반 Q&A · 요약

TinyLlama 1.1B Q4

RAM 0.6 GB분류 · 초고속 응답

Gemma 2B Q4_K_M

RAM 1.5 GB한국어 Q&A

Mistral 7B Q2_K

RAM 3.5 GB품질 우선 작업

가능한 AI 작업

이 스펙으로 할 수 있는 AI 업무

💬

사내 FAQ 챗봇

자주 묻는 질문을 학습시켜 신규 입사자·고객 응대 자동화

📄

문서 요약

보고서·계약서·회의록을 핵심 3줄로 자동 요약

🏷️

텍스트 분류

고객 문의·VOC 자동 분류 및 라우팅

🔍

키워드 추출

뉴스·문서에서 핵심 키워드·인물·기관명 추출

Architecture

입문 플랫폼 아키텍처

인프라
Intel/AMD CPU
RAM 8~16 GB
SATA/NVMe SSD
Windows / macOS
↓
LLM 서빙
Ollama CPU 모드
llama.cpp AVX2
GGUF Q4_K_M
Python 바인딩
↓
AI 에이전트
LangChain / LangGraph
Tool-use 엔진
Vector DB (RAG)
메모리 스토어
↓
비즈니스 앱
REST API 게이트웨이
웹 / 모바일 UI
Slack · Teams 봇
모니터링 대시보드

Tech Stack

활용 도구 & 기술 스택

Ollamallama.cppLangChainChromaDBOpen WebUIPython 3.11+FastAPIDocker

주요 활용 사례

소규모 기업·스타트업의 내부 지식 챗봇, 간단한 업무 자동화 PoC, 비용 제로 AI 체험 환경

입문 환경에 최적화된 AI 플랫폼 구축을 지금 시작하세요.