EntryPCIe 워크스테이션
NVIDIA GeForce RTX 3090
Ampere (GA102) · 2020년 9월
24 GB VRAM으로 LLM 추론을 시작하는 가장 현명한 선택
하드웨어 구성
PCIe GPU 카드
2.5-slot PCIe, 336 mm
AI 워크스테이션 (PC)
타워형 워크스테이션 — 독립 로컬 AI 환경
VRAM24 GBGDDR6X
FP32 성능35.6 TFLOPSSingle Precision
FP16 / FP871 TFLOPSHalf Precision
메모리 대역폭936 GB/sMemory BW
전력 소비350 WTDP
최대 모델 크기최대 7B 파라미터 (INT4 풀 로딩)LLM FIT
상세 사양
| 정식 명칭 | NVIDIA GeForce RTX 3090 |
|---|---|
| 아키텍처 | Ampere (GA102) |
| 출시일 | 2020년 9월 |
| CUDA 코어 | 10,496 |
| VRAM 용량 | 24 GB |
| VRAM 타입 | GDDR6X |
| FP32 성능 | 35.6 TFLOPS |
| FP16 성능 | 71 TFLOPS |
| INT8 성능 | 142 TOPS |
| 메모리 대역폭 | 936 GB/s |
| 인터페이스 | PCIe 4.0 ×16 |
| NVLink | 112 GB/s (NVLink 3.0 × 2) |
| TDP (전력) | 350 W |
| 냉각 방식 | 3-Fan AIB / Founders Edition |
| 폼 팩터 | 2.5-slot PCIe, 336 mm |
RTX 3090은 24 GB GDDR6X VRAM과 10,496개 CUDA 코어를 탑재한 Ampere 기반 플래그십 소비자 GPU입니다. 출시 이후에도 AI 추론·연구 개발에서 독보적인 가성비를 자랑하며, 소규모 스타트업~중소기업의 로컬 AI 워크스테이션으로 적합합니다.
가능한 AI 작업
LLM 추론
- oLlama 로컬 서버
- LM Studio 환경
- 문서 요약·Q&A
- 로컬 챗봇 API
이미지 생성
- Stable Diffusion 1.5 / XL
- ControlNet 활용
- LoRA 파인튜닝
- Img2Img 변환
모델 파인튜닝
- LoRA / QLoRA 파인튜닝
- 7B 이하 모델 full 파인튜닝
- RAG 데이터 임베딩
- Custom Dataset 학습
추론 서비스
- 소규모 챗봇 API 서버
- 내부 지식 검색 Q&A
- 번역·요약 자동화
- AI 코드 보조 서비스
추천 AI 모델 (LLM FIT)
이 GPU에서 구동 가능한 주요 모델과 VRAM 사용량입니다.
Llama 3.2 8B8B
VRAM 사용4.9 GB (Q4)
INT4 완전 탑재, 빠른 추론
Mistral 7B7B
VRAM 사용4.1 GB (Q4)
한국어 파인튜닝 모델 지원
Qwen2.5 7B7B
VRAM 사용4.4 GB (Q4)
다국어 추론 최적
CodeLlama 13B13B
VRAM 사용7.3 GB (Q4)
코드 생성·리뷰
Phi-3 Medium 14B14B
VRAM 사용7.9 GB (Q4)
경량 고성능 추론
Stable Diffusion XL이미지
VRAM 사용8 GB
고해상도 이미지 생성
추천 활용 사례
사내 챗봇 구축
중소기업 내부 업무 Q&A·문서 검색 챗봇을 단일 GPU로 운용
문서 자동화
계약서·보고서 요약, 핵심 항목 추출 파이프라인 구축
마케팅 이미지 생성
Stable Diffusion 기반 광고·홍보 이미지 자동 생성
AI 연구·프로토타이핑
스타트업·연구팀 로컬 AI 개발 및 실험 환경 구성
