Enterprise데이터센터 서버
NVIDIA H100 PCIe 80GB
Hopper (GH100) · 2022년 9월
PCIe 서버 호환 H100 — 기존 인프라에서 즉시 활용 가능한 최상급 AI 가속
하드웨어 구성
GPU 가속기 모듈
듀얼슬롯 패시브 풀-하이트, PCIe 5.0
AI 추론 서버 (GPU 서버)
서버 랙 마운트 구성 — 냉각·전원 최적 환경
VRAM80 GBHBM2e ECC
FP32 성능51 TFLOPSSingle Precision
FP16 / FP81,513 TFLOPS (FP8, Sparsity)FP8: 3,026 TFLOPS (FP8 Sparsity)
메모리 대역폭2,000 GB/sMemory BW
전력 소비350 WTDP
최대 모델 크기최대 70B (INT4 단일) / 대규모 배치 처리LLM FIT
상세 사양
| 정식 명칭 | NVIDIA H100 PCIe 80GB |
|---|---|
| 아키텍처 | Hopper (GH100) |
| 출시일 | 2022년 9월 |
| CUDA 코어 | 14,592 (+ Transformer Engine) |
| VRAM 용량 | 80 GB |
| VRAM 타입 | HBM2e ECC |
| FP32 성능 | 51 TFLOPS |
| FP16 성능 | 1,513 TFLOPS (FP8, Sparsity) |
| FP8 성능 | 3,026 TFLOPS (FP8 Sparsity) |
| INT8 성능 | 3,026 TOPS |
| 메모리 대역폭 | 2,000 GB/s |
| 인터페이스 | PCIe 5.0 ×16 |
| NVLink | 비지원 (PCIe 버전) |
| MIG 지원 | 최대 7개 인스턴스 (3세대 MIG) |
| TDP (전력) | 350 W |
| 냉각 방식 | 패시브 냉각 (PCIe 서버 공냉) |
| 폼 팩터 | 듀얼슬롯 패시브 풀-하이트, PCIe 5.0 |
H100 PCIe는 SXM5 대비 NVLink가 없지만 기존 PCIe 5.0 서버에 즉시 장착 가능한 Hopper GPU입니다. FP8 Transformer Engine, 80 GB HBM2e, MIG 분할로 A100 대비 최대 3배 추론 성능을 제공하며 전력 효율(350W)도 뛰어납니다.
가능한 AI 작업
대형 모델 추론 서비스
- 70B 모델 상용 서비스
- FP8 초고속 토큰 생성
- 배치 고처리량 API
- 지연 시간 최소화 SLA
MIG 멀티 서비스
- 7분할 독립 AI 서비스
- 고객사별 전용 인스턴스
- SLA 보장 격리
- 리소스 유연 재배분
PCIe 서버 업그레이드
- 기존 서버 즉시 장착
- PCIe 5.0 최대 대역폭
- 전력 효율 350 W
- 풍냉 서버 환경 적합
엔터프라이즈 AI 서비스
- 24/7 상업 AI API
- 멀티모달 통합 서비스
- 고객사 SLA 보장
- TensorRT-LLM 배포
추천 AI 모델 (LLM FIT)
이 GPU에서 구동 가능한 주요 모델과 VRAM 사용량입니다.
Llama 3.1 70B70B
VRAM 사용40 GB (INT4)
단일 GPU 고속 70B 추론
DeepSeek R1 70B70B
VRAM 사용42 GB (INT4)
추론 특화 대형 모델
Qwen2.5 72B72B
VRAM 사용46 GB (INT4)
다국어 대형 모델 서비스
Mixtral 8×22B141B (MoE)
VRAM 사용78 GB (INT4)
MoE 대형 단일 GPU 한계
Llama 3 8B BF168B
VRAM 사용16 GB (BF16)
BF16 고정밀 파인튜닝
Whisper + LLM 통합멀티모달
VRAM 사용30 GB
동시 다중 모델 서비스
추천 활용 사례
기업 AI 서비스 플랫폼
70B 대형 LLM 기반 고품질 AI 어시스턴트 상용 서비스
기존 서버 업그레이드
레거시 PCIe 서버에 H100 장착해 즉시 최신 AI 성능 확보
AI-as-a-Service
MIG로 고객사별 전용 AI 인스턴스 — B2B SaaS 플랫폼
온프레미스 보안 AI
데이터 외부 유출 없는 사내 보안 AI 추론 인프라
