Enterprise최고사양데이터센터 서버
NVIDIA H100 SXM5 80GB
Hopper (GH100) · 2022년 9월
AI 연산의 최정점 — Transformer Engine과 FP8로 GPT-4급 모델 학습
하드웨어 구성
GPU 가속기 모듈
SXM5 모듈 (DGX H100 / HGX H100)
AI 추론 서버 (GPU 서버)
서버 랙 마운트 구성 — 냉각·전원 최적 환경
VRAM80 GBHBM3 ECC
FP32 성능67 TFLOPSSingle Precision
FP16 / FP81,979 TFLOPS (FP8, Sparsity)FP8: 3,958 TFLOPS (FP8 Sparsity)
메모리 대역폭3,350 GB/sMemory BW
전력 소비700 WTDP
최대 모델 크기GPT-4급 모델 학습 (DGX H100 8ea 클러스터)LLM FIT
상세 사양
| 정식 명칭 | NVIDIA H100 SXM5 80GB |
|---|---|
| 아키텍처 | Hopper (GH100) |
| 출시일 | 2022년 9월 |
| CUDA 코어 | 16,896 (+ Transformer Engine) |
| VRAM 용량 | 80 GB |
| VRAM 타입 | HBM3 ECC |
| FP32 성능 | 67 TFLOPS |
| FP16 성능 | 1,979 TFLOPS (FP8, Sparsity) |
| FP8 성능 | 3,958 TFLOPS (FP8 Sparsity) |
| INT8 성능 | 3,958 TOPS |
| 메모리 대역폭 | 3,350 GB/s |
| 인터페이스 | SXM5 전용 |
| NVLink | 900 GB/s (NVLink 4.0 × 18) |
| MIG 지원 | 최대 7개 인스턴스 (3세대 MIG) |
| TDP (전력) | 700 W |
| 냉각 방식 | 패시브 냉각 (DGX H100, HGX H100 전용) |
| 폼 팩터 | SXM5 모듈 (DGX H100 / HGX H100) |
NVIDIA H100 SXM5는 Hopper 아키텍처의 Transformer Engine과 FP8 연산으로 A100 대비 최대 6배 AI 학습 성능을 달성합니다. 900 GB/s NVLink 4.0으로 노드 간 연결하며 수조 파라미터 규모의 GPT-4급 프론티어 모델 학습이 가능한 현재 최고 사양 AI 가속기입니다.
가능한 AI 작업
프론티어 모델 사전학습
- GPT-4급 1T+ 파라미터 학습
- FP8 Transformer Engine 가속
- NVLink 4.0 클러스터 통신
- 수천억 토큰 데이터셋 처리
초고속 추론 서비스
- FP8 초고속 토큰 생성
- 10,000+ 동시 요청 처리
- TensorRT-LLM 최적화
- Continuous Batching
멀티모달 AI
- GPT-4V 수준 비전-언어
- Sora급 영상 생성 학습
- 음성-텍스트 통합 모델
- 멀티모달 사전학습
AI 연구 인프라
- 국가급 AI 연구 클러스터
- 제약·바이오 대규모 AI
- 자율주행 대규모 학습
- 기후·날씨 예측 AI
추천 AI 모델 (LLM FIT)
이 GPU에서 구동 가능한 주요 모델과 VRAM 사용량입니다.
LLaMA 3.1 405B 학습405B
VRAM 사용8 × H100 SXM5
8-GPU DGX로 전체 학습
GPT-4급 모델1T+
VRAM 사용다중 DGX 클러스터
프론티어 모델 사전학습
Llama 3.1 70B BF1670B
VRAM 사용140 GB (단일 GPU 부족)
2-GPU 페어로 BF16 학습
DeepSeek V3671B (MoE)
VRAM 사용다중 H100
최대 규모 MoE 모델
Mistral Large 2123B
VRAM 사용80 GB (INT4)
단일 GPU INT4 추론
GPT-4o급 멀티모달멀티모달
VRAM 사용클러스터
텍스트·이미지·음성 통합
추천 활용 사례
국가·대기업 AI 개발
ChatGPT·Claude 수준 자체 LLM 개발 핵심 인프라
신약 개발 AI
단백질 구조·분자 다이나믹스 초대규모 AI 시뮬레이션
자율주행 AI 학습
수조 프레임 비전 데이터 대규모 자율주행 모델 학습
글로벌 AI 서비스
수백만 사용자 실시간 AI 추론 서비스 핵심 클러스터
