회사소개GPU 인프라AI 플랫폼AI 교육견적문의
Enterprise최고사양데이터센터 서버

NVIDIA H100 SXM5 80GB

Hopper (GH100)  ·  2022년 9월

AI 연산의 최정점 — Transformer Engine과 FP8로 GPT-4급 모델 학습

하드웨어 구성

GPU 가속기 모듈

GPU DIEHBM1HBM2HBM3HBM4NVLinkPCIe / SXM InterfaceGPU DIEHBM Stack Array

SXM5 모듈 (DGX H100 / HGX H100)

AI 추론 서버 (GPU 서버)

GPU AI ServerGPU×1GPU×2GPU×3GPU×4Storage / Compute NodeStorage / Compute NodeStorage / Compute NodeInfiniBand / Ethernet SwitchPSUBLUECORE AI GPU ServerRack-mount Unit

서버 랙 마운트 구성 — 냉각·전원 최적 환경

VRAM80 GBHBM3 ECC
FP32 성능67 TFLOPSSingle Precision
FP16 / FP81,979 TFLOPS (FP8, Sparsity)FP8: 3,958 TFLOPS (FP8 Sparsity)
메모리 대역폭3,350 GB/sMemory BW
전력 소비700 WTDP
최대 모델 크기GPT-4급 모델 학습 (DGX H100 8ea 클러스터)LLM FIT

상세 사양

정식 명칭NVIDIA H100 SXM5 80GB
아키텍처Hopper (GH100)
출시일2022년 9월
CUDA 코어16,896 (+ Transformer Engine)
VRAM 용량80 GB
VRAM 타입HBM3 ECC
FP32 성능67 TFLOPS
FP16 성능1,979 TFLOPS (FP8, Sparsity)
FP8 성능3,958 TFLOPS (FP8 Sparsity)
INT8 성능3,958 TOPS
메모리 대역폭3,350 GB/s
인터페이스SXM5 전용
NVLink900 GB/s (NVLink 4.0 × 18)
MIG 지원최대 7개 인스턴스 (3세대 MIG)
TDP (전력)700 W
냉각 방식패시브 냉각 (DGX H100, HGX H100 전용)
폼 팩터SXM5 모듈 (DGX H100 / HGX H100)

NVIDIA H100 SXM5는 Hopper 아키텍처의 Transformer Engine과 FP8 연산으로 A100 대비 최대 6배 AI 학습 성능을 달성합니다. 900 GB/s NVLink 4.0으로 노드 간 연결하며 수조 파라미터 규모의 GPT-4급 프론티어 모델 학습이 가능한 현재 최고 사양 AI 가속기입니다.

가능한 AI 작업

🚀

프론티어 모델 사전학습

  • GPT-4급 1T+ 파라미터 학습
  • FP8 Transformer Engine 가속
  • NVLink 4.0 클러스터 통신
  • 수천억 토큰 데이터셋 처리
⚡

초고속 추론 서비스

  • FP8 초고속 토큰 생성
  • 10,000+ 동시 요청 처리
  • TensorRT-LLM 최적화
  • Continuous Batching
🌐

멀티모달 AI

  • GPT-4V 수준 비전-언어
  • Sora급 영상 생성 학습
  • 음성-텍스트 통합 모델
  • 멀티모달 사전학습
🔬

AI 연구 인프라

  • 국가급 AI 연구 클러스터
  • 제약·바이오 대규모 AI
  • 자율주행 대규모 학습
  • 기후·날씨 예측 AI

추천 AI 모델 (LLM FIT)

이 GPU에서 구동 가능한 주요 모델과 VRAM 사용량입니다.

LLaMA 3.1 405B 학습405B
VRAM 사용8 × H100 SXM5

8-GPU DGX로 전체 학습

GPT-4급 모델1T+
VRAM 사용다중 DGX 클러스터

프론티어 모델 사전학습

Llama 3.1 70B BF1670B
VRAM 사용140 GB (단일 GPU 부족)

2-GPU 페어로 BF16 학습

DeepSeek V3671B (MoE)
VRAM 사용다중 H100

최대 규모 MoE 모델

Mistral Large 2123B
VRAM 사용80 GB (INT4)

단일 GPU INT4 추론

GPT-4o급 멀티모달멀티모달
VRAM 사용클러스터

텍스트·이미지·음성 통합

추천 활용 사례

🏛️

국가·대기업 AI 개발

ChatGPT·Claude 수준 자체 LLM 개발 핵심 인프라

💊

신약 개발 AI

단백질 구조·분자 다이나믹스 초대규모 AI 시뮬레이션

🚗

자율주행 AI 학습

수조 프레임 비전 데이터 대규모 자율주행 모델 학습

🌏

글로벌 AI 서비스

수백만 사용자 실시간 AI 추론 서비스 핵심 클러스터

H100 SXM5 기반 AI 인프라 구축 상담

워크로드·예산에 맞는 최적 구성을 제안해 드립니다.

무료 상담 신청전체 GPU 목록