회사소개GPU 인프라AI 플랫폼AI 교육견적문의
Enterprise데이터센터 서버

NVIDIA H100 PCIe 80GB

Hopper (GH100)  ·  2022년 9월

PCIe 서버 호환 H100 — 기존 인프라에서 즉시 활용 가능한 최상급 AI 가속

하드웨어 구성

GPU 가속기 모듈

GPU DIEHBM1HBM2HBM3HBM4NVLinkPCIe / SXM InterfaceGPU DIEHBM Stack Array

듀얼슬롯 패시브 풀-하이트, PCIe 5.0

AI 추론 서버 (GPU 서버)

GPU AI ServerGPU×1GPU×2GPU×3GPU×4Storage / Compute NodeStorage / Compute NodeStorage / Compute NodeInfiniBand / Ethernet SwitchPSUBLUECORE AI GPU ServerRack-mount Unit

서버 랙 마운트 구성 — 냉각·전원 최적 환경

VRAM80 GBHBM2e ECC
FP32 성능51 TFLOPSSingle Precision
FP16 / FP81,513 TFLOPS (FP8, Sparsity)FP8: 3,026 TFLOPS (FP8 Sparsity)
메모리 대역폭2,000 GB/sMemory BW
전력 소비350 WTDP
최대 모델 크기최대 70B (INT4 단일) / 대규모 배치 처리LLM FIT

상세 사양

정식 명칭NVIDIA H100 PCIe 80GB
아키텍처Hopper (GH100)
출시일2022년 9월
CUDA 코어14,592 (+ Transformer Engine)
VRAM 용량80 GB
VRAM 타입HBM2e ECC
FP32 성능51 TFLOPS
FP16 성능1,513 TFLOPS (FP8, Sparsity)
FP8 성능3,026 TFLOPS (FP8 Sparsity)
INT8 성능3,026 TOPS
메모리 대역폭2,000 GB/s
인터페이스PCIe 5.0 ×16
NVLink비지원 (PCIe 버전)
MIG 지원최대 7개 인스턴스 (3세대 MIG)
TDP (전력)350 W
냉각 방식패시브 냉각 (PCIe 서버 공냉)
폼 팩터듀얼슬롯 패시브 풀-하이트, PCIe 5.0

H100 PCIe는 SXM5 대비 NVLink가 없지만 기존 PCIe 5.0 서버에 즉시 장착 가능한 Hopper GPU입니다. FP8 Transformer Engine, 80 GB HBM2e, MIG 분할로 A100 대비 최대 3배 추론 성능을 제공하며 전력 효율(350W)도 뛰어납니다.

가능한 AI 작업

⚡

대형 모델 추론 서비스

  • 70B 모델 상용 서비스
  • FP8 초고속 토큰 생성
  • 배치 고처리량 API
  • 지연 시간 최소화 SLA
🔧

MIG 멀티 서비스

  • 7분할 독립 AI 서비스
  • 고객사별 전용 인스턴스
  • SLA 보장 격리
  • 리소스 유연 재배분
🔄

PCIe 서버 업그레이드

  • 기존 서버 즉시 장착
  • PCIe 5.0 최대 대역폭
  • 전력 효율 350 W
  • 풍냉 서버 환경 적합
🏢

엔터프라이즈 AI 서비스

  • 24/7 상업 AI API
  • 멀티모달 통합 서비스
  • 고객사 SLA 보장
  • TensorRT-LLM 배포

추천 AI 모델 (LLM FIT)

이 GPU에서 구동 가능한 주요 모델과 VRAM 사용량입니다.

Llama 3.1 70B70B
VRAM 사용40 GB (INT4)

단일 GPU 고속 70B 추론

DeepSeek R1 70B70B
VRAM 사용42 GB (INT4)

추론 특화 대형 모델

Qwen2.5 72B72B
VRAM 사용46 GB (INT4)

다국어 대형 모델 서비스

Mixtral 8×22B141B (MoE)
VRAM 사용78 GB (INT4)

MoE 대형 단일 GPU 한계

Llama 3 8B BF168B
VRAM 사용16 GB (BF16)

BF16 고정밀 파인튜닝

Whisper + LLM 통합멀티모달
VRAM 사용30 GB

동시 다중 모델 서비스

추천 활용 사례

🏢

기업 AI 서비스 플랫폼

70B 대형 LLM 기반 고품질 AI 어시스턴트 상용 서비스

🔄

기존 서버 업그레이드

레거시 PCIe 서버에 H100 장착해 즉시 최신 AI 성능 확보

🌐

AI-as-a-Service

MIG로 고객사별 전용 AI 인스턴스 — B2B SaaS 플랫폼

🔒

온프레미스 보안 AI

데이터 외부 유출 없는 사내 보안 AI 추론 인프라

H100 PCIe 기반 AI 인프라 구축 상담

워크로드·예산에 맞는 최적 구성을 제안해 드립니다.

무료 상담 신청전체 GPU 목록