회사소개GPU 인프라AI 플랫폼AI 교육견적문의
Professional추천데이터센터 서버

NVIDIA A100 Tensor Core GPU (80 GB)

Ampere (GA100)  ·  2020년 11월

80 GB HBM2e — 초대규모 LLM 학습·추론의 핵심 인프라

하드웨어 구성

GPU 가속기 모듈

GPU DIEHBM1HBM2HBM3HBM4NVLinkPCIe / SXM InterfaceGPU DIEHBM Stack Array

SXM4 모듈 / PCIe 풀-하이트 듀얼슬롯

AI 추론 서버 (GPU 서버)

GPU AI ServerGPU×1GPU×2GPU×3GPU×4Storage / Compute NodeStorage / Compute NodeStorage / Compute NodeInfiniBand / Ethernet SwitchPSUBLUECORE AI GPU ServerRack-mount Unit

서버 랙 마운트 구성 — 냉각·전원 최적 환경

VRAM80 GBHBM2e ECC
FP32 성능19.5 TFLOPSSingle Precision
FP16 / FP877.6 TFLOPS (TF32: 156 TFLOPS)Half Precision
메모리 대역폭2,000 GB/sMemory BW
전력 소비400 W (SXM) / 300 W (PCIe)TDP
최대 모델 크기최대 70B (BF16 완전 탑재)LLM FIT

상세 사양

정식 명칭NVIDIA A100 Tensor Core GPU (80 GB)
아키텍처Ampere (GA100)
출시일2020년 11월
CUDA 코어6,912 (+ 432 Tensor Cores 3세대)
VRAM 용량80 GB
VRAM 타입HBM2e ECC
FP32 성능19.5 TFLOPS
FP16 성능77.6 TFLOPS (TF32: 156 TFLOPS)
INT8 성능624 TOPS
메모리 대역폭2,000 GB/s
인터페이스PCIe 4.0 ×16 / SXM4
NVLink600 GB/s (SXM4, NVLink 3.0 × 12)
MIG 지원최대 7개 인스턴스 (MIG 지원)
TDP (전력)400 W (SXM) / 300 W (PCIe)
냉각 방식패시브 냉각 (DGX/HGX 서버 전용)
폼 팩터SXM4 모듈 / PCIe 풀-하이트 듀얼슬롯

A100 80GB는 A100 40GB 대비 2배 VRAM과 28.8% 향상된 2,000 GB/s 메모리 대역폭으로 70B급 대형 LLM을 BF16 고정밀도로 단일 GPU에 완전 탑재하여 학습·추론할 수 있는 데이터센터 최고 표준 GPU입니다.

가능한 AI 작업

🎓

대형 LLM 학습

  • 70B급 모델 BF16 학습
  • 80 GB 메모리 완전 활용
  • FSDP 분산 학습 최적
  • Gradient Checkpointing
⚡

고정밀 추론

  • BF16 고정밀 추론 서비스
  • 대형 배치 처리 최적
  • 지연 시간 최소화
  • A/B 테스트 멀티 모델
🔬

과학·연구 AI

  • 분자 구조 예측 (AlphaFold)
  • 기후 모델링 AI
  • 제약 신약 발굴
  • 물리 시뮬레이션
🌐

DGX 클러스터

  • DGX A100 (8 × A100 80GB)
  • NVSwitch 600 GB/s
  • 160 TB/s 집합 대역폭
  • 수천억 파라미터 사전학습

추천 AI 모델 (LLM FIT)

이 GPU에서 구동 가능한 주요 모델과 VRAM 사용량입니다.

Llama 3.1 70B70B
VRAM 사용140 GB (BF16)

2-GPU NVLink 페어로 BF16 학습

Llama 3.1 70B 추론70B
VRAM 사용40 GB (INT4)

단일 GPU INT4 완전 추론

Llama 3 8B Full FT8B
VRAM 사용18 GB (BF16)

BF16 Complete 파인튜닝

Falcon 40B40B
VRAM 사용80 GB (BF16)

단일 GPU BF16 탑재

GPT-NeoX 20B20B
VRAM 사용40 GB (BF16)

Scientific 대형 모델 학습

Qwen2.5 72B72B
VRAM 사용46 GB (INT4)

다국어 대형 모델 추론

추천 활용 사례

🤖

자체 LLM 사전학습

기업 전용 대형 언어 모델 처음부터 학습하는 핵심 GPU

🏥

임상 의료 AI

전자 의무 기록 기반 진단 보조 대형 모델 개발

🔒

보안 위협 탐지

초대규모 로그 데이터 기반 AI 보안 이상 탐지 모델

🌏

다국어 NLP 서비스

기업 글로벌 다국어 번역·고객 지원 AI 인프라

A100 80GB 기반 AI 인프라 구축 상담

워크로드·예산에 맞는 최적 구성을 제안해 드립니다.

무료 상담 신청전체 GPU 목록