MLOps 실무 운영 과정
컨테이너·파이프라인·서빙·모니터링, 3일 완성
3일 (24시간)
교육 기간
DevOps 엔지니어 · AI 인프라 담당자
대상
오프라인 실습 (Kubernetes 클러스터 제공)
운영 방식
Docker 기초 + Python 스크립팅 필요
사전 요구 수준
컨테이너 기반 학습·배포 파이프라인 구성, Kubernetes GPU 서빙, Kubeflow 파이프라인, vLLM·Triton 서빙, 모델 드리프트 감지 및 재학습 자동화까지 AI 운영 인프라 전 과정을 실습합니다.
📌 수강 전 확인사항
- Docker 기본 사용 경험 (이미지 빌드·실행)
- Python 스크립팅 가능
- Linux 명령줄 중급 이상
- 클라우드 기초 개념 이해 권장
Curriculum
상세 커리큘럼
모든 모듈은 이론과 실습을 결합해 바로 적용 가능한 역량을 전달합니다.
Docker 심화 & GPU 컨테이너
멀티스테이지 빌드, NVIDIA Container Toolkit 설정, GPU 컨테이너 실행, 이미지 최적화 전략
Kubernetes GPU 노드 운영
GPU Operator 설치, 리소스 요청/제한 설정, Pod 스케줄링, GPU 공유(MIG/Time-Slicing), Helm 차트 배포
Kubeflow Pipelines 설계 패턴
KFP SDK 개요, 컴포넌트 정의·재사용, 아티팩트 관리, 파이프라인 버전 관리 전략
Kubeflow 파이프라인 작성 & 실행 실습
데이터 전처리 → 훈련 → 평가 → 등록 전 과정 자동화, 실험 추적·재현성 관리
vLLM · Triton Inference Server 서빙 구성
vLLM PagedAttention 원리, Triton 모델 레포지토리 구성, 동적 배치·연속 배치 설정, gRPC·REST 엔드포인트 테스트
Prometheus · Grafana 모델 드리프트 모니터링
추론 지연·GPU 사용률·PSI·데이터 드리프트 지표 수집, Grafana 대시보드 구성, 알림 규칙 설정
재학습 자동화 파이프라인 설계 워크숍
드리프트 임계치 도달 시 자동 재학습 트리거 설계, ArgoCD + Kubeflow 연동 아키텍처 리뷰
Tools & Stack
활용 도구 & 기술 스택
Learning Outcomes
교육 후 할 수 있는 것
GPU 컨테이너 환경을 Kubernetes 위에서 구성·운영할 수 있다
Kubeflow로 end-to-end ML 파이프라인을 자동화할 수 있다
vLLM·Triton으로 고성능 LLM 추론 서버를 구성할 수 있다
모델 드리프트를 탐지하고 재학습을 자동 트리거할 수 있다
Use Cases
실제 적용 사례
온프레미스 LLM 서빙 인프라
A100/H100 서버에 vLLM 클러스터 구성
자동 재학습 파이프라인
데이터 드리프트 감지 → 재학습 → 자동 배포
AI 서비스 SLA 모니터링
응답 지연·오류율 실시간 알림 체계 구축
멀티모달 모델 서빙
텍스트·이미지 혼합 모델 Triton 배포
