Hugging Face 모델을 FastAPI로 배포하기
목표
이 튜토리얼을 완료하면:
- Hugging Face 모델을 FastAPI 서버로 래핑
- HTTP POST 요청으로 추론 결과 수신
- 백그라운드로 서버를 실행하고 외부에서 접근
사전 준비
- ECI 계정 및 GPU 인스턴스 할당량
- SSH 클라이언트 (macOS/Linux 기본 제공, Windows는 WSL 또는 PuTTY)
1단계: 가상머신 생성
-
컴퓨트 > 가상머신 목록에서 가상머신 생성을 클릭합니다.
-
다음 설정을 사용합니다.
항목 권장값 이미지 Ubuntu 24.04 LTS (AI/GPU)(CUDA 사전 설치)인스턴스 유형 G-NHHS-80(H100 80GB SXM × 1)공인 IP 새로 생성 -
생성을 클릭하고 상태가 실행 중이 될 때까지 기다린 뒤 SSH로 접속합니다.