Dedicated 방식으로 모델 사용하기

Dedicated는 특정 모델을 전용 인스턴스에 배포하여 운영하는 방식입니다. 서버 리소스를 독립적으로 점유하기 때문에, 안정적인 성능이 필요한 상용 서비스 환경에 적합합니다.

특징

• 전용 인스턴스에서 모델 실행
• 안정적인 성능 제공
• 장기 실행 및 지속 호출 환경에 적합
• 인스턴스 실행 시간 기준 과금

Dedicated 엔드포인트 생성

Dedicated 엔드포인트는 다음 2가지 절차 중 하나를 통해 생성할 수 있습니다.

1. ML API -> Dedicated 엔드포인트 이동
2. 엔드포인트 생성 버튼 클릭
3. 모델 선택
4. 엔드포인트 이름 입력
5. 인스턴스 스펙 선택 (CPU / GPU / NPU)
6. 오토스케일링 기능 활성화 혹은 인스턴스 개수 설정
7. API Rate Limit 기능 설정
8. 엔드포인트 생성 완료

혹은

1. ML API -> 모델 라이브러리 이동
2. Dedicated 지원 모델 선택
3. 모델 버전 관리 방식 선택
4. 엔드포인트 이름 입력
5. 인스턴스 스펙 선택 (CPU / GPU / NPU)
6. 오토스케일링 기능 활성화 혹은 인스턴스 개수 설정
7. API Rate Limit 기능 설정
8. 엔드포인트 생성 완료

오토스케일링 기능에 대해서는 오토스케일링 문서를 확인해주시기 바랍니다.

📌 참고 : 인스턴스 개수는 최대 20개까지 가능합니다.

📌 참고 : API Rate Limit은 API 호출 횟수를 제한하는 기능이며, 횟수는 최대 1000까지 설정 가능합니다. RPM은 1분당 호출 횟수, RPH는 1시간당 호출 횟수, PRD는 1일 호출 횟수를 의미합니다.

Dedicated 엔드포인트 관리

생성된 Dedicated 엔드포인트는 목록에서 관리할 수 있습니다.

관리 가능한 항목

• API 이름
• 모델 정보
• 연결된 인스턴스 스펙
• 생성자 정보
• 현재 실행 중 인스턴스 수

수정

Dedicated 엔드포인트는 엔드포인트 이름, 스펙, 인스턴스 개수 등을 수정할 수 있습니다.

📌 참고 : 인스턴스 개수를 0개로 수정하면, 과금되지 않습니다.

📌 참고 : Dedicated 엔드포인트 생성 시 관리되는 인스턴스는 런박스의 인스턴스와 별개로 생성되고 관리되며, 완전히 분리된 리소스입니다.

삭제 및 정리

사용하지 않는 엔드포인트는 삭제할 수 있습니다.

• 삭제 시 엔드포인트와 연결된 실행 리소스가 종료됩니다.
• 실행 중 엔드포인트 삭제 시 과금도 종료됩니다.

Dedicated 호출 방법

Dedicated 호출은 API Key 인증이 필수입니다. API Key를 헤더에 포함하여 HTTP 요청을 호출합니다.

⚠️ 주의 : Dedicated API 인스턴스가 대기중 혹은 종료 상태인 경우, API가 요청을 받을 수 없습니다.

API Key에 대해서는 API Key 관리하기 문서를 확인해주시기 바랍니다.

배포된 모델의 API 요청 방법에 대해서는 API 요청 문서를 확인해주시기 바랍니다.

과금 기준

Dedicated는 인스턴스 실행 시간 기준 과금 방식입니다.

• 선택한 인스턴스 스펙에 따라 시간당 요금 부과
• 실행 중일 때만 과금