メインコンテンツまでスキップ

오브젝트 스토리지

개요​

오브젝트 스토리지는 S3 호환 API를 제공하는 대용량 스토리지입니다. 데이터셋 보관, 체크포인트 백업, 여러 가상머신 간 데이터 공유에 사용합니다.

S3 엔드포인트

S3 엔드포인트는 사용하는 존에 따라 다릅니다. 본인 환경에 맞는 엔드포인트를 사용하세요.

존S3 엔드포인트
민간존https://s3.elice.cloud
공공존https://s3.gov.elice.cloud

아래 예시는 민간존 기준이므로, 공공존 사용자는 https://s3.gov.elice.cloud로 바꿔 입력하세요.


버킷과 사용자 생성​

  1. 오브젝트 스토리지 > 버킷으로 이동해 버킷 생성으로 새 버킷을 만듭니다.
  2. 오브젝트 스토리지 > 사용자에서 사용자 생성으로 사용자를 만듭니다.
    • 키 생성 방식: 자동 생성 (권장) 또는 수동 입력 선택
    • 수동 입력 시 액세스 키는 20자 이상, 시크릿 키는 40자 이상의 영숫자 문자열이어야 합니다
  3. 사용자 생성 직후 표시되는 접속 정보 화면에서 다음 항목을 즉시 저장합니다.
    • 액세스 키 (Access Key)
    • 시크릿 키 (Secret Key)
  4. 사용자 상세 페이지의 버킷 권한 탭에서 권한 추가를 클릭해 버킷과 권한(읽기 전용 또는 읽기/쓰기)을 지정합니다. 버킷 상세 페이지의 사용자 권한 탭에서도 같은 작업을 할 수 있습니다.

부여한 권한은 두 탭 모두에서 행 메뉴의 권한 수정으로 바꾸고, 권한 삭제로 회수합니다.

시크릿 키 보관

시크릿 키는 사용자 상세 페이지에서 마스킹된 상태로 표시되며, 토글로 언제든 다시 확인할 수 있습니다. 다만 노출되면 권한이 그대로 도용되므로 비밀 관리 도구·환경 변수 파일 등 안전한 곳에 보관하고 외부에 공유하지 마세요. 키는 생성 후 바꿀 수 없으므로, 유출이 의심되면 해당 사용자를 삭제하고 새 사용자를 생성해 권한을 다시 부여하세요.


버킷 사용량 확인​

버킷 상세 페이지의 메트릭 탭에서 버킷별 사용 현황을 그래프로 확인합니다.

그래프설명
사용량버킷에 저장된 데이터의 크기
객체 수버킷에 저장된 객체 수
요청 수작업 유형별 누적 S3 API 요청 수
멀티파트 업로드멀티파트 업로드 시작 및 완료의 누적 횟수

버킷 이름·크기 변경과 삭제는 같은 페이지의 설정 탭에서 합니다. 사용자 권한이 남아 있는 버킷은 삭제할 수 없으므로 권한을 먼저 삭제하세요.

버킷 상세의 메트릭 탭


aws-cli 연동​

설치​

# Linux
curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip && sudo ./aws/install

자격 증명 설정​

aws configure
# AWS Access Key ID: YOUR_ACCESS_KEY
# AWS Secret Access Key: YOUR_SECRET_KEY
# Default region name: (Enter)
# Default output format: (Enter)

~/.aws/config에 엔드포인트를 추가합니다.

[default]
services = s3

[services s3]
# 공공존: endpoint_url = https://s3.gov.elice.cloud
s3 =
endpoint_url = https://s3.elice.cloud

주요 명령어​

# 파일 업로드
aws s3 cp ./dataset.tar.gz s3://YOUR_BUCKET/dataset.tar.gz

# 디렉토리 업로드
aws s3 sync ./checkpoints s3://YOUR_BUCKET/checkpoints

# 목록 조회
aws s3 ls s3://YOUR_BUCKET/

# 다운로드
aws s3 cp s3://YOUR_BUCKET/dataset.tar.gz ./

rclone 연동​

설치​

sudo -v ; curl https://rclone.org/install.sh | sudo bash

설정​

rclone config
# n) New remote
# name> elicecloud
# Storage> 4 (Amazon S3)
# provider> 4 (AWS)
# env_auth> (Enter)
# access_key_id> YOUR_ACCESS_KEY
# secret_access_key> YOUR_SECRET_KEY
# region> (Enter)
# endpoint> https://s3.elice.cloud (공공존: https://s3.gov.elice.cloud)
# 나머지는 모두 Enter

주요 명령어​

# 업로드
rclone copy ./dataset elicecloud:YOUR_BUCKET/dataset --s3-no-check-bucket --progress

# 다운로드
rclone copy elicecloud:YOUR_BUCKET/dataset ./dataset --s3-no-check-bucket --progress

# 동기화 (원본에 없는 파일은 대상에서 삭제됨)
rclone sync ./checkpoints elicecloud:YOUR_BUCKET/checkpoints --s3-no-check-bucket --dry-run
rclone sync ./checkpoints elicecloud:YOUR_BUCKET/checkpoints --s3-no-check-bucket

# 사용량 확인
rclone size elicecloud:YOUR_BUCKET
--s3-no-check-bucket 필수

ECI 오브젝트 스토리지는 API를 통한 버킷 생성을 지원하지 않습니다. rclone 사용 시 반드시 --s3-no-check-bucket 옵션을 추가하세요.


버킷을 디렉토리로 마운트 (rclone mount)​

오브젝트 스토리지를 로컬 디렉토리처럼 마운트할 수 있습니다.

mkdir -p /mnt/object-storage

# 백그라운드 마운트
rclone mount elicecloud:YOUR_BUCKET /mnt/object-storage --daemon

# 마운트 해제
umount /mnt/object-storage
마운트 시 주의사항
  • 네트워크 지연이 있어 로컬 디스크보다 느립니다.
  • df -h의 용량은 실제 사용량이 아닌 가상 값입니다. 실제 사용량은 rclone size로 확인하세요.
  • 48 GiB를 초과하는 단일 파일은 --s3-chunk-size=128M 옵션이 필요합니다.

다음 단계​