오브젝트 스토리지
개요
오브젝트 스토리지는 S3 호환 API를 제공하는 대용량 스토리지입니다. 데이터셋 보관, 체크포인트 백업, 여러 가상머신 간 데이터 공유에 사용합니다.
S3 엔드포인트
오브젝트 스토리지 사용자 생성 직후 표시되는 접속 정보 화면에서 본인 환경의 정확한 S3 엔드포인트 URL을 확인하세요. 환경에 따라 엔드포인트가 다를 수 있습니다.
버킷과 사용자 생성
- 오브젝트 스토리지 > 버킷으로 이동해 버킷 생성으로 새 버킷을 만듭니다.
- 오브젝트 스토리지 > 사용자에서 사용자 생성으로 사용자를 만듭니다.
- 키 생성 방식:
자동 생성 (권장)또는수동 입력선택 - 수동 입력 시 액세스 키는 20자 이상, 시크릿 키는 40자 이상의 영숫자 문자열이어야 합니다
- 키 생성 방식:
- 사용자 생성 직후 표시되는 접속 정보 화면에서 다음 항목을 즉시 저장합니다.
- 액세스 키 (Access Key)
- 시크릿 키 (Secret Key)
- S3 엔드포인트:
https://s3.elice.cloud
- 사용자 상세 페이지에서 해당 사용자에게 버킷별 권한(읽기·쓰기 등)을 부여합니다.
시크릿 키 보관
시크릿 키는 사용자 상세 페이지에서 마스킹된 상태로 표시되며, 토글로 언제든 다시 확인할 수 있습니다. 다만 노출되면 권한이 그대로 도용되므로 비밀 관리 도구·환경 변수 파일 등 안전한 곳에 보관하고 외부에 공유하지 마세요. 유출이 의심되면 키 재생성으로 새 키를 발급하세요.
aws-cli 연동
설치
# Linux
curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip && sudo ./aws/install
자격 증명 설정
aws configure
# AWS Access Key ID: YOUR_ACCESS_KEY
# AWS Secret Access Key: YOUR_SECRET_KEY
# Default region name: (Enter)
# Default output format: (Enter)
~/.aws/config에 엔드포인트를 추가합니다.
[default]
services = s3
[services s3]
s3 =
endpoint_url = https://s3.elice.cloud
주요 명령어
# 파일 업로드
aws s3 cp ./dataset.tar.gz s3://YOUR_BUCKET/dataset.tar.gz
# 디렉토리 업로드
aws s3 sync ./checkpoints s3://YOUR_BUCKET/checkpoints
# 목록 조회
aws s3 ls s3://YOUR_BUCKET/
# 다운로드
aws s3 cp s3://YOUR_BUCKET/dataset.tar.gz ./
rclone 연동
설치
sudo -v ; curl https://rclone.org/install.sh | sudo bash
설정
rclone config
# n) New remote
# name> elicecloud
# Storage> 4 (Amazon S3)
# provider> 4 (AWS)
# env_auth> (Enter)
# access_key_id> YOUR_ACCESS_KEY
# secret_access_key> YOUR_SECRET_KEY
# region> (Enter)
# endpoint> https://s3.elice.cloud
# 나머지는 모두 Enter
주요 명령어
# 업로드
rclone copy ./dataset elicecloud:YOUR_BUCKET/dataset --s3-no-check-bucket --progress
# 다운로드
rclone copy elicecloud:YOUR_BUCKET/dataset ./dataset --s3-no-check-bucket --progress
# 동기화 (원본에 없는 파일은 대상에서 삭제됨)
rclone sync ./checkpoints elicecloud:YOUR_BUCKET/checkpoints --s3-no-check-bucket --dry-run
rclone sync ./checkpoints elicecloud:YOUR_BUCKET/checkpoints --s3-no-check-bucket
# 사용량 확인
rclone size elicecloud:YOUR_BUCKET
--s3-no-check-bucket 필수ECI 오브젝트 스토리지는 API를 통한 버킷 생성을 지원하지 않습니다. rclone 사용 시 반드시 --s3-no-check-bucket 옵션을 추가하세요.
버킷을 디렉토리로 마운트 (rclone mount)
오브젝트 스토리지를 로컬 디렉토리처럼 마운트할 수 있습니다.
mkdir -p /mnt/object-storage
# 백그라운드 마운트
rclone mount elicecloud:YOUR_BUCKET /mnt/object-storage --daemon
# 마운트 해제
umount /mnt/object-storage
마운트 시 주의사항
- 네트워크 지연이 있어 로컬 디스크보다 느립니다.
df -h의 용량은 실제 사용량이 아닌 가상 값입니다. 실제 사용량은rclone size로 확인하세요.- 48 GiB를 초과하는 단일 파일은
--s3-chunk-size=128M옵션이 필요합니다.