rsync 사용해서 데이터 이전을 했는데 너무 느려요.

문제 설명

rsync 사용해서 데이터 이전을 했는데 너무 느려요. 다른 방법 있는지 문의합니다.

해결 방법

버킷의 “외부 연결 허용” 설정을 하고 rclone이나 cyberduck과 같은 s3 tool을 사용해서 바로 데이터허브로 업로드하면 빠르게 업로드할 수 있습니다.

320GB 짜리 단일 파일이 아니라 여러 파일이 담긴 디렉토리를 업로드할 경우, rclone을 사용해서 병렬로 업로드하면 빠르게 업로드할 수 있습니다.

rclone copy /source/path your-datahub-config:bucket-name --transfers=8 --s3-no-check-bucket --inplace