InfiniBand 설정 및 벤치마크
목표
이 튜토리얼을 완료하면:
- InfiniBand가 포함된 가상 클러스터 구성
- IB 연결 상태 확인 및 대역폭 측정
- NCCL 기반 멀티 가상머신 통신 테스트
사전 준비
- ECI 계정 및 GPU 인스턴스 할당량 (최소 2대)
- InfiniBand 패브릭을 지원하는 GPU 인스턴스 유형
- SSH 클라이언트 (macOS/Linux 기본 제공, Windows는 WSL 또는 PuTTY) — 접속 방법 참고
1단계: 가상 클러스터 구성
- 컴퓨트 > 가상 클러스터 목록에서 가상 클러스터 생성으로 클러스터를 만듭니다. 패브릭 타입은 InfiniBand를 선택합니다. (자세한 구성은 가상 클러스터를 참고하세요.)
- 컴퓨트 > 가상머신에서 가상머신 생성으로 멤버 가상머신을 만듭니다. 이미지는 Ubuntu 24.04 LTS (AI/GPU) 를 선택하고, 인스턴스 유형은 클러스터와 동일한 GPU 타입을 선택합니다. 클러스터 시작에는 최소 2대의 가상머신이 필요합니다.
- 만든 가상머신 을 클러스터에 추가합니다. 가상머신은 대기 중 상태일 때만 클러스터에 연결할 수 있으므로 생성 후 한 번도 시작하지 않거나, 시작했다면 먼저 중지하세요.
- 가상 클러스터 상세 페이지에서 클러스터 시작을 클릭합니다.
- 각 가상머신을 개별 시작합니다.
각 OS 이미지는 고정된 NVIDIA 드라이버 버전을 제공하며, 드라이버에 따라 호환되는 NCCL·CUDA(nvcc) 버전이 달라집니다. 이 튜토리얼은 시연 편의를 위해 Ubuntu 24.04 LTS 이미지를 기준으로 하지만, 3단계: 환경 준비를 참고하면 다른 운영체제에서도 동일하게 실행할 수 있습니다.
2단계: InfiniBand 상태 확인
가상머신에 SSH 접속 후:
# HCA 확인
ibstat
ibv_devinfo
# IB 포트 상태 확인 (Active여야 정상)
ibstat | grep -A5 "Port 1"
# 연결된 가상머신 확인
ibhosts
3단계: 환경 준비
3단계의 패키지 설치와 5단계의 nccl-tests 빌드는 클러스터의 모든 가상머신에서 동일하게 수행해야 합니다. 특히 libnccl 버전과 nccl-tests 빌드 결과물(./build/all_reduce_perf)의 경로가 가상머신마다 일치해야 mpirun이 정상 동작합니다.
반면 명령 실행 자체(IP·SSH 키 준비, 4단계 서버·클라이언트 실행, 5단계 mpirun)는 안내된 지정 가상머신에서만 수행합니다.
여러 가상머신 간 통신을 위해 OpenMPI 및 테스트를 위한 perftest를 설치합니다.
sudo apt update
sudo apt install openmpi-bin libopenmpi-dev perftest -y
또한 NCCL 테스트를 위해 libnccl 패키지를 설치합니다. 단, libnccl은 설치된 CUDA 버전에 맞춰야 하므로 먼저 CUDA 버전을 확인합니다. nvcc가 PATH에 없을 수 있으므로 전체 경로로 실행합니다.
/usr/local/cuda/bin/nvcc --version
# nvcc: NVIDIA (R) Cuda compiler driver
# Copyright (c) 2005-2025 NVIDIA Corporation
# Built on Fri_Feb_21_20:23:50_PST_2025
# Cuda compilation tools, release 12.8, V12.8.93
# Build cuda_12.8.r12.8/compiler.35583870_0
nvcc에 표시된 CUDA 버전(예: cuda12.8)에 맞는 libnccl 패키지를 NVIDIA CUDA 저장소에서 확인합니다. 경로의 ubuntu2404는 사용 중인 OS 버전으로 바꾸세요.
혹은 아래 명령으로 설치 가능한 버전을 한 번에 확인할 수 있습니다.
V=$(/usr/local/cuda/bin/nvcc --version | grep -oP 'release \K[0-9]+\.[0-9]+') && apt list -a libnccl2 2>/dev/null | grep "cuda$V"
# libnccl2/unknown 2.30.7-1+cuda13.3 amd64 [upgradable from: 2.26.2-1+cuda12.8]
# libnccl2/unknown,now 2.26.2-1+cuda12.8 amd64 [installed,upgradable to: 2.30.7-1+cuda13.3]
# libnccl2/unknown 2.25.1-1+cuda12.8 amd64