본문으로 건너뛰기

알림

개요​

알림은 GPU 사용률·메모리·디스크 등의 메트릭이 설정한 임계값을 초과하면 자동으로 통지를 보내는 기능입니다. 학습 완료 감지·이상 상태 조기 발견·비용 누수 방지에 활용합니다.

알림은 세 가지 구성 요소로 동작합니다.

┌─────────┐ 발생 ┌─────────┐ 실행 ┌─────────┐
│ 알림 규칙 │ ──────▶│ 알림 이벤트│ ──────▶│ 액션 │
└─────────┘ └─────────┘ └─────────┘
조건 정의 이력 기록 이메일 발송
구성 요소역할확인 위치
알림 규칙메트릭 임계값과 평가 조건을 정의모니터링 > 알림 > 알림 규칙 탭
액션알림 발생 시 누구에게 어떻게 보낼지 정의모니터링 > 알림 > 액션 탭
알림 이벤트규칙이 발동된 시점의 이력알림 규칙 상세 > 알림 이벤트 탭
사전 요건
  • Alert.AlertRule.CREATE, Alert.AlertActionTemplate.CREATE 권한. 기본 제공 역할 중 뷰어는 알림을 조회만 할 수 있습니다.
  • 알림 규칙을 만들기 전에 액션을 먼저 생성해야 합니다

평가 상태와 규칙 상태​

알림 규칙은 두 종류의 상태를 가집니다.

평가 상태의미
정상 (Ok)메트릭이 임계값 이내
알림 (Alert)임계값을 초과해 알림이 발생한 상태
데이터 없음 (NoData)평가에 필요한 데이터가 부족
규칙 상태의미
활성화 (Activated)주기적으로 평가되며 조건 충족 시 알림 발생
비활성화 (Paused)평가가 중단되어 알림이 발생하지 않음 (설정은 유지)

1단계: 액션 생성​

알림 발생 시 호출될 액션(현재는 이메일)을 먼저 만듭니다.

  1. 모니터링 > 알림에서 액션 탭을 열고 액션 생성을 클릭합니다.

  2. 다음 항목을 입력합니다.

    항목설명
    액션 이름식별용 이름 (예: GPU 장애 알림)
    액션 종류이메일 (웹훅은 추후 지원 예정)
    수신 이메일사용자 검색으로 추가 또는 쉼표로 직접 입력 (1명 이상 필수)
  3. 생성을 클릭합니다.

현재 액션 종류는 이메일만 지원

Slack 웹훅 등 외부 서비스 연동은 추후 추가될 예정입니다.


2단계: 알림 규칙 생성​

  1. 모니터링 > 알림의 알림 규칙 탭에서 알림 규칙 생성을 클릭합니다.
  2. 다음 항목을 입력합니다.

기본 정보​

항목예시
이름GPU 사용률 경고
설명GPU 사용률이 90%를 초과하면 알림

대상 리소스​

항목설명
리소스 유형가상머신 또는 오브젝트 스토리지
리소스모니터링할 가상머신 또는 버킷 선택
메트릭리소스 유형에 따라 선택 가능 (아래 표 참고)

가상머신 메트릭

카테고리메트릭
GPU사용률(%), 메모리 사용량/총량(MiB), 온도(°C), 전력(W), 클럭 속도(MHz)
CPUUser · System · Idle · I/O Wait · IRQ · Soft IRQ · Steal · Guest · Nice (%)
메모리Total · Available · Active · Inactive · Cached · Buffers · Free (KiB) · Swap
네트워크RX/TX 대역폭(Bps) · 바이트 · 패킷 · 드롭 · 에러
스토리지사용량(Bytes) · 읽기/쓰기 처리량(Bps) · IOPS · 지연 시간(sec)

오브젝트 스토리지 메트릭

메트릭설명
사용량 (Usage)버킷 사용 용량 (Bytes)
오브젝트 수버킷 내 오브젝트 개수
GET / PUT / COPY / LISTAPI 요청 횟수
멀티파트 업로드멀티파트 업로드 작업 수

평가 조건​

항목설명
집계 방법평균(avg) / 합계(sum) / 최솟값(min) / 최댓값(max) (AlertAggEnum)
집계 간격1분 / 5분 / 15분 / 30분 / 1시간
연산자> (초과) / >= (이상) / < (미만) / <= (이하)
임계값알림이 발동할 값 (예: 5, 90, 0.85)
전체 평가 수최근 평가할 데이터포인트 수 (예: 5): datapoints_to_evaluate
알림 기준 수그중 임계값을 충족해야 알림이 발동하는 횟수 (예: 3): datapoints_to_alert

예: 집계 간격 5분, 전체 평가 수 5, 알림 기준 수 3 → 최근 25분 동안 5분 단위로 5번 측정해서 3번 이상 임계값을 초과하면 알림

완료된 구간만 평가됩니다

시스템은 집계 간격만큼의 데이터를 모아 하나의 집계값으로 만든 뒤 평가합니다. 아직 끝나지 않은 진행 중 구간은 데이터가 불완전하므로 평가에서 제외됩니다.

예를 들어 GPU 사용률 임계값 80%, 집계 간격 5분 규칙에서 10:15~10:20 구간이 시작된 직후 GPU가 일시적으로 95%까지 치솟았다 하더라도, 5분 구간이 완료되어 실제 평균이 산출되기 전까지는 평가에 반영되지 않습니다. 5분이 지난 시점에서 평균이 72%로 계산되면 정상으로 판단됩니다.

평가 다이어그램​

폼의 평가 방식 미리보기 다이어그램에서 설정한 조건이 어떻게 평가되는지 시각적으로 확인할 수 있고, 조건을 바꾸면 실시간으로 갱신됩니다.

  • 초록색 점: 임계값 이내의 정상 데이터 포인트
  • 노란색 점: 임계값을 초과한 데이터 포인트
  • 빨간색 점: 알림이 실제로 발동한 시점 (알림 기준 수 충족)
  • 점선: 임계값 기준선

알림 규칙 생성 화면과 평가 방식 미리보기

액션 연결​

방금 만든 액션을 선택해 연결합니다(여러 개 선택 가능).

  1. 생성을 클릭합니다.

활용 시나리오​

GPU 과부하 알림 설정​

  1. 모니터링 > 알림 > 액션 탭에서 이메일 액션을 만들고 수신자를 지정합니다.
  2. 알림 규칙 탭에서 알림 규칙 생성을 클릭합니다.
  3. 대상 리소스로 모니터링할 가상머신을 선택합니다.
  4. 메트릭을 GPU 사용률, 연산자를 >, 임계값을 90으로 설정합니다.
  5. 평가 조건을 집계 간격 5분, 전체 평가 수 5, 알림 기준 수 3으로 설정합니다.
  6. 평가 방식 미리보기 다이어그램에서 조건이 의도대로 동작하는지 확인합니다.
  7. 만들어 둔 이메일 액션을 선택한 뒤 생성을 클릭합니다.

오브젝트 스토리지 용량 알림 설정​

  1. 액션이 없다면 먼저 이메일 액션을 만듭니다.
  2. 알림 규칙 생성에서 리소스 유형을 오브젝트 스토리지로 선택합니다.
  3. 모니터링할 버킷을 선택합니다.
  4. 메트릭을 사용량 (Usage), 연산자를 >=, 임계값을 원하는 용량(Bytes)으로 설정합니다.
  5. 평가 조건과 액션을 설정한 뒤 생성을 클릭합니다.

알림 발생 후 원인 분석​

  1. 모니터링 > 알림의 알림 규칙 탭에서 현재 상태가 알림인 규칙을 클릭합니다.
  2. 알림 이벤트 탭에서 최근 상태 전환 이력과 발생 시간을 확인합니다.
  3. 메트릭 차트 탭에서 시간 범위를 발생 시간에 맞춰 그 시점의 메트릭을 확인합니다.
  4. 임계값 초과 원인을 파악한 뒤 필요한 조치를 취합니다.

자주 사용하는 알림 규칙​

목적메트릭집계 / 간격연산자임계값평가 / 발동
학습 완료 감지GPU 사용률avg / 5분<52 / 2
GPU OOM 위험GPU 메모리 사용률max / 1분>903 / 3
가상머신 비정상 종료 감지CPU 사용률avg / 5분<11 / 1
디스크 풀 위험디스크 사용률max / 5분>851 / 1
GPU 유휴(비용 누수)GPU 사용률avg / 1시간<301 / 1

알림 이벤트 확인​

알림 규칙의 평가 상태가 바뀌면 이력이 자동으로 기록됩니다. 이벤트만 모아 보는 별도 페이지는 없으며, 각 알림 규칙 상세 페이지의 알림 이벤트 탭에서 그 규칙의 이력을 확인합니다.

컬럼설명
상태 전환정상 → 알림 / 알림 → 정상 등
발생 시간상태가 바뀐 시각

알림 규칙 관리​

규칙 목록은 조회 전용이며 사용 열에서 활성화 여부를 확인할 수 있습니다. 변경은 규칙을 클릭해 들어간 상세 페이지에서 합니다.

  • 활성화 / 비활성화: 상세 페이지 상단의 스위치로 전환합니다 (규칙은 유지). Alert.AlertRule.UPDATE 권한이 필요합니다.
  • 수정: 설정 탭에서 임계값·조건·액션을 변경하고 저장합니다.
  • 삭제: 설정 탭 맨 아래에서 삭제합니다. 삭제한 규칙은 되돌릴 수 없습니다.

비활성화된 규칙은 평가되지 않으며, 알림 이벤트도 발생하지 않습니다. 유지보수 중인 가상머신의 규칙을 비활성화해 두면 거짓 알림을 막을 수 있습니다.

규칙 상세 페이지 탭​

규칙 목록에서 규칙을 클릭하면 상세 페이지의 5개 탭에서 다음을 확인할 수 있습니다.

탭내용
개요현재 상태, 마지막 업데이트 시각, 조건의 자연어 요약, 대상 리소스 (클릭으로 리소스 페이지 이동)
메트릭 차트모니터링 메트릭 그래프와 임계값. 시간 범위는 최근 30분부터 최근 30일까지 또는 사용자 지정으로 선택
알림 액션규칙에 연결된 알림 액션 목록. 클릭하면 액션 상세 페이지로 이동
알림 이벤트상태 전환 이력 (정상 → 알림, 알림 → 정상)과 발생 시간
설정규칙 수정과 삭제

액션 상세 페이지는 기본 정보, 사용 중인 규칙, 설정 탭으로 구성되며, 수신 이메일 수정과 액션 삭제는 설정 탭에서 합니다.

알림 규칙 상세의 설정 탭


자주 묻는 질문​

평가 상태가 "데이터 없음"입니다

  • 대상 가상머신이 실행 중 상태인지 확인
  • 규칙이 활성화 상태인지 확인 (비활성화된 규칙은 평가되지 않음)
  • 규칙 생성 직후에는 데이터가 충분히 쌓일 때까지 일시적으로 표시될 수 있음

알림 이메일이 오지 않습니다

  • 규칙에 액션이 정상적으로 연결되어 있는지 확인
  • 액션의 수신자 이메일이 올바른지 확인
  • 스팸·정크 메일함 확인

전체 평가 수와 알림 기준 수의 차이는?

  • 전체 평가 수: 최근 몇 개의 데이터 포인트를 확인할지 (윈도우 크기)
  • 알림 기준 수: 그중 몇 개가 임계값을 초과해야 알림을 발생시킬지 (트리거 조건)
  • 둘을 같게 설정하면 모든 포인트가 초과해야 알림이 발생 (엄격), 알림 기준 수를 1로 두면 한 번만 초과해도 발생 (민감)

액션을 삭제해도 되나요?

다른 규칙에서 사용 중인 액션을 삭제하면 해당 규칙의 알림이 더 이상 발송되지 않습니다. 액션 상세 페이지의 사용 중인 규칙 탭을 먼저 확인한 뒤 설정 탭 맨 아래에서 삭제하세요.


다음 단계​