Merge pull request '시스템 사용율 모니터링 기능 테스트' (#163) from feat/training_260303 into develop

Reviewed-on: #163

docker-compose-dev.yml

@@ -5,6 +5,7 @@ services:
       dockerfile: Dockerfile-dev
     image: kamco-cd-training-api:${IMAGE_TAG:-latest}
     container_name: kamco-cd-training-api
+    runtime: nvidia
     deploy:
       resources:
         reservations:

docker-compose-prod.yml

@@ -5,13 +5,6 @@ services:
       dockerfile: Dockerfile
     image: kamco-train-api:${IMAGE_TAG:-latest}
     container_name: kamco-train-api
-    deploy:
-      resources:
-        reservations:
-          devices:
-            - driver: nvidia
-              count: all
-              capabilities: [gpu]
     expose:
       - "8080"
     environment:

src/main/java/com/kamco/cd/training/common/dto/MonitorDto.java

@@ -3,6 +3,6 @@ package com.kamco.cd.training.common.dto;
 public class MonitorDto {
 
   public int cpu; // CPU 사용률 (%)
-  public long[] memory; // "사용/전체"
+  public String memory; // "사용/전체"
   public int gpu; // 🔥 전체 GPU 평균 (%)
 }

src/main/java/com/kamco/cd/training/common/service/GpuDmonReader.java

@@ -12,114 +12,98 @@ import org.springframework.stereotype.Component;
 @Log4j2
 public class GpuDmonReader {
 
-  // =========================
+  // GPU index → 현재 util
-  // GPU 사용률 저장소
-  // key: GPU index (0,1,2...)
-  // value: 현재 GPU 사용률 (%)
-  // ConcurrentHashMap → 멀티스레드 안전
-  // =========================
   private final Map<Integer, Integer> gpuUtilMap = new ConcurrentHashMap<>();
 
   // =========================
-  // 외부 조회용
+  // 외부 조회
-  // SystemMonitorService에서 호출
   // =========================
   public Map<Integer, Integer> getGpuUtilMap() {
     return gpuUtilMap;
   }
 
   // =========================
-  // Bean 초기화 시 실행
+  // 시작
-  // - 별도 스레드에서 GPU 모니터링 시작
-  // - 메인 스레드 block 방지
   // =========================
   @PostConstruct
   public void start() {
 
-    // nvidia-smi 없는 환경이면 GPU 모니터링 비활성화
     if (!isNvidiaAvailable()) {
       log.warn("nvidia-smi not found. GPU monitoring disabled.");
       return;
     }
 
-    // 데몬 스레드로 실행 (서버 종료 시 자동 종료)
     Thread t = new Thread(this::runLoop, "gpu-dmon-thread");
     t.setDaemon(true);
     t.start();
   }
 
   // =========================
-  // 무한 루프
+  // 무한 루프 (자동 복구)
-  // - dmon 실행
-  // - 죽으면 자동 재시작
   // =========================
   private void runLoop() {
 
+    boolean firstError = true;
+
     while (true) {
       try {
-        runDmon(); // GPU 사용률 수집 시작
+        log.info("Starting nvidia-smi dmon...");
+        runDmon();
+        firstError = true;
+
       } catch (Exception e) {
-        // dmon 프로세스 종료되면 여기로 들어옴
+
-        log.warn("dmon restart: {}", e.getMessage());
+        if (firstError) {
+          log.error("nvidia-smi dmon failed.", e);
+          firstError = false;
+        } else {
+          log.warn("dmon retry...");
+        }
       }
 
-      // 5초 대기 후 재시작
       sleep(5000);
     }
   }
 
   // =========================
-  // nvidia-smi dmon 실행
+  // dmon 실행
-  // - GPU 사용률 스트리밍으로 계속 수신
   // =========================
   private void runDmon() throws Exception {
 
-    // -s u → GPU utilization만 출력
     ProcessBuilder pb = new ProcessBuilder("nvidia-smi", "dmon", "-s", "u");
 
-    // 프로세스 실행 후 stdout 읽기
     try (BufferedReader br =
         new BufferedReader(new InputStreamReader(pb.start().getInputStream()))) {
 
       String line;
 
-      // dmon은 계속 출력됨 (스트리밍)
       while ((line = br.readLine()) != null) {
 
-        // 헤더 제거 (#로 시작)
         if (line.startsWith("#")) continue;
 
         line = line.trim();
         if (line.isEmpty()) continue;
 
-        // 공백 기준 분리
         String[] parts = line.split("\\s+");
 
-        // 첫 번째 값이 GPU index인지 확인
         if (!parts[0].matches("\\d+")) continue;
 
         int index = Integer.parseInt(parts[0]);
 
         try {
-          // 두 번째 값이 GPU 사용률 (sm)
           int util = Integer.parseInt(parts[1]);
-
-          // 최신 값 갱신
           gpuUtilMap.put(index, util);
-
         } catch (Exception ignored) {
-          // 파싱 실패 시 무시
         }
       }
     }
 
-    // 여기까지 왔다는 건 dmon 프로세스 종료됨
+    // dmon 종료되면 예외 던져서 재시작
-    // → runLoop에서 재시작하도록 예외 발생
     throw new IllegalStateException("dmon stopped");
   }
 
   // =========================
-  // nvidia-smi 존재 여부 확인
+  // util
   // =========================
   private boolean isNvidiaAvailable() {
     try {
@@ -130,9 +114,6 @@ public class GpuDmonReader {
     }
   }
 
-  // =========================
-  // sleep 유틸
-  // =========================
   private void sleep(long ms) {
     try {
       Thread.sleep(ms);

src/main/java/com/kamco/cd/training/common/service/SystemMonitorService.java

@@ -6,7 +6,6 @@ import java.io.FileReader;
 import java.util.ArrayDeque;
 import java.util.Deque;
 import java.util.Map;
-import java.util.concurrent.ConcurrentHashMap;
 import lombok.RequiredArgsConstructor;
 import lombok.extern.log4j.Log4j2;
 import org.springframework.scheduling.annotation.Scheduled;
@@ -17,75 +16,41 @@ import org.springframework.stereotype.Service;
 @Log4j2
 public class SystemMonitorService {
 
-  // =========================
-  // CPU 이전값 (delta 계산용)
-  // - /proc/stat은 누적값이기 때문에
-  // - 이전 값과 비교해서 사용률 계산
-  // =========================
   private long prevIdle = 0;
   private long prevTotal = 0;
 
-  // =========================
-  // 최근 30초 히스토리
-  // - CPU: 30개 (1초 * 30)
-  // - GPU: GPU별 30개
-  // =========================
   private final Deque<Double> cpuHistory = new ArrayDeque<>();
+  private final Map<Integer, Deque<Integer>> gpuHistory = new java.util.HashMap<>();
 
-  // key: GPU index
-  // value: 최근 30개 사용률
-  private final Map<Integer, Deque<Integer>> gpuHistory = new ConcurrentHashMap<>();
-
-  // =========================
-  // GPU 데이터 제공 (dmon reader)
-  // =========================
   private final GpuDmonReader gpuReader;
 
-  // =========================
-  // 캐시 (API 응답용)
-  // - 매 요청마다 계산하지 않기 위해 사용
-  // - volatile → 멀티스레드 안전하게 최신값 유지
-  // =========================
   private volatile MonitorDto cached = new MonitorDto();
 
   // =========================
-  // 1초마다 수집
+  // 1초 수집
   // =========================
   @Scheduled(fixedRate = 1000)
   public void collect() {
     try {
 
-      // =====================
+      // CPU
-      // 1. CPU 수집
-      // =====================
       double cpu = readCpu();
-
       cpuHistory.add(cpu);
-
-      // 30개 유지 (rolling window)
       if (cpuHistory.size() > 30) cpuHistory.poll();
 
-      // =====================
+      // GPU
-      // 2. GPU 수집
-      // =====================
       Map<Integer, Integer> gpuMap = gpuReader.getGpuUtilMap();
 
       for (Map.Entry<Integer, Integer> entry : gpuMap.entrySet()) {
-
         int index = entry.getKey();
         int util = entry.getValue();
 
-        // GPU별 히스토리 생성 및 추가
         gpuHistory.computeIfAbsent(index, k -> new ArrayDeque<>()).add(util);
 
-        // 30개 유지
         Deque<Integer> q = gpuHistory.get(index);
         if (q.size() > 30) q.poll();
       }
 
-      // =====================
-      // 3. 캐시 업데이트
-      // =====================
       updateCache();
 
     } catch (Exception e) {
@@ -94,9 +59,7 @@ public class SystemMonitorService {
   }
 
   // =========================
-  // CPU 사용률 계산
+  // CPU
-  // - /proc/stat 사용
-  // - 이전값과의 차이로 계산 (delta 방식)
   // =========================
   private double readCpu() throws Exception {
 
@@ -117,7 +80,6 @@ public class SystemMonitorService {
       long total = user + nice + system + idle + iowait + irq + softirq;
       long idleAll = idle + iowait;
 
-      // 최초 실행 시 기준값만 저장
       if (prevTotal == 0) {
         prevTotal = total;
         prevIdle = idleAll;
@@ -132,28 +94,22 @@ public class SystemMonitorService {
 
       if (totalDiff == 0) return 0;
 
-      // CPU 사용률 (%)
       return (1.0 - (double) idleDiff / totalDiff) * 100;
     }
   }
 
-  // =========================
-  // Linux 환경 체크
-  // =========================
   private boolean isLinux() {
     return System.getProperty("os.name").toLowerCase().contains("linux");
   }
 
   // =========================
-  // Memory 조회 (/proc/meminfo)
+  // Memory
-  // - OS 값 그대로 사용 (kB)
-  // - [사용량, 전체]
   // =========================
-  private long[] readMemory() throws Exception {
+  private String readMemory() throws Exception {
 
-    if (!isLinux()) return new long[] {0, 0};
+    if (!isLinux()) return "N/A";
 
-    try (BufferedReader br = new BufferedReader(new FileReader("/proc/meminfo"))) {
+    BufferedReader br = new BufferedReader(new FileReader("/proc/meminfo"));
 
     long total = 0;
     long available = 0;
@@ -167,56 +123,50 @@ public class SystemMonitorService {
       }
     }
 
+    br.close();
+
     long used = total - available;
 
-      return new long[] {used, total};
+    double usedGB = used / (1024.0 * 1024);
-    }
+    double totalGB = total / (1024.0 * 1024);
+
+    return String.format("%.1f/%.0fGB", usedGB, totalGB);
   }
 
   // =========================
-  // 캐시 업데이트
+  // 캐시 업데이트 (🔥 핵심)
-  // - CPU: 30초 평균
-  // - GPU: 전체 샘플 평균
-  // - Memory: 현재값
   // =========================
   private void updateCache() throws Exception {
 
     MonitorDto dto = new MonitorDto();
 
-    // =====================
+    // CPU 평균
-    // CPU 평균 (30초)
-    // =====================
     dto.cpu = (int) cpuHistory.stream().mapToDouble(Double::doubleValue).average().orElse(0);
 
-    // =====================
+    // Memory
-    // Memory (kB 그대로)
-    // =====================
     dto.memory = readMemory();
 
     // =====================
-    // GPU 평균 (🔥 전체 샘플 기준)
+    // GPU 평균 (🔥 여기 중요)
     // =====================
     int sum = 0;
-    int count = 0;
+    int gpuCount = 0;
 
     for (Deque<Integer> q : gpuHistory.values()) {
-      for (int v : q) {
+
-        sum += v;
+      int avgPerGpu = (int) q.stream().mapToInt(i -> i).average().orElse(0);
-        count++;
+
-      }
+      sum += avgPerGpu;
+      gpuCount++;
     }
 
-    dto.gpu = (count == 0) ? 0 : sum / count;
+    dto.gpu = (gpuCount == 0) ? 0 : sum / gpuCount;
 
-    // =====================
-    // 캐시 교체 (atomic)
-    // =====================
     this.cached = dto;
   }
 
   // =========================
-  // 외부 조회
+  // 조회
-  // - Controller에서 호출
   // =========================
   public MonitorDto get() {
     return cached;

src/main/java/com/kamco/cd/training/config/api/ApiLogFilter.java

@@ -16,6 +16,12 @@ public class ApiLogFilter extends OncePerRequestFilter {
   protected void doFilterInternal(
       HttpServletRequest request, HttpServletResponse response, FilterChain filterChain)
       throws ServletException, IOException {
+    String uri = request.getRequestURI();
+    if (uri.contains("/download/")) {
+      filterChain.doFilter(request, response);
+      return;
+    }
+
     ContentCachingRequestWrapper wrappedRequest = new ContentCachingRequestWrapper(request);
 
     ContentCachingResponseWrapper wrappedResponse = new ContentCachingResponseWrapper(response);