Geojson File Data Type Change to Apply - Daniel C No.11

2025-12-03 17:11:09 +09:00
parent 46de8c223a
commit 527167611b
4 changed files with 109 additions and 38 deletions
--- a/src/main/java/com/kamco/cd/kamcoback/geojson/config/GeoJsonMonitorConfig.java
+++ b/src/main/java/com/kamco/cd/kamcoback/geojson/config/GeoJsonMonitorConfig.java
@@ -22,8 +22,8 @@ public class GeoJsonMonitorConfig {
  /** 처리 실패 파일을 이동할 폴더 경로 */
  private String errorDirectory = "~/geojson/error";

-  /** 파일 모니터링 스케줄 (cron 표현식) 기본값: 매 30초마다 실행 */
-  private String cronExpression = "0/30 * * * * *";
+  /** 파일 모니터링 스케줄 (cron 표현식) 기본값: 매 1분마다 실행 */
+  private String cronExpression = "0 * * * * *";

  /** 지원하는 압축파일 확장자 */
  private String[] supportedExtensions = {"zip", "tar", "tar.gz", "tgz"};
--- a/src/main/java/com/kamco/cd/kamcoback/geojson/service/GeoJsonDataService.java
+++ b/src/main/java/com/kamco/cd/kamcoback/geojson/service/GeoJsonDataService.java
@@ -27,32 +27,30 @@ public class GeoJsonDataService {
  private final GeoJsonReader geoJsonReader = new GeoJsonReader();

  /** GeoJSON 파일들을 데이터베이스에 저장 */
-  @Transactional
  public List<Long> processGeoJsonFiles(
    Map<String, String> geoJsonContents, String archiveFileName) {
    List<Long> savedIds = new ArrayList<>();

    log.info("GeoJSON 파일 처리 시작: {} ({}개 파일)", archiveFileName, geoJsonContents.size());

+    // 개별 파일별로 독립적인 트랜잭션으로 처리
    for (Map.Entry<String, String> entry : geoJsonContents.entrySet()) {
      String fileName = entry.getKey();
      String geoJsonContent = entry.getValue();

      try {
-        Long savedId = processGeoJsonFile(fileName, geoJsonContent, archiveFileName);
+        Long savedId = processGeoJsonFileWithTransaction(fileName, geoJsonContent, archiveFileName);
        if (savedId != null) {
          savedIds.add(savedId);
          log.debug("GeoJSON 파일 저장 성공: {} (ID: {})", fileName, savedId);
-
-          // 학습 모델 결과 파일인지 확인하여 geometry 데이터 처리
-          if (isLearningModelResult(fileName, geoJsonContent)) {
-            processLearningModelGeometry(savedId, geoJsonContent, fileName);
-          }
        }
      } catch (Exception e) {
        log.error("GeoJSON 파일 처리 실패: {}", fileName, e);
        // 개별 파일 처리 실패는 전체 처리를 중단시키지 않음
      }
+
+      // 메모리 정리
+      System.gc();
    }

    log.info(
@@ -64,6 +62,22 @@ public class GeoJsonDataService {
    return savedIds;
  }

+  /** 개별 파일을 별도 트랜잭션으로 처리 */
+  @Transactional
+  public Long processGeoJsonFileWithTransaction(
+    String fileName, String geoJsonContent, String archiveFileName) {
+    try {
+      Long savedId = processGeoJsonFile(fileName, geoJsonContent, archiveFileName);
+      if (savedId != null && isLearningModelResult(fileName, geoJsonContent)) {
+        processLearningModelGeometryOptimized(savedId, geoJsonContent, fileName);
+      }
+      return savedId;
+    } catch (Exception e) {
+      log.error("파일 처리 중 트랜잭션 에러: {}", fileName, e);
+      throw e; // 트랜잭션 롤백을 위해 재throw
+    }
+  }
+
  /** 개별 GeoJSON 파일을 MapSheetLearnDataEntity로 변환하여 저장 */
  private Long processGeoJsonFile(String fileName, String geoJsonContent, String archiveFileName) {
    try {
@@ -285,9 +299,9 @@ public class GeoJsonDataService {
    return false;
  }

-  /** 학습 모델 결과의 geometry 데이터 처리 */
-  @Transactional
-  public void processLearningModelGeometry(Long dataUid, String geoJsonContent, String fileName) {
+  /** 학습 모델 결과의 geometry 데이터 처리 - 최적화된 배치 처리 */
+  public void processLearningModelGeometryOptimized(
+    Long dataUid, String geoJsonContent, String fileName) {
    try {
      log.info("학습 모델 geometry 데이터 처리 시작: {} (dataUid: {})", fileName, dataUid);

@@ -318,30 +332,69 @@ public class GeoJsonDataService {
        return;
      }

-      List<MapSheetLearnDataGeomEntity> geomEntities = new ArrayList<>();
+      // 소규모 배치로 나누어 처리
+      int totalFeatures = features.size();
+      int batchSize = 10; // 작은 배치 크기
      int processedCount = 0;

-      for (JsonNode feature : features) {
+      log.info("총 {}개 feature를 {}개씩 배치로 나누어 처리", totalFeatures, batchSize);
+
+      for (int i = 0; i < totalFeatures; i += batchSize) {
+        int endIndex = Math.min(i + batchSize, totalFeatures);
+        List<MapSheetLearnDataGeomEntity> batch = new ArrayList<>();
+
+        for (int j = i; j < endIndex; j++) {
          try {
+            JsonNode feature = features.get(j);
            MapSheetLearnDataGeomEntity geomEntity =
              createGeometryEntity(feature, dataUid, beforeYear, afterYear, mapSheetNum);
            if (geomEntity != null) {
-            geomEntities.add(geomEntity);
-            processedCount++;
+              batch.add(geomEntity);
            }
          } catch (Exception e) {
-          log.warn("Feature geometry 처리 실패 (feature {}): {}", processedCount, e.getMessage());
+            log.warn("Feature geometry 처리 실패 (feature {}): {}", j + 1, e.getMessage());
          }
        }

-      // 배치 저장
-      if (!geomEntities.isEmpty()) {
-        mapSheetLearnDataGeomRepository.saveAll(geomEntities);
-        log.info("학습 모델 geometry 데이터 저장 완료: {} ({}개 feature)", fileName, geomEntities.size());
+        // 배치별 저장
+        if (!batch.isEmpty()) {
+          saveBatchGeometry(batch);
+          processedCount += batch.size();
+          log.debug("배치 {}-{} 처리 완료 ({}개)", i + 1, endIndex, batch.size());
        }

+        // 메모리 정리
+        batch.clear();
+      }
+
+      log.info("학습 모델 geometry 데이터 저장 완료: {} ({}개 feature)", fileName, processedCount);
+
    } catch (Exception e) {
      log.error("학습 모델 geometry 데이터 처리 실패: {}", fileName, e);
+      throw new RuntimeException("Geometry 처리 실패: " + fileName, e);
+    }
+  }
+
+  /** 배치별 geometry 저장 - 별도 트랜잭션 */
+  @Transactional(propagation = org.springframework.transaction.annotation.Propagation.REQUIRES_NEW)
+  public void saveBatchGeometry(List<MapSheetLearnDataGeomEntity> batch) {
+    try {
+      if (batch == null || batch.isEmpty()) {
+        return;
+      }
+      mapSheetLearnDataGeomRepository.saveAll(batch);
+    } catch (Exception e) {
+      log.error("배치 geometry 저장 실패: {}", e.getMessage());
+      // 개별 저장 시도
+      for (MapSheetLearnDataGeomEntity entity : batch) {
+        try {
+          if (entity != null) {
+            mapSheetLearnDataGeomRepository.save(entity);
+          }
+        } catch (Exception individualError) {
+          log.warn("개별 geometry 저장 실패: {}", individualError.getMessage());
+        }
+      }
    }
  }

--- a/src/main/java/com/kamco/cd/kamcoback/postgres/entity/MapSheetLearnDataEntity.java
+++ b/src/main/java/com/kamco/cd/kamcoback/postgres/entity/MapSheetLearnDataEntity.java
@@ -2,7 +2,10 @@ package com.kamco.cd.kamcoback.postgres.entity;

 import jakarta.persistence.Column;
 import jakarta.persistence.Entity;
+import jakarta.persistence.GeneratedValue;
+import jakarta.persistence.GenerationType;
 import jakarta.persistence.Id;
+import jakarta.persistence.SequenceGenerator;
 import jakarta.persistence.Table;
 import jakarta.validation.constraints.Size;
 import java.time.ZonedDateTime;
@@ -20,6 +23,11 @@ import org.hibernate.type.SqlTypes;
 public class MapSheetLearnDataEntity {

  @Id
+  @GeneratedValue(strategy = GenerationType.SEQUENCE, generator = "tb_map_sheet_learn_data_id_gen")
+  @SequenceGenerator(
+    name = "tb_map_sheet_learn_data_id_gen",
+    sequenceName = "tb_map_sheet_learn_data_data_uid",
+    allocationSize = 1)
  @Column(name = "data_uid", nullable = false)
  private Long id;

--- a/src/main/java/com/kamco/cd/kamcoback/postgres/entity/MapSheetLearnDataGeomEntity.java
+++ b/src/main/java/com/kamco/cd/kamcoback/postgres/entity/MapSheetLearnDataGeomEntity.java
@@ -2,7 +2,10 @@ package com.kamco.cd.kamcoback.postgres.entity;

 import jakarta.persistence.Column;
 import jakarta.persistence.Entity;
+import jakarta.persistence.GeneratedValue;
+import jakarta.persistence.GenerationType;
 import jakarta.persistence.Id;
+import jakarta.persistence.SequenceGenerator;
 import jakarta.persistence.Table;
 import jakarta.validation.constraints.Size;
 import java.time.ZonedDateTime;
@@ -17,6 +20,13 @@ import org.locationtech.jts.geom.Geometry;
 public class MapSheetLearnDataGeomEntity {

  @Id
+  @GeneratedValue(
+    strategy = GenerationType.SEQUENCE,
+    generator = "tb_map_sheet_learn_data_geom_id_gen")
+  @SequenceGenerator(
+    name = "tb_map_sheet_learn_data_geom_id_gen",
+    sequenceName = "tb_map_sheet_learn_data_geom_geom_uid",
+    allocationSize = 1)
  @Column(name = "geo_uid", nullable = false)
  private Long id;