Compare commits
7 Commits
38906a5795
...
feat/train
| Author | SHA1 | Date | |
|---|---|---|---|
| 2e858c8896 | |||
| b546e053b6 | |||
| bc67753b99 | |||
| 8043e1a41a | |||
| d48e96ba82 | |||
| 01a1211e55 | |||
| a0f4d0b8e2 |
@@ -11,10 +11,12 @@ import io.swagger.v3.oas.annotations.media.Schema;
|
||||
import io.swagger.v3.oas.annotations.responses.ApiResponse;
|
||||
import io.swagger.v3.oas.annotations.responses.ApiResponses;
|
||||
import io.swagger.v3.oas.annotations.tags.Tag;
|
||||
import java.util.UUID;
|
||||
import lombok.RequiredArgsConstructor;
|
||||
import lombok.extern.slf4j.Slf4j;
|
||||
import org.springframework.web.bind.annotation.DeleteMapping;
|
||||
import org.springframework.web.bind.annotation.GetMapping;
|
||||
import org.springframework.web.bind.annotation.PathVariable;
|
||||
import org.springframework.web.bind.annotation.RequestBody;
|
||||
import org.springframework.web.bind.annotation.RequestMapping;
|
||||
import org.springframework.web.bind.annotation.RequestParam;
|
||||
@@ -122,4 +124,136 @@ public class FileManagerApiController {
|
||||
FileManagerDto.DeleteFileRes response = fileManagerService.deleteFiles(request);
|
||||
return ApiResponseDto.ok(response);
|
||||
}
|
||||
|
||||
@Operation(
|
||||
summary = "모델 파일 경로 조회",
|
||||
description =
|
||||
"특정 모델 UUID로 파일 위치 경로와 하위 파일 목록을 조회합니다. "
|
||||
+ "request_path(심볼릭 링크 디렉토리)와 response_path(모델 결과)를 동시에 반환합니다.")
|
||||
@ApiResponses(
|
||||
value = {
|
||||
@ApiResponse(
|
||||
responseCode = "200",
|
||||
description = "조회 성공",
|
||||
content =
|
||||
@Content(
|
||||
mediaType = "application/json",
|
||||
schema = @Schema(implementation = FileManagerDto.ModelFilePathRes.class))),
|
||||
@ApiResponse(responseCode = "404", description = "모델을 찾을 수 없음", content = @Content),
|
||||
@ApiResponse(responseCode = "500", description = "서버 오류", content = @Content)
|
||||
})
|
||||
@GetMapping("/model-path/{modelUuid}")
|
||||
public ApiResponseDto<FileManagerDto.ModelFilePathRes> getModelFilePath(
|
||||
@Parameter(description = "모델 UUID", example = "df284755-c0b7-4070-bfee-ef554e8d0fe4")
|
||||
@PathVariable
|
||||
UUID modelUuid) {
|
||||
|
||||
FileManagerDto.ModelFilePathRes response = fileManagerService.getModelFilePath(modelUuid);
|
||||
return ApiResponseDto.ok(response);
|
||||
}
|
||||
|
||||
@Operation(
|
||||
summary = "데이터셋 파일 경로 조회",
|
||||
description =
|
||||
"특정 데이터셋 UUID로 파일 위치 경로와 하위 파일 목록을 조회합니다. " + "dataset_path 컬럼의 request_dir 경로를 반환합니다.")
|
||||
@ApiResponses(
|
||||
value = {
|
||||
@ApiResponse(
|
||||
responseCode = "200",
|
||||
description = "조회 성공",
|
||||
content =
|
||||
@Content(
|
||||
mediaType = "application/json",
|
||||
schema = @Schema(implementation = FileManagerDto.DatasetFilePathRes.class))),
|
||||
@ApiResponse(responseCode = "404", description = "데이터셋을 찾을 수 없음", content = @Content),
|
||||
@ApiResponse(responseCode = "500", description = "서버 오류", content = @Content)
|
||||
})
|
||||
@GetMapping("/dataset-path/{datasetUuid}")
|
||||
public ApiResponseDto<FileManagerDto.DatasetFilePathRes> getDatasetFilePath(
|
||||
@Parameter(description = "데이터셋 UUID", example = "037b09a0-b315-4e2e-b88d-b9011f9eaa15")
|
||||
@PathVariable
|
||||
UUID datasetUuid) {
|
||||
|
||||
FileManagerDto.DatasetFilePathRes response = fileManagerService.getDatasetFilePath(datasetUuid);
|
||||
return ApiResponseDto.ok(response);
|
||||
}
|
||||
|
||||
@Operation(
|
||||
summary = "디렉토리 용량 체크",
|
||||
description = "특정 디렉토리의 총 용량, 파일 개수, 디렉토리 개수를 조회합니다. " + "basepath 하위 폴더의 용량을 재귀적으로 계산합니다.")
|
||||
@ApiResponses(
|
||||
value = {
|
||||
@ApiResponse(
|
||||
responseCode = "200",
|
||||
description = "조회 성공",
|
||||
content =
|
||||
@Content(
|
||||
mediaType = "application/json",
|
||||
schema = @Schema(implementation = FileManagerDto.DirectoryCapacityRes.class))),
|
||||
@ApiResponse(responseCode = "400", description = "잘못된 경로", content = @Content),
|
||||
@ApiResponse(responseCode = "404", description = "디렉토리를 찾을 수 없음", content = @Content),
|
||||
@ApiResponse(responseCode = "500", description = "서버 오류", content = @Content)
|
||||
})
|
||||
@GetMapping("/directory-capacity")
|
||||
public ApiResponseDto<FileManagerDto.DirectoryCapacityRes> checkDirectoryCapacity(
|
||||
@Parameter(
|
||||
description = "디렉토리 경로",
|
||||
example = "/home/kcomu/data/request/037b09a0-b315-4e2e-b88d-b9011f9eaa15")
|
||||
@RequestParam
|
||||
String directoryPath) {
|
||||
|
||||
FileManagerDto.DirectoryCapacityRes response =
|
||||
fileManagerService.checkDirectoryCapacity(directoryPath);
|
||||
return ApiResponseDto.ok(response);
|
||||
}
|
||||
|
||||
@Operation(
|
||||
summary = "모델별 학습 실행 상태 조회",
|
||||
description =
|
||||
"G1~G4 모델의 현재 학습 실행 상태를 조회합니다. "
|
||||
+ "step1_state, step2_state를 체크하여 어떤 모델이 학습 중인지 확인합니다. "
|
||||
+ "step1과 step2는 동시 진행되지 않습니다.")
|
||||
@ApiResponses(
|
||||
value = {
|
||||
@ApiResponse(
|
||||
responseCode = "200",
|
||||
description = "조회 성공",
|
||||
content =
|
||||
@Content(
|
||||
mediaType = "application/json",
|
||||
schema =
|
||||
@Schema(
|
||||
implementation = FileManagerDto.AllModelsExecutionStatusRes.class))),
|
||||
@ApiResponse(responseCode = "500", description = "서버 오류", content = @Content)
|
||||
})
|
||||
@GetMapping("/models-execution-status")
|
||||
public ApiResponseDto<FileManagerDto.AllModelsExecutionStatusRes> getModelsExecutionStatus() {
|
||||
|
||||
FileManagerDto.AllModelsExecutionStatusRes response =
|
||||
fileManagerService.getModelsExecutionStatus();
|
||||
return ApiResponseDto.ok(response);
|
||||
}
|
||||
|
||||
@Operation(
|
||||
summary = "저장공간 정보 조회",
|
||||
description =
|
||||
"/home/kcomu/data 경로의 사용 중인 용량, 전체 디스크 용량, 남은 저장공간을 조회합니다. "
|
||||
+ "파라미터 없이 호출하면 자동으로 /home/kcomu/data 경로 정보를 반환합니다.")
|
||||
@ApiResponses(
|
||||
value = {
|
||||
@ApiResponse(
|
||||
responseCode = "200",
|
||||
description = "조회 성공",
|
||||
content =
|
||||
@Content(
|
||||
mediaType = "application/json",
|
||||
schema = @Schema(implementation = FileManagerDto.StorageSpaceRes.class))),
|
||||
@ApiResponse(responseCode = "500", description = "서버 오류", content = @Content)
|
||||
})
|
||||
@GetMapping("/storage-space")
|
||||
public ApiResponseDto<FileManagerDto.StorageSpaceRes> getStorageSpaceInfo() {
|
||||
|
||||
FileManagerDto.StorageSpaceRes response = fileManagerService.getStorageSpaceInfo();
|
||||
return ApiResponseDto.ok(response);
|
||||
}
|
||||
}
|
||||
|
||||
@@ -131,4 +131,148 @@ public class FileManagerDto {
|
||||
@Schema(description = "사용률 (%)", example = "50.0")
|
||||
private Double usagePercentage;
|
||||
}
|
||||
|
||||
@Data
|
||||
@Builder
|
||||
@NoArgsConstructor
|
||||
@AllArgsConstructor
|
||||
@Schema(description = "모델 파일 경로 정보 응답")
|
||||
public static class ModelFilePathRes {
|
||||
@Schema(description = "모델 UUID", example = "df284755-c0b7-4070-bfee-ef554e8d0fe4")
|
||||
private String modelUuid;
|
||||
|
||||
@Schema(
|
||||
description = "요청 경로 (심볼릭 링크 디렉토리)",
|
||||
example = "/home/kcomu/data/tmp/AE366F3076504FACBF12106986202AB5")
|
||||
private String requestPath;
|
||||
|
||||
@Schema(
|
||||
description = "응답 경로 (모델 결과 저장)",
|
||||
example = "/home/kcomu/data/response/df284755-c0b7-4070-bfee-ef554e8d0fe4")
|
||||
private String responsePath;
|
||||
|
||||
@Schema(description = "요청 경로 파일 목록")
|
||||
private List<FileInfo> requestFiles;
|
||||
|
||||
@Schema(description = "응답 경로 파일 목록")
|
||||
private List<FileInfo> responseFiles;
|
||||
}
|
||||
|
||||
@Data
|
||||
@Builder
|
||||
@NoArgsConstructor
|
||||
@AllArgsConstructor
|
||||
@Schema(description = "데이터셋 파일 경로 정보 응답")
|
||||
public static class DatasetFilePathRes {
|
||||
@Schema(description = "데이터셋 UUID", example = "037b09a0-b315-4e2e-b88d-b9011f9eaa15")
|
||||
private String datasetUuid;
|
||||
|
||||
@Schema(
|
||||
description = "데이터셋 경로",
|
||||
example = "/home/kcomu/data/request/037b09a0-b315-4e2e-b88d-b9011f9eaa15")
|
||||
private String datasetPath;
|
||||
|
||||
@Schema(description = "데이터셋 파일 목록")
|
||||
private List<FileInfo> files;
|
||||
}
|
||||
|
||||
@Data
|
||||
@Builder
|
||||
@NoArgsConstructor
|
||||
@AllArgsConstructor
|
||||
@Schema(description = "디렉토리 용량 체크 응답")
|
||||
public static class DirectoryCapacityRes {
|
||||
@Schema(description = "디렉토리 경로", example = "/home/kcomu/data/request/dataset-uuid")
|
||||
private String directoryPath;
|
||||
|
||||
@Schema(description = "파일 개수", example = "1234")
|
||||
private Integer fileCount;
|
||||
|
||||
@Schema(description = "디렉토리 개수", example = "56")
|
||||
private Integer directoryCount;
|
||||
|
||||
@Schema(description = "총 용량 (bytes)", example = "10485760000")
|
||||
private Long totalSize;
|
||||
|
||||
@Schema(description = "총 용량 (읽기 쉬운 형식)", example = "9.77 GB")
|
||||
private String totalSizeFormatted;
|
||||
}
|
||||
|
||||
@Data
|
||||
@Builder
|
||||
@NoArgsConstructor
|
||||
@AllArgsConstructor
|
||||
@Schema(description = "모델별 학습 실행 상태 응답")
|
||||
public static class ModelExecutionStatusRes {
|
||||
@Schema(description = "모델 번호", example = "G1")
|
||||
private String modelNo;
|
||||
|
||||
@Schema(description = "실행 상태 메시지", example = "G1 모델에 테스트를 진행중입니다.")
|
||||
private String statusMessage;
|
||||
|
||||
@Schema(description = "1단계 상태", example = "COMPLETED")
|
||||
private String step1State;
|
||||
|
||||
@Schema(description = "2단계 상태", example = "IN_PROGRESS")
|
||||
private String step2State;
|
||||
|
||||
@Schema(description = "현재 실행 중인 단계", example = "2")
|
||||
private Integer currentStep;
|
||||
}
|
||||
|
||||
@Data
|
||||
@Builder
|
||||
@NoArgsConstructor
|
||||
@AllArgsConstructor
|
||||
@Schema(description = "전체 모델 학습 실행 상태 목록 응답")
|
||||
public static class AllModelsExecutionStatusRes {
|
||||
@Schema(description = "모델별 실행 상태 목록")
|
||||
private List<ModelExecutionStatusRes> modelStatuses;
|
||||
|
||||
@Schema(description = "현재 실행 중인 모델 개수", example = "2")
|
||||
private Integer runningCount;
|
||||
}
|
||||
|
||||
@Data
|
||||
@Builder
|
||||
@NoArgsConstructor
|
||||
@AllArgsConstructor
|
||||
@Schema(description = "저장공간 정보 응답 (남은 공간 포함)")
|
||||
public static class StorageSpaceRes {
|
||||
@Schema(description = "디렉토리 경로", example = "/home/kcomu/data")
|
||||
private String directoryPath;
|
||||
|
||||
@Schema(description = "파일 개수", example = "1234")
|
||||
private Integer fileCount;
|
||||
|
||||
@Schema(description = "디렉토리 개수", example = "56")
|
||||
private Integer directoryCount;
|
||||
|
||||
@Schema(description = "사용 중인 용량 (bytes)", example = "10485760000")
|
||||
private Long usedSize;
|
||||
|
||||
@Schema(description = "사용 중인 용량 (읽기 쉬운 형식)", example = "9.77 GB")
|
||||
private String usedSizeFormatted;
|
||||
|
||||
@Schema(description = "전체 디스크 용량 (bytes)", example = "1000000000000")
|
||||
private Long totalDiskSpace;
|
||||
|
||||
@Schema(description = "전체 디스크 용량 (읽기 쉬운 형식)", example = "931.32 GB")
|
||||
private String totalDiskSpaceFormatted;
|
||||
|
||||
@Schema(description = "남은 저장공간 (bytes)", example = "500000000000")
|
||||
private Long freeSpace;
|
||||
|
||||
@Schema(description = "남은 저장공간 (읽기 쉬운 형식)", example = "465.66 GB")
|
||||
private String freeSpaceFormatted;
|
||||
|
||||
@Schema(description = "사용 가능한 공간 (bytes)", example = "480000000000")
|
||||
private Long usableSpace;
|
||||
|
||||
@Schema(description = "사용 가능한 공간 (읽기 쉬운 형식)", example = "447.03 GB")
|
||||
private String usableSpaceFormatted;
|
||||
|
||||
@Schema(description = "디스크 사용률 (%)", example = "50.5")
|
||||
private Double usagePercentage;
|
||||
}
|
||||
}
|
||||
|
||||
@@ -1,6 +1,10 @@
|
||||
package com.kamco.cd.training.filemanager.service;
|
||||
|
||||
import com.kamco.cd.training.filemanager.dto.FileManagerDto;
|
||||
import com.kamco.cd.training.postgres.entity.DatasetEntity;
|
||||
import com.kamco.cd.training.postgres.entity.ModelMasterEntity;
|
||||
import com.kamco.cd.training.postgres.repository.dataset.DatasetRepository;
|
||||
import com.kamco.cd.training.postgres.repository.model.ModelMngRepository;
|
||||
import java.io.IOException;
|
||||
import java.nio.file.FileVisitResult;
|
||||
import java.nio.file.Files;
|
||||
@@ -12,10 +16,13 @@ import java.time.Instant;
|
||||
import java.time.LocalDateTime;
|
||||
import java.time.ZoneId;
|
||||
import java.util.ArrayList;
|
||||
import java.util.Arrays;
|
||||
import java.util.List;
|
||||
import java.util.UUID;
|
||||
import java.util.stream.Stream;
|
||||
import lombok.RequiredArgsConstructor;
|
||||
import lombok.extern.slf4j.Slf4j;
|
||||
import org.springframework.beans.factory.annotation.Value;
|
||||
import org.springframework.stereotype.Service;
|
||||
|
||||
@Slf4j
|
||||
@@ -26,6 +33,18 @@ public class FileManagerService {
|
||||
private static final String BASE_DATA_PATH = "/data";
|
||||
private static final long MAX_PATH_LENGTH = 500;
|
||||
|
||||
@Value("${train.docker.request_dir}")
|
||||
private String requestDir;
|
||||
|
||||
@Value("${train.docker.response_dir}")
|
||||
private String responseDir;
|
||||
|
||||
@Value("${train.docker.symbolic_link_dir}")
|
||||
private String symbolicLinkDir;
|
||||
|
||||
private final ModelMngRepository modelMngRepository;
|
||||
private final DatasetRepository datasetRepository;
|
||||
|
||||
/**
|
||||
* 디렉토리 내 파일 목록 조회
|
||||
*
|
||||
@@ -38,15 +57,38 @@ public class FileManagerService {
|
||||
|
||||
boolean recursive = request.getRecursive() != null && request.getRecursive();
|
||||
|
||||
validatePath(targetPath);
|
||||
// 경로 검증은 수행하되, 예외를 throw하지 않고 빈 데이터 반환
|
||||
try {
|
||||
validatePath(targetPath);
|
||||
} catch (IllegalArgumentException e) {
|
||||
log.debug("유효하지 않은 경로: {}", targetPath);
|
||||
return FileManagerDto.ListFilesRes.builder()
|
||||
.directoryPath(targetPath)
|
||||
.files(new ArrayList<>())
|
||||
.totalCount(0)
|
||||
.totalSize(0L)
|
||||
.build();
|
||||
}
|
||||
|
||||
Path directory = Paths.get(targetPath);
|
||||
if (!Files.exists(directory)) {
|
||||
throw new IllegalArgumentException("디렉토리가 존재하지 않습니다: " + targetPath);
|
||||
log.debug("디렉토리가 존재하지 않습니다: {}", targetPath);
|
||||
return FileManagerDto.ListFilesRes.builder()
|
||||
.directoryPath(targetPath)
|
||||
.files(new ArrayList<>())
|
||||
.totalCount(0)
|
||||
.totalSize(0L)
|
||||
.build();
|
||||
}
|
||||
|
||||
if (!Files.isDirectory(directory)) {
|
||||
throw new IllegalArgumentException("디렉토리 경로가 아닙니다: " + targetPath);
|
||||
log.debug("디렉토리 경로가 아닙니다: {}", targetPath);
|
||||
return FileManagerDto.ListFilesRes.builder()
|
||||
.directoryPath(targetPath)
|
||||
.files(new ArrayList<>())
|
||||
.totalCount(0)
|
||||
.totalSize(0L)
|
||||
.build();
|
||||
}
|
||||
|
||||
List<FileManagerDto.FileInfo> files = new ArrayList<>();
|
||||
@@ -87,8 +129,13 @@ public class FileManagerService {
|
||||
}
|
||||
|
||||
} catch (IOException e) {
|
||||
log.error("파일 목록 조회 중 오류 발생: {}", targetPath, e);
|
||||
throw new RuntimeException("파일 목록 조회에 실패했습니다: " + e.getMessage());
|
||||
log.debug("파일 목록 조회 중 오류 발생: {}", targetPath, e);
|
||||
return FileManagerDto.ListFilesRes.builder()
|
||||
.directoryPath(targetPath)
|
||||
.files(new ArrayList<>())
|
||||
.totalCount(0)
|
||||
.totalSize(0L)
|
||||
.build();
|
||||
}
|
||||
|
||||
return FileManagerDto.ListFilesRes.builder()
|
||||
@@ -113,11 +160,18 @@ public class FileManagerService {
|
||||
|
||||
for (String filePath : request.getFilePaths()) {
|
||||
try {
|
||||
validatePath(filePath);
|
||||
try {
|
||||
validatePath(filePath);
|
||||
} catch (IllegalArgumentException e) {
|
||||
log.debug("유효하지 않은 경로: {}", filePath);
|
||||
failedFiles.add(filePath + " (유효하지 않은 경로)");
|
||||
continue;
|
||||
}
|
||||
|
||||
Path path = Paths.get(filePath);
|
||||
|
||||
if (!Files.exists(path)) {
|
||||
log.warn("삭제하려는 파일이 존재하지 않습니다: {}", filePath);
|
||||
log.debug("삭제하려는 파일이 존재하지 않습니다: {}", filePath);
|
||||
failedFiles.add(filePath + " (파일이 존재하지 않음)");
|
||||
continue;
|
||||
}
|
||||
@@ -145,7 +199,7 @@ public class FileManagerService {
|
||||
log.info("파일 삭제 성공: {}", filePath);
|
||||
|
||||
} catch (Exception e) {
|
||||
log.error("파일 삭제 실패: {}", filePath, e);
|
||||
log.debug("파일 삭제 실패: {}", filePath, e);
|
||||
failedFiles.add(filePath + " (" + e.getMessage() + ")");
|
||||
}
|
||||
}
|
||||
@@ -231,4 +285,410 @@ public class FileManagerService {
|
||||
throw new IllegalArgumentException("상대 경로(..)는 사용할 수 없습니다");
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* 모델 파일 경로 조회
|
||||
*
|
||||
* @param modelUuid 모델 UUID
|
||||
* @return 모델 파일 경로 및 파일 목록
|
||||
*/
|
||||
public FileManagerDto.ModelFilePathRes getModelFilePath(UUID modelUuid) {
|
||||
// tb_model_master 테이블에서 모델 조회
|
||||
ModelMasterEntity model = modelMngRepository.findByUuid(modelUuid).orElse(null);
|
||||
|
||||
// 모델이 존재하지 않으면 빈 데이터 반환
|
||||
if (model == null) {
|
||||
return FileManagerDto.ModelFilePathRes.builder()
|
||||
.modelUuid(modelUuid.toString())
|
||||
.requestPath(null)
|
||||
.responsePath(null)
|
||||
.requestFiles(new ArrayList<>())
|
||||
.responseFiles(new ArrayList<>())
|
||||
.build();
|
||||
}
|
||||
|
||||
// request_path: tb_model_master.request_path 컬럼 값 사용
|
||||
// request_path 컬럼에는 'AE366F3076504FACBF12106986202AB5' 형태의 값이 저장되어 있음
|
||||
String requestPathFromDb = model.getRequestPath();
|
||||
String requestPath;
|
||||
if (requestPathFromDb != null && !requestPathFromDb.isEmpty()) {
|
||||
// DB에 저장된 값이 있으면 symbolic_link_dir + request_path 조합
|
||||
requestPath = symbolicLinkDir + "/" + requestPathFromDb;
|
||||
} else {
|
||||
// 없으면 기본값: symbolic_link_dir + model_uuid
|
||||
requestPath = symbolicLinkDir + "/" + modelUuid;
|
||||
}
|
||||
|
||||
// response_path: response_dir + model_uuid (UUID 사용)
|
||||
String responsePath = responseDir + "/" + modelUuid;
|
||||
|
||||
// 파일 목록 조회
|
||||
List<FileManagerDto.FileInfo> requestFiles = getFilesInDirectory(requestPath);
|
||||
List<FileManagerDto.FileInfo> responseFiles = getFilesInDirectory(responsePath);
|
||||
|
||||
return FileManagerDto.ModelFilePathRes.builder()
|
||||
.modelUuid(modelUuid.toString())
|
||||
.requestPath(requestPath)
|
||||
.responsePath(responsePath)
|
||||
.requestFiles(requestFiles)
|
||||
.responseFiles(responseFiles)
|
||||
.build();
|
||||
}
|
||||
|
||||
/**
|
||||
* 데이터셋 파일 경로 조회
|
||||
*
|
||||
* @param datasetUuid 데이터셋 UUID
|
||||
* @return 데이터셋 파일 경로 및 파일 목록
|
||||
*/
|
||||
public FileManagerDto.DatasetFilePathRes getDatasetFilePath(UUID datasetUuid) {
|
||||
// tb_dataset 테이블에서 데이터셋 조회
|
||||
DatasetEntity dataset = datasetRepository.findByUuid(datasetUuid).orElse(null);
|
||||
|
||||
// 데이터셋이 존재하지 않으면 빈 데이터 반환
|
||||
if (dataset == null) {
|
||||
return FileManagerDto.DatasetFilePathRes.builder()
|
||||
.datasetUuid(datasetUuid.toString())
|
||||
.datasetPath(null)
|
||||
.files(new ArrayList<>())
|
||||
.build();
|
||||
}
|
||||
|
||||
// dataset_path 컬럼이 있으면 사용, 없으면 request_dir + uuid 사용
|
||||
String datasetPath = dataset.getDatasetPath();
|
||||
if (datasetPath == null || datasetPath.isEmpty()) {
|
||||
datasetPath = requestDir + "/" + datasetUuid;
|
||||
}
|
||||
|
||||
// 파일 목록 조회
|
||||
List<FileManagerDto.FileInfo> files = getFilesInDirectory(datasetPath);
|
||||
|
||||
return FileManagerDto.DatasetFilePathRes.builder()
|
||||
.datasetUuid(datasetUuid.toString())
|
||||
.datasetPath(datasetPath)
|
||||
.files(files)
|
||||
.build();
|
||||
}
|
||||
|
||||
/**
|
||||
* 디렉토리 용량 체크
|
||||
*
|
||||
* @param directoryPath 디렉토리 경로
|
||||
* @return 디렉토리 용량 정보
|
||||
*/
|
||||
public FileManagerDto.DirectoryCapacityRes checkDirectoryCapacity(String directoryPath) {
|
||||
// 경로 검증은 수행하되, 예외를 throw하지 않고 빈 데이터 반환
|
||||
try {
|
||||
validatePath(directoryPath);
|
||||
} catch (IllegalArgumentException e) {
|
||||
log.debug("유효하지 않은 경로: {}", directoryPath);
|
||||
return FileManagerDto.DirectoryCapacityRes.builder()
|
||||
.directoryPath(directoryPath)
|
||||
.fileCount(0)
|
||||
.directoryCount(0)
|
||||
.totalSize(0L)
|
||||
.totalSizeFormatted("0 B")
|
||||
.build();
|
||||
}
|
||||
|
||||
Path directory = Paths.get(directoryPath);
|
||||
if (!Files.exists(directory)) {
|
||||
log.debug("디렉토리가 존재하지 않습니다: {}", directoryPath);
|
||||
return FileManagerDto.DirectoryCapacityRes.builder()
|
||||
.directoryPath(directoryPath)
|
||||
.fileCount(0)
|
||||
.directoryCount(0)
|
||||
.totalSize(0L)
|
||||
.totalSizeFormatted("0 B")
|
||||
.build();
|
||||
}
|
||||
|
||||
if (!Files.isDirectory(directory)) {
|
||||
log.debug("디렉토리 경로가 아닙니다: {}", directoryPath);
|
||||
return FileManagerDto.DirectoryCapacityRes.builder()
|
||||
.directoryPath(directoryPath)
|
||||
.fileCount(0)
|
||||
.directoryCount(0)
|
||||
.totalSize(0L)
|
||||
.totalSizeFormatted("0 B")
|
||||
.build();
|
||||
}
|
||||
|
||||
final long[] totalSize = {0};
|
||||
final int[] fileCount = {0};
|
||||
final int[] directoryCount = {0};
|
||||
|
||||
try {
|
||||
Files.walkFileTree(
|
||||
directory,
|
||||
new SimpleFileVisitor<>() {
|
||||
@Override
|
||||
public FileVisitResult visitFile(Path file, BasicFileAttributes attrs) {
|
||||
totalSize[0] += attrs.size();
|
||||
fileCount[0]++;
|
||||
return FileVisitResult.CONTINUE;
|
||||
}
|
||||
|
||||
@Override
|
||||
public FileVisitResult preVisitDirectory(Path dir, BasicFileAttributes attrs) {
|
||||
if (!dir.equals(directory)) {
|
||||
directoryCount[0]++;
|
||||
}
|
||||
return FileVisitResult.CONTINUE;
|
||||
}
|
||||
});
|
||||
} catch (IOException e) {
|
||||
log.debug("디렉토리 용량 체크 중 오류 발생: {}", directoryPath, e);
|
||||
return FileManagerDto.DirectoryCapacityRes.builder()
|
||||
.directoryPath(directoryPath)
|
||||
.fileCount(0)
|
||||
.directoryCount(0)
|
||||
.totalSize(0L)
|
||||
.totalSizeFormatted("0 B")
|
||||
.build();
|
||||
}
|
||||
|
||||
return FileManagerDto.DirectoryCapacityRes.builder()
|
||||
.directoryPath(directoryPath)
|
||||
.fileCount(fileCount[0])
|
||||
.directoryCount(directoryCount[0])
|
||||
.totalSize(totalSize[0])
|
||||
.totalSizeFormatted(formatFileSize(totalSize[0]))
|
||||
.build();
|
||||
}
|
||||
|
||||
/**
|
||||
* 모델별 학습 실행 상태 조회
|
||||
*
|
||||
* @return 모델별 학습 실행 상태 목록
|
||||
*/
|
||||
public FileManagerDto.AllModelsExecutionStatusRes getModelsExecutionStatus() {
|
||||
// G1 ~ G4 모델 조회
|
||||
List<String> modelNumbers = Arrays.asList("G1", "G2", "G3", "G4");
|
||||
List<FileManagerDto.ModelExecutionStatusRes> modelStatuses = new ArrayList<>();
|
||||
int runningCount = 0;
|
||||
|
||||
for (String modelNo : modelNumbers) {
|
||||
// model_no로 가장 최근 모델 조회 (del_yn = false)
|
||||
List<ModelMasterEntity> models =
|
||||
modelMngRepository.findByModelNoAndDelYnOrderByCreatedDttmDesc(modelNo, false);
|
||||
|
||||
if (models.isEmpty()) {
|
||||
// 모델이 없으면 대기 상태
|
||||
modelStatuses.add(
|
||||
FileManagerDto.ModelExecutionStatusRes.builder()
|
||||
.modelNo(modelNo)
|
||||
.statusMessage(modelNo + " 모델은 대기 중입니다.")
|
||||
.step1State(null)
|
||||
.step2State(null)
|
||||
.currentStep(null)
|
||||
.build());
|
||||
continue;
|
||||
}
|
||||
|
||||
ModelMasterEntity model = models.getFirst();
|
||||
String step1State = model.getStep1State();
|
||||
String step2State = model.getStep2State();
|
||||
|
||||
String statusMessage;
|
||||
Integer currentStep = null;
|
||||
|
||||
// step1, step2 상태 확인
|
||||
boolean step1Running = "IN_PROGRESS".equals(step1State);
|
||||
boolean step2Running = "IN_PROGRESS".equals(step2State);
|
||||
|
||||
if (step1Running) {
|
||||
statusMessage = modelNo + " 모델에 학습(1단계)을 진행중입니다.";
|
||||
currentStep = 1;
|
||||
runningCount++;
|
||||
} else if (step2Running) {
|
||||
statusMessage = modelNo + " 모델에 테스트(2단계)를 진행중입니다.";
|
||||
currentStep = 2;
|
||||
runningCount++;
|
||||
} else if ("COMPLETED".equals(step1State) && "COMPLETED".equals(step2State)) {
|
||||
statusMessage = modelNo + " 모델은 학습이 완료되었습니다.";
|
||||
} else if ("COMPLETED".equals(step1State)) {
|
||||
statusMessage = modelNo + " 모델은 1단계 학습이 완료되었습니다.";
|
||||
} else {
|
||||
statusMessage = modelNo + " 모델은 대기 중입니다.";
|
||||
}
|
||||
|
||||
modelStatuses.add(
|
||||
FileManagerDto.ModelExecutionStatusRes.builder()
|
||||
.modelNo(modelNo)
|
||||
.statusMessage(statusMessage)
|
||||
.step1State(step1State)
|
||||
.step2State(step2State)
|
||||
.currentStep(currentStep)
|
||||
.build());
|
||||
}
|
||||
|
||||
return FileManagerDto.AllModelsExecutionStatusRes.builder()
|
||||
.modelStatuses(modelStatuses)
|
||||
.runningCount(runningCount)
|
||||
.build();
|
||||
}
|
||||
|
||||
/** 디렉토리 내 파일 목록 조회 (내부 사용) */
|
||||
private List<FileManagerDto.FileInfo> getFilesInDirectory(String directoryPath) {
|
||||
List<FileManagerDto.FileInfo> files = new ArrayList<>();
|
||||
|
||||
Path directory = Paths.get(directoryPath);
|
||||
if (!Files.exists(directory)) {
|
||||
log.debug("디렉토리가 존재하지 않습니다: {}", directoryPath);
|
||||
return files;
|
||||
}
|
||||
|
||||
if (!Files.isDirectory(directory)) {
|
||||
log.debug("디렉토리 경로가 아닙니다: {}", directoryPath);
|
||||
return files;
|
||||
}
|
||||
|
||||
try (Stream<Path> stream = Files.list(directory)) {
|
||||
stream.forEach(path -> files.add(createFileInfo(path)));
|
||||
} catch (IOException e) {
|
||||
log.debug("파일 목록 조회 중 오류 발생: {}", directoryPath, e);
|
||||
}
|
||||
|
||||
return files;
|
||||
}
|
||||
|
||||
/** 파일 크기 포맷팅 (읽기 쉬운 형식) */
|
||||
private String formatFileSize(long size) {
|
||||
if (size < 1024) {
|
||||
return size + " B";
|
||||
} else if (size < 1024 * 1024) {
|
||||
return String.format("%.2f KB", size / 1024.0);
|
||||
} else if (size < 1024 * 1024 * 1024) {
|
||||
return String.format("%.2f MB", size / (1024.0 * 1024.0));
|
||||
} else {
|
||||
return String.format("%.2f GB", size / (1024.0 * 1024.0 * 1024.0));
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* 저장공간 정보 조회 (남은 공간 포함) 고정 경로: /home/kcomu/data
|
||||
*
|
||||
* @return 저장공간 정보 (사용량, 남은 공간, 디스크 용량)
|
||||
*/
|
||||
public FileManagerDto.StorageSpaceRes getStorageSpaceInfo() {
|
||||
// 고정 경로: /home/kcomu/data
|
||||
String directoryPath = "/home/kcomu/data";
|
||||
|
||||
Path directory = Paths.get(directoryPath);
|
||||
if (!Files.exists(directory)) {
|
||||
log.debug("디렉토리가 존재하지 않습니다: {}", directoryPath);
|
||||
return FileManagerDto.StorageSpaceRes.builder()
|
||||
.directoryPath(directoryPath)
|
||||
.fileCount(0)
|
||||
.directoryCount(0)
|
||||
.usedSize(0L)
|
||||
.usedSizeFormatted("0 B")
|
||||
.totalDiskSpace(0L)
|
||||
.totalDiskSpaceFormatted("0 B")
|
||||
.freeSpace(0L)
|
||||
.freeSpaceFormatted("0 B")
|
||||
.usableSpace(0L)
|
||||
.usableSpaceFormatted("0 B")
|
||||
.usagePercentage(0.0)
|
||||
.build();
|
||||
}
|
||||
|
||||
if (!Files.isDirectory(directory)) {
|
||||
log.debug("디렉토리 경로가 아닙니다: {}", directoryPath);
|
||||
return FileManagerDto.StorageSpaceRes.builder()
|
||||
.directoryPath(directoryPath)
|
||||
.fileCount(0)
|
||||
.directoryCount(0)
|
||||
.usedSize(0L)
|
||||
.usedSizeFormatted("0 B")
|
||||
.totalDiskSpace(0L)
|
||||
.totalDiskSpaceFormatted("0 B")
|
||||
.freeSpace(0L)
|
||||
.freeSpaceFormatted("0 B")
|
||||
.usableSpace(0L)
|
||||
.usableSpaceFormatted("0 B")
|
||||
.usagePercentage(0.0)
|
||||
.build();
|
||||
}
|
||||
|
||||
// 디렉토리 사용량 계산 (재귀적으로 모든 파일 크기 합산)
|
||||
final long[] usedSize = {0};
|
||||
final int[] fileCount = {0};
|
||||
final int[] directoryCount = {0};
|
||||
|
||||
try {
|
||||
Files.walkFileTree(
|
||||
directory,
|
||||
new SimpleFileVisitor<>() {
|
||||
@Override
|
||||
public FileVisitResult visitFile(Path file, BasicFileAttributes attrs) {
|
||||
usedSize[0] += attrs.size();
|
||||
fileCount[0]++;
|
||||
return FileVisitResult.CONTINUE;
|
||||
}
|
||||
|
||||
@Override
|
||||
public FileVisitResult preVisitDirectory(Path dir, BasicFileAttributes attrs) {
|
||||
if (!dir.equals(directory)) {
|
||||
directoryCount[0]++;
|
||||
}
|
||||
return FileVisitResult.CONTINUE;
|
||||
}
|
||||
});
|
||||
} catch (IOException e) {
|
||||
log.debug("디렉토리 용량 계산 중 오류 발생: {}", directoryPath, e);
|
||||
return FileManagerDto.StorageSpaceRes.builder()
|
||||
.directoryPath(directoryPath)
|
||||
.fileCount(0)
|
||||
.directoryCount(0)
|
||||
.usedSize(0L)
|
||||
.usedSizeFormatted("0 B")
|
||||
.totalDiskSpace(0L)
|
||||
.totalDiskSpaceFormatted("0 B")
|
||||
.freeSpace(0L)
|
||||
.freeSpaceFormatted("0 B")
|
||||
.usableSpace(0L)
|
||||
.usableSpaceFormatted("0 B")
|
||||
.usagePercentage(0.0)
|
||||
.build();
|
||||
}
|
||||
|
||||
// 디스크 공간 정보 조회 (FileStore 사용)
|
||||
long totalDiskSpace = 0;
|
||||
long freeSpace = 0;
|
||||
long usableSpace = 0;
|
||||
double usagePercentage = 0.0;
|
||||
|
||||
try {
|
||||
java.nio.file.FileStore fileStore = Files.getFileStore(directory);
|
||||
totalDiskSpace = fileStore.getTotalSpace(); // 전체 디스크 용량
|
||||
freeSpace = fileStore.getUnallocatedSpace(); // 남은 저장공간 (할당되지 않은 공간)
|
||||
usableSpace = fileStore.getUsableSpace(); // 사용 가능한 공간 (실제 사용 가능)
|
||||
|
||||
// 디스크 사용률 계산
|
||||
if (totalDiskSpace > 0) {
|
||||
long usedDiskSpace = totalDiskSpace - freeSpace;
|
||||
usagePercentage = (usedDiskSpace * 100.0) / totalDiskSpace;
|
||||
}
|
||||
} catch (IOException e) {
|
||||
log.debug("디스크 공간 정보 조회 중 오류 발생: {}", directoryPath, e);
|
||||
// 디스크 정보 조회 실패 시에도 디렉토리 용량은 반환
|
||||
}
|
||||
|
||||
return FileManagerDto.StorageSpaceRes.builder()
|
||||
.directoryPath(directoryPath)
|
||||
.fileCount(fileCount[0])
|
||||
.directoryCount(directoryCount[0])
|
||||
.usedSize(usedSize[0])
|
||||
.usedSizeFormatted(formatFileSize(usedSize[0]))
|
||||
.totalDiskSpace(totalDiskSpace)
|
||||
.totalDiskSpaceFormatted(formatFileSize(totalDiskSpace))
|
||||
.freeSpace(freeSpace)
|
||||
.freeSpaceFormatted(formatFileSize(freeSpace))
|
||||
.usableSpace(usableSpace)
|
||||
.usableSpaceFormatted(formatFileSize(usableSpace))
|
||||
.usagePercentage(Math.round(usagePercentage * 100.0) / 100.0)
|
||||
.build();
|
||||
}
|
||||
}
|
||||
|
||||
@@ -142,6 +142,9 @@ public class ModelTrainDetailDto {
|
||||
@JsonInclude(JsonInclude.Include.NON_NULL)
|
||||
private Long landCoverCnt;
|
||||
|
||||
@JsonInclude(JsonInclude.Include.NON_NULL)
|
||||
private Long solarPanelCnt;
|
||||
|
||||
public MappingDataset(
|
||||
Long modelId,
|
||||
Long datasetId,
|
||||
@@ -152,17 +155,20 @@ public class ModelTrainDetailDto {
|
||||
Long buildingCnt,
|
||||
Long containerCnt,
|
||||
Long wasteCnt,
|
||||
Long landCoverCnt) {
|
||||
Long landCoverCnt,
|
||||
Long solarPanelCnt) {
|
||||
this.modelId = modelId;
|
||||
this.datasetId = datasetId;
|
||||
this.dataType = dataType;
|
||||
this.compareYyyy = compareYyyy;
|
||||
this.targetYyyy = targetYyyy;
|
||||
this.roundNo = roundNo;
|
||||
this.buildingCnt = buildingCnt;
|
||||
this.containerCnt = containerCnt;
|
||||
this.wasteCnt = wasteCnt;
|
||||
this.landCoverCnt = landCoverCnt;
|
||||
this.buildingCnt = toNullIfZero(buildingCnt);
|
||||
this.containerCnt = toNullIfZero(containerCnt);
|
||||
this.wasteCnt = toNullIfZero(wasteCnt);
|
||||
this.landCoverCnt = toNullIfZero(landCoverCnt);
|
||||
this.solarPanelCnt = toNullIfZero(solarPanelCnt);
|
||||
|
||||
this.dataTypeName = getDataTypeName(this.dataType);
|
||||
}
|
||||
|
||||
@@ -172,6 +178,10 @@ public class ModelTrainDetailDto {
|
||||
}
|
||||
}
|
||||
|
||||
private static Long toNullIfZero(Long value) {
|
||||
return (value == null || value == 0L) ? null : value;
|
||||
}
|
||||
|
||||
@Getter
|
||||
@Setter
|
||||
@NoArgsConstructor
|
||||
|
||||
@@ -201,7 +201,7 @@ public class ModelTrainMngDto {
|
||||
private Long LandCoverCnt;
|
||||
|
||||
@Schema(description = "태양광", example = "0")
|
||||
private Long solarCnt;
|
||||
private Long solarPanelCnt;
|
||||
}
|
||||
|
||||
@Getter
|
||||
|
||||
@@ -140,6 +140,7 @@ public class ModelTrainMngCoreService {
|
||||
* @param addReq 요청 파라미터
|
||||
*/
|
||||
public void saveModelDataset(Long modelId, ModelTrainMngDto.AddReq addReq) {
|
||||
|
||||
TrainingDataset dataset = addReq.getTrainingDataset();
|
||||
ModelMasterEntity modelMasterEntity = new ModelMasterEntity();
|
||||
ModelDatasetEntity datasetEntity = new ModelDatasetEntity();
|
||||
@@ -155,7 +156,7 @@ public class ModelTrainMngCoreService {
|
||||
} else if (addReq.getModelNo().equals(ModelType.G3.getId())) {
|
||||
datasetEntity.setLandCoverCnt(dataset.getSummary().getLandCoverCnt());
|
||||
} else if (addReq.getModelNo().equals(ModelType.G4.getId())) {
|
||||
datasetEntity.setSolarCnt(dataset.getSummary().getSolarCnt());
|
||||
datasetEntity.setSolarCnt(dataset.getSummary().getSolarPanelCnt());
|
||||
}
|
||||
|
||||
datasetEntity.setCreatedUid(userUtil.getId());
|
||||
|
||||
@@ -1,6 +1,7 @@
|
||||
package com.kamco.cd.training.postgres.repository.model;
|
||||
|
||||
import static com.kamco.cd.training.postgres.entity.QDatasetEntity.datasetEntity;
|
||||
import static com.kamco.cd.training.postgres.entity.QDatasetObjEntity.datasetObjEntity;
|
||||
import static com.kamco.cd.training.postgres.entity.QModelDatasetEntity.modelDatasetEntity;
|
||||
import static com.kamco.cd.training.postgres.entity.QModelDatasetMappEntity.modelDatasetMappEntity;
|
||||
import static com.kamco.cd.training.postgres.entity.QModelHyperParamEntity.modelHyperParamEntity;
|
||||
@@ -9,6 +10,8 @@ import static com.kamco.cd.training.postgres.entity.QModelMetricsTestEntity.mode
|
||||
import static com.kamco.cd.training.postgres.entity.QModelMetricsTrainEntity.modelMetricsTrainEntity;
|
||||
import static com.kamco.cd.training.postgres.entity.QModelMetricsValidationEntity.modelMetricsValidationEntity;
|
||||
|
||||
import com.kamco.cd.training.common.enums.DetectionClassification;
|
||||
import com.kamco.cd.training.common.enums.ModelType;
|
||||
import com.kamco.cd.training.common.enums.TrainStatusType;
|
||||
import com.kamco.cd.training.model.dto.ModelTrainDetailDto.DetailSummary;
|
||||
import com.kamco.cd.training.model.dto.ModelTrainDetailDto.HyperSummary;
|
||||
@@ -25,6 +28,7 @@ import com.kamco.cd.training.postgres.entity.QModelHyperParamEntity;
|
||||
import com.kamco.cd.training.postgres.entity.QModelMasterEntity;
|
||||
import com.querydsl.core.types.Expression;
|
||||
import com.querydsl.core.types.Projections;
|
||||
import com.querydsl.core.types.dsl.CaseBuilder;
|
||||
import com.querydsl.jpa.JPAExpressions;
|
||||
import com.querydsl.jpa.impl.JPAQueryFactory;
|
||||
import java.util.ArrayList;
|
||||
@@ -154,10 +158,78 @@ public class ModelDetailRepositoryImpl implements ModelDetailRepositoryCustom {
|
||||
datasetEntity.compareYyyy,
|
||||
datasetEntity.targetYyyy,
|
||||
datasetEntity.roundNo,
|
||||
modelDatasetEntity.buildingCnt,
|
||||
modelDatasetEntity.containerCnt,
|
||||
modelDatasetEntity.wasteCnt,
|
||||
modelDatasetEntity.landCoverCnt))
|
||||
|
||||
// G1 - building
|
||||
new CaseBuilder()
|
||||
.when(
|
||||
modelMasterEntity
|
||||
.modelNo
|
||||
.eq(ModelType.G1.getId())
|
||||
.and(
|
||||
datasetObjEntity.targetClassCd.eq(
|
||||
DetectionClassification.BUILDING.getId())))
|
||||
.then(1L)
|
||||
.otherwise(0L)
|
||||
.sum(),
|
||||
|
||||
// G1 - container
|
||||
new CaseBuilder()
|
||||
.when(
|
||||
modelMasterEntity
|
||||
.modelNo
|
||||
.eq(ModelType.G1.getId())
|
||||
.and(
|
||||
datasetObjEntity.targetClassCd.eq(
|
||||
DetectionClassification.CONTAINER.getId())))
|
||||
.then(1L)
|
||||
.otherwise(0L)
|
||||
.sum(),
|
||||
|
||||
// G2 - waste
|
||||
new CaseBuilder()
|
||||
.when(
|
||||
modelMasterEntity
|
||||
.modelNo
|
||||
.eq(ModelType.G2.getId())
|
||||
.and(
|
||||
datasetObjEntity.targetClassCd.eq(
|
||||
DetectionClassification.WASTE.getId())))
|
||||
.then(1L)
|
||||
.otherwise(0L)
|
||||
.sum(),
|
||||
|
||||
// G3 - 나머지
|
||||
new CaseBuilder()
|
||||
.when(
|
||||
modelMasterEntity
|
||||
.modelNo
|
||||
.eq(ModelType.G3.getId())
|
||||
.and(
|
||||
datasetObjEntity
|
||||
.targetClassCd
|
||||
.isNotNull()
|
||||
.and(
|
||||
datasetObjEntity.targetClassCd.notIn(
|
||||
DetectionClassification.BUILDING.getId(),
|
||||
DetectionClassification.CONTAINER.getId(),
|
||||
DetectionClassification.WASTE.getId(),
|
||||
DetectionClassification.SOLAR.getId()))))
|
||||
.then(1L)
|
||||
.otherwise(0L)
|
||||
.sum(),
|
||||
|
||||
// G4 - solar
|
||||
new CaseBuilder()
|
||||
.when(
|
||||
modelMasterEntity
|
||||
.modelNo
|
||||
.eq(ModelType.G4.getId())
|
||||
.and(
|
||||
datasetObjEntity.targetClassCd.eq(
|
||||
DetectionClassification.SOLAR.getId())))
|
||||
.then(1L)
|
||||
.otherwise(0L)
|
||||
.sum()))
|
||||
.from(modelMasterEntity)
|
||||
.innerJoin(modelDatasetEntity)
|
||||
.on(modelMasterEntity.id.eq(modelDatasetEntity.model.id))
|
||||
@@ -165,7 +237,16 @@ public class ModelDetailRepositoryImpl implements ModelDetailRepositoryCustom {
|
||||
.on(modelMasterEntity.id.eq(modelDatasetMappEntity.modelUid))
|
||||
.innerJoin(datasetEntity)
|
||||
.on(modelDatasetMappEntity.datasetUid.eq(datasetEntity.id))
|
||||
.leftJoin(datasetObjEntity)
|
||||
.on(datasetEntity.id.eq(datasetObjEntity.datasetUid))
|
||||
.where(modelMasterEntity.uuid.eq(uuid))
|
||||
.groupBy(
|
||||
modelMasterEntity.id,
|
||||
datasetEntity.id,
|
||||
datasetEntity.dataType,
|
||||
datasetEntity.compareYyyy,
|
||||
datasetEntity.targetYyyy,
|
||||
datasetEntity.roundNo)
|
||||
.fetch();
|
||||
}
|
||||
|
||||
|
||||
@@ -4,6 +4,7 @@ import com.kamco.cd.training.model.dto.ModelTrainMngDto;
|
||||
import com.kamco.cd.training.model.dto.ModelTrainMngDto.ListDto;
|
||||
import com.kamco.cd.training.postgres.entity.ModelMasterEntity;
|
||||
import com.kamco.cd.training.train.dto.TrainRunRequest;
|
||||
import java.util.List;
|
||||
import java.util.Optional;
|
||||
import java.util.UUID;
|
||||
import org.springframework.data.domain.Page;
|
||||
@@ -28,4 +29,14 @@ public interface ModelMngRepositoryCustom {
|
||||
TrainRunRequest findTrainRunRequest(Long modelId);
|
||||
|
||||
Long findModelStep1InProgressCnt();
|
||||
|
||||
/**
|
||||
* 모델 번호와 삭제 여부로 모델 조회 (최신순)
|
||||
*
|
||||
* @param modelNo 모델 번호 (G1, G2, G3, G4)
|
||||
* @param delYn 삭제 여부
|
||||
* @return 모델 목록
|
||||
*/
|
||||
List<ModelMasterEntity> findByModelNoAndDelYnOrderByCreatedDttmDesc(
|
||||
String modelNo, Boolean delYn);
|
||||
}
|
||||
|
||||
@@ -211,4 +211,14 @@ public class ModelMngRepositoryImpl implements ModelMngRepositoryCustom {
|
||||
.or(modelMasterEntity.step2State.eq(TrainStatusType.IN_PROGRESS.getId())))
|
||||
.fetchOne();
|
||||
}
|
||||
|
||||
@Override
|
||||
public List<ModelMasterEntity> findByModelNoAndDelYnOrderByCreatedDttmDesc(
|
||||
String modelNo, Boolean delYn) {
|
||||
return queryFactory
|
||||
.selectFrom(modelMasterEntity)
|
||||
.where(modelMasterEntity.modelNo.eq(modelNo), modelMasterEntity.delYn.eq(delYn))
|
||||
.orderBy(modelMasterEntity.createdDttm.desc())
|
||||
.fetch();
|
||||
}
|
||||
}
|
||||
|
||||
@@ -62,7 +62,7 @@ public class DockerTrainService {
|
||||
@Value("${hyper.parameter.gpu-ids}")
|
||||
private String hyperGpuIds;
|
||||
|
||||
@Value("${hyper.parameter.batch_size}")
|
||||
@Value("${hyper.parameter.batch-size}")
|
||||
private Integer batchSize;
|
||||
|
||||
private final ModelTrainJobCoreService modelTrainJobCoreService;
|
||||
|
||||
Reference in New Issue
Block a user