6.0 KiB
6.0 KiB
GeoJSON 파일 모니터링 시스템
kamco-dabeeo-backoffice 프로젝트에 추가된 GeoJSON 파일 자동 모니터링 및 처리 시스템입니다.
주요 기능
1. 자동 파일 모니터링
- 지정된 폴더(
/data/geojson/upload)를 주기적으로 모니터링 (기본값: 30초마다) - 지원 압축 형식: ZIP, TAR, TAR.GZ, TGZ
- 최대 파일 크기: 100MB
2. 압축파일 자동 처리
- 압축파일에서 GeoJSON 파일들을 자동 추출
- GeoJSON 데이터 검증 및 파싱
tb_map_sheet_learn_data테이블에 데이터 저장
3. Geometry 데이터 자동 변환
- JSON 데이터에서 Geometry 정보 추출
tb_map_sheet_learn_data_geom테이블에 geometry 데이터 저장- JTS Geometry 객체로 변환하여 PostGIS와 연동
시스템 구조
폴더 구조
/data/geojson/
├── upload/ # 모니터링 대상 폴더 (압축파일 업로드)
├── processed/ # 처리 완료된 파일들
├── error/ # 처리 실패한 파일들
└── /tmp/geojson_extract/ # 임시 추출 폴더
데이터베이스 테이블
tb_map_sheet_learn_data (학습데이터)
data_uid: 식별키data_name: 파일명data_path: 파일 경로data_type: 데이터 타입 (GeoJSON)data_json: GeoJSON 원본 데이터 (JSON)data_state: 처리 상태 (PROCESSED/PENDING)anal_state: 분석 상태 (PENDING/COMPLETED/ERROR)
tb_map_sheet_learn_data_geom (학습데이터 Geometry)
geo_uid: 식별키data_uid: 연결된 학습데이터 IDgeom: Geometry 데이터 (PostGIS)geo_type: Geometry 타입 (Point, Polygon 등)area: 면적 정보- 기타 속성 정보들
설정 방법
application.yml 설정
geojson:
monitor:
watch-directory: /data/geojson/upload
processed-directory: /data/geojson/processed
error-directory: /data/geojson/error
temp-directory: /tmp/geojson_extract
cron-expression: "0/30 * * * * *" # 매 30초
supported-extensions:
- zip
- tar
- tar.gz
- tgz
max-file-size: 104857600 # 100MB
사용 방법
1. 자동 모니터링
- 시스템 시작 시 자동으로 스케줄러가 동작
/data/geojson/upload폴더에 압축파일 업로드- 30초 이내에 자동으로 처리됨
- 처리 결과는 로그에서 확인 가능
2. API를 통한 수동 제어
모니터링 상태 확인
GET /api/geojson/monitor/status
특정 파일 수동 처리
POST /api/geojson/process/file?filePath=/path/to/your/file.zip
미처리 Geometry 변환
POST /api/geojson/process/geometry
특정 데이터 Geometry 변환
POST /api/geojson/process/geometry/convert
Content-Type: application/json
[1, 2, 3] # 학습데이터 ID 배열
3. 데이터 조회 API
학습 데이터 목록 조회
GET /api/geojson/data/learn-data?page=0&size=10&dataState=PROCESSED
학습 데이터 상세 조회
GET /api/geojson/data/learn-data/{id}
Geometry 데이터 조회
GET /api/geojson/data/geometry?dataUid=123
시스템 통계 조회
GET /api/geojson/data/statistics
상태별 카운트 조회
GET /api/geojson/data/status-counts
처리 흐름
- 파일 모니터링: 스케줄러가 주기적으로 upload 폴더 검사
- 압축파일 검증: 파일 형식, 크기 확인
- 압축파일 추출: GeoJSON 파일들 추출
- 데이터 검증: GeoJSON 형식 검증
- 학습데이터 저장:
tb_map_sheet_learn_data에 저장 - Geometry 변환: JSON → JTS Geometry 변환
- Geometry 저장:
tb_map_sheet_learn_data_geom에 저장 - 파일 이동: 처리 완료된 파일을 processed 폴더로 이동
오류 처리
처리 실패 시
- 파일은
/data/geojson/error/폴더로 이동 - 오류 정보는
.error.info파일에 기록 - 로그에 상세한 오류 내용 기록
복구 방법
- 오류 원인을 수정 후 error 폴더에서 upload 폴더로 파일 이동
- 또는 API를 통한 수동 처리 실행
모니터링 및 로그
로그 확인
# 전체 로그
tail -f logs/application.log
# GeoJSON 관련 로그만
tail -f logs/application.log | grep "geojson"
주요 로그 레벨
INFO: 파일 처리 시작/완료WARN: 비정상적이지만 처리 가능한 상황ERROR: 처리 실패 및 오류 상황DEBUG: 상세한 처리 과정
성능 고려사항
제한사항
- 최대 파일 크기: 100MB
- 한 번에 처리 가능한 GeoJSON 파일: 50개
- 메모리 사용량을 고려하여 대용량 파일 처리 시 주의
최적화 팁
- 압축파일 내 GeoJSON 파일 개수를 적절히 제한
- 너무 큰 GeoJSON 파일은 분할하여 처리
- 시스템 리소스에 따라 cron 표현식 조정
문제 해결
자주 발생하는 문제
-
폴더 권한 문제
chmod 755 /data/geojson/upload chown -R app-user:app-group /data/geojson/ -
디스크 공간 부족
- processed 폴더의 오래된 파일들 정리
- 임시 폴더 정리
-
메모리 부족
- JVM 힙 크기 조정:
-Xmx2g - 처리할 파일 크기 제한
- JVM 힙 크기 조정:
-
데이터베이스 연결 문제
- PostgreSQL 연결 상태 확인
- PostGIS 확장 설치 확인
디버깅 방법
-
로그 레벨 조정
logging: level: com.kamco.cd.kamcoback.geojson: DEBUG -
API 테스트
# 상태 확인 curl http://localhost:8080/api/geojson/monitor/status # 통계 확인 curl http://localhost:8080/api/geojson/data/statistics
확장 가능한 기능
- 알림 시스템: 처리 완료/실패 시 이메일 또는 슬랙 알림
- 웹 UI: 모니터링 및 관리를 위한 웹 인터페이스
- 배치 처리: 대용량 파일을 위한 비동기 배치 처리
- 데이터 검증: 더 상세한 GeoJSON 데이터 검증 룰
- 성능 모니터링: 처리 시간, 메모리 사용량 등 성능 지표 수집