Dev Log

Spring Scheduler다양한 이유로 스케줄링 프로그램을 만드는 일이 생길 것이다. Spring에서는 Spring Scheduler를 제공한다.Spring Scheduler는 별도의 추가적인 의존성이 필요하지 않다. Spring Boot starter에 기본적인 의존성으로 제공된다. 사용하기 위해서는 @EnableScheduling 어노테이션을 붙여주면 된다.Spring Batch에 Scheduler를 등록하도록하겠다.Spring Batch에 대한 내용은 아래 링크를 참조 바란다.Spring Batch - 개념, Tasklet Example(SimpleJob, FlowJob)Spring Batch - Chunk 지향 프로세싱(Mybatis)Spring Batch - 메타 테이블Spring Batch..

Spring/Spring Batch 2022. 10. 14. 08:17

Batch 실행 중 Step 간에 데이터를 공유해야만 하는 경우가 발생할 수 있다. BATCH_JOB_EXECUTION_CONTEXT테이블의 SHORT_CONTEXT 컬럼에는 Job 공유 데이터 등의 정보를 문자열로 저장한다. BATCH_JOB_EXECUTION_CONTEXT CREATE TABLE BATCH_JOB_EXECUTION_CONTEXT ( JOB_EXECUTION_ID BIGINT NOT NULL PRIMARY KEY, SHORT_CONTEXT VARCHAR(2500) NOT NULL, SERIALIZED_CONTEXT TEXT , constraint JOB_EXEC_CTX_FK foreign key (JOB_EXECUTION_ID) references BATCH_JOB_EXECUTION(J..

Spring/Spring Batch 2022. 10. 13. 08:37

메타 테이블 Spring Batch에선 실행 및 관리 목적으로 Job, Step, JobParameters 등 여러 도메인들의 정보를 관리(CRUD)할 수 있는 스키마를 제공한다. inMemory가 아닌 DB와 연동할 겨우 메타 테이블이 생성되어야 하는데, 이러한 메타 테이블은 Spring Batch 라이브러리에 존재하며 DB 유형별로 제공되니 사용하는 DB에는 적절한 sql을 확인하면 된다. /org/springframework/batch/core/schema-*.sql 메타 테이블 존재 이유 BatchJob이 실행될 때마다 그 BatchJob에 관련한 모든 것을 꼼꼼하고 세세하게 기록한다. 우리가 만든 배치 프로세스는 대개의 경우 어떤 주기에 따라 반복적으로 실행될 것이다. BatchJob에 대한 실..

Spring/Spring Batch 2022. 10. 12. 08:39

Step 일반적으로 Spring Batch는 대용량 데이터를 다루는 경우가 많기 때문에 Tasklet보다 상대적으로 트랜잭션의 단위를 짧게 하여 처리할 수 있는 ItemReader, ItemProcessor, ItemWriter를 이용한 Chunk 지향 프로세싱을 이용한다. 작업 로직이 Chunk 지향 처리를 하기에는 너무 간단하거나, 부 자연스러운 경우 Tasklet을 사용하는 것이 좋다. Chunk 한 번에 하나씩 데이터(row)를 읽어 Chunk라는 덩어리를 만든 뒤, Chunk 단위로 트랜잭션을 다루는 것 Chunk 단위로 트랜잭션을 수행하기 때문에 실패할 경우엔 해당 Chunk 만큼만 롤백이 되고, 이전에 커밋된 트랜잭션 범위까지는 반영이 된다. Chunk 기반 Step은 ItemReader, ..

Spring/Spring Batch 2022. 10. 11. 08:08

Spring Batch Spring Batch는 엔터프라이즈 시스템의 운영에 있어 대용량 일괄처리의 편의를 위해 설계된 가볍고 포괄적인 배치 프레임워크 아래와 같은 경우 많이 사용한다. 대용량의 비즈니스 데이터를 복잡한 작업으로 처리해야 하는 경우 특정한 시점에 자동화된 작업이 필요한 경우 (ex. 월별 보고서 등) 대용량 데이터의 포맷을 변경, 유효성 검사 등의 작업을 트랜잭션 안에서 처리 후 기록해야 하는 경우 그밖에 로깅/추적, 트랜잭션 관리, 작업 처리 통계, 작업 재시작, 건너뛰기, 리소스 관리와 같이 대용량 레코드 처리에 필수적인 기능이 필요한 경우 배치 프로세스의 주기적인 커밋 동시 다발적인 Job의 배치 처리 및 대용량 병렬 처리 실패 후 수동 또는 스케줄링에 의한 재시작 의존관계가 있는 ..

Spring/Spring Batch 2022. 10. 4. 21:48