아래 글은 한국 스프링 사용자 모임(KSUG)에서 진행된 스프링 배치 스터디 내용을 정리한 게시글입니다.DEVOCEAN에 연재 중인 KIDO님의 글을 참고하여 실습한 내용을 기록했습니다. [SpringBatch 연재 03] SpringBatch ChunkModel과 TaskletModel devocean.sk.com원본: [SpringBatch 연재 03] SpringBatch ChunkModel과 TaskletModel Spring Batch의 Chunk Model과 Tasklet Model에 대해서 알아봅니다. Chunk Model Chunk Model의 동작 순서는 2회차에서 진행되었던 내용에서도 볼 수 있듯이 청크 단위에 따라 ItemReader, ItemProcessor, ItemWriter ..
아래 글은 한국 스프링 사용자 모임(KSUG)에서 진행된 스프링 배치 스터디 내용을 정리한 게시글입니다.DEVOCEAN에 연재 중인 KIDO님의 글을 메인 교안으로 진행되는 스터디입니다. [메인 교안 바로 가기]2회차 공부하며 정리한 내용 바로가기: https://yeseul-dev.tistory.com/42 오늘은 Spring Batch 스터디 2회차가 있었습니다. 이번 스터디에서는 배치 처리의 기본 흐름과 핵심 개념들에 대해 다뤘습니다.Spring Batch를 처음 접할 때 놓치기 쉬운 부분들을 함께 논의하면서 더 명확히 이해할 수 있었습니다. 1. Spring Boot Application 시작 흐름스프링 부트 애플리케이션은 @SpringBootApplication 어노테이션으로 시작됩니다.Spri..
아래 글은 한국 스프링 사용자 모임(KSUG)에서 진행된 스프링 배치 스터디 내용을 정리한 게시글입니다.DEVOCEAN에 연재 중인 KIDO님의 글을 참고하여 실습한 내용을 기록했습니다. [SpringBatch 연재 02] SpringBatch 코드 설명 및 아키텍처 알아보기 devocean.sk.com원본: [SpringBatch 연재 02] SpringBatch 코드 설명 및 아키텍처 알아보기 1. Spring Batch Application 실행스프링 배치 중 Tasklet이라는 것을 만들고 스프링 배치를 실행해 보자.이전에 사용하던 스프링 배치 프로젝트를 그대로 이용합니다.❗️ 들어가기 전 용어 알기 — Spring Batch에서 Tasklet이란?Tasklet 은 배치 작업에서 단일 단계(St..
최근 쿠버네티스에 관심을 갖게 되면서 CKA 자격증 공부를 시작했습니다. 관련 지식을 넓히고자 유튜브에서 쿠버네티스 관련 컨퍼런스 영상을 찾아보던 중, 2023년에 열린 Kubernetes Community Day의 강연들이 눈에 띄었습니다. 그 중에서도 오픈소스 기여에 관심이 많았던 저는 컨트리뷰션을 주제로 한 강연을 듣고 정리해 보았습니다. 해당 강연은 이곳에서 원본으로 보실 수 있습니다.→ KCD Korea 2023: CNCF 및 Kubernetes 컨트리뷰션, 지금 여기서 시작하세요! - 손석호 이 강연은 '노코드' 방식으로 쿠버네티스 문서의 한글화에 기여하는 방법을 다루고 있습니다. 강연 내용부터 설명해 드리겠습니다. 발표자손석호님은 한국전자통신연구원(ETRI)에서 근무하며, Kubernetes..
기존에 홈서버에서 구동되던 코드 리뷰 자동화 봇에 대한 설명은 이전에 작성하지 않아, 이번에 따로 기록하게 되었습니다. 시작하게 된 계기사이드 프로젝트를 진행하면서 팀원이 적어 코드 리뷰에 어려움을 겪게 되었고, 그래서 AI의 도움을 받기로 했습니다.하지만 ChatGPT나 다른 툴을 사용하는 데 비용이 발생하다 보니, 이미 구축해 둔 홈서버를 활용하기로 했습니다. 아키텍처PR 발생 시 Github Action 트리거이때, Github Actions는 PR에서 변경된 git diff 내역을 추출하고, 이를 Kubernetes 클러스터 내에 배포된 LLM 서버로 전송한다.LLM 서버는 사전에 설정된 프롬프트와 git diff 내역을 바탕으로 코드 리뷰를 수행하고, 개선할 점에 대해 피드백을 제공한다.마지막으..
아래 글은 한국 스프링 사용자 모임(KSUG)에서 진행된 스프링 배치 스터디 내용을 정리한 게시글입니다.DEVOCEAN에 연재 중인 KIDO님의 글을 메인 교안으로 진행되는 스터디입니다. [메인 교안 바로 가기] 안녕하세요! 오늘은 Spring Batch 관련 스터디 첫 회차에 참여한 후기를 공유하고자 합니다.왜 Spring Batch를 배워야 할까?첫 번째 스터디를 통해 스프링 배치의 개요에 대해 공부했습니다. 스터디를 시작할 때 KIDO님께서 Spring Batch를 배워야 하는 이유에 대해 설명해주셨습니다. KIDO님은 현재 DEVOCEAN에서 Spring Batch 관련 글을 연재 중이신데, 아래는 KIDO님의 말씀을 정리한 내용입니다. 스프링 배치는 배치 처리에 특화된 ‘프레임워크’입니다. 프레..
아래 글은 한국 스프링 사용자 모임(KSUG)에서 진행된 스프링 배치 스터디 내용을 정리한 게시글입니다.DEVOCEAN에 연재 중인 KIDO님의 글을 참고하여 실습한 내용을 기록했습니다. [SpringBatch 연재 01] SpringBatch 빠르게 시작하기 devocean.sk.com원본: [SpringBatch 연재 01] SpringBatch 빠르게 시작하기 1. 기본 프로젝트 구성하기@EnableBatchProcessing // 해당 애노테이션을 사용하면 배스프링 배치 모드로 동작하게 된다.@SpringBootApplicationpublic class BatchSampleApplication { public static void main(String[] args) { Spri..
아래 글은 [우아콘 2023] Kafka Streams를 활용한 이벤트 스트림 처리 삽질기를 보고 정리되었습니다.배치에서 스트림 처리로의 전환초기에는 배치 처리를 통해 배달 데이터와 라이더 데이터를 수집하고 분석했지만, 서비스 확장과 함께 데이터량이 급격히 증가하면서 여러 문제가 발생했다.배치 처리 시간의 불안정성: 평상시에는 빠르게 끝나던 배치가, 주문량이 몰리는 시간대나 주말에는 DB에 부하가 발생하여 처리 속도 문제가 발생실시간 반영의 어려움: 배치 처리 주기 사이에 들어온 데이터는 실시간 반영이 불가능해 이상 탐지와 같은 작업이 지연이러한 이유로 대량의 데이터를 실시간으로 처리할 수 있는 스트림 처리로의 전환을 결심하게 되었다고 합니다.Kafka Streams 선택 이유Apache Flink vs..