[우아콘 2023] Kafka Streams를 활용한 이벤트 스트림 처리 삽질기

아래 글은 [우아콘 2023] Kafka Streams를 활용한 이벤트 스트림 처리 삽질기를 보고 정리되었습니다.배치에서 스트림 처리로의 전환초기에는 배치 처리를 통해 배달 데이터와 라이더 데이터를 수집하고 분석했지만, 서비스 확장과 함께 데이터량이 급격히 증가하면서 여러 문제가 발생했다.배치 처리 시간의 불안정성: 평상시에는 빠르게 끝나던 배치가, 주문량이 몰리는 시간대나 주말에는 DB에 부하가 발생하여 처리 속도 문제가 발생실시간 반영의 어려움: 배치 처리 주기 사이에 들어온 데이터는 실시간 반영이 불가능해 이상 탐지와 같은 작업이 지연이러한 이유로 대량의 데이터를 실시간으로 처리할 수 있는 스트림 처리로의 전환을 결심하게 되었다고 합니다.Kafka Streams 선택 이유Apache Flink vs..

• format_list_bulleted 알아두면 좋은 개발 지식/컨퍼런스 정리
• · 2024. 10. 5.
• textsms

선착순 쿠폰 발급 시스템 구현하기: Redis와 Kafka를 활용한 설계

선착순 쿠폰 발급 시스템을 구현하는 방법에 대해 궁금하여 공부하며 기록 해보았습니다.1. 요구사항 정의이벤트를 진행하며, 선착순 100명에게만 할인 쿠폰을 지급하고자 합니다. 시스템은 아래의 조건을 만족해야 합니다.선착순 100명에게만 지급되어야 한다.많은 유저가 동시에 쿠폰을 요청할 때 트래픽을 버틸 수 있어야 한다.쿠폰 발급 시 데이터 정합성을 유지해야 한다.이러한 요구사항을 충족하기 위해 트랜잭션 관리, 동시성 처리, 비동기 시스템 구성 등 다양한 기술적 요소를 고려해야 합니다. 동시에 쿠폰 발급이 이루어질 때, DB에 과부하를 주지 않고 처리할 수 있는 방법도 필요합니다.2. 문제 해결 방안(1) Redis를 활용한 문제 해결Redis는 싱글 스레드 기반으로 동작하며, 내부적으로는 여러 가지 고유..

• format_list_bulleted 알아두면 좋은 개발 지식/Java & Spring
• · 2024. 9. 26.
• textsms

Spring에서 동시성 이슈 해결 방법(MySQL, Redis 이용하기)

애플리케이션에서 여러 사용자가 동시에 같은 데이터를 수정하려 할 때, 동시성 문제(Race Condition)가 발생할 수 있습니다. 이런 문제를 해결하기 위한 방법으로 여러 접근 방식이 있습니다. 이번 글에서는 Spring에서 동시성 문제를 해결하기 위한 몇 가지 대표적인 방법을 살펴보겠습니다. 1. synchronized 키워드를 이용한 해결Java에서 가장 기본적인 동시성 처리 방법 중 하나는 synchronized 키워드를 사용하는 것입니다. 이를 통해 하나의 프로세스 내에서 동시에 여러 스레드가 동일한 리소스에 접근하지 못하도록 제어할 수 있습니다. 아래는 synchronized를 사용한 예시입니다.public synchronized void decreaseQuantity(Long id, Lon..

• format_list_bulleted 알아두면 좋은 개발 지식/Java & Spring
• · 2024. 9. 25.
• textsms

[Spring] Spring Security '인증' 과정

로그인 기능을 구현하다보니 Spring Security의 인증 과정에 대해 공부해야 했고, 그 중 아이디와 패스워드를 사용한 인증은 어떤 식으로 이뤄지는가에 대해 정리해 보았습니다.스프링 시큐리티가 제공하는 필터들WebAsyncManagerIntergrationFilterSecurityContextPersistenceFilterHeaderWriterFilterCsrfFilterLogoutFilterUsernamePasswordAuthenticationFilterDefaultLoginPageGeneratingFilterDefaultLogoutPageGeneratingFilterBasicAuthenticationFilterRequestCacheAwareFilterSecurityContextHolderAwar..

• format_list_bulleted 알아두면 좋은 개발 지식/Java & Spring
• · 2024. 9. 13.
• textsms

[Spring Boot] Actuator로 서버 모니터링하기

Spring Actuator란?DB 연결 및 애플리케이션의 성능 상태를 모니터링할 수 있는 기능이다. 그라파나 등이랑도 함께 사용할 수 있다고 한다.주로 health check 용도의 endpoint로 많이 사용된다. 사용 방법아래의 의존성만 추가해주면 /actuator로 접속하면 모니터링 된 내용들을 볼 수 있다.# build.gradledependencies { implementation 'org.springframework.boot:spring-boot-starter-actuator'}/actuator/health에 접속하면 아래와 같이 “UP”으로 서버가 살아있음을 나타내고 있는데, “components”들을 보면 어떤 것들을 헬스 체크를 하고 최종적으로 해당 서버가 살아있음을 나타내는지 보..

• format_list_bulleted 알아두면 좋은 개발 지식/Java & Spring
• · 2024. 9. 7.
• textsms

쿠버네티스의 구성과 관련 용어

그림과 실습으로 배우는 도커 & 쿠버네티스를 읽고 중요하다고 생각한 부분을 정리한 글입니다.  쿠버네티스의 클러스터는 마스터 노드와 워커 노드라는 두 가지 노드로 구성 된다.마스터 노드에서 컨테이너를 실행하지는 않으며 워커 노드에서 실행되는 컨테이너를 관리하는 역할을 한다.마스터 노드에는 컨테이너 등의 상태를 관리하기 위해 `etcd`라는 데이터베이스가 설치된다. CNI(가상 네트워크 드라이버)ex. 플란넬, 칼리코, AWS VPC CNI 등 마스터 노드(컨트롤 플레인)의 구성항목내용kube-apiserver외부와 통신하는 프로세스, kubectl로부터 명령을 전달받아 실행한다.kube-controller-manager컨트롤러를 통합 관리, 실행한다.kube-scheduler파드를 워커 노드에 할당한다...

• format_list_bulleted 알아두면 좋은 개발 지식
• · 2024. 7. 17.
• textsms