multiThread Consumer (1) 썸네일형 리스트형 아파치 카프카 실습 (Apache Kafka) / 카프카 컨슈머 - 상세 개념 (멀티스레드 컨슈머) 멀티 스레드 컨슈머 파티션을 여러 개로 운영하는 경우 병렬처리를 위해 파티션 개수와 컨슈머 개수를 동일하게 맞추는 것이 좋은 방법이다. 토픽의 파티션은 1개 이상으로 이루어져 있으며 1개의 파티션은 1개 컨슈머가 할당되어 데이터를 처리할 수 있다. 파티션 개수가 n개라면 동일 컨슈머 그룹으로 묶인 컨슈머 스레드를 최대 n개 운영할 수 있다. 컨슈머를 멀티 스레드로 활용하는 방식은 크게 두 가지로 나눈다. 멀티 워커 스레드 컨슈머 멀티 스레드 전략 1. 카프카 컨슈머 멀티 워커 스레드 전략 데이터를 for 반복구문으로 처리할 경우 이전 레코드의 처리가 끝날 때까지 다음 레코드는 기다리게 된다. 만약 레코드별로 처리해야 하는 시간이 길 경우 더욱 오래 기다리게 디므로 처리 속도는 느려진다. 멀티 스레드를 사.. 이전 1 다음
