[Kafka 연결 오류] broker id, cluster id가 달라 연결에 실패하는 경우

카프카 실행 후 컨슈머로 데이터를 받아 보려는데 오류가 났다.

[2022-12-19 21:00:52,642] WARN [Consumer clientId=consumer-console-consumer-64001-1, groupId=console-consumer-64001] Bootstrap broker my-kafka:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2022-12-19 21:00:53,880] WARN [Consumer clientId=consumer-console-consumer-64001-1, groupId=console-consumer-64001] Connection to node -1 (my-kafka/54.189.56.36:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

 

server.log 확인시 클러스터 id가 매치되지 않는다고 한다.

[2022-12-19 13:02:44,280] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
kafka.common.InconsistentClusterIdException: The Cluster ID sDz3Ih5eRq-OD-PT3ystGQ doesn't match stored clusterId Some(sDz3Ih5eR3ystGQ) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.
        at kafka.server.KafkaServer.startup(KafkaServer.scala:223)
        at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44)
        at kafka.Kafka$.main(Kafka.scala:82)
        at kafka.Kafka.main(Kafka.scala)
[2022-12-19 13:02:44,287] INFO shutting down (kafka.server.KafkaServer)
[2022-12-19 13:02:44,290] INFO [ZooKeeperClient Kafka server] Closing. (kafka.zookeeper.ZooKeeperClient)
[2022-12-19 13:02:44,399] INFO EventThread shut down for session: 0x102be925e800002 (org.apache.zookeeper.ClientCnxn)
[2022-12-19 13:02:44,399] INFO Session: 0x102be925e800002 closed (org.apache.zookeeper.ZooKeeper)
[2022-12-19 13:02:44,403] INFO [ZooKeeperClient Kafka server] Closed. (kafka.zookeeper.ZooKeeperClient)
[2022-12-19 13:02:44,415] INFO shut down completed (kafka.server.KafkaServer)
[2022-12-19 13:02:44,416] ERROR Exiting Kafka. (kafka.server.KafkaServerStartable)
[2022-12-19 13:02:44,421] INFO shutting down (kafka.server.KafkaServer)

 

server.properties 확인하여 kafka-logs 경로를 얻는다.

############################# Log Basics #############################

# A comma separated list of directories under which to store log files
log.dirs=/tmp/kafka-logs

위의 log.dirs=/tmp/kafka-logs 경로로 이동하여

meta.properties 파일 편집모드로 이동한다.

 

해당 cluster.id 및 broker.id 가 변경되었다면 해당 id를 수정해준다.

나는 cluster.id가 처음에 다른값이여서 로그에 나온 클러스터 아이디로 해당값을 변경해주었다.

#Mon Dec 19 12:46:57 UTC 2022
cluster.id=sDz3Ih5eRq-OD-PT3ystGQ
version=0
broker.id=0

 

카프카 재시작 하여 server.log 확인 해보니 정상 작동한다.

컨슈머로 데이터도 잘 받아온걸 확인할 수 있다. 

 

 

 

 

해당 내용 출처 아파치 카프카 애플리케이션 프로그래밍 with 자바