kafka Consume

기본적으로 특정 토픽에 대한 메시지를 컨슘하려면 다음과 같이 파이선으로 할 수 있다.

from kafka import KafkaConsumer

# Kafka 서버 주소 설정
consumer = KafkaConsumer('iis_log',
                         bootstrap_servers=['localhost:9092'],
                         auto_offset_reset='earliest',  # 이 옵션을 주면 쌓여있는 메시지중 가장 처음 부터 읽음
                         enable_auto_commit=True  # 이 옵션을 주면 마지막 읽은 위치 다음위치 부터 읽게해줌
                         )

for message in consumer:
    # 메시지 출력
    print (message)

이를 위해 필요하면 다음을 설치한다.

pip install kafka-python