Filebeat+Logstash를 통한 Nginx To Kafka

Nginx란 트래픽이 많은 웹사이트의 서버(WAS)를 도와주는 비동기 이벤트 기반구조의 경량화 웹 서버 프로그램입니다. 클라이언트로부터 요청을 받았을 때 요청에 맞는 정적 파일을 응답해주는 HTTP Web Server로 활용되기도 하고, 또는 Reverse Proxy Server로 활용하여 WAS의 부하를 줄일 수 있는 로드밸런서 역할을 하기도 합니다.

 

현재 개발 서버에 구축이 되어 있고 아래와 같은 시나리오로 테스트 완료 되었습니다.

 

Nginx의 LogData를 Filebeat로 수집하여 Logstash로 전송하고 Logstash의 강력한 filter기능으로 데이터를 원하는 형태로 변환하여 Kafka Topic에 적재하는 ETL Pipeline 데모 입니다.

 

 

 

Nginx 구동 확인

Logstash 구동 화면

Filebeat 구동 화면

curl 명령어로 Nginx에 데이터 전송

Kafdrop 으로 Topic Data확인