Logstash

서버의 데이터 처리 파이프라인인 오픈 소스 Logstash는 다양한 소스에서 데이터를 수집하여 변환한 후 자주 사용하는 저장소로 전달합니다.

Logstash는 형식이나 복잡성과 관계 없이 데이터를 동적으로 수집, 전환, 전송합니다. grok을 이용해 비구조적 데이터에서 구조를 도출하여 IP 주소에서 위치 정보 좌표를 해독하고, 민감한 필드를 익명화하거나 제외시키며, 전반적인 처리를 손쉽게 해줍니다.

현재 개발 서버에 구축 되어있으며 아래와 같은 구성으로 데모구성 되어있습니다.

 

Kafdrop을 이용하여 Topic Data 확인

 

Logstash 실행

 

Filebeat 실행

 

Elasticsearch index Data 조회(kibana)