PrestoDB to Kafka

현재 테스트 서버에 아래와 같은 Demo를 구성 하였습니다.

 

Nosql기반의 저장소인 Elasticsearch 에 Presto 엔진이 붙어 Elastic의 DSL쿼리를 SQL쿼리로 변환하여 데이터를 추출 후 Logstash 가 해당 Data를 Kafka의 특정 Topic에 전송 합니다.

 

 

DBeaver를 통해 PrestoDB 소스 Data를 조회

 

 

 

Logstash 실행 화면

 

Kafdrop을 통한 Topic Data 조회