DEV_BIGDATA

현재 개발서버에 아래 구성도와 같이 Impala/Kudu 에 적재 되어 있는 Data를 Kafka Connector로 추출하여 Kafka Topic에 적재하는 데모를 구축 하였습니다. Impala Data 확인 kafka Connector 구동 화면 Kafka Kudu Source Connector 코드 { "name": "kudu-source", "config": { "connector.class": "io.confluent.connect.kudu.KuduSourceConnector", "tasks.max": "1", "impala.server": "10.65.41.128", "impala.port": "21050", "kudu.database": "test", "mode": "incrementing"..

현재 개발서버에 구축 되어있는 Confluent Kafka를 통한 Oracle To Postgresql ETL 데모를 아래와 같이 구성 했습니다. 먼저 OracleDB의 변경사항을 Confluent Connector를 통해 추출하고(Extract) Schema Registry가 해당 Data를 Avro 형식으로 변환하여 Topic에 Pub하고 Ksql 통해 Stream을 생성하여 Ksql쿼리로 원하는 형태의 데이터를 추출후 변환(Transform) 된 Data는 Avro형식으로 Topic에 적재 되고 Confluent Connector가 해당 Topic을 Sub하여 PostgresqlDB에 적재(Load) 하게된다.

CONFLUENT CLOUD란 Kafka 에코 시스템에서 가장 많이 사용하는 Kafka Connector의 데이터 소스/싱크 SQL기반의 스트림처리 기능들을 UI환경에서 완전히 관리 할 수 있게 끔 CONFLUENT에서 유료로 제공하는 서비스 입니다. CONFLUENT CLOUD 클러스터 조회 화면 CONFLUENT CLOUD 클러스터 상세 정보 조회 화면 CONFLUENT CLOUD 토픽 생성 CONFLUENT CLOUD KsqlDB로 토픽 정보 조회 CONFLUENT CLOUD Java API KEY발급 CONFLUENT CLOUD API KEY발급후 Java프로듀서 실행 화면 CONFLUENT CLOUD Java프로듀서 조회 CONFLUENT CLOUD Connector 소스/싱크 플러그인 조회