Impala/Kudu Kafka Connector

현재 개발서버에 아래 구성도와 같이 Impala/Kudu 에 적재 되어 있는 Data를 Kafka Connector로 추출하여 Kafka Topic에 적재하는 데모를 구축 하였습니다.

 

Impala Data 확인

kafka Connector 구동 화면

 

Kafka Kudu Source Connector 코드

{
    "name": "kudu-source",
    "config": {
      "connector.class": "io.confluent.connect.kudu.KuduSourceConnector",
      "tasks.max": "1",
      "impala.server": "10.65.41.128",
      "impala.port": "21050",
      "kudu.database": "test",
      "mode": "incrementing",
      "incrementing.column.name": "id",
      "topic.prefix": "test-kudu-",
      "table.whitelist": "accounts",

      "key.converter": "io.confluent.connect.avro.AvroConverter",
      "key.converter.schema.registry.url": "http://localhost:8081",
      "value.converter": "io.confluent.connect.avro.AvroConverter",
      "value.converter.schema.registry.url": "http://localhost:8081",
      "confluent.topic.bootstrap.servers": "10.65.41.125:9092,10.65.41.126:9092,10.65.41.127:9092",
      "confluent.topic.replication.factor": "1",
      "impala.ldap.password": "secret",
      "impala.ldap.user": "kudu",
      "name": "kudu-source"
    }

 

Kafka Topic 에 적재된 Data 확인