DEV_BIGDATA

현재 테스트 서버에 아래와 같이 개발/테스트 완료 하였습니다. Naver Open API를 사용하여 네이버 뉴스의 RockPlace 관련 기사를 Logstash로 Web crawling 해준 후 Elastic Index에 적재 합니다 그 후 Kibana 에서 Index pattern을 등록해 주고 대시보드 개발을 통해 Data를 원하는 형식으로 표출 합니다. Logstash Source input { http_poller { urls => { naver => { method => get url => "https://openapi.naver.com/v1/search/news.json?query=원하는 검색 항목" headers => { "X-Naver-Client-Id" => "네이버 오픈 api 계정" ..

테스트 서버에 아래 같은 데모를 구축하여 테스트 완료 하였습니다. 먼저 MariaDB에 적재 되어 있는 Table의 Data를 Fluentd가 아래 소스와 같이 SQL을 사용하여 json형식으로 추출한 후 ElasticSearch에 넣어 줍니다. 이후 kibana에서 해당 Index 패턴을 정의 해준 후 Dashboard형식으로 표출 합니다. @type mysql_replicator host IP username root password ishark2020 database ishark query SELECT id,id2,id3 FROM fluenttestsss primary_key id interval 10s enable_delete no tag replicator.livechat.chat_chennai..

EFK란 Elasticsearch + Fluentd + Kibana 입니다. 쿠버네티스환경에서 수많은 컨테이너의 로그를 수집하여 통합적으로 로그를 UI로 확인할 수 있는 인터페이스입니다. 테스트 서버에 아래 같은 데모를 구축하여 테스트 완료 하였습니다. 먼저 MariaDB에 적재 되어 있는 Table의 Data를 Fluentd가 아래 소스와 같이 SQL을 사용하여 json형식으로 추출하고 Kafka에 PUB해준 후 Topic에 적재된 Data를 다시 SUB하여 ElasticSearch에 넣어 줍니다. 이후 kibana에서 해당 Index 패턴을 정의 해준 후 Dashboard형식으로 표출 합니다. Mysql To Kafka 소스 @type mysql_replicator host IP username ro..

서버의 데이터 처리 파이프라인인 오픈 소스 Logstash는 다양한 소스에서 데이터를 수집하여 변환한 후 자주 사용하는 저장소로 전달합니다. Logstash는 형식이나 복잡성과 관계 없이 데이터를 동적으로 수집, 전환, 전송합니다. grok을 이용해 비구조적 데이터에서 구조를 도출하여 IP 주소에서 위치 정보 좌표를 해독하고, 민감한 필드를 익명화하거나 제외시키며, 전반적인 처리를 손쉽게 해줍니다. 현재 개발 서버에 구축 되어있으며 아래와 같은 구성으로 데모구성 되어있습니다. Kafdrop을 이용하여 Topic Data 확인 Logstash 실행 Filebeat 실행 Elasticsearch index Data 조회(kibana)

물리적 개념 Node 노드는 Elasticsearch 클러스터에 포함된 단일 서버로서 데이터를 저장하고 클러스터의 색인화 및 검 색 기능에 참여한다. Shard 인덱스 내부에는 색인된 데이터들이 존재하는데 이 데이터들을 하나로 뭉쳐서 존재하지 않고 물리적 공간에 여러 개의 부분들로 나뉘어서 존재한다 이러한 부분들을 샤드 라고 한다. Segment 세그먼트란 엘라스틱서치에서 문서의 빠른 검색을 위해 설계된 자료구조이다 각 샤드는 다수의 세그먼트로 구성되어있다. 논리적 개념 Document Elasticsearch 데이터 최소 단위JSON오브젝트 하나, 하나의 다큐먼트는 다양한 필드로 구성되어 있으며 이 필드는 데이터 필드에 해당하는 데이터 타입이 들어감 중첩구조를 지원하기 때문에 다큐먼트 내부에 다규먼트가..

개발서버에 Elasticsearch 3 Node Cluster와 Kibana를 구축하였습니다. ▼ Elasticsearch 구성 및 구동 확인 ▼ Kibana로 Elasticsearch에 적재된 인덱스 조회 및 Dashboard 생성 ​ ​