Web crawling

현재 테스트 서버에 아래와 같이 개발/테스트 완료 하였습니다.

Naver Open API를 사용하여 네이버 뉴스의 RockPlace 관련 기사를 Logstash로 Web crawling 해준 후 Elastic Index에 적재 합니다 그 후 Kibana 에서 Index pattern을 등록해 주고 대시보드 개발을 통해 Data를 원하는 형식으로 표출 합니다.

 

Logstash Source

input {
  http_poller {
    urls => {
            naver => {
            method => get
            url => "https://openapi.naver.com/v1/search/news.json?query=원하는 검색 항목"
            headers => {
                "X-Naver-Client-Id" => "네이버 오픈 api 계정"
                "X-Naver-Client-Secret" => "네이버 오픈 api 패스워드"
            }
                }
    }
    request_timeout => 60
    schedule => { cron => "* * * * * UTC " }
    codec => "json"
    metadata_target => "http_poller_metadata"
  }
}
 
output {
  elasticsearch {
    hosts => ["http://10.65.41.137:9200"]
    index => "naver_heejae"
  }
}

 

Elastic Search Index 조회 화면

 

Kibana 대시보드 화면