Apache Flume은 오픈소스 프로젝트로 개발된 로그 데이터를 수집 기술이다. 여러 서버에서 생산된 대용량 로그 데이터를 효과적으로 수집하여 HDFS과 같은 원격 목적지에 데이터를 전송하는 기능을 제공한다.
구조가 단순하고 유연하여 다양한 유형의 Streaming Data Flow아키텍처를 구성할 수 있다.
현재 테스트 서버에 구축 완료 되었고 아래와 같이 테스트 완료 되었습니다.
Flume 버전 확인
Hdfs Flume 싱크 소스
Flume 실행
Source 디렉터리에 파일생성
파일 생성 확인 및 Data 확인
Hadoop 파일 생성 확인 및 Data 확인
'Hadoop > Flume' 카테고리의 다른 글
| Flume을 통한 Kafka To HDFS 연계 (0) | 2023.04.26 |
|---|