Hadoop/Hadoop

[Hadoop] Hadoop Single Node Cluster

Minju Jeong 2022. 6. 21. 15:09

 

 

개발서버에 Hadoop을 구축하였습니다.

 

 

혹시 모를 메모리 부족 문제 때문에 우선 단일 노드로 구축하였으며,

추후 필요에 따라 Multi Node Cluster로 재구축 할 예정입니다.

 

 

iShark에서 제공하는 Hadoop 커맨드를 사용하여 테스트를 진행했습니다.

 

[Data Integration Solution] iShark DI Solution 소개

iShark란 ETL/ESB/DB Tool 기능을 통합한 Data Integreation Solution 입니다. ▼ iShark DI Solution의 특장점 Data Integration Solution으로 다양한 OS와 DBMS, File System 간의 인터페이스가 가능합니다...

mj-sunflower.tistory.com

 

 

▼ Oracle 테이블에 적재된 데이터를 Hadoop에 ORC 확장자로 적재하는 ETL 로직 (iShark DI Solution)

Oracle to Hadoop

 

 

▼ Hadoop(HDFS)에서 적재된 데이터 조회 (orc 확장자)

 

 

▼ Hadoop Namenode Web

 

 

▼ Hadoop Manager Web