Hadoop/Hadoop

Hadoop 기본 명령어

희쨔응 2022. 9. 22. 12:13

Local 파일들을 hdfs에 append 저장

hdfs dfs -appendToFile {localsrc} ... {dst}

파일을 stdout

hdfs dfs -cat URI [URI ...]

파일의 그룹 권한 변경

hdfs dfs -chgrp [-R] GROUP URI [URI ...]

파일의 owner 변경

hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

Hdfs에 있는 파일을 local directory에 다운

hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI {localdst}

Hdfs내부에서 파일 copy/paste

hdfs dfs -cp [-f] [-p | -p[topax]] URI [URI ...] {dest}

Hdfs의 파일을 local directory에 다운

hdfs dfs -get [-ignorecrc] [-crc] {src} {localdst}

특정 디렉토리의 파일 혹은 디렉토리 조회

hdfs dfs -ls [-R] {args}

특정 path에 directory 생성

hdfs dfs -mkdir [-p] {paths}

Local의 파일을 hdfs에 저장. put과 비슷하지만 저장 이후 local file은 삭제

hdfs dfs -moveFromLocal {localsrc} {dst}

Hdfs의 파일을 local에 저장. get과 비슷하지만 저장 이후 hdfs file은 삭제

hdfs dfs -moveToLocal [-crc] {src} {dst}

Hdfs내부에서 파일을 옮김

hdfs dfs -mv URI [URI ...] {dest}

Local의 파일들을 hdfs에 저장

hdfs dfs -put {localsrc} ... {dst}

Hdfs의 특정 폴더 혹은 파일을 삭제

hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI ...]

rm -r과 동일한 명령어

hdfs dfs -rmr [-skipTrash] URI [URI ...]