본문 바로가기

소프트웨어/하둡

명령어 정리

[하둡 명령어]


-> HADOOP 1.X 에서는 hadoop 명령어를 활용했으나, HADOOP 2.X 버젼에서는 hdfs를 사용한다.


(하둡에 있는 파일 목록 리스트 보기)

1.  hdfs dfs -ls


(하둡 파일시스템에 input폴더를 만든다.)

2. hdfs dfs -mkdir input


(하둡 파일시스템의 input 폴더에 README.txt 파일을 복사한다.)

3. hdfs dfs -put /usr/local/hadoop/README.txt input


(하둡 파일시스템의 input 폴더에 파일이 들어가있는지 확인한다.)

4. hdfs dfs -ls input


( jar 실행시에는 hadoop사용 - 하둡 파일시스템의 샘플예제인 wordcount 처리를 해서 하둡파일 시스템의 output폴더를 만들어 처리한다.)

5. hadoop jar wordcount.jar input/README.txt output


(처리된 하둡 파일시스템의 output폴더에 저장된 내용을 확인한다.)

6. hdfs dfs -ls output


(하둡 파일시스템에 만들어진 파일이름을 확인하고 내용을 확인해 본다.)

7. hdfs dfs -cat output/part-r-00000


(하둡 파일시스템에 만들어진 output 폴더안에 저장된 데이터중에 처음 10개를 확인한다.)

8. hdfs dfs -cat output/part-r-00000 | head -10


(하둡 파일시스템에 만들어진 output 폴더안에 저장된 데이터중에 마지막 10개를 확인한다.)

9. hdfs dfs -cat output/part-r-00000 | tail -10