하둡(hadoop) 데몬 사용 / 워드클라우드 띄우기

 

 

 

1. 하둡에서 사용하는 스토리지 포맷 작업 (처음에 한번만 하는거임)

hdfs namenode -format

1번 작업을 두 번하면 엉켜버림

cd

ll

위의 data(빨간색 표시) 디렉토리는 포맷을 했기 때문에 생성됨

만약 포맷작업을 다시 하고 싶으면 저 data 디렉토리를 없애고 포맷작업을 해야함

 

 

 

 

2. 하둡에서 사용하는 프로세서 실행

start-dfs.sh

yes

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

yarn-daemon.sh start proxyserver

 

 

 

 

3. 하둡에서 사용하는 프로세서 확인

jps

프로세서 아이디(숫자)는 개인마다 다르다.

프로세서 이름은 아래에 것들은 꼭 있어야한다. (순서 상관없음)

• ResourceManager
• DataNode
• NameNode
• SecondaryNameNode
• NodeManager

 

 

 

 

4. 데몬 종료 (지금은 하지 않기)

stop-yarn.sh

stop-dfs.sh

mr-jobhistory-daemon.sh stop historyserver

 

 

 

5. 하둡의 파일 시스템 확인

hdfs dfs -ls /

실제로는 data 디렉토리 안에 들어가 있음

 

 

 

 

6. 디렉토리 생성 및 확인

서브디렉토리를 한번에 만들지 못하므로 하나하나 만들어야함

hdfs dfs -mkdir /user

hdfs dfs -mkdir /user/hadoop

hdfs dfs -mkdir /user/hadoop/conf

hdfs dfs -ls -R /

 

 

 

7. 워드클라우드 띄우고 저장

1) 텍스트 파일 복사 및 확인

cp /media/sf_linux/frozen.txt /home/hadoop

ll

 

2) 로컬파일시스템의 파일을 HDFS에 복사 및 확인

hdfs dfs -put frozen.txt conf/

hdfs dfs -ls conf/

hdfs dfs -put <파일이름> <복사할위치>

 

 

3) 워드클라우드 띄우고 파일 확인

cd /home/hadoop/hadoop-2.7.2/share/hadoop/mapreduce

yarn jar hadoop-mapreduce-examples-2.7.2.jar wordcount  conf/frozen.txt frozen_wc

hdfs dfs -ls frozen_wc

 

 

 

8. HDFS에 저장된 파일을 로컬파일시스템으로 복사

hdfs dfs -get frozen_wc/part-r-00000 /home/hadoop/frozen_wc

 

 

 

 

9. 복사한 파일(워드클라우드) 내용 보기

cd

llvi frozen_wc

ESC키 누르기 -> :q! 눌러서 나가기

 

---

 

기타 사용법

 

1. 지정된 디렉토리, 파일 용량 (byte)

hdfs dfs -du

hdfs dfs -du output

 

 

2. 전체 합계 용량

hdfs dfs -du -s

 

 

3. 파일 내용 보기

hdfs dfs -cat output/part-r-00000

hdfs dfs -text output/part-r-00000

hdfs dfs -cat conf_backup/frozen.txt | tail -5

hdfs dfs -text conf_backup/frozen.txt | tail -5

 

 

4. 지정한 디렉토리, 파일을 복사

hdfs dfs -cp  conf conf_backup

hdfs dfs -ls conf_backup

 

 

5. 지정한 디렉토리, 파일을 이동

hdfs dfs -mv conf_backup conf2

hdfs dfs -ls conf2

hdfs dfs -ls -R

 

 

6. 지정한 디렉토리, 파일 삭제

hdfs dfs -rm conf2/frozen.txt

hdfs dfs -ls conf2