Truman Show

클라이언트 서버에서 원격 서버로 접속 원격 서버 SSH 서버 설치 sudo apt-get install ssh sudo apt-get install -f 설정 수정 sudo vi /etc/ssh/sshd_config # PermitRootLogin prohibit-password PermitRootLogin yes SSH 서버 실행 sudo service ssh start SSH 실행 상태 확인 service ssh status 아이피 및 포트 확인 ifconfig sudo netstat -ntlp |grep sshd bash: netstat: command not found 오류시 sudo apt-get install net-tools 클라이언트 서버 SSH 서버 내부 아이피로 접속 # ssh (유저명..

a alias 명령어 간소화하기 apropos 관련된 명령어 찾기 arch 컴퓨터 종류 알기 arp 같은 서브넷의 IP 보여주기 at 작업 시간 정하기 atd 계획성 있는 작업 실행하기 awk 특정 패턴 문자 처리하기 a2p 펄 파일로 바꾸기 b badblocks 배드 블럭 검사하기 bc 계산기 biff 메일 수신 소리로 확인하기 bg 후면작업; 배경화면 설정 bind 키나 함수 순서 결합하기 break 루프 빠져나가기 c case 조건 처리하기 cat 화면상에서 파일 보기 cd 디렉토리 변경하기 cfdisk 디스크 설정하기 chattr 파일 속성 변경하기 chfn 사용자 정보 변경하기 chgrp 파일, 디렉토리가 속했던 그룹 바꾸기 chmod 파일 권한 바꾸기 chown 파일 주인 바꾸기 chsh 지정..

1. 하이브 설치 파일 복사 및 압축 풀기 cp /media/sf_linux/apache-hive-2.0.0-bin.tar.gz /home/hadoop tar xvzf apache-hive-2.0.0-bin.tar.gz 2. vi편집기로 bashrc 수정 및 활성화 vi .bashrc 방향키로 export HADOOP_HOME 부분으로 이동 -> dd로 지우기 -> 소문자 i로 편집모드 export JAVA_HOME=/usr/java/jdk1.7.0_80 export HADOOP_HOME=/home/hadoop/hadoop-2.7.2 export HIVE_HOME=/home/hadoop/apache-hive-2.0.0-bin export PATH=$HIVE_HOME/bin:$JAVA_HOME/bin:$H..

1. 하둡에서 사용하는 스토리지 포맷 작업 (처음에 한번만 하는거임) hdfs namenode -format 1번 작업을 두 번하면 엉켜버림 cd ll 위의 data(빨간색 표시) 디렉토리는 포맷을 했기 때문에 생성됨 만약 포맷작업을 다시 하고 싶으면 저 data 디렉토리를 없애고 포맷작업을 해야함 2. 하둡에서 사용하는 프로세서 실행 start-dfs.sh yes start-yarn.sh mr-jobhistory-daemon.sh start historyserver yarn-daemon.sh start proxyserver 3. 하둡에서 사용하는 프로세서 확인 jps 프로세서 아이디(숫자)는 개인마다 다르다. 프로세서 이름은 아래에 것들은 꼭 있어야한다. (순서 상관없음) ResourceManager ..

1. 터미널 창을 연다. 오른쪽 마우스 클릭 -> 'Open Terminal' 클릭 2. 호스트 이름 확인 hostname cat /etc/hosts 3. 서버 이름 변경 hostnamectl set-hostname hadoopserver hostname 으로 다시 확인 4. 재부팅을 해야 제대로 서버 이름이 변경된다. reboot 다시 root 계정으로 로그인 -> 터미널 열기 방화벽 해지를 하지 않으면 하둡 설치 단계에서 이상하게 오류가 난다. 5. 방화벽 해지 iptables -F 6. 방화벽 해지 내용 확인 iptables -L - 하둡은 자바 프로그램이다. - 자바 프로그램이 어느 곳에서든 실행될 수 있도록 설정해야한다. - 리눅스를 설치하면 기본적으로 자바가 설치되어있으나 오라클 것이 아니다...

1. 오른쪽 상단 메뉴에서 접속된 계정을 클릭하고 'Log Out'을 클릭한다. 2. 'Log Out' 버튼을 클릭한다. 3. 'Not listed?'를 클릭한다. 4. 접속할 계정 이름(root)를 입력하고 'Next' 버튼을 누른다. 예 ) Username root 5. 접속할 계정의 패스워드를 입력하고 'Sign In' 버튼을 누른다. 예) Password hadoop 6. 언어를 선택하고 'Next' 버튼을 누른다. 7. 타이핑 언어를 선택하고 'Next' 버튼을 누른다. 8. 'Skip' 버튼을 누른다. 9. 'Start using CentOS Linux' 버튼을 누른다. 10. 시작 화면을 설정하지 않으면 'X'버튼을 누른다. 11. 접속 계정 변경 완료!!! 1. 오른..

1. 하둡 설치에 앞서 리눅스 OS와 Virtual Box를 설치한다. 1) 리눅스 OS 설치법 https://truman.tistory.com/49 Fedora 30 workstation iso 설치 방법 https://dl.fedoraproject.org/pub/fedora/linux/releases/30/Workstation/x86_64/iso/ Index of /pub/fedora/linux/releases/30/Workstation/x86_64/iso dl.fedoraproject.org 위의 링크로 들어가시면 아래와 같.. truman.tistory.com 2) Virtual Box 설치법 https://truman.tistory.com/204 Oracle Virtual Box 설치법 - Wi..

1. 아래의 주소에서 'VirtualBox-5.2.10-122406-Win.exe' 파일을 다운로드 받는다. https://download.virtualbox.org/virtualbox/5.2.10/ Index of http://download.virtualbox.org/virtualbox/5.2.10 download.virtualbox.org 2. 'VirtualBox-5.2.10-122406-Win.exe' 파일을 실행시킨다. 3. 아래 그림과 같은 창에서 'Next >' 버튼을 눌러준다. 4. 설치 경로를 지정하고 'Next >'버튼을 눌러준다. 5. 설치 옵션을 지정하고 'Next >'버튼을 눌러준다. 6. 아래와 같은 창에서 'Yes' 버튼을 눌러준다. 7. 'Install' 버튼을 눌러 설치를..

Numpy 과학계산을 위한 라이브러리로 다차원 배열 처리하는데 필요한 기능을 제공한다. numpy 배열은 동일한 타입의 값을 갖는다. 1. 기본 사용법 1) numpy array 생성 # 1차원 배열 만들기 z1 = np.array([1,2,3]) # 2차원 배열 만들기 (2행3열) z2 = np.array([[1,2,3],[4,5,6]]) # 2차원 배열 만들기 (3행3열) lst = [[1,2,3],[4,5,6],[7,8,9]] z3 = np.array(lst) # bool타입의 배열 만들기 (3행3열) b = np.array([[False,True,False], [True,False,True], [False,True,False]]) 2) 연속되는 수 배열 생성 및 차원 바꾸기 # range로 배열 ..

텍스트 정제 작업 1. tm라이브러리 설치 및 임포트 / 데이터 불러오기 # tm라이브러리 설치 및 임포트 install.packages("tm") library(tm) # 데이터 불러오기 data corpus 변환하는 함수 corp1