Truman Show

1. 하둡에서 사용하는 스토리지 포맷 작업 (처음에 한번만 하는거임) hdfs namenode -format 1번 작업을 두 번하면 엉켜버림 cd ll 위의 data(빨간색 표시) 디렉토리는 포맷을 했기 때문에 생성됨 만약 포맷작업을 다시 하고 싶으면 저 data 디렉토리를 없애고 포맷작업을 해야함 2. 하둡에서 사용하는 프로세서 실행 start-dfs.sh yes start-yarn.sh mr-jobhistory-daemon.sh start historyserver yarn-daemon.sh start proxyserver 3. 하둡에서 사용하는 프로세서 확인 jps 프로세서 아이디(숫자)는 개인마다 다르다. 프로세서 이름은 아래에 것들은 꼭 있어야한다. (순서 상관없음) ResourceManager ..

1. 터미널 창을 연다. 오른쪽 마우스 클릭 -> 'Open Terminal' 클릭 2. 호스트 이름 확인 hostname cat /etc/hosts 3. 서버 이름 변경 hostnamectl set-hostname hadoopserver hostname 으로 다시 확인 4. 재부팅을 해야 제대로 서버 이름이 변경된다. reboot 다시 root 계정으로 로그인 -> 터미널 열기 방화벽 해지를 하지 않으면 하둡 설치 단계에서 이상하게 오류가 난다. 5. 방화벽 해지 iptables -F 6. 방화벽 해지 내용 확인 iptables -L - 하둡은 자바 프로그램이다. - 자바 프로그램이 어느 곳에서든 실행될 수 있도록 설정해야한다. - 리눅스를 설치하면 기본적으로 자바가 설치되어있으나 오라클 것이 아니다...

1. 오른쪽 상단 메뉴에서 접속된 계정을 클릭하고 'Log Out'을 클릭한다. 2. 'Log Out' 버튼을 클릭한다. 3. 'Not listed?'를 클릭한다. 4. 접속할 계정 이름(root)를 입력하고 'Next' 버튼을 누른다. 예 ) Username root 5. 접속할 계정의 패스워드를 입력하고 'Sign In' 버튼을 누른다. 예) Password hadoop 6. 언어를 선택하고 'Next' 버튼을 누른다. 7. 타이핑 언어를 선택하고 'Next' 버튼을 누른다. 8. 'Skip' 버튼을 누른다. 9. 'Start using CentOS Linux' 버튼을 누른다. 10. 시작 화면을 설정하지 않으면 'X'버튼을 누른다. 11. 접속 계정 변경 완료!!! 1. 오른..

1. 하둡 설치에 앞서 리눅스 OS와 Virtual Box를 설치한다. 1) 리눅스 OS 설치법 https://truman.tistory.com/49 Fedora 30 workstation iso 설치 방법 https://dl.fedoraproject.org/pub/fedora/linux/releases/30/Workstation/x86_64/iso/ Index of /pub/fedora/linux/releases/30/Workstation/x86_64/iso dl.fedoraproject.org 위의 링크로 들어가시면 아래와 같.. truman.tistory.com 2) Virtual Box 설치법 https://truman.tistory.com/204 Oracle Virtual Box 설치법 - Wi..

1. 아래의 주소에서 'VirtualBox-5.2.10-122406-Win.exe' 파일을 다운로드 받는다. https://download.virtualbox.org/virtualbox/5.2.10/ Index of http://download.virtualbox.org/virtualbox/5.2.10 download.virtualbox.org 2. 'VirtualBox-5.2.10-122406-Win.exe' 파일을 실행시킨다. 3. 아래 그림과 같은 창에서 'Next >' 버튼을 눌러준다. 4. 설치 경로를 지정하고 'Next >'버튼을 눌러준다. 5. 설치 옵션을 지정하고 'Next >'버튼을 눌러준다. 6. 아래와 같은 창에서 'Yes' 버튼을 눌러준다. 7. 'Install' 버튼을 눌러 설치를..

이미지 형태 확인 # 라이브러리 불러오기 import numpy as np import tensorflow as tf import matplotlib.pyplot as plt from PIL import Image import glob # 이미지 불러오기 및 확인 img = Image.open("C:/pypy/dog.jpg") plt.imshow(img) # 이미지 resize 모습 확인 plt.imshow(img.resize([64,64])) # 이미지에 대한 색상 변경 data = img.convert("RGB") # 이미지 resize data = data.resize([64,64]) # 이미지를 숫자 어레이 형식으로 바꾸기 data = np.asarray(data) # 이미지 형태 바꾸기 data..

CNN (Convolution Neural Network) 합성곱 신경망 convolution층과 pooling층을 포함하는 신경망 반복[conv층 -> pooling층] -> fully connected층 conv층 : 이미지의 특징을 추출하는 계층 pooling층 : 특징의 일부분만 취하는 계층 (max pooling을 가장 많이 씀) 합성곱 계산 conv층 (합성곱 계층) feature map을 만들고 그 feature map을 선명하게 해주는 층 image : 1,3,3,1 (이미지갯수, 높이, 너비, 색수) filter : 2,2,1,1 (높이,너비,색수,필터수) striide : 1x1 padding : valid 입력데이터 (3, 3) 1 2 3 4 5 6 7 8 9 filter (2, 2)..

단층 신경망 # 라이브러리 불러오기 import pandas as pd import tensorflow as tf import numpy as np from pandas import get_dummies from sklearn.model_selection import train_test_split tf.__version__ # 아이리스 데이터 불러오기 iris = pd.read_csv("C:/data/iris.csv") iris.head() # 독립변수, 종속변수 분리 x_data = iris.iloc[:,:-1] y_lables = iris.iloc[:,-1] y_lables.unique() # 수동으로 원핫 인코딩 lables = {"Iris-setosa":[1,0,0], "Iris-versicolo..

1. 선형회귀 예 입력(x) 출력(y) 1 2 2 4 3 6 4 8 5 10 6 12 Q. 7을 입력하면 출력값은? # 데이터 입력 x_data = [1,2,3,4,5,6] y_data = [2,4,6,8,10,12] # 변수 만들기 # seed=0 : 난수값 고정 # tf.random_normal : 정규분포에 해당하는 난수값 리턴 x = tf.placeholder(tf.float32) y = tf.placeholder(tf.float32) w = tf.Variable(tf.random_normal([1],seed=0),name='weight') b = tf.Variable(tf.random_normal([1],seed=0),name='bias') # hypothesis 정의 hypothesis = w..

logistic regression 분류를 하는데 있어서 가장 흔한 경우는 이분법을 기준을 분류하는 경우 - 예) 특정고객이 물건을 구매할지(1) 안할것인지(0) 어떤 기업이 부도가 날것인지(1) 안날것인지(0) 동훈이랑 서영이랑 친구인지(1) 아닌지(0) 오늘 비가 올것인지(1) 안올것인지(0) 적용분야 : 기업의 부도예측, 주가, 환율, 금리등의 Up/Down 예측 R로 코딩하기 1. 성적 예측 # 데이터 불러오기 score