Truman Show

https://www.youtube.com/watch?v=Gm9Spk2Nmj0 # 라이브러리 불러오기 import torch import torchvision import torchvision.transforms as transforms from torch.utils.data import DataLoader Load data set # 파이토치에서 제공하는 CIFAR10 데이터셋 불러오기 transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,0.5,0.5),(0.5,0.5,0.5))]) trainset = torchvision.datasets.CIFAR10(root='C:/pypy', train=True, down..

https://www.youtube.com/watch?v=8PnxJ3s3Cwo # 라이브러리 불러오기 # torchvision.transforms : 데이터를 불러오면서 바로 전처리를 할 수 있게 해준다. # DataLoader : 배치사이즈 형태로 만들어서 실제로 학습할때 이용할 수 있는 형태로 만든다. # Dataset : 튜닝할때 사용 import torch import torchvision import torchvision.transforms as tr from torch.utils.data import DataLoader, Dataset import numpy as np 1. 파이토치 제공 데이터 사용 # 데이터 전처리 # tr.Compose()안의 순서대로 전처리 작업 수행 # 인풋데이터 8*..

파이토치 패키지 구성 구성 내용 설명 torch 메인 네임스페이스로 텐서 등의 다양한 수학 함수가 이 패키지에 포함되어 있다. NumPy와 같은 구조를 가지고 있다. torch.autograd 자동 미분을 위한 함수가 포함돼 있다. 자동 미분의 on/off를 제어하는 콘텍스트 매니저(enable_grade/no_grade)나 자체 미분 가능 함수를 정의할 때 사용하는 기반 클래스인 'Function' 등이 포함돼 있다. torch.nn 신경망을 구축하기 위한 다양한 데이터 구조나 레이어 등이 정의돼 있다. 예를 들어 Convolution이나 LTSM, ReLU 등의 활성화 함수나 MSELoss 등의 손실 함수도 포함된다. torch.optim 확률적 경사 하강법(SGD, Stochastic Gradien..

파이토치(Pytorch)란? Python 기반의 과학 연산 패키지 NumPy를 대체하면서 GPU를 이용한 연산이 필요한 경우 사용 최대한의 유연성과 속도를 제공하는 딥러닝 연구 플랫폼이 필요한 경우 사용 파이토치의 장점 텐서플로보다 간결해서 쉽게 사용할 수 있다. 학습 및 추론 속도가 빠르고 다루기 쉽다. Define-by-Run 프레임워크 많은 논문들이 파이토치로 구현 https://www.youtube.com/watch?v=6SF_qAd99Yg 텐서 (Tensor) 파이토치의 기본 단위 다차원 배열을 처리하기 위한 데이터 구조 Numpy의 ndarray와 거의 같은 API를 지니고 있다. GPU를 사용한 계산도 지원한다. 어떤 데이터 형의 텐서이건 torch.tensor라는 함수로 작성할 수 있다. ..

ㄱ 각성 경계하거나 흥분했을 때 높은 수준의 각성 상태에 있다고 말한다. 긴장을 풀고 느긋하게 있거나 잠을 잘 때는 각성 상태가 낮다. 간질 뇌의 비정상적 전기 활동으로 야기되는 재발성의 일시적 발작 상태. 간질 발작은 편차가 매우 심한데, 주로 신체 경련과(이나) 순간적인 의식 상실이 발생하기도 한다. 간질의 원인은 아주 다양하다. 건망증 기억상실 골상학 인강의 다양한 성격을 두개골의 모야과 연계하려던 19세기 사이비 과학 골지 염색법 뉴런의 10분의 1정도가 염색되는데, 현미경으로 이것을 볼 수 있다. 공감각(synaesthesia) 감각이 뒤섞이는 상태. 샊갈의 냄새를 맡을 수 있다거나 소리를 맛볼 수 있게 된다. ㄴ 노라드레날린(noradrenaline, 노르에피네프린) 신경전달 물질의 하나로 공..

목표 시카고 샌드위치 맛집 리스트 정리 사용 데이터 1. 시카고 샌드위치 맛집 사이트 : https://www.chicagomag.com/Chicago-Magazine/November-2012/Best-Sandwiches-Chicago/ The 50 Best Sandwiches in Chicago Our list of Chicago’s 50 best sandwiches, ranked in order of deliciousness www.chicagomag.com 1. 시카고 샌드위치 맛집 소개 사이트에 접근하기 # 라이브러리 불러오기 from bs4 import BeautifulSoup from urllib.request import urlopen from urllib.parse import urljoi..

목표 강남 3구의 체감안전도가 높다는 기사 검증 실제 안전도가 높은지 확인 서울시 구별 범죄 발생과 검거율 위의 정보로 어떤 결론을 내리고, 어떻게 시각화할 것인지 고민 사용 데이터 1. 서울시 관서별 5대 범죄 발생 검거 현황 : 2015년 (.csv) 1. pandas를 이용하여 데이터 정리하기 # 라이브러리 불러오기 import numpy as np import pandas as pd # 사용 데이터(csv) 읽어들이기 crime_anal_police = pd.read_csv('C:/datascience_train/data/02. crime_in_Seoul.csv', thousands=',', encoding='euc-kr') crime_anal_police.head() 2. Google Maps를..

1. 하이브 설치 파일 복사 및 압축 풀기 cp /media/sf_linux/apache-hive-2.0.0-bin.tar.gz /home/hadoop tar xvzf apache-hive-2.0.0-bin.tar.gz 2. vi편집기로 bashrc 수정 및 활성화 vi .bashrc 방향키로 export HADOOP_HOME 부분으로 이동 -> dd로 지우기 -> 소문자 i로 편집모드 export JAVA_HOME=/usr/java/jdk1.7.0_80 export HADOOP_HOME=/home/hadoop/hadoop-2.7.2 export HIVE_HOME=/home/hadoop/apache-hive-2.0.0-bin export PATH=$HIVE_HOME/bin:$JAVA_HOME/bin:$H..

1. 하둡에서 사용하는 스토리지 포맷 작업 (처음에 한번만 하는거임) hdfs namenode -format 1번 작업을 두 번하면 엉켜버림 cd ll 위의 data(빨간색 표시) 디렉토리는 포맷을 했기 때문에 생성됨 만약 포맷작업을 다시 하고 싶으면 저 data 디렉토리를 없애고 포맷작업을 해야함 2. 하둡에서 사용하는 프로세서 실행 start-dfs.sh yes start-yarn.sh mr-jobhistory-daemon.sh start historyserver yarn-daemon.sh start proxyserver 3. 하둡에서 사용하는 프로세서 확인 jps 프로세서 아이디(숫자)는 개인마다 다르다. 프로세서 이름은 아래에 것들은 꼭 있어야한다. (순서 상관없음) ResourceManager ..

1. 터미널 창을 연다. 오른쪽 마우스 클릭 -> 'Open Terminal' 클릭 2. 호스트 이름 확인 hostname cat /etc/hosts 3. 서버 이름 변경 hostnamectl set-hostname hadoopserver hostname 으로 다시 확인 4. 재부팅을 해야 제대로 서버 이름이 변경된다. reboot 다시 root 계정으로 로그인 -> 터미널 열기 방화벽 해지를 하지 않으면 하둡 설치 단계에서 이상하게 오류가 난다. 5. 방화벽 해지 iptables -F 6. 방화벽 해지 내용 확인 iptables -L - 하둡은 자바 프로그램이다. - 자바 프로그램이 어느 곳에서든 실행될 수 있도록 설정해야한다. - 리눅스를 설치하면 기본적으로 자바가 설치되어있으나 오라클 것이 아니다...