Truman Show

텍스트 정제 작업 1. tm라이브러리 설치 및 임포트 / 데이터 불러오기 # tm라이브러리 설치 및 임포트 install.packages("tm") library(tm) # 데이터 불러오기 data corpus 변환하는 함수 corp1

1. CNN Convolutional Neural Network, 합성곱 신경망 인간의 시신경 구조를 모방한 기술 1989년 LeCun이 발표한 논문에서 처음 소개가 되었으며, 필기체 zip code 인식을 위한 프로젝트를 통해 개발이 되었다. 2012년 Image Net 대회에서 기존의 모든 알고리즘을 압도하는 성능으로 1등을 차지함. 이미지를 인식하기위해 패턴을 찾는데 특히 유용하다. 데이터를 직접 학습하고 패턴을 사용해 이미지를 분류한다. 자율주행자동차, 얼굴인식과 같은 객체인식이나 computer vision이 필요한 분야에 많이 사용되고 있다. 이미지의 공간정보를 유지한채 학습을 하게하는 모델 2. RNN Recurrent Neural Network, 순환신경망 순차적 정보가 담긴 데이터에서 규..

1. EEG EEG(Electroencephalogram, 뇌파도) 두개골에 전극을 붙여 대뇌피질의 전기 활동을 측정 잠잘 때, 꿈꿀 때, 간질병이나 혼수 상태 등의 기능장애시에 발생하는 뇌파의 변화를 아는 데 유용하다. 뇌파도는 바로 그 시점에 대뇌피질의 각 부분들이 정확히 무엇을 하고 있는지 알려주지 못한다. 2. PET PET(Positron Emission Tomography, 양전자 방사 단층활영법) 뇌의 각 부분이 산소나 포도당을 얼마나 소비하는지를 측정한다. 측정방법 1) 피험자에겍 방사능 꼬리표가 붙은 산소나 포도당을 주사한다. 2) 방사능을 탐지할 수 있는 고리모양의 감지기로 구성된 스캐너가 피험자의 머리를 에워싼다. 3) 감지기들이 방사능을 내뿜는 산소나 포도당이 뇌의 어떤 부위에 있는..

1. 위키독스 딥러닝 파트 크롤링 # 필요한 라이브러리 불러오기 library(RSelenium) library(rvest) library(stringr) library(KoNLP) library(wordcloud2) # RSelenium으로 위키독스 접속 remdr

준비단계 1. RSelenium 설치 및 임포트 install.packages("RSelenium") library(RSelenium) !!주의사항!! jar는 java 환경설정이 되어 있어야한다. java 설치 확인 java -version 2. 가상 서버 가동하기 - 관리자 권한으로 실행 cd 저장해둔 위치 Java -Dwebdriver.gecko.driver="geckodriver.exe" -jar selenium-server-standalone-4.0.0-alpha-1.jar -port 4445 끝날때까지 창 띄워두기 RSelenium 사용 다나와 사이트에서 노트북(애플) 제품명, 가격, 정보 뽑아내기 # 가상서버에서 크롬으로 연결 remdr % html_text() prod_name # 제품가격..

하이퍼 파라미터 설정 1. 초기값 : 가중치(W), 바이어스(b) 가중치의 초기값을 0으로 default를 주고 시작하면 올바른 학습을 기대하기 어렵다. 오차역전파에서 가중치의 값이 똑같이 갱신되기 때문 np.random.randn()을 사용하여 무작위로 가중치를 설정하는 것을 볼 수 있다. 2. epoch (에폭) 신경망에서 전체 데이터에 대해서 순전파와 역전파가 끝난 상태 1 epoch = 전체 데이터셋을 1회 학습 epoch 횟수가 지나치면 과적합(Overfitting)이 발생할 수 있다. 3. step (스탭) 1 step = 가중치와 바이어스를 1회 업데이트 한 것 4. batch size (배치 크기) 1 step에 사용한 데이터의 수 몇 개의 데이터 단위로 매개변수를 업데이트 하는지 5. i..

1. 손실 함수 (Loss Function) 손실 함수는 실제값과 예측값의 차이(loss, cost)를 수치화해주는 함수이다. 오차가 클수록 손실 함수의 값이 크고, 오차가 작을수록 손실 함수의 값이 작아진다. 손실 함수의 값을 최소화 하는 W, b를 찾아가는것이 학습 목표이다. 회귀 : 평균제곱오차 / 분류 : 크로스 엔트로피 1-1 평균 제곱 오차 (Mean Squared Error, MSE) 연속형 변수를 예측할 때 사용한다. def MSE(y, t): return (1/2) * np.sum((y-t)**2) 1-2 크로스 엔트로피 (Cross-Entropy) 낮은 확률로 예측해서 맞추거나, 높은 확률로 예측해서 틀리는 경우 loss가 더 크다. 이진분류 : binary_crossentropy / ..

1. 영화 평점을 기준으로 긍정/부정 리뷰 분석 (레미제라블) # 평점, 리뷰, 작성자, 작성날짜 뽑기 text

1. 인공지능 신문 - 의료 AI 기사 크롤링 # 기사 내용 크롤링 html % html_attr('href') url[1] news

rvest 라이브러리 설치 및 임포트 install.packages("rvest") library(rvest) # 만약 오류가 나면 iconv로 인코딩 하면된다. # UTF-8로 되어있으면 문제 없음 html