Truman Show

출력층의 활성화 함수 신경망은 분류와 회귀 모두에 이용할 수 있다. 일반적으로 회귀 문제에는 항등 함수를, 분류 문제에는 소프트맥스 함수를 사용한다. 항등 함수 (Identity Function) 입력을 그대로 출력한다. 회귀 문제에 사용된다. 회귀 문제의 특성상 데이터 간의 연속적인 관계가 있어야하기 때문에 다른 활성화 함수가 필요 없다. 소프트맥스 함수 (Softmax Function) 0과 1사이의 실수를 출력한다. 이때 출력값들의 합은 1이다. 분류 문제에서 사용된다. (2종류로 분류하는 문제에는 시그모이드 함수가 사용된다.) 활성화되기 전의 출력값들을 전체와의 비율(확률)로 나타내주는 활성화 함수 소프트맥스 함수를 적용해도 각 원소의 대소 관계는 변하지 않는다. 위의 식 1 대로 사용하면 지수 ..

1. 활성화 함수(Activation Function)란? synapse는 전달된 전기신호가 최소한의 자극 값을 초과하면 활성화되어 다음 뉴런으로 전기신호를 전달한다. 활성화 함수는 이것을 모방하여 값이 작을때는 출력값을 작은겂으로 막고 일정한 값을 초과하면 출력값이 급격히 커지는 함수를 이용한다. 신경망에서는 전달받은 데이터를 가중치를 고려해서 합산하고 그 값을 활성화 함수를 적용해 다음층에 전달한다. 신경망에서는 활성화 함수로 비선형함수를 사용해야 한다. 입력 신호의 총합을 출력신호로 변환하는 함수 입력 신호의 총합이 활성화를 일으키는 지를 정하는 역할 가중치가 곱해진 입력 신호의 총합을 계산하고, 그 합을 활성화 함수에 입력해 결과를 내는 2단계로 처리된다. 입력 신호의 총합 계산 : a = w1x..