[DL Study] 2. Perceptron, MLP

*Example: 2라고 적은 그림을 숫자 2로 인식하는 딥러닝 모델의 원리 분석

1) 2라고 그려진 그림을 n*n 픽셀의 2차원 배열로 나눈다.  

2) 2차원 배열을 컴퓨터가 이해할 수 있는 n^2 크기의 1차원 input벡터로 만든다->x1~x256에 0 또는 1의 값이 들어간다. 

3) ??

4) 3)의 어떤 함수를 거쳐서, 0과 1사이의 확률값을 가지는 y0~y9의 벡터를 얻는다.

yi벡터는 1)에서 받은 그림이 i일 확률값을 가진다. 

 

->그렇다면, 3)의 함수는 0,1로 구성된 256개의 비트를 일련의 과정을 거쳐 10개의 실수값으로 얻어야 한다.

 이 함수를 신경망 네트워크로 구현하는 것이 딥러닝이다.

 

1. 퍼셉트론(perceptron, neuron): 1957년, Frank Rosenblatt이 뉴런의 신호전달 기작을 모방해 컴퓨터에 적용한 이론이다. 

<->뉴런: dendrite를 통해 받은 여러 정보들을 합친 후, 이것이 threshold를 넘어서면 신호가 activate되어 axon과 다음 뉴런으로 신호가 전달된다. 

 

목표: k개의 input값을 받고 이 정보들을 합산해 하나의 output을 얻을 것이다.

1단계. 이 때 각 input값에 대해 weight(가중치)값이 하나씩 존재하므로 input*weight를 한 후 합산하고, bias값을 더한다.

-> 이 값은 input을 단순히 sum하는 것보다 더 정확한 예측을 할 가능성이 높아진다.

2단계. 활성화 함수(activation function)을 거쳐서 output을 얻는다. 

뉴런에서는 threshold를 넘으면 1, 안 넘으면 0을 다음 신호로 보낸다. 

그러나 퍼셉트론에서는 함수를 통과해 다음 신호를 보낸다.(Ex: sigmoid function: 뉴런과 형태 유사)

이 때에 활성화함수는 1단계의 linear function이 아닌 nonlinear function을 사용한다.

 활성화함수를 거치면, 결국 output값을 얻게 된다.

(input은 x, weighted sum은 z, nonlinear func은 sigma, 퍼셉트론이 예측한 output은 yhat으로 표기한다. y,yhat의 차이로 성능 측정한다.)

 

; 프로그래밍과 학습의 차이!: wight과 bias 값을 인간이 정해주는가/기계가 스스로 얻는가의 차이이다!!

 

But, XOR problem : AI Winter 1

XOR연산의 경우, (0,0),(1,1)에 대해서는 0을 출력하고 (1,0),(0,1)에 대해서는 1을 출력한다->x,y가 같으면 0, 다르면 1 출력한다.

OR, AND, NOT연산과는 달리 조금 더 복잡한 XOR연산은 single layer perceptron에서는 선 하나를 사용하는데 x-y좌표평면 상에서 (0,0),(1,1)와  (1,0),(0,1)을 분리할 수 없다. 그러나 multilayer perceptron에서는 nonlinear separation으로 분리할 수 있다.

->그런데 MLP에서는 가중치를 계산할 방법이 없었다.

 

->1986년에 Hinton교수에 의해 MLP에서 가중치를 컴퓨터가 효율적으로 학습하는 Backpropagation 방법을 개발했다.(AI Boom)

 

2. MLP(Multilayer Perceptron)

deep neural network의 가장 간단한 형태로, input layer-hidden layer-output layer로 구성된다. 

-hidden layer, output layer의 노드(neuron)들은 노드 하나당 퍼셉트론 하나(그 노드를 산출한 앞의 노드들과 그 weight, bias값)와 연결된다.

-hidden layer, 은닉층의 존재로 인해 층이 여러 겹이 된다. 더 복잡한 과정을 거쳐 학습하게 되는 것이다.

-n layer perceptron이라면 hidden layer가 (n-1)개, output layer가 1개 있는 네트워크인 것이고 데이터들을  n개의 선으로 나눠 separate 수 있다.