jun1-cs 님의 블로그

1. 웨이트 초기화 단계의 개념과 여러 방식들딥러닝 모델을 코딩할 때에는 처음에 신경망 모델을 구성하는 단계가 있다. 이 때 input 노드의 수, hidden layer의 개수와 노드의 개수, output layer의 노드의 수를 지정하게 된다. 나는 이 부분에서, 역전파하기 전 가장 처음에는 파라미터들이 어떻게 세팅되는지 궁금했는데 웨이트 초기화 단계(weight initialization)가 있다는 것을 알게 되었다. 파라미터들이 local minimum이 아닌 global minimum에 수렴하는 것이 바람직하므로 처음에 파라미터가 Loss함수에 대해 어느 위치에 위치하느냐가 매우 중요하다. Loss 함수의 global minimum에 가깝게 위치한다면 매우 좋을 것이다. ->Yann LeCun,..

1. DNN(Deep Neural Network)의 의미hidden layer를 많이 가지고 있는 neural network이다.-hidden layer의 수가 많을수록 network가 deep한 것이고, layer의 수가 많으며 layer를 구성하는 node의 수도 많다면 network가 더 복잡해서 정교하게 예측할 수 있다. -layer를 여러 개 거쳐감에 따라, node의 feature들이 더 정확한 정보를 가지게 된다. -node수가 같을 때 shallow neural network보다는 layer의 수가 많은 deep neural network가 더 정확한 예측을 할 수 있다. (layer의 수가 많아야 input layer의 node들이 더 많은 경로를 거쳐서 output을 산출하므로 더 복잡..