1. 웨이트 초기화 단계의 개념과 여러 방식들딥러닝 모델을 코딩할 때에는 처음에 신경망 모델을 구성하는 단계가 있다. 이 때 input 노드의 수, hidden layer의 개수와 노드의 개수, output layer의 노드의 수를 지정하게 된다. 나는 이 부분에서, 역전파하기 전 가장 처음에는 파라미터들이 어떻게 세팅되는지 궁금했는데 웨이트 초기화 단계(weight initialization)가 있다는 것을 알게 되었다. 파라미터들이 local minimum이 아닌 global minimum에 수렴하는 것이 바람직하므로 처음에 파라미터가 Loss함수에 대해 어느 위치에 위치하느냐가 매우 중요하다. Loss 함수의 global minimum에 가깝게 위치한다면 매우 좋을 것이다. ->Yann LeCun,..