기울기 소실 문제를 해결하기 위해 활성화함수로 Sigmoid 함수나 Linear 함수 대신 ReLU를 쓸 수 있다. 그러나 기울기소실 문제를 해결하기 위해 ReLU 대신 배치정규화, 레이어정규화 기법도 사용할 수 있다. 1. 배치 정규화(Batch Normalization): 원하는 층(layer)에 적용하면 이전 층에서 나온 값들에 웨이트(파라미터)를 곱한 후에 이전 층의 batch_size 크기 데이터의 평균 및 표준편차를 구하고 (0,1)의 표준정규분포를 얻는다. 이후 a를 곱하고(a:표준편차역할) b를 더하여(b:평균역할) 두 파라미터가 추가된다. 이렇게 노드에 들어오는 값들을 재배치한 후, 활성화함수를 통과시켜 output 값으로 만든다. 이 과정은 활성화함수 통과 직전에 시행하는데, Re..