1. 활성화 함수의 의미활성화 함수는 여러 hidden layer 사이에서, hidden layer 속 linear layer의 출력에 대해 비선형성을 더하는 용도로 사용된다.ex: ReLU 함수(정류선형함수) - max(z,0)으로, z가 양수여서 활성화 상태라면 기울기가 1로 일정하다. ReLU도 그렇고, 여러 활성화 함수들이 미분 불가능한 점을 가진다.(비선형성) -> 그런데, 아무리 비선형성 추가가 모델의 복잡성을 위해 필요하다고 해도, 비선형적이면 SGD에서 미분이 안 되는 거 아님? ->SGD를 통해서 loss function의 완전한 극솟점을 찾는 것은 불가능하다.-> 미분 불가능한 지점에 도달할 가능성은 거의 없으므로 이 부분을 문제삼지 않아도 된다.(만약 미분 불가능한 점에 대해 미분계..