코딩복습장

이것은 우리가 batch regularization이라고 부른다. batch 단위로 들어오는 input을 가우시안 분포로 만들고 싶은 것이다. 우리는 입력 데이터에 대해서 각 feature에 대해 정규화를 적용할 수 있다. 보통 FC layer나 conv layer뒤에 놓인다. 이러한 layer에서 W를 곱할 것이고 이 과정에서 안좋은 scaling이 생길 수 있다. 우리는 normalization을 통해 이 영향을 되돌릴 수 있는 것이다. 여기서 우리가 알아야 할 부분은 정규화 연산을 하고 있지만, 그 이후에 추가적으로 shift연산과 scaling연산을 해줘야 한다는 것이다. 우리가 activation으로 tanh를 사용한다고 해보자. 이때 들어오는 데이터에 대해서 normalizaio..