Dropout

• 하이퍼파라미터는 0.5 (50퍼)
• batch마다 탈락시킴. (꺼지는 노드가 계속 달라짐)
• 앙상블 효과
• 오버피팅 막음

BatchNorm

• conv 계속 쌓으면 weight가 쌓임.
• BatchNorm은 weight랑 연산결과를 정규화시켜줌.
• 평균, 분산 구한 다음 평균을 빼고 분산으로 나눈다.
• 오버피팅 막음.