softmax

softmax + temperature scaling

Temperature 크게 줄수록 각 확률 값들의 차이가 줄어듬.

하지만 순서는 변화가 없기 때문에 정확도는 차이가 없음.

⇒ T가 커질수록 좀 더 soft한 확률분포

값을 파악하기 힘들정도로 작은 값이 있을 때 temperature scaling을 통해 좀 더 smooth하게 바꿔줄 수 있음.

Temperature scaling은 모든 class에 대해 single scalar parameter T를 logit vector xi에 나눠주는 방법