instead of choosing the best one, 섞자 !

각각의 가장 높은 accuracy를 보이는 fine-tuned model을 선택하기 보단 그런 모델들의 weights를 평균으로 구하고 model soup으로 결과.

same initialization = same error landscape

하지만, 같은 initialization model들을 합친다면 서로 섞여서 합쳐짐.

initialization(초기화)란 모델 안 에서의 필요한 파라미터나 값.

종류

• Uniform soup

average all model weights

• Greedy soup

Incrementally add models to the soup if they increase accuracy

(unhelpful models won’t be added to the soup)

• Learned soup