Fine-tuning과 비슷하지만 약간 다른 접근방법으로 linear probing도 있습니다. pre-trained model을 이용해서 input image X에 대한 feature vector f_X를 얻어낸 뒤, (X, Y) 대신 (f_X, Y)를 가지고 linear classifier를 훈련시키는 것 입니다. 어떻게 보면 feature의 quality를 평가하는 것으로 볼 수 있고, fine-tuning은 모델의 마지막 layer의 output을 classifier의 input으로 이용하는 반면, linear probing에서는 중간 layer의 output을 사용하는 것이 더 좋다고 합니다.

여러가지 실험중에서 (제가 생각하기에) 중요한 것 몇가지만 정리하자면, 앞서 말했듯 linear probing에서는 중간 layer의 output을 사용하는것이 가장 좋았다고 합니다. 이는 autoregressive하게 학습하는것과 image classification사이의 관계가 명확하지 않기 때문에, 모델의 최종 output이 classification을 위한 좋은 representation이 아닐 수 있기 때문입니다.