전이 학습
하나의 작업을 위해 훈련된 모델을 유사 작업 수행 모델의 시작점으로 활용하는 딥러닝 접근법
'pretrained model’
무작위 초기화를 통해 큰 데이터셋을 처음부터 conv 전체를 학습하는 대신 매우 큰 데이터셋에서 conv를 미리 학습한 후, 이 conv를 관심있는 작업을 위한 초기 설정 또는 fixed feature extractor로 사용.
주요 2가지 할일
무작위 초기화 대신, 신경망을 imagenet 데이터셋 등으로 미리 학습한 신경망으로 초기화한다. 학습의 나머지 과정들은 평상시와 같음.
여기서는 마지막에 완전히 연결 된 계층을 제외한 모든 신경망의 가중치를 고정한다. 이 마지막의 완전히 연결된 계층은 새로운 무작위의 가중치를 갖는 계층으로 대체되어 이 계층만 학습.
low-level features : 낮은 층에서 학습되는 features. 이미지의 색, 경계(edge)등
high-level features: 깊은 층에서 학습되는 features. 심화된 객체의 패턴이나 형태 의미.
low-level feature의 필터의 경우 색의 변화나 경계의 방향 등을 추출한다고 유추할 수 있고 더 올라가서 high-level feature는 동그라미가 반복되는 패턴이나 새의 부리 등의 이미지를 분류하는데 있어서 주요한 특징들을 학습