Training : 모델을 만들거나 배우는 것. 즉, label이 있는 예를 모델에게 보여 주고, 모델이 feature과 label의 관계를 점차적으로 학습하도록 한다.

Inference(추론) : 학습된 모델을 label이 없는 예에 적용하는 것. 학습을 통해 만들어진 모델을 실제로 새로운 입력 데이터에 적용하여 결과를 내놓는 단계.

위 그림에서 보면 알 수 있듯, 학습을 위해서는 많은 데이터가 필요하다. 그리고 그 데이터들은 우선 순방향 전파를 통해 각 신경망을 거쳐가고 Loss function을 통해 에러율이 얼마나 되는지 판단하고, 그 에러율을 줄이기 위해 역방향 전파로 다시 신경망을 반대로 지나가면서 각 신경망의 Weight들을 바꾸는 것이다.

⇒ 순방향으로 함수 지나가면서 에러율 보고 다시 역방향으로 지나가면서 weight들 바꾸고 에러율 줄인다.

하지만 모델을 만들어 가기 위한 학습과는 달리 추론의 목적은 현재 데이터에 대해서 해당 모델이 원하는 작업을 수행해 주는 것.

이미지 분류 모델의 예를 들면, 사람과 고양이를 분류하는 학습된 모델이 있다고 했을 때 단순히 내가 고양이 사진을 input 데이터로 넣으면 고양이라고 분류 해주면 되는 것.

따라서 추론 과정에서는 순방향 전파만이 일어남.