그니까 optimizer는 loss가 검정선처럼 갈 때 가장 낮은 loss를 찾기 위한 경사하강법을 할 때 파랑 화살표처럼 방향과 크기를 정한다.

빨강 화살표로 가기로 optimizer가 정했으면 backpropagation(역전파)를 한다. 검정화살표처럼 다시 빽해서 weight를 업데이트 시켜. 이게 뭔소리냐면 weight를 찍으면서 순전파를 하잖아 근데 역전파를 하면서 weight 값에 따라 가중치를 더 주고 덜 주고 이거를 하는거지.

이때, 화살표의 길이를 결정하는게 optimizer의 파라미터인 Learning rate.

backward가 역전파