Y = f(W * X + b )
XOR 문제를 2차원에서 해결하기 어려워. 0이랑 1에 점찍고 0과 1을 나눠봐. 선만 이용해서.
근데 2차원을 3차원(좌우, 위아래)으로 깊게 쌓은 뒤 선으로 나눠봐. 그러면 해결가능. 이게 비선형성이야. sigmoid 등의 함수를 사용했지.
즉 인공 신경망을 보통 위아래로 깊게 쌓는다는 말은 hidden layer 갯수를 늘린다는 말이야. 인공 신경망을 좌우로 깊게 쌓는다는 말은 hidden layer 한층 한층마다 존재하는 Y=f(W*X+b)의 갯수를 늘린다는 말이고.
- XOR 문제를 해결 하기 위해 인공 신경망을 좌우, 상하로 깊게 쌓았음. (Multi layer가 되었음) 저 위에 인공신경망에서 f (Activation Function)로 비선형성을 가지고 있는 Sigmoid 등의 함수를 사용. 그러자 계산량이 굉장히 많아서 학습이 안됨.-> BackPropagation으로 학습 했더니 학습에 필요한 연산량이 급격히 줄어들면서 학습이 가능해짐.
Multi-layer가 3층 이상으로 쌓이면 Vanishing Gradient 문제가 생기면서 학습이 잘 안됨. -> Activation Function으로 ReLU를 사용했더니 위의 문제가 사라지면서 학습이 가능해짐
GPU를 학습에 사용하는 등, 하드웨어의 발달도 따라옴. -> 1,2 번의 학습방법 개선 + 하드웨어 발달로 딥러닝이 굉장히 활발해짐