경사 하강법 (Gradient descent method)

손실 함수를 최소화(Optimize) :

 

그래프를 따라 점점 아래로 내려간다

 

한칸씩 전진하는 단위를 Learning rate

 

 

OverShooting : learnig rate가 지나치게 커서 최소값을 지나치고 진동하다가 발산하는 경우

 

 

 

 

 

 

목표 : 손실 함수의 최소점인 Global cost minimum을 찾는 것

 

한 칸씩 움직이는 스텝(Learning rate)를 잘못 설정할 경우 : Local cost minimum에 빠질 가능성이 높다.

Cost가 높다 = 모델의 정확도가 낮다

 

최대한 Global minimum을 찾기 위해

 

 

(기계가 잘 학습을 잘 하는)가설과 손실 함수를 만든다.

그것이 바로 머신러닝 엔지니어의 핵심 역할.