[모두의 딥러닝] 딥러닝 공부 4일차 - 경사 하강법 이론

저번 글에서는 a, b를 임의로 설정하였을 때 이 a, b가 실제 정답에 가까울지 가깝지 않을지 판별하는 과정을 평균 제곱근 오차 계산을 통해서 알아내었습니다. 이번에는 정답에 가깝지 않을 때, 어떻게 a, b의 값을 조정해서 정답에 가깝게 만들지에 대해 공부(경사 하강법에 대해)하고자 합니다. 

 

저번 테스트를 통해 알 수 있듯이 a를 무한대로 키우면 오차도 무한대로 커지고 a를 무한대로 작게 해도 이 역시 오차가 커지는 관계를 아래와 같은 이차 함수 그래프로 표현할 수 있습니다.

 

 

위 그림에서 볼 수 있듯이 오차가 가장 작을 때는 x가 그래프의 가장 아래쪽의 불록한 부분, 노란색 지점에 있을 때입니다.  컴퓨터를 이를 이용해서 임의의 한 점을 찍고(맨 끝 파란색 지점이나 빨간색 지점) 이 점을 노란색 지점으로 점점 이동시키는 과정이 필요합니다. 그렇기 위해서는 각 지점에서 노란색 지점까지 가까운지 비교를 할 수 있어야합니다.

 

이렇게 그래프에서 오차를 비교하여 가장 작은 방향을 이동시키는 방법이 미분 기울기를 이용한 경사 하강법입니다.

 

노란색 지점이 어디인지 알기 위해서는 미분을 해야합니다. 

 

미분과 기울기이란?

 

y = x2(제곱) 이라는 그래프가 있고 x축에 한 점에 a가 있을 때 이 값의 y 값은 y = a2(제곱)입니다. a가 아주 미세하게 오른쪽, 왼쪽 이동하면 종속 변수인 y 값도 그에 따라 변화합니다. 만약 a가 변화량이 0에 가까울 정도로 미세하게 변화했다고 하면 y의 변화 역시 0에 가까울 것입니다. 변화가 있긴 하지만, 그 움직임이 너무 미세하면 어느 쪽으로 움직이려는 시도했다는 정도의 느낌만 있을 뿐이며 이 느낌을 수학적으로 '순간 변화율'이라 칭합니다. 

 

순간 변화율은 어느 쪽이라는 방향성을 지니고 있으므로 이 방향에 맞추어 직선을 쭈욱 그리고 이를 기울기라고 불리는 접선이 되게 됩니다. 곧 미분은 x 값을 아주 미세하게 움직일 때마다 y의 변화량을 구한뒤 이를 x변화량으로 나누는 과정입니다.