오차역전파법(Backpropagation)

오차역전파법(Backpropagation)은 딥러닝 모델 학습 중 가중치 매개변수의 기울기를 효과적으로 계산하는 수학적 방식입니다. 딥러닝의 오차역전파법은 손실함수의 비용을 최소화하는 가중치를 구하는 것을 목표로 동작합니다. 이를 위해서, X의 변화에 따른 Y의 변화를 알아보기 위해 계산 그래프를 그리는 것이 중요합니다. 

 

오차역전파법을 설명하기 위한 계산 그래프

 

위 이미지는 x*y+z라는 함수를 표현한 계산 그래프입니다. 각각의 매개변수에 값을 대입시켜 함수의 값을 구하는 방식을 딥러닝에서는 순전파라고 부릅니다. 하지만 딥러닝에서 처음에 매개변수에 대입시킨 값이 손실함수의 비용을 최소화하는지는 알 수 없습니다. 따라서 각 매개변수의 기울기를 구해 손실함수의 비용을 최소화하는 값으로 업데이트하는 것이 필요합니다. 그 역할을 하는 것이 오차역전파법(Backpropagation)입니다.

 

오차역전파법(Backpropagation)은 순전파와 다르게 계산 프로세스가 반대로 진행됩니다. 가장 중요한 것은 매개변수의 값이 변할 때 손실함수 값의 변화를 알아야 하기 때문에 각 변수에 대한 미분 계산과 연쇄 법칙을 동반합니다.

 

오차역전파의 예시

 

 

위의 예시에서 z의 변화에 따른 f값의 변화를 알아보기 위해서는 f = g+z라는 식에서 z에 대해 미분하면 됩니다. 

 

매개변수 z 업데이트

 

 

두 번째로 x의 값을 업데이트하기 위해서는 연쇄법칙을 이용해야 합니다. 전체 식 x*y+z에서 x*y를 g로 표현한 다음 함수 f를 함수 g에 대한 미분값을 연결해야 f를 x에 대해 미분할 수 있기 때문입니다.

x에 대한 연쇄법칙

 

매개변수 x 업데이트

 

 

매개변수 y 업데이트

 

 

결론적으로 오차역전파법(Backpropagation)은 딥러닝 구조에서 여러 개의 신경망이 연결되어서 수많은 매개변수의 값을 조합해 학습 최적화를 이루는 방법입니다. 따라서 최적의 조합을 찾는 데 매우 많은 계산이 필요합니다. 앞으로 딥러닝에서 매개변수의 값을 최적화를 이루는 방식에 대해 설명하겠습니다.