[ 딥러닝 알아가기 ] 역전파(backpropagation) 제대로 이해하기

 

▶ 역전파란 무엇인가

역전파는 레이블된 학습 데이터를 가지고 여러 개의 은닉층을 가지는 피드포워드 신경망을 학습시킬 때 사용되는 지도학습 알고리즘이다. 역전파는 크게 3단계의 과정이 반복적으로 이루어진다.

 

https://www.slideshare.net/deepseaswjh/ss-155346055

역전파의 단계는 아래 3개의 단계로 이루어져 있다.

1. 피드포워드 과정

모든 층에 있는 가중치를 적당히 작은 수로 초기화

학습 데이터 입력.

https://www.youtube.com/watch?v=573EZkzfnZ0&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=27

2. cost의 역전파 계산 과정

출력층에서 나타난 cost를 최소화하는 가중치 찾는 과정

최소제곱법을 이용해 cost를 제곱한 뒤, 가중치에 대하여 편미분. 

델타 규칙 : 어떤 입력 노드가 출력 노드의 오차에 기여했다면, 두 노드의 연결 가중치는 해당 입력 노드의 출력과 출력 노드의 오차에 비례해 조절한다

 

3. 가중치 조정

앞 단계에서 계산된 에러의 최소평균제곱의 미분값을 이용해 학습률을 선정하여 가중치 구함.

 

▶ 계산식으로 역전파 이해하기

 

 

 

역전파 예제 파일.zip

1.28MB

위의 예제 파일을 다운로드하여 학습할 수 있다.