반응형
▶ 역전파란 무엇인가
역전파는 레이블된 학습 데이터를 가지고 여러 개의 은닉층을 가지는 피드포워드 신경망을 학습시킬 때 사용되는 지도학습 알고리즘이다. 역전파는 크게 3단계의 과정이 반복적으로 이루어진다.
역전파의 단계는 아래 3개의 단계로 이루어져 있다.
1. 피드포워드 과정
모든 층에 있는 가중치를 적당히 작은 수로 초기화
학습 데이터 입력.
2. cost의 역전파 계산 과정
출력층에서 나타난 cost를 최소화하는 가중치 찾는 과정
최소제곱법을 이용해 cost를 제곱한 뒤, 가중치에 대하여 편미분.
델타 규칙 : 어떤 입력 노드가 출력 노드의 오차에 기여했다면, 두 노드의 연결 가중치는 해당 입력 노드의 출력과 출력 노드의 오차에 비례해 조절한다
3. 가중치 조정
앞 단계에서 계산된 에러의 최소평균제곱의 미분값을 이용해 학습률을 선정하여 가중치 구함.
▶ 계산식으로 역전파 이해하기
위의 예제 파일을 다운로드하여 학습할 수 있다.
728x90
반응형
'💻 개인공부 💻 > 머신러닝, 딥러닝' 카테고리의 다른 글
| [ 딥러닝 알아가기 ] Transfer Learning과 Fine Tuning (2) | 2021.08.08 |
|---|---|
| [ 딥러닝 알아가기 ] 컨볼루션 신경망(CNN) 예제 학습하기 (0) | 2020.12.24 |
| [ 딥러닝 알아가기 ] 경사하강법, 역전파, SoftMax 함수 (0) | 2020.12.24 |
| [ tensorflow ] 간단한 선형회귀모델 만들기 (0) | 2020.12.21 |
| [ Tensorflow ] tf.constant, tf.placeholder, tf.Variable의 차이를 알아보자 (0) | 2020.12.21 |