BookmarkSubscribeRSS Feed

[통계]Deep Learning_신경망02

Started ‎06-15-2020 by
Modified ‎06-15-2020 by
Views 109

Description

  1. 경사하강법

 

  •    ​정의
  •    학습식
  •    예제

 

-------------------------------------------------

[경사하강법_정의]

 

기계학습의 문제 대부분은 학습단계에서 최적의 매개변수를 찾아낸는 것으로 신경망 역시 최적의 매개변수(가중치 w와 편향 b)를

학습시에 찾아야 합니다. 이 때, 손실함수가 계산한 정답과 신경망의 출력 차이인 오차를 이용해 가중치를 학습합니다.

 

 

델타 규칙: 신경망 학습규칙(=오차를 줄이기 위해 미분을 이용하는 경사하강법(gradient descent)

 

가중치의 값을 미분한 기울기 △의 반대방향으로 조금씩 움직이면서 손실함수를 최소로 하는 최적의 가중치를 찾는 방법

 

신경세포의 출력을 정답에 가깝게 하기 위해서 정답과 신경세포의 출력과의 차이에 비례해서 연결가중치를 조절합니다. 

 

SE22020020714110370.gif

 

[경사하강법 _ 학습식]

 

SE22020020714141870.png

 

[경사하강법 _ 예제]

 

초기화된 가중치 w=0.55, 편향 b = 0.72를 가진 퍼셉트론에 x=4를 입력하면 단층 퍼셉트론의 출력은 2.91로 정답인 2보다 큰 값이 출력.

 SE22020020714214270.pngSE22020020714330870.pngSE22020020714342570.png

 

Version history
Last update:
‎06-15-2020 04:40 AM
Updated by:
Contributors

sas-innovate-wordmark-2025-midnight.png

Register Today!

Join us for SAS Innovate 2025, our biggest and most exciting global event of the year, in Orlando, FL, from May 6-9. Sign up by March 14 for just $795.


Register now!

Article Labels
Article Tags