DeepLearning - Tensorflow 신경망 원리

< 신경망의 원리 > 
신경망은 스스로 학습하게끔 하는 것이다.
예를들어, 개와 고양이는 어떻게 구분 할까
보통 코드는 고양이의 귀는 어떻게 생겼고 색은 어떻고 특징을 지정해줘야하는데

신경망은 그저 신경망 코드를 짜는 것이다. 고양이와 개의 사진을 보여주고
어떤 것이 고양이인지 , 개 인지 스스로 학습 하고 이해 시킨다.

근본적으로 다른 두가지 접근법이다 .

y^ = 예측 값
y = 실제값이라고 하면,

차트를 그려, 아웃풋(실제) , 예측 그래프를 그리고, 최대한 좋은 가중치를
뽑기 위해서 역전파(거꾸로 검증)을 통해 최고의 W(가중치 값 )을 뽑는게 중요하다

< Gradient Descent >

비용 함수를 최적화 해야 한다.

7. 배치 경사 하강법 *

비용 함수를 최적화 하는 최고의 방법
-모든행이 신경망에 연결될때,
하나의 신경망만 있을 때 , 가중치를 조정한다.

8. 확률적 경사 하강법 **
신경망에 작동시켜 가중치를 조정합니다 .
한꺼번에 가중치를 조정하는 것이 안리ㅏ
행을 차례대로 넣어 조정한다

여러 입력레이어를 하나 하나 넣으면서 W값을 구하게 된다 .
-한번에 하나의 행을 넣고 가중치를 조정한다 .

--두가지의 차이점은
확률적 경사하강법이 최솟값이 아닌 극소값을을 찾게 되는 문제점을 해결 하는데 도움을 준다 .
이러한 이유로 확률적 경사 하강법의 변동폭이 훨씬 높다.

-) 

또한 배치 경사법 보다 훨씬 빠르다

 

논문 :
A Neural Netword in 13 lines of Python
(Part2 - Gradient Descent)

9. 역전파에 대한 중요한 부분
이점 - 역전파 과정 동안에 동시에 모든 가중치를 조정할 수 있고
신경망의 어떤거로부터 각 오차가 파생되었는지 알 수 있게 된다 .

*한번에 모든 가중치를 조정한다.

1.가중치는 0에 가까운 0이아닌 임의의값을 지정
2. 첫번째 관측치를 입력한다 입력 노드
3. 순전파 --> 예측 결과의 y^ 오차 측정
4. 역전파 --> 가중치 업데이트
5. 강화학습 - 경사하강법 / 확률적 경사 하강법 가중치 업뎃
6. 학습세트가 신경망 통과 -> 에포크 반복