DeepLearning - Tensorflow 활성화 함수 정리

활성화 함수의 종류는 많은데 그중 자주 쓰이는 함수 4개 개념 정리

- 한계값 함수 : X축에는 입력의 가중치값이 있고

                        Y축에는 0~1까지의 값이 있다. 함계값 함수는 0에 더 가까우면 0을 출력

 

                        0보다 크거나 같으면 1을 출력한다

 

                        ex) Yes or No

                        no other option

-시그모이드 함수:

 

로지스틱 회귀에 자주 사용

한계값과 달리 부드럽게 그려지는 함수이다 .

0보다 작은 값도 0에 수렴하게끔 한다

가장 마지막 출력레이어에 유용하다 특히 확률 추정 할때

 

- 정류함수: 0까지도 내려간다. 입력값이 증가함에 따라

점차적으로 증가한다.  (가장 많이 사용)

- 하이퍼볼릭 텐젠트 함수 : 시그모이드와 비슷하다

하지만  0 이하로 내려간다 결과값은 0~1또는 1에 근접 할 수 있고

0~ -1까지 갈수도 있다.