DeepLearning - 신경망 코드 이해

'''신경망 코드 이해하기'''

 

배치 경사 하강법이란,

전체 학습 데이터를 하나의 배치로(배치 크기가 n) 묶어 학습시키는 경사 하강법이다.

확률적 경사 하강법 (Stochastic Gradient Descent: SGD)

확률적 경사 하강법은 전체 데이터 중 단 하나의 데이터를 이용하여 경사 하강법을 1회 진행(배치 크기가 1)하는 방법이다.

전체 학습 데이터 중 랜덤하게 선택된 하나의 데이터로 학습을 하기 때문에 확률적 이라 부른다.45`

미니 배치 확률적 경사 하강법 (Mini-Batch Stochastic Gradient Descent: MSGD)

딥러닝 라이브러리 등에서 SGD를 얘기하면 최근에는 대부분 이 방법을 의미한다.

SGD와 BGD의 절충안으로, 전체 데이터를 batch_size개씩 나눠 배치로 학습(배치 크기를 사용자가 지정)시키는 것이다.

''''''

신경망 코드 이해하기

-모델 구성 및 파라미터의 갯수 ?  

model = Sequential()

#3개의 입력과 2개의 출력

model.add(Dense(2,input_dim=3,activation='softmax'))

model.summary()

'''

model = Sequential()

model.add(Dense(2,input_dim=3,activation='softmax'))

model.summary()

#4개의 입력과 8개 출력

model2 = Sequential()

model2.add(Dense(8, input_dim=4,activation='softmax'))

model2.add(Dense(8, activation='softmax'))

model2.add(Dense(3, activation='softmax'))

model2.summary()

#출력: 총 파라미터는 139개