DeepLearning

DeepLearning -레이어 , 활성화 함수

우리는 흔히 머신러닝이라고 하면 위와 같은 그림을 자주 볼 수 있을 것이다. 어떻게 학습을 하고 이를 반영할 지에 대한 설계가 이루어져야 하는데 그것이 레이어 층을 쌓는 것이며, 그 중 하나의 기본 레이어는 Dense layer 이다. Dense Layer? Dense Layer의 각 뉴런이 이전 계층의 모든 뉴런으로부터 입력을 받게 된다. (거의 맨 마지막 레이어) Dense Layer는 추출된 정보들을 하나의 레이어로 모으고, 우리가 원하는 차원으로 축소시켜서 표현하기 위한 레이어 이다. 보통 맨 마지막 레이어로 분류기의 경우 softmax를 사용하는데, softmax의 인풋으로 들어가는 inputlayer로 자주 사용e된다. 첫번째 인자 8은 출력 뉴런의 수를 말하고, input_dim은 입력 뉴런..

2022. 10. 27. 14:35

DeepLearning

DeepLearning - 타이타닉 생존자 예측

'''타이타닉셋을 가져와서, 딥러닝으로 Survived 예측하기''' md = keras.Sequential() md.add(Dense(64, activation="sigmoid")) md.add(Dense(32, activation="sigmoid")) md.add(Dense(1, activation="sigmoid")) # 컴파일 md.compile(optimizer='adam', loss='binary_crossentropy', metrics=['binary_accuracy']) md.fit(X_train,y_train,epochs=5000) kg_up = df_kg.copy() pred_ = md.predict(df_kg).reshape(df_kg.shape[0]) pred_ = np.where(..

2022. 10. 26. 16:27

DeepLearning

DeepLearning - 입문 (손실함수,배치,옵티마이저)

1. 손실 함수(Loss function) -> 손실 함수는 실제값과 예측값의 차이를 수치화해주는 함수 이 두 값의 차이. 즉, 오차가 클 수록 손실 함수의 값은 크고 오차가 작을 수록 손실 함수의 값은 작아진다. 회귀에서는 평균 제곱 오차, 분류 문제에서는 크로스 엔트로피를 주로 손실 함수로 사용한다. [손실 함수의 값을 최소화]하는 두 개의 매개변수인 가중치 w와 편향 (bias) 의 값을 찾는 것이 딥 러닝의 학습 과정이므로 손실 함수의 선정은 매우 중요하다. 회귀에서 사용하는 MSE는 아래와 같다. 1) MSE(Mean Squared Error, MSE) = 평균 제곱 오차 # MSE (Mean Squarerd Error, MSE) 두개의 코드 이용 1) model.compile(optimizer..

2022. 10. 26. 15:38

DeepLearning

DeepLearning - 신경망 코드 이해

'''신경망 코드 이해하기''' 배치 경사 하강법이란, 전체 학습 데이터를 하나의 배치로(배치 크기가 n) 묶어 학습시키는 경사 하강법이다. 확률적 경사 하강법 (Stochastic Gradient Descent: SGD) 확률적 경사 하강법은 전체 데이터 중 단 하나의 데이터를 이용하여 경사 하강법을 1회 진행(배치 크기가 1)하는 방법이다. 전체 학습 데이터 중 랜덤하게 선택된 하나의 데이터로 학습을 하기 때문에 확률적 이라 부른다.45` 미니 배치 확률적 경사 하강법 (Mini-Batch Stochastic Gradient Descent: MSGD) 딥러닝 라이브러리 등에서 SGD를 얘기하면 최근에는 대부분 이 방법을 의미한다. SGD와 BGD의 절충안으로, 전체 데이터를 batch_size개씩 나..

2022. 10. 26. 15:16

DeepLearning

DeepLearning - Tensorflow 다층 퍼셉트론, 역전파

퍼셉트론의 한계 : 인간은 풀 수 있지만, 인공지능은 풀 수 없다 . 예를들어, 성냥개비로 4개의 정삼각형을 만들 수 있느냐 라는 문제에서 2차원 평면이라는 틀을 깨고, 성냥개비를 피라미드 처럼 올려서 4개의 정삼각형을 만들 수 있다. 인공지능 학자들은 인공 신경망을 개발하기 위해서 반드시 XOR 문제를 극복해야만 했다. 이 문제 역시 고정관념을 깬 기발한 아이디어에서 해결점이 보였다. XOR의 해결점은 평면을 휘어 주면서 고정관념를 깨는 것 이었다. 텐서플로우를 활용하여 다층 퍼셉트론을 풀면, #xor 설정 xor = {'x1':[0,0,1,1],'x2':[0,1,0,1],'y':[0,1,1,0]} #데이터프레임 생성 XOR = pd.DataFrame(xor) print(XOR) #X,y 설정 X = ..

2022. 10. 26. 11:49

Python

Python - Regression(Ridge, LASSO, ELASTICNET)

''' Cost Function(비용함수) : y (실제 결과값)과 y^ (모델로 추정한 결과값)의 차이(에러)를 제곱해서 합한 것 차이를 그냥 다 더하지 않고 제곱한 이유는 그냥 전부 더하면 0이 되버리기 때문에 차이에 대한 제곱을 더한 것이다. MSE : Cost Function / 데이터 수(N) Ridge: Linear Regression 선형 회귀모델의 Cost Function 비용함수에 ALPHA(패널티)를 적용한 것. 여기서 ALPHA(패널티)는 Lambda * 계수(coefficient) 제곱의 합이다. 이때 Lambda 값이 0에 가까워지면 Ridge는 본래 Linear Regression의 Cost Function에 가까워지게 된다. 반면에, Lam..

2022. 10. 25. 14:21