DeepLearning

Deeplearning - 컨볼루션 신경망 개념

'''컨볼루션 신경망 보통 이미지 관련 딥러닝 처리 할때 사용 한다. 1. 컨볼루션 연산 1-2) 정류 선형 유닛인 Relu레이어를 다룬다. relu를 사용하는 이유는, 컨볼루션 신경망 내의 비선형성을 높여주기 위함이다. 정류함수는 선형성을 무너뜨리는 필터나 함수에 적용이 된다 . 우리가 신경망의 비선형성을 증가 시키는 이유는 이미지 데이터자체가 매우 비선형적이기 때문이다. 특히 서로 나란히 위치하거나 물체를 인식하는 등의 작업을 할때 더욱 그렇다 이미지에는 굉장히 다양한 요소들이 있기 때문 2. Max Pooling (맥스 풀링) - 풀링이란 무엇인가? 모든 이미지마다 미세한 차이점이 많다 신경망에 공간 불변성이라는 속성을 넣어 주어야한다. 특징이 어디에 있는지를 신경쓰지 않는 것 이미지의 어느 부분에..

2022. 11. 1. 17:48
DeepLearning

DeepLearning - HyperParameter 튜닝

from keras.layers import BatchNormalization import keras_tuner from tensorflow import keras def build_model(hp): ip = Input(shape=(X.shape[1],)) n = BatchNormalization()(ip) n = Dense(hp.Choice('units', [8, 16, 32, 64, 128, 256]), activation='elu')(n) n = Dropout(0.5)(n) n = BatchNormalization()(n) n = Dense(hp.Choice('units', [8, 16, 32, 64, 128, 256]), activation='elu')(n) n = BatchNormalizati..

2022. 11. 1. 15:39
DeepLearning

DeepLearning - keras.initializers 예제

from tensorflow import keras from tensorflow.keras import initializers import matplotlib.pyplot as plt initializer1 = keras.initializers.RandomNormal(mean=0, stddev=1.) initializer2 = keras.initializers.RandomUniform(minval=0,maxval=1.) initializer3 = keras.initializers.TruncatedNormal(mean=0, stddev=1.) initializer4 = keras.initializers.Zeros() initializer5 = keras.initializers.Ones() initializ..

2022. 11. 1. 14:32
DeepLearning

DeepLearning - 컨볼루션 신경망 다중 클래스 분류

'''컨볼루션 신경망은 이미지 분류에 사용 된다 .''' ''' Importing the libraries ''' import tensorflow as tf import matplotlib.pyplot as plt from tensorflow.keras.datasets import cifar10 ''' Data Preprocessing Loading the Cifar10 dataset ''' #Setting class names in the dataset class_name = ['airplane','automobile','bird','cat','deer','dog','frog','horse','ship','truck'] #Loading Dataset (X_train, y_train), (X_test,y..

2022. 10. 31. 22:03
DeepLearning

DeepLearning - keras initializer 종류

'''Keras 코드 (초기값 설정) ''' initializer = tf.keras.initializers.RandomNormal(mean=0,stddev=1,) #정규분포에 따라 텐서를 생성하는 초기값 설정 initializer = tf.keras.initializers.RandomUniform(minival=0,maxval=1,) #균등분포에 따라 텐서를 생성하는 초기값 설정 initializer = tf.keras.initializers.TruncatedNormal(mean=0, stddev=1,) # 절단된 정규분포에 따라 텐서를 생성하는 초기값 설정 initializer = tf.keras.initializers.Zeros() # 모든 값이 0인 텐서를 생성하는 초기값 설정 initialize..

2022. 10. 31. 15:25
DeepLearning

DeepLearning - tensorflow Xavier Initialization

Xavier Initialization Gradient Vanishing 현상을 완화 하기 위해서 weight 를 초기화 할 때, Sigmoid와 같은 S자 함수의 경우, 가장 중요한 것은 출력값들이 표준 정규 분포 형태를 갖게 하는 것이다. 출력값들이 표준 정규분포 형태를 갖게 되어야 안정적으로 학습이 가능하기 때문이다. Xavier(사비에르) Initialization 방법은, 단순히 가중치를 작은 값의 표준편차를 갖는 형태로 초기화 하는 것이 아닌, 보다 발전된 방법이다. Xavier Initialization 방법은 표준 정규분포로 초기화 된 가중치를 1/입력개수 제곱근으로 나누어주면 된다. w = np.random.randn(n_input, n_output) / sqrt(1/n_input) Xa..

2022. 10. 31. 11:46