DeepLearning

DeepLearning - Tensorflow 활성화 함수 정리

활성화 함수의 종류는 많은데 그중 자주 쓰이는 함수 4개 개념 정리 - 한계값 함수 : X축에는 입력의 가중치값이 있고 Y축에는 0~1까지의 값이 있다. 함계값 함수는 0에 더 가까우면 0을 출력 0보다 크거나 같으면 1을 출력한다 ex) Yes or No no other option -시그모이드 함수: 로지스틱 회귀에 자주 사용 한계값과 달리 부드럽게 그려지는 함수이다 . 0보다 작은 값도 0에 수렴하게끔 한다 가장 마지막 출력레이어에 유용하다 특히 확률 추정 할때 - 정류함수: 0까지도 내려간다. 입력값이 증가함에 따라 점차적으로 증가한다. (가장 많이 사용) - 하이퍼볼릭 텐젠트 함수 : 시그모이드와 비슷하다 하지만 0 이하로 내려간다 결과값은 0~1또는 1에 근접 할 수 있고 0~ -1까지 갈수도..

2022. 10. 29. 22:52
DeepLearning

DeepLearning - Tensorflow 기초(텐서,변수,연산,문자열)

텐서플로우 1버전과 2버전의 차이는 '넘파이' 기능 추가 #넘파이 텐서 tensor_20 = np.array([[23,4],[32,51]]) tensor_from_np = tf.constant(tensor_20) print(tensor_from_np) 출력: tf.Tensor( [[23 4] [32 51]], shape=(2, 2), dtype=int32) np.array로 (2,2) 행렬을 만든후 출력하면 shape 와 2,2배열 , dtype 정수형 2차원 텐서가 출력된다 #Variables 변수 tf2_variable = tf.Variable([[1.,2.,3.],[4.,5.,6.]]) print(tf2_variable.numpy()) 출력: [[1. 2. 3.] [4. 5. 6.]] 만약 vari..

2022. 10. 29. 14:20
DeepLearning

DeepLearning - Sequential API / Functional API?

Functional API? *병렬구성이 필요하다고 생각할 때 사용* ->Sequential API는 여러 층을 공유하거나 다양한 종류의 입력과 출력을 사용하는 등의 복잡한 모델을 만드는 것 -> 중/고급 -> 각 레이어를 함수로 정의 from tensorflow.keras.layers import Input,Dense from tensorflow.keras.models import Model inputs = input(shape=(10,)) #입력층 반드시 정의 후 저장 hidden1 = Dense(16,activation='relu')(inputs) #입력층과 1번 히든레이어 결합 hidden2 = Dense(16,activation='relu)(hidden1) #1번과 2번 히든레이어 결합 outp..

2022. 10. 28. 16:48
DeepLearning

DeepLearning - 인공 신경망 모델,weights 저장하기

model = Sequenital() model.evaluate(X_test,y_test,batch_size=32 ) # 학습한 모델의 정확도 평가 model.predict(X_input, batch_size=32) #임의의 입력에 대한 모델의 출력값 확인 #신경망 모델을 hd5 파일에 저장 model.save("model_name.h5") from tensorflow.keras.models import load_model model = load_model('model_name.h5') # 저장한 hd5 신경망 모델 불러오기 #보통은 제일 핵심은 Weights이기 때문에 load_weights 사용한다 . model.save_weights('model_weights.h5') model = load_wei..

2022. 10. 28. 16:35
DeepLearning

DeepLearning - XOR문제 Greedy Layer-wise 트레이닝으로 풀기

''''''XOR문제 GREEDY Layer-wise 트레이닝으로 풀기''' xor = {'x1':[0,0,1,1], 'x2':[0,1,0,1], 'y':[0,1,1,0]} XOR = pd.DataFrame(xor) X = XOR.drop('y', axis=1) y = XOR.y model = Sequential() model.add(Dense(2, input_dim=2, activation='elu')) model.add(Dense(1, activation='linear')) fore_weights = model.get_weights() fore12 = Sequential() fore12.add(Dense(2, input_dim=2, activation='elu')) z_pred = fore12.pre..

2022. 10. 28. 15:49
DeepLearning

DeepLearning - GREEDY LAYER-WISE Training

말로 들었을때 이해가 잘 안가서 print 찍어보면서 한줄 한줄 해석했다. 첫번째 레이어에서 학습한 fore_weight 를 뽑는다, 그후 두번째 레이어에서 Back_weight 값을fore_weight값과 동일하게 변경한다. 그리고, 변경된 back_weight값=fore_weight 을 이용해 역전파 학습을 시킨다. 나온 W값을 back_weight2에 저장한다. 그리고 첫번째 fore_weight1을 가져온후, back_weight2 값으로 저장한다(fore_weight2) 그 값을, 다시 순정파 학습을 시켜서 x 예측값을 얻는다. '''실습 ''' xor = {'x1':[0,0,1,1], 'x2':[0,1,0,1], 'y':[0,1,1,1]} XOR = pd.DataFrame(xor) X = XO..

2022. 10. 28. 12:10