Python

Python - 모델 Stacking

개별모델의 predict을 뽑은후 , 최종모델에 학습 하는 방식이다. Kfold같은걸 사용하지 않을 경우 과적합 문제 때문에 잘 이용하진 않는다. '''머신러닝 STACKING 1. 개별 모델 설정 ''' logistic_regression = LogisticRegression() voting_model = VotingClassifier(estimators=[('LogisticRegression', logistic_regression)]) voting_model.fit(X,y) voting_pred = voting_model.predict(df_kg) rd_clf = RandomForestClassifier(criterion= 'gini', max_depth= 9, min_samples_split= 5,..

2022. 10. 22. 08:51
Python

Python - XGB, HGBM 파라미터 튜닝 , 캐글 점수

HGBM을 사용할 경우, from sklearn.experimental import enable_hist_gradient_boosting from sklearn.ensemble import HistGradientBoostingClassifier 을 해줘야 임포트에러가 발생하지 않는다. ImportError: cannot import name 'HistGradientBoostingClassifier' from 'sklearn.ensemble' (C:\Users\Hoon\anaconda3\lib\site-packages\sklearn\ensemble\__init__.py) 또한, XGB를 사용 할 경우 , Warning 메세지가 출력 되는데 WARNING: C:/Users/Administrator/works..

2022. 10. 21. 09:37
Python

Python - Grid Search Hyper parameter

''' 지금까지 왜 BOOSTING이 BAGGING에 밀렸는가 ? 너무 많은 계산량 튜닝해야 할 파라미터가 너무 많다 bagging -> 분산 컴퓨팅 기능 boosting -> 분산 컴퓨팅 어려움 - loss - learning_rate - n_estimators - subsample ''' import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.preprocessing import LabelEncoder from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.tree import De..

2022. 10. 19. 17:25
Python

Python - 랜덤포레스트 iris

'''랜덤 포레스트는 일반적으로 배깅 방법을 적용한 결정 트리의 앙상블 엑스트라 트리 (익스트림 랜덤 트리 앙상블) -극단적으로 무작위한 트리의 랜덤 포레스트 -편향이 늘어나지만 대신 분산을 낮춤 -사이킷런의 ExtraTreesClassifier응 사용 특성 중요도 -랜덤 포레스트의 또 다른 장점은 특성의 상대적 중요도를 측정하기 쉽다는 점 -사이킷런은 훈련이 끝난 뒤 특성마다 자동으로 중요도의 전체합이 1이 되도록 결과값을 정규화 -iris 데이터에 RandomForestClassFier을 훈련시키고 각 특성의 중요도를 출력하는 코드. 꽃잎의 길이(44%)와 너비(42%) ''' from sklearn.datasets import load_iris import numpy as np import pand..

2022. 10. 19. 11:56
Python

Python - 머신러닝 모델 평가 [최종]

from random import random import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.metrics import f1_score import seaborn as sns from sklearn.preprocessing import LabelEncoder, binarize import warnings '''교차검증만으로 끝난게 아니다. 모델을 신뢰 할 수 없기 때문에 교차검증, 모델튜닝을 하며 최적화를 진행한후 실질적인 모델 평가를 진행한다. True Negative(TN) : Negative로 예측했는데 맞은거 | False Positive (FP): Positive로 예측했는데 틀린거 -----..

2022. 10. 17. 17:17
Python

Python - 모델평가 함수

from sklearn.metrics import accuracy_score,precision_score,recall_score,confusion_matrix #오차행렬, 정확도 , 정밀도 , 재현율을 출력해주는 함수 생성 def get_clf_eval(y_test , pred): #오차행렬 confusion = confusion_matrix(y_test, pred) #정확도 accuracy = accuracy_score(y_test , pred) #정밀도 precision = precision_score(y_test , pred) #재현율 recall = recall_score(y_test , pred) print('오차 행렬',confusion) print('정확도: {0:.4f}, 정밀도: {1:...

2022. 10. 17. 11:43