Python

Python - XGB, HGBM 파라미터 튜닝 , 캐글 점수

HGBM을 사용할 경우, from sklearn.experimental import enable_hist_gradient_boosting from sklearn.ensemble import HistGradientBoostingClassifier 을 해줘야 임포트에러가 발생하지 않는다. ImportError: cannot import name 'HistGradientBoostingClassifier' from 'sklearn.ensemble' (C:\Users\Hoon\anaconda3\lib\site-packages\sklearn\ensemble\__init__.py) 또한, XGB를 사용 할 경우 , Warning 메세지가 출력 되는데 WARNING: C:/Users/Administrator/works..

2022. 10. 21. 09:37

Python

Python - Grid Search Hyper parameter

''' 지금까지 왜 BOOSTING이 BAGGING에 밀렸는가 ? 너무 많은 계산량 튜닝해야 할 파라미터가 너무 많다 bagging -> 분산 컴퓨팅 기능 boosting -> 분산 컴퓨팅 어려움 - loss - learning_rate - n_estimators - subsample ''' import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.preprocessing import LabelEncoder from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.tree import De..

2022. 10. 19. 17:25

Python

Python - 랜덤포레스트 iris

'''랜덤 포레스트는 일반적으로 배깅 방법을 적용한 결정 트리의 앙상블 엑스트라 트리 (익스트림 랜덤 트리 앙상블) -극단적으로 무작위한 트리의 랜덤 포레스트 -편향이 늘어나지만 대신 분산을 낮춤 -사이킷런의 ExtraTreesClassifier응 사용 특성 중요도 -랜덤 포레스트의 또 다른 장점은 특성의 상대적 중요도를 측정하기 쉽다는 점 -사이킷런은 훈련이 끝난 뒤 특성마다 자동으로 중요도의 전체합이 1이 되도록 결과값을 정규화 -iris 데이터에 RandomForestClassFier을 훈련시키고 각 특성의 중요도를 출력하는 코드. 꽃잎의 길이(44%)와 너비(42%) ''' from sklearn.datasets import load_iris import numpy as np import pand..

2022. 10. 19. 11:56

Python

Python - 머신러닝 모델 평가 [최종]

from random import random import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.metrics import f1_score import seaborn as sns from sklearn.preprocessing import LabelEncoder, binarize import warnings '''교차검증만으로 끝난게 아니다. 모델을 신뢰 할 수 없기 때문에 교차검증, 모델튜닝을 하며 최적화를 진행한후 실질적인 모델 평가를 진행한다. True Negative(TN) : Negative로 예측했는데 맞은거 | False Positive (FP): Positive로 예측했는데 틀린거 -----..

2022. 10. 17. 17:17

Python

Python - 모델평가 함수

from sklearn.metrics import accuracy_score,precision_score,recall_score,confusion_matrix #오차행렬, 정확도 , 정밀도 , 재현율을 출력해주는 함수 생성 def get_clf_eval(y_test , pred): #오차행렬 confusion = confusion_matrix(y_test, pred) #정확도 accuracy = accuracy_score(y_test , pred) #정밀도 precision = precision_score(y_test , pred) #재현율 recall = recall_score(y_test , pred) print('오차 행렬',confusion) print('정확도: {0:.4f}, 정밀도: {1:...

2022. 10. 17. 11:43

Python

Python - 모델 평가 오차행렬

교차검증만으로 끝난게 아니다. 모델을 신뢰 할 수 없기 때문에 교차검증, 모델튜닝을 하며 최적화를 진행한후 실질적인 모델 평가를 진행한다. 근사치 확인 *1. 정확도 (accuracy) 2. 오차행렬 3. 정밀도 & 재현율 4. F1 스코어 *5. ROC AUC (신뢰성 측정) 정확도, ROC AUC를 확인하면 쓸 수 있는 모델인지 평가가 가능하다. 오차행렬 True Negative(TN) : Negative로 예측했는데 맞은거 | False Positive (FP): Positive로 예측했는데 틀린거 ------------------------------------------ False Negative (FN) : Negative로 예측했는데 틀린것 | True Positive (TP): Postit..

2022. 10. 17. 10:55