[ML]_하이퍼 파라미터 튜닝(GridSeachCV)

• 이 공부는 다음 멋진 책과 함께 합니다. 위키북스와 저자님 너무나도 감사합니다. 

GridSeachCV - 교차 검증과 최적 하이퍼 파라미터 튜닝을 한 번에

• 결정 트리 알고리즘의 여러 가지 최적화 파라미터를 순차적으로 적용해 붓꽃 데이터를 예측 분석하는 데 GridSeachCV를 이용해보겠습니다. 

from sklearn.datasets import load_iris  # 예제 데이터 불러오기 
from sklearn.tree import DecisionTreeClassifier  # 결정트리 머신러닝 알고리즘 중 하나
from sklearn.model_selection import train_test_split # 훈련 데이터 / 테스트 데이터
from sklearn.metrics import accuracy_score
from sklearn.model_selection import GridSearchCV 

# 데이터를 로딩하고 학습 데이터와 테스트 데이터 분리
iris_data = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris_data.data, # 독립변수
                                                    iris_data.target,  # 종속변수
                                                    test_size=0.2,
                                                    random_state=121)
dtree = DecisionTreeClassifier()

# 파라미터를 딕셔너리 형태로 설정, 하이퍼 파라미터 명칭은 key값/ 하이퍼 파라미터 값은 리스트 형으로 설정
parameters = {'max_depth':[1, 2, 3], 'min_samples_split':[2, 3]}

• GridSeachCV객체의 fit(학습데이터세트) 메서드를 수행하면 학습 데이터를 cv에 기술된 폴딩 세트로 분할해 param_grid에 기술된 하이퍼 파라미터를 순차적으로 변경하면서 학습/평가를 수행하고, 그 결과를 cv_results_속성에 기록합니다. 

import pandas as pd

# param_grid의 하이퍼 파라미터를 3개의 train, test set fold로 나누어 테스트 수행 설정
## refit = True가 default. True이면 가장 좋은 파라미터 설정으로 재학습시킴
grid_dtree = GridSearchCV(dtree, param_grid = parameters, cv=3, refit=True)

# 붓꽃 학습 데이터로 param_grid의 하이퍼 파라미터를 순차적으로 평가
grid_dtree.fit(X_train, y_train)

# GridSearchCV결과를 추출해 DataFrame으로 변환
scores_df = pd.DataFrame(grid_dtree.cv_results_)
scores_df[['params', 'mean_test_score', 'rank_test_score', 'split0_test_score', 'split1_test_score', 'split2_test_score']]

• 칼럼의 의미는 다음과 같습니다. 
  • params : 수행할 때마다 적용된 개별 하이퍼 파라미터값
  • rank_test_score : 하이퍼 파라미터별로 성능 좋은 score 순위(1 - 최적의 하이퍼 파라미터)
  • mean_test_score : 개별 하이퍼 파라미터별로 CV의 폴딩 테스트 세트에 대해 총 수행한 평가 평균값

# GridSearchCV의 refit으로 이미 학습이 된 estimator 반환
estimator = grid_dtree.best_estimator_

# GridSearchCV의 best_estimator_는 이미 최적 하이퍼 파라미터로 학습이 됨-별도 학습이 필요 없음
pred = estimator.predict(X_test)
print('테스트 데이터 세트 정확도: {0:.4f}'.format(accuracy_score(y_test,pred)))

인덱스 4에 해당하는 것이 최적 파라미터이다.

• 이미 학습된 vest_estimator_를 이용해 앞으로 train_test_spllit()으로 분리한 테스트 데이터 세트에 대해 예측하고 성능을 평가해보겠습니다. 

# GridSearchCV의 refit으로 이미 학습이 된 estimator 반환
estimator = grid_dtree.best_estimator_

# GridSearchCV의 best_estimator_는 이미 최적 하이퍼 파라미터로 학습이 됨-별도 학습이 필요 없음
pred = estimator.predict(X_test)
print('테스트 데이터 세트 정확도: {0:.4f}'.format(accuracy_score(y_test,pred)))

• 일반적으로 학습 데이터를 GridSearchCV를 이용해 최적 하이퍼 파라미터 튜닝을 수행한 뒤에 별도의 테스트 세트에서 이를 평가하는 것이 일반적인 머신러닝 모델 적용 방법입니다. 
• 보통은 시간이 오래걸리는 GridSearchCV보다는 RandomSearch를 사용합니다. 

 

하이퍼 파라미터 튜닝에 대해 공부해보니 어떠셨나요? 

한 번에 이해하기 보다는 자주 접하면서 익숙해져보아요. 

오늘도 감사합니다.