모델 선택( Model Selection )

교차 검증 ( Cross-validation )

K-Fold 교차검증

교차검증은 데이터셋을 임의의 K개로 나누어, K개 중 1개는 테스트 셋으로 하고, 나머지 K-1개는 트레이닝셋으로 하여 학습하는 것을 말합니다. 이 때 테스트 셋을 K번 바꾸어 트레이닝과 테스트 셋을 교차하여 학습하는 방식입니다. 그래서 5개의 모델의 성능의 평균을 최종 성능으로 나타냅니다.

 

Stratified K-FOLD 교차검증

그러면, 폴드 자체를 50대50으로 맞추는건지, 전체 데이터의 클래스 비율을 맞추는건지

 

예를 들어 5-Fold의 경우 위의 그림과 같이 학습이 진행되는 것입니다.

 

 

교차검증 with Python

k = 5 # k-Fold ( K = 5 )
scores = cross_val_score(model, X_train, y_train, cv=k, 
                         scoring='neg_mean_absolute_error')

 

 

하이퍼파라미터 튜닝

• 일단 파라미터와 하이퍼파라미터의 차이점부터 설명하면, 파라미터는 이미 함수 내 정해진 매개변수를 뜻하며 하이퍼 파라미터는 사용자가 모델링할 때 직접 세팅해주는 값을 의미합니다.
• 하이퍼 파라미터를 튜닝을 하는 이유는 모델을 만들때는 과소적합을 피하며, 과적합을 되지 않도록 최적화하고 일반화를 해야하는데, 이러한 것을 튜닝을 통해 수행할 수 있기 때문입니다.

 

튜닝 방법론

• 검증곡선 : 하나의 하이퍼파라미터를 범위를 정하여, MAE등의 스코어로 나타내어 성능이 좋은 파라미터를 찾는 것
• Grid Search CV : 하이퍼파라미터를 사용자가 직접 값을 정하여, 해당 파라미터들의 조합을 모두 검증하는 것
• Random Search CV :  하이퍼파라미터를 사용자가 범위를 정하여, 범위 내 무작위로 값을 지정하여 모두 검증 하는 것

 

Grid Search CV with Python

# 출처 : 파이썬 머신러닝 완벽 가이드
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import GridSearchCV

# 데이터를 로딩하고 학습데이타와 테스트 데이터 분리
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris_data.data, iris_data.target, 
                                                    test_size=0.3, random_state=42)
dtree = DecisionTreeClassifier()

### parameter 들을 dictionary 형태로 설정
parameters = {'max_depth':[1,2,3,4], 'min_samples_split':[2,3,4]}


# param_grid의 하이퍼 파라미터들을 3개의 train, test set fold 로 나누어서 테스트 수행

### refit=True 가 default 임. True이면 가장 좋은 파라미터 설정으로 재 학습 시킴.  

grid_dtree = GridSearchCV(dtree, param_grid=parameters, cv=5, refit=True)

# 붓꽃 Train 데이터로 param_grid의 하이퍼 파라미터들을 순차적으로 학습/평가 .
grid_dtree.fit(X_train, y_train)

# GridSearchCV 결과 추출하여 DataFrame으로 변환
scores_df = pd.DataFrame(grid_dtree.cv_results_)
scores_df[['params', 'mean_test_score', 'rank_test_score',
           'split0_test_score', 'split1_test_score', 'split2_test_score']]

 

           
print('GridSearchCV 최적 파라미터:', grid_dtree.best_params_)
print('GridSearchCV 최고 정확도: {0:.3f}'.format(grid_dtree.best_score_))

# GridSearchCV의 refit으로 이미 학습이 된 estimator 반환
estimator = grid_dtree.best_estimator_

# GridSearchCV의 best_estimator_는 이미 최적 하이퍼 파라미터로 학습
pred = estimator.predict(X_test)
print('테스트 데이터 세트 정확도: {0:.3f}'.format(accuracy_score(y_test,pred)))

https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html#sklearn.model_selection.GridSearchCV

sklearn.model_selection.GridSearchCV — scikit-learn 0.24.2 documentation

Random Search CV with Python

from sklearn.model_selection import RandomizedSearchCV

param_list = {"n_estimators": list(range(30, 60, 10)),
              "max_depth": [6, 12, 18, 24],
              "max_features": [3, 5, 7, 9],
              "min_samples_split": [3, 5, 7, 9]}

rf_model = RandomForestClassifier(random_state = 42)

rf_random_search = RandomizedSearchCV(
        estimator=rf_model,
        param_distributions = param_list,
        n_iter = 10,  1개의 테스트셋으로, 10번(하이퍼파라미터 조정)으로 학습
        cv = 5, # K-FOLD 의 K 개수
        scoring = make_scorer(accuracy_score))

rf_random_search.fit(X_train, y_train)

https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html

sklearn.model_selection.RandomizedSearchCV — scikit-learn 0.24.2 documentation