以下使用scikit-learn中數(shù)據(jù)集進(jìn)行分享。

如果選用隨機(jī)森林作為最終的模型，那么找出它的最佳參數(shù)可能有1000多種組合的可能，你可以使用使用窮盡的網(wǎng)格搜索（Exhaustive Grid Seaarch）方法，但時(shí)間成本將會(huì)很高（運(yùn)行很久...），或者使用隨機(jī)搜索（Randomized Search）方法，僅分析超參數(shù)集合中的子集合。

該例子以手寫(xiě)數(shù)據(jù)集為例，使用支持向量機(jī)的方法對(duì)數(shù)據(jù)進(jìn)行建模，然后調(diào)用scikit-learn中validation_surve方法將模型交叉驗(yàn)證的結(jié)果進(jìn)行可視化。需要注意的是，在使用validation_curve方法時(shí)，只能驗(yàn)證一個(gè)超參數(shù)與模型訓(xùn)練集和驗(yàn)證集得分的關(guān)系（即二維的可視化），而不能實(shí)現(xiàn)多參數(shù)與得分間關(guān)系的可視化。以下搜索的參數(shù)是gamma，需要給定參數(shù)范圍，用param_range進(jìn)行傳遞，評(píng)分策略用scoring參數(shù)進(jìn)行傳遞。其代碼示例如下所示：

print(__doc__)

import matplotlib.pyplot as plt
import numpy as np

from sklearn.datasets import load_digits
from sklearn.svm import SVC
from sklearn.model_selection import validation_curve

X, y = load_digits(return_X_y=True)

param_range = np.logspace(-6, -1, 5)
train_scores, test_scores = validation_curve(
    SVC(), X, y, param_name="gamma", param_range=param_range,
    scoring="accuracy", n_jobs=1)
train_scores_mean = np.mean(train_scores, axis=1)
train_scores_std = np.std(train_scores, axis=1)
test_scores_mean = np.mean(test_scores, axis=1)
test_scores_std = np.std(test_scores, axis=1)

plt.title("Validation Curve with SVM")
plt.xlabel(r"$\gamma$")
plt.ylabel("Score")
plt.ylim(0.0, 1.1)
lw = 2
plt.semilogx(param_range, train_scores_mean, label="Training score",
             color="darkorange", lw=lw)
plt.fill_between(param_range, train_scores_mean - train_scores_std,
                 train_scores_mean + train_scores_std, alpha=0.2,
                 color="darkorange", lw=lw)
plt.semilogx(param_range, test_scores_mean, label="Cross-validation score",
             color="navy", lw=lw)
plt.fill_between(param_range, test_scores_mean - test_scores_std,
                 test_scores_mean + test_scores_std, alpha=0.2,
                 color="navy", lw=lw)
plt.legend(loc="best")
plt.show(); 

代碼中：

X, y = load_digits(return_X_y=True) 

# 等價(jià)于 

digits = load_digits()
X_digits = digits.data
y_digits = digits.target  

以下是支持向量機(jī)的驗(yàn)證曲線，調(diào)節(jié)的超參數(shù)gamma共有5個(gè)值，每一個(gè)點(diǎn)的分?jǐn)?shù)是五折交叉驗(yàn)證（cv=5）的均值。

當(dāng)想看模型多個(gè)超參數(shù)與模型評(píng)分之間的關(guān)系時(shí)，使用scikit-learn中validation curve就難以實(shí)現(xiàn)，因此可以考慮繪制三維坐標(biāo)圖。

主要用plotly的庫(kù)繪制3D Scatter（3d散點(diǎn)圖）。以下的例子使用scikit-learn中的鶯尾花的數(shù)據(jù)集（iris）。以下例子選用隨機(jī)森林模型（RandomForestRegressor），利用scikit-learn中的GridSearchCV方法調(diào)試最佳超參（tuning hyper-parameters），分別設(shè)置超參數(shù)"n_estimators","max_features","min_samples_split"的參數(shù)范圍，詳見(jiàn)代碼如下：

import numpy as np
from sklearn.model_selection import validation_curve
from sklearn.datasets import load_iris 
from sklearn.ensemble import RandomForestRegressor   
from plotly.offline import iplot   
from plotly.graph_objs as go 

model = RandomForestRegressor(n_jobs=-1, random_state=2, verbose=2)

grid = {'n_estimators': [10,110,200],
        'max_features': [0.05, 0.07, 0.09, 0.11, 0.13],
        'min_samples_split': [2, 3, 5, 8]}

rf_gridsearch = GridSearchCV(estimator=model, param_grid=grid, n_jobs=4, cv=5, verbose=2, return_train_score=True)

rf_gridsearch.fit(X, y)

# and after some hours...
df_gridsearch = pd.DataFrame(rf_gridsearch.cv_results_)    

trace = go.Scatter3d(
    x=df_gridsearch['param_max_features'],
    y=df_gridsearch['param_n_estimators'],
    z=df_gridsearch['param_min_samples_split'],
    mode='markers', 
    marker=dict(
        # size=df_gridsearch.mean_fit_time ** (1 / 3),
        size = 10, 
        color=df_gridsearch.mean_test_score,
        opacity=0.99,
        colorscale='Viridis',
        colorbar=dict(title = 'Test score'),
        line=dict(color='rgb(140, 140, 170)'), 
    ),
    text=df_gridsearch.Text,
    hoverinfo='text'
)

data = [trace]
layout = go.Layout(
    title='3D visualization of the grid search results',
    margin=dict(
        l=30,
        r=30,
        b=30,
        t=30
    ),

    scene = dict(
        xaxis = dict(
            title='max_features',
            nticks=10
        ),
        yaxis = dict(
            title='n_estimators',
        ),
        zaxis = dict(
            title='min_samples_split',

        ),
    ),
 
)

fig = go.Figure(data=data, layout=layout)
iplot(fig)  

其運(yùn)行結(jié)果如果，是一個(gè)三維散點(diǎn)圖（3D Scatter）。

可以看到顏色越淺，分?jǐn)?shù)越高。n_estimators（子估計(jì)器）越多，分?jǐn)?shù)越高，max_features的變化對(duì)模型分?jǐn)?shù)的影響較小，在圖中看不到變化，min_samples_split的個(gè)數(shù)并不是越高越好，但與模型分?jǐn)?shù)并不呈單調(diào)關(guān)系，在min_samples_split取2時(shí)（此時(shí)，其它條件不變），模型分?jǐn)?shù)最高。

除了使用scikit-learn中validation curve繪制超參數(shù)與得分的可視化，還可以利用seaborn庫(kù)中heatmap方法來(lái)實(shí)現(xiàn)兩個(gè)超參數(shù)之間的關(guān)系圖，如下代碼示例：

import seaborn as sns 

title = '''Maximum R2 score on test set VS 
max_features, min_samples_split'''  
sns.heatmap(max_scores.mean_test_score, annot=True, fmt='.4g');
plt.title(title);
plt.savefig("heatmap_test.png", dpi = 300);  

import seaborn as sns 

title = '''Maximum R2 score on train set VS 
max_features, min_samples_split''' 
sns.heatmap(max_scores.mean_train_score, annot=True, fmt='.4g');
plt.title(title);
plt.savefig("heatmap_train.png", dpi = 300);  

max_features和min_samples與模型得分關(guān)系的可視化如下圖所示（分別為網(wǎng)格搜索中測(cè)試集和訓(xùn)練集的得分）：

由于一般人很難迅速的在大量數(shù)據(jù)中找到隱藏的關(guān)系，因此，可以考慮繪圖，將數(shù)據(jù)關(guān)系以圖表的形式，清晰的顯現(xiàn)出來(lái)。

綜上，當(dāng)關(guān)注單個(gè)超參數(shù)的學(xué)習(xí)曲線時(shí)，可以使用scikit-learn中validation curve，找到拐點(diǎn)，作為模型的最佳參數(shù)。

當(dāng)關(guān)注兩個(gè)超參數(shù)的共同變化對(duì)模型分?jǐn)?shù)的影響時(shí)，可以使用seaborn庫(kù)中的heatmap方法，制作“熱圖”，以找到超參數(shù)協(xié)同變化對(duì)分?jǐn)?shù)影響的趨勢(shì)。

當(dāng)關(guān)注三個(gè)參數(shù)的協(xié)同變化與模型得分的關(guān)系時(shí)，可以使用poltly庫(kù)中的iplot和go方法，繪制3d散點(diǎn)圖（3D Scatter），將其協(xié)同變化對(duì)模型分?jǐn)?shù)的影響展現(xiàn)在高維圖中。