# F = průměr y (u klasifikace log šance)
# opakuj: r = y - F (u klasifikace y - p), strom na r, F += lr * strom(x)
from sklearn.ensemble import HistGradientBoostingClassifier
model = HistGradientBoostingClassifier(
learning_rate=0.05, max_iter=1000, max_leaf_nodes=31,
min_samples_leaf=20, l2_regularization=1.0,
early_stopping=True, validation_fraction=0.15,
n_iter_no_change=20, random_state=0,
).fit(X_tr, y_tr)
model.n_iter_ # kolik kol se použilo
# GradientBoostingClassifier: n_estimators, max_depth, subsample
# staged_predict_proba(X) = předpovědi po každém kole
# menší learning_rate = více stromů, zastavuj na validaci, ne na testuTahák · Python · Strojové učení
Gradient boosting
Stovky malých stromů, z nichž každý opravuje chyby těch předchozích. Postavíš boosting v NumPy a naučíš se ho ladit ve scikit-learn.