0 dní v řadě · 0 bodů

Tahák · Python · Strojové učení

Pipelines a únik dat

Proč model s fantastickým skóre často podvádí, jak únik dat odhalit a jak mu předejít pomocí pipeline ve scikit-learn.

Otevřít celou lekciVšechny taháky
python
from sklearn.pipeline import Pipeline, make_pipeline
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder

cisla = make_pipeline(SimpleImputer(strategy="median"), StandardScaler())
kategorie = make_pipeline(
    SimpleImputer(strategy="most_frequent"),
    OneHotEncoder(handle_unknown="ignore"),
)
priprava = ColumnTransformer([
    ("cisla", cisla, ["vek", "utrata"]),
    ("kategorie", kategorie, ["mesto"]),
])
pipe = Pipeline([("priprava", priprava), ("model", model)])

cross_val_score(pipe, X, y, cv=5)              # příprava se učí v každém foldu
GridSearchCV(pipe, {"model__C": [0.1, 1, 10]}, cv=5)
pipe[:-1].get_feature_names_out()              # jména sloupců po přípravě