# diagnóza
# trénink špatně, test špatně -> podučení (bias): složitější model, lepší příznaky
# trénink skvěle, test špatně -> přeučení (variance): data, regularizace, jednodušší model
# ridge ručně
w = np.linalg.solve(X.T @ X + lam * np.eye(X.shape[1]), X.T @ y)
# měkký práh pro L1
np.sign(w) * np.maximum(np.abs(w) - t, 0)
# scikit-learn
Ridge(alpha=1.0) # L2, nic nenuluje
Lasso(alpha=0.1) # L1, nuluje váhy
ElasticNet(alpha=0.1, l1_ratio=0.5) # kombinace
LogisticRegression(C=1.0) # menší C = silnější pokuta
DecisionTreeClassifier(max_depth=4, min_samples_leaf=5)Tahák · Python · Strojové učení
Přeučení, bias a variance, regularizace
Proč model, který umí data nazpaměť, selhává na nových. Naučíš se přeučení rozpoznat, změřit a zkrotit regularizací.