Lidsky řečeno
Zkušený prodejce ojetých kol mrkne na rám, přejede palcem po řetězu a řekne: „Tak osm tisíc.“ Kdybys po něm chtěl přesná pravidla, nedá je dohromady. Ten odhad se v něm usadil po stovkách prodaných kol. Strojové učení dělá totéž s daty: ukážeš počítači hodně příkladů i se správnými odpověďmi a on si z nich odvodí vlastní pravidlo.
Pravidla, nebo příklady
Programy z předchozích modulů fungovaly jedním způsobem: pravidla vymyslel člověk a počítač je prováděl. Strojové učení (anglicky machine learning, zkráceně ML) to otáčí. Člověk dodá příklady se správnými odpověďmi a pravidlo si z nich vyrobí algoritmus.
Klasický program: data + pravidla -> odpovědi
Strojové učení: data + odpovědi -> pravidla (model)Vezmi filtr nevyžádané pošty. Ruční verze vypadá nevinně a selže na první zprávě, kterou autor nečekal.
def je_spam(zprava):
zprava = zprava.lower()
return "výhra" in zprava or "zdarma" in zprava
zpravy = [
"Výhra pro tebe, stačí kliknout",
"Vyhrál jsi telefon, potvrď adresu",
"Parkování je dnes zdarma, přijeď autem",
]
for zprava in zpravy:
print(je_spam(zprava), "|", zprava)
True | Výhra pro tebe, stačí kliknout False | Vyhrál jsi telefon, potvrď adresu True | Parkování je dnes zdarma, přijeď autem
Druhá zpráva proklouzla, protože neobsahuje přesně slovo „výhra“. Třetí je od kamaráda a filtr ji zahodil. Můžeš přidávat další a další podmínky, ale budeš pořád o krok pozadu.
Teď stejná úloha jinak. Žádné slovo do kódu nenapíšeme. Program si jen spočítá, která slova se objevují ve spamu a která v normálních zprávách.
from collections import Counter
priklady = [
("výhra čeká klikni hned", 1),
("klikni a získej bonus zdarma", 1),
("bonus zdarma jen dnes", 1),
("hned potvrď výhra je tvoje", 1),
("zítra v sedm u kina", 0),
("pošli mi prosím fotky", 0),
("dnes přijdu pozdě", 0),
("fotky z kina jsou super", 0),
]
# Trénink: spočítej slova v obou hromádkách
spam, normalni = Counter(), Counter()
for text, je_spam in priklady:
(spam if je_spam else normalni).update(text.split())
def skore(text):
return sum(spam[slovo] - normalni[slovo] for slovo in text.split())
# Použití: zprávy, které program nikdy neviděl
for text in ["bonus zdarma hned", "zítra pošli fotky", "klikni na fotky"]:
print(f"{skore(text):+d} {text}")
+6 bonus zdarma hned -4 zítra pošli fotky +0 klikni na fotky
Kladné skóre znamená „spíš spam“, záporné „spíš normální zpráva“ a nula „nevím“. Tomu, co vzniklo po tréninku, se říká model. Tady jsou to dvě tabulky počtů a funkce skore. Když přidáš nové příklady, chování se změní, aniž bys sáhl na jediný řádek logiky.
Nauč se váhy slov
Napiš funkci nauc_vahy(priklady). Dostane seznam dvojic (text, stitek), kde stitek je 1 pro spam a 0 pro normální zprávu. Vrátí slovník, který každému slovu přiřadí číslo: kolikrát bylo ve spamu minus kolikrát bylo v normálních zprávách.
def nauc_vahy(priklady):
vahy = {}
# doplň
return vahy
print(nauc_vahy([("levná půjčka", 1), ("levná káva", 0)]))
Slovník, bez kterého se nedomluvíš
Stejná slova potkáš v každé knihovně a v každém článku. Ukážeme si je na odhadu typu kola.
| Pojem | Anglicky | Význam | U kol |
|---|---|---|---|
| příklad | sample | jeden záznam v datech | jedno konkrétní kolo |
| vlastnost | feature | údaj, ze kterého model vychází | šířka pláště, hmotnost |
| cíl | target, label | co chceme předpovídat | typ kola |
| model | model | funkce, která z vlastností odhaduje cíl | naučené pravidlo |
| parametry | parameters | čísla, která si model nastaví z dat | třeba váhy slov |
| trénink | training, fit | hledání parametrů podle příkladů | prohlédnutí prodaných kol |
| predikce | prediction | odhad pro nový příklad | „tohle je horské“ |
V kódu se drží pevná dohoda. Vlastnosti jsou tabulka X s velkým písmenem, protože jde o matici. Každý řádek je jeden příklad a každý sloupec jedna vlastnost. Cíle jsou jednorozměrné pole y, jedna hodnota na řádek.
import numpy as np
# šířka pláště v mm, hmotnost v kg
X = np.array([
[25, 8.1], [28, 8.9], [32, 9.6], [30, 9.0],
[57, 13.2], [61, 14.0], [64, 12.5], [55, 12.9],
])
y = np.array(["silniční"] * 4 + ["horské"] * 4)
print("X:", X.shape)
print("y:", y.shape)
print("první kolo:", X[0], y[0])
X: (8, 2) y: (8,) první kolo: [25. 8.1] silniční
Tvar (8, 2) čti jako osm příkladů, dvě vlastnosti. Tuhle kontrolu si zvykni dělat pořád. Většina začátečnických chyb v ML je obyčejně špatný tvar dat.
Model, který si jen pamatuje
Nejjednodušší rozumný model nepotřebuje žádnou matematiku navíc. Metoda nejbližšího souseda si zapamatuje všechny příklady. Nové kolo porovná se známými a převezme typ toho nejpodobnějšího. Podobnost měří vzdáleností, jako by kola byla body v rovině: vodorovně šířka pláště, svisle hmotnost.
import numpy as np
X_train = np.array([
[25, 8.1], [28, 8.9], [32, 9.6], [30, 9.0],
[57, 13.2], [61, 14.0], [64, 12.5], [55, 12.9],
])
y_train = np.array(["silniční"] * 4 + ["horské"] * 4)
def predict(x):
# Vzdálenost nového bodu od všech známých najednou
vzdalenosti = np.sqrt(((X_train - x) ** 2).sum(axis=1))
return y_train[vzdalenosti.argmin()]
print(predict(np.array([35, 10.0])))
print(predict(np.array([50, 12.0])))
silniční horské
X_train - x odečte nové kolo od každého řádku zvlášť, takže cyklus není potřeba. argmin vrátí pozici nejmenší vzdálenosti. Nic víc se tu neděje a přesto program odpovídá na otázky, na které mu nikdo pravidlo nenapsal.
Hlasování tří sousedů
Jeden soused se může splést, zvlášť když je to nepovedený záznam. Napiš predict_knn(X_train, y_train, x, k=3), která najde k nejbližších příkladů a vrátí nejčastější štítek mezi nimi.
import numpy as np
from collections import Counter
def predict_knn(X_train, y_train, x, k=3):
# doplň
return None
X = np.array([[0.0], [1.0], [1.2], [1.4], [9.0]])
y = np.array(["a", "b", "b", "b", "a"])
print(predict_knn(X, y, np.array([0.3])))
Co u metody nejbližšího souseda znamená „trénink“?
Metoda nic nepočítá dopředu, jen si data pamatuje. Proto je trénink okamžitý a predikce naopak pomalá, protože se porovnává se všemi příklady.
Jaké úlohy strojové učení řeší
Podle toho, co máš k dispozici a na co se ptáš, se úlohy dělí do několika rodin.
- Regrese patří do učení s učitelem (supervised learning), kde k příkladům máš správné odpovědi. Předpovídá číslo: cenu, spotřebu, dobu doručení.
- Klasifikace je druhá velká úloha učení s učitelem. Vybírá kategorii: spam a nespam, druh květiny, číslice na obrázku.
- Učení bez učitele (unsupervised learning): odpovědi nemáš a hledáš strukturu. Patří sem shlukování, tedy seskupování podobných záznamů, a zmenšování počtu vlastností. Obojímu se věnuje lekce Shlukování a PCA.
- Posilované učení (reinforcement learning): program zkouší akce a dostává odměny, třeba při hraní her. V tomhle kurzu ho stavět nebudeme.
Jaký typ úlohy to je?
Roztřiď úlohy podle toho, co má být na výstupu a jestli známe správné odpovědi.
Chceš předpovědět, za kolik minut dorazí kurýr. Co je to za úlohu?
Rozhoduje typ cíle. Počet minut je číslo a záleží na tom, jak moc se odhad liší od skutečnosti.
Nejdřív hloupý model
Než začneš něco trénovat, urči si baseline: výsledek nejhloupějšího možného postupu. U regrese je to odhad průměru pro každý příklad, u klasifikace odpověď „vždy nejčastější třída“. Co ji nepřekoná, nemá smysl nasazovat.
Baseline navíc odhalí, když je číslo hezké jen zdánlivě. Tady je 1000 plateb, z toho 50 podvodných, a „model“, který nikdy nic neoznačí.
import numpy as np
y = np.array([0] * 950 + [1] * 50) # 1 = podvod
predikce = np.zeros_like(y) # vždy „v pořádku“
presnost = (predikce == y).mean()
chyceno = predikce[y == 1].sum()
print(f"přesnost: {presnost:.1%}")
print(f"chycené podvody: {chyceno} z {(y == 1).sum()}")
přesnost: 95.0% chycené podvody: 0 z 50
Přesnost vypadá výborně a užitek je nulový. Jak se tomu bránit, ukáže lekce Metriky.
Baseline pro cenu kola
Napiš baseline_mae(y_train, y_test). Spočítá průměr trénovacích cen a použije ho jako odhad pro každou testovací cenu. Vrátí průměrnou absolutní chybu, tedy průměr z |skutečnost - odhad| přes testovací příklady.
import numpy as np
def baseline_mae(y_train, y_test):
# doplň
return 0.0
print(baseline_mae(np.array([6000, 8000, 10000]), np.array([7000, 12000])))
Postup a chvíle, kdy ML nepoužít
Skoro každý projekt vypadá stejně. Algoritmus je jen jeden z kroků a často ne ten nejtěžší.
- Přelož problém na otázku. Co přesně předpovídáš a co se stane, když se model splete?
- Sežeň data a podívej se na ně. Mají správné odpovědi? Odpovídají situaci, kde se model použije?
- Odděl část dat na test. Proč a jak, řeší další lekce.
- Změř baseline.
- Natrénuj model a zkus ho vylepšit.
- Vyhodnoť ho na datech, která neviděl.
- Nasaď a sleduj. Svět se mění a model stárne.
Strojové učení nepoužívej, když:
- umíš pravidlo přesně napsat, třeba výpočet DPH nebo kontrolu formátu PSČ,
- nemáš dost příkladů se spolehlivými odpověďmi,
- každá chyba je nepřijatelná a nejde ji zachytit jinak,
- musíš přesně doložit, proč rozhodnutí padlo, a model to neumožní.
Pod kapotou · učení jako minimalizace rizika
Formálně hledáš funkci f z třídy hypotéz H, která minimalizuje očekávanou ztrátu na neznámém rozdělení dat. To rozdělení nemáš, takže minimalizuješ průměrnou ztrátu na vzorku (empirical risk minimization). Celý obor stojí na mezeře mezi těmito dvěma veličinami. Volba H je indukční předpoklad: lineární model sází na lineární vztah, k-NN na to, že blízké body mají podobný cíl. Věty typu no free lunch říkají, že bez takového předpokladu není žádný algoritmus napříč všemi možnými úlohami lepší než jiný.
Parametrický model má pevný počet parametrů nezávisle na n. K-NN je neparametrický, jeho „parametry“ jsou samotná data, takže paměť roste s n a naivní dotaz stojí O(n * d). KD-strom a Ball tree to zrychlují v nízkých dimenzích, ale ve vysokých ztrácejí výhodu, protože vzdálenosti se k sobě přibližují. Poměr nejbližší a nejvzdálenější vzdálenosti u náhodných bodů to ukazuje přímo.
import numpy as np
rng = np.random.default_rng(0)
for d in [2, 10, 100, 1000]:
X = rng.random((500, d))
dotaz = rng.random(d)
vzdalenosti = np.linalg.norm(X - dotaz, axis=1)
print(f"d={d:<5} nejbližší / nejvzdálenější = {vzdalenosti.min() / vzdalenosti.max():.2f}")
d=2 nejbližší / nejvzdálenější = 0.02 d=10 nejbližší / nejvzdálenější = 0.18 d=100 nejbližší / nejvzdálenější = 0.74 d=1000 nejbližší / nejvzdálenější = 0.90
Čím blíž je poměr jedničce, tím méně znamená slovo „nejbližší“. Tomu se říká prokletí dimenzionality. Praktický dovětek: první pravidlo známých Rules of Machine Learning od Martina Zinkeviche zní, že se nemáš bát spustit produkt bez ML.
První model ve scikit-learn
scikit-learn (importuje se jako sklearn) je standardní knihovna pro klasické strojové učení. Všechny modely v ní mají stejné ovládání, takže stačí naučit se ho jednou:
- vytvoříš objekt a zvolíš nastavení,
model.fit(X, y)natrénuje,model.predict(X_novy)odhaduje.
Vestavěný dataset iris obsahuje rozměry květů tří druhů kosatců. Nastavení n_neighbors=3 je stejné hlasování tří sousedů, jaké máš z úkolu.
from sklearn.datasets import load_iris
from sklearn.neighbors import KNeighborsClassifier
data = load_iris()
X, y = data.data, data.target
print("tvar X:", X.shape)
print("vlastnosti:", data.feature_names)
model = KNeighborsClassifier(n_neighbors=3)
model.fit(X, y)
kvet = [[5.0, 3.4, 1.5, 0.2]]
trida = model.predict(kvet)[0]
print("odhad:", data.target_names[trida])
tvar X: (150, 4) vlastnosti: ['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)'] odhad: setosa
Ve výstupu si všimni tvaru dat a toho, že predict čeká seznam řádků, proto ty dvojité závorky i u jediného květu. Vrací číslo třídy a target_names z něj udělá název.
Pod kapotou · kontrakt estimátoru
Jednotné API je smlouva, na které stojí Pipeline, GridSearchCV i clone. Konstruktor jen uloží hyperparametry a nic nevaliduje ani nepočítá. Vše naučené vzniká ve fit a končí podtržítkem (classes_, n_features_in_). fit vrací self, takže jde řetězit. Díky tomu clone vyrobí nenatrénovanou kopii jen z get_params(). Kdo píše vlastní estimátor a v __init__ hodnoty upravuje, rozbije tím křížovou validaci způsobem, který se špatně hledá. Pravidla popisuje kapitola Developing scikit-learn estimators v dokumentaci.
from sklearn.base import clone
from sklearn.datasets import load_iris
from sklearn.neighbors import KNeighborsClassifier
X, y = load_iris(return_X_y=True)
model = KNeighborsClassifier(n_neighbors=3)
print(model.get_params()["n_neighbors"], hasattr(model, "classes_"))
vraceno = model.fit(X, y)
print(vraceno is model, model.classes_, model.n_features_in_)
kopie = clone(model)
print(kopie.get_params()["n_neighbors"], hasattr(kopie, "classes_"))
3 False True [0 1 2] 4 3 False
Opakování
Zopakuj si pojmy, než půjdeš dál.
Vyzkoušej si: Rozhodnutí podle sousedů
Uprav body a posuvníkem změň k. Sleduj, jak se mění oblasti jednotlivých tříd.