0 dní v řadě · 0 bodů

Strojové učení · 22 min

Co je strojové učení

Jak se program učí z příkladů místo z pravidel, co je model, vlastnost a cíl, jaké úlohy existují a kdy se strojové učení nevyplatí.

Hloubka
Úkoly
Lidsky řečeno

Zkušený prodejce ojetých kol mrkne na rám, přejede palcem po řetězu a řekne: „Tak osm tisíc.“ Kdybys po něm chtěl přesná pravidla, nedá je dohromady. Ten odhad se v něm usadil po stovkách prodaných kol. Strojové učení dělá totéž s daty: ukážeš počítači hodně příkladů i se správnými odpověďmi a on si z nich odvodí vlastní pravidlo.

Pravidla, nebo příklady

Programy z předchozích modulů fungovaly jedním způsobem: pravidla vymyslel člověk a počítač je prováděl. Strojové učení (anglicky machine learning, zkráceně ML) to otáčí. Člověk dodá příklady se správnými odpověďmi a pravidlo si z nich vyrobí algoritmus.

text
Klasický program:   data + pravidla   ->  odpovědi
Strojové učení:     data + odpovědi   ->  pravidla (model)

Vezmi filtr nevyžádané pošty. Ruční verze vypadá nevinně a selže na první zprávě, kterou autor nečekal.

def je_spam(zprava):
    zprava = zprava.lower()
    return "výhra" in zprava or "zdarma" in zprava

zpravy = [
    "Výhra pro tebe, stačí kliknout",
    "Vyhrál jsi telefon, potvrď adresu",
    "Parkování je dnes zdarma, přijeď autem",
]
for zprava in zpravy:
    print(je_spam(zprava), "|", zprava)
Výstup
True | Výhra pro tebe, stačí kliknout
False | Vyhrál jsi telefon, potvrď adresu
True | Parkování je dnes zdarma, přijeď autem

Druhá zpráva proklouzla, protože neobsahuje přesně slovo „výhra“. Třetí je od kamaráda a filtr ji zahodil. Můžeš přidávat další a další podmínky, ale budeš pořád o krok pozadu.

Teď stejná úloha jinak. Žádné slovo do kódu nenapíšeme. Program si jen spočítá, která slova se objevují ve spamu a která v normálních zprávách.

from collections import Counter

priklady = [
    ("výhra čeká klikni hned", 1),
    ("klikni a získej bonus zdarma", 1),
    ("bonus zdarma jen dnes", 1),
    ("hned potvrď výhra je tvoje", 1),
    ("zítra v sedm u kina", 0),
    ("pošli mi prosím fotky", 0),
    ("dnes přijdu pozdě", 0),
    ("fotky z kina jsou super", 0),
]

# Trénink: spočítej slova v obou hromádkách
spam, normalni = Counter(), Counter()
for text, je_spam in priklady:
    (spam if je_spam else normalni).update(text.split())

def skore(text):
    return sum(spam[slovo] - normalni[slovo] for slovo in text.split())

# Použití: zprávy, které program nikdy neviděl
for text in ["bonus zdarma hned", "zítra pošli fotky", "klikni na fotky"]:
    print(f"{skore(text):+d}  {text}")
Výstup
+6  bonus zdarma hned
-4  zítra pošli fotky
+0  klikni na fotky

Kladné skóre znamená „spíš spam“, záporné „spíš normální zpráva“ a nula „nevím“. Tomu, co vzniklo po tréninku, se říká model. Tady jsou to dvě tabulky počtů a funkce skore. Když přidáš nové příklady, chování se změní, aniž bys sáhl na jediný řádek logiky.

Úkol

Nauč se váhy slov

Napiš funkci nauc_vahy(priklady). Dostane seznam dvojic (text, stitek), kde stitek je 1 pro spam a 0 pro normální zprávu. Vrátí slovník, který každému slovu přiřadí číslo: kolikrát bylo ve spamu minus kolikrát bylo v normálních zprávách.

def nauc_vahy(priklady):
    vahy = {}
    # doplň
    return vahy

print(nauc_vahy([("levná půjčka", 1), ("levná káva", 0)]))
Výstup

Slovník, bez kterého se nedomluvíš

Stejná slova potkáš v každé knihovně a v každém článku. Ukážeme si je na odhadu typu kola.

PojemAnglickyVýznamU kol
příkladsamplejeden záznam v datechjedno konkrétní kolo
vlastnostfeatureúdaj, ze kterého model vycházíšířka pláště, hmotnost
cíltarget, labelco chceme předpovídattyp kola
modelmodelfunkce, která z vlastností odhaduje cílnaučené pravidlo
parametryparametersčísla, která si model nastaví z dattřeba váhy slov
tréninktraining, fithledání parametrů podle příkladůprohlédnutí prodaných kol
predikcepredictionodhad pro nový příklad„tohle je horské“

V kódu se drží pevná dohoda. Vlastnosti jsou tabulka X s velkým písmenem, protože jde o matici. Každý řádek je jeden příklad a každý sloupec jedna vlastnost. Cíle jsou jednorozměrné pole y, jedna hodnota na řádek.

import numpy as np

# šířka pláště v mm, hmotnost v kg
X = np.array([
    [25, 8.1], [28, 8.9], [32, 9.6], [30, 9.0],
    [57, 13.2], [61, 14.0], [64, 12.5], [55, 12.9],
])
y = np.array(["silniční"] * 4 + ["horské"] * 4)

print("X:", X.shape)
print("y:", y.shape)
print("první kolo:", X[0], y[0])
Výstup
X: (8, 2)
y: (8,)
první kolo: [25.   8.1] silniční

Tvar (8, 2) čti jako osm příkladů, dvě vlastnosti. Tuhle kontrolu si zvykni dělat pořád. Většina začátečnických chyb v ML je obyčejně špatný tvar dat.

Model, který si jen pamatuje

Nejjednodušší rozumný model nepotřebuje žádnou matematiku navíc. Metoda nejbližšího souseda si zapamatuje všechny příklady. Nové kolo porovná se známými a převezme typ toho nejpodobnějšího. Podobnost měří vzdáleností, jako by kola byla body v rovině: vodorovně šířka pláště, svisle hmotnost.

import numpy as np

X_train = np.array([
    [25, 8.1], [28, 8.9], [32, 9.6], [30, 9.0],
    [57, 13.2], [61, 14.0], [64, 12.5], [55, 12.9],
])
y_train = np.array(["silniční"] * 4 + ["horské"] * 4)

def predict(x):
    # Vzdálenost nového bodu od všech známých najednou
    vzdalenosti = np.sqrt(((X_train - x) ** 2).sum(axis=1))
    return y_train[vzdalenosti.argmin()]

print(predict(np.array([35, 10.0])))
print(predict(np.array([50, 12.0])))
Výstup
silniční
horské

X_train - x odečte nové kolo od každého řádku zvlášť, takže cyklus není potřeba. argmin vrátí pozici nejmenší vzdálenosti. Nic víc se tu neděje a přesto program odpovídá na otázky, na které mu nikdo pravidlo nenapsal.

Úkol

Hlasování tří sousedů

Jeden soused se může splést, zvlášť když je to nepovedený záznam. Napiš predict_knn(X_train, y_train, x, k=3), která najde k nejbližších příkladů a vrátí nejčastější štítek mezi nimi.

import numpy as np
from collections import Counter

def predict_knn(X_train, y_train, x, k=3):
    # doplň
    return None

X = np.array([[0.0], [1.0], [1.2], [1.4], [9.0]])
y = np.array(["a", "b", "b", "b", "a"])
print(predict_knn(X, y, np.array([0.3])))
Výstup
Kvíz

Co u metody nejbližšího souseda znamená „trénink“?

Jaké úlohy strojové učení řeší

Podle toho, co máš k dispozici a na co se ptáš, se úlohy dělí do několika rodin.

  • Regrese patří do učení s učitelem (supervised learning), kde k příkladům máš správné odpovědi. Předpovídá číslo: cenu, spotřebu, dobu doručení.
  • Klasifikace je druhá velká úloha učení s učitelem. Vybírá kategorii: spam a nespam, druh květiny, číslice na obrázku.
  • Učení bez učitele (unsupervised learning): odpovědi nemáš a hledáš strukturu. Patří sem shlukování, tedy seskupování podobných záznamů, a zmenšování počtu vlastností. Obojímu se věnuje lekce Shlukování a PCA.
  • Posilované učení (reinforcement learning): program zkouší akce a dostává odměny, třeba při hraní her. V tomhle kurzu ho stavět nebudeme.
Roztřiď

Jaký typ úlohy to je?

Roztřiď úlohy podle toho, co má být na výstupu a jestli známe správné odpovědi.

Kvíz

Chceš předpovědět, za kolik minut dorazí kurýr. Co je to za úlohu?

Nejdřív hloupý model

Než začneš něco trénovat, urči si baseline: výsledek nejhloupějšího možného postupu. U regrese je to odhad průměru pro každý příklad, u klasifikace odpověď „vždy nejčastější třída“. Co ji nepřekoná, nemá smysl nasazovat.

Baseline navíc odhalí, když je číslo hezké jen zdánlivě. Tady je 1000 plateb, z toho 50 podvodných, a „model“, který nikdy nic neoznačí.

import numpy as np

y = np.array([0] * 950 + [1] * 50)   # 1 = podvod
predikce = np.zeros_like(y)          # vždy „v pořádku“

presnost = (predikce == y).mean()
chyceno = predikce[y == 1].sum()

print(f"přesnost: {presnost:.1%}")
print(f"chycené podvody: {chyceno} z {(y == 1).sum()}")
Výstup
přesnost: 95.0%
chycené podvody: 0 z 50

Přesnost vypadá výborně a užitek je nulový. Jak se tomu bránit, ukáže lekce Metriky.

Úkol

Baseline pro cenu kola

Napiš baseline_mae(y_train, y_test). Spočítá průměr trénovacích cen a použije ho jako odhad pro každou testovací cenu. Vrátí průměrnou absolutní chybu, tedy průměr z |skutečnost - odhad| přes testovací příklady.

import numpy as np

def baseline_mae(y_train, y_test):
    # doplň
    return 0.0

print(baseline_mae(np.array([6000, 8000, 10000]), np.array([7000, 12000])))
Výstup

Postup a chvíle, kdy ML nepoužít

Skoro každý projekt vypadá stejně. Algoritmus je jen jeden z kroků a často ne ten nejtěžší.

  1. Přelož problém na otázku. Co přesně předpovídáš a co se stane, když se model splete?
  2. Sežeň data a podívej se na ně. Mají správné odpovědi? Odpovídají situaci, kde se model použije?
  3. Odděl část dat na test. Proč a jak, řeší další lekce.
  4. Změř baseline.
  5. Natrénuj model a zkus ho vylepšit.
  6. Vyhodnoť ho na datech, která neviděl.
  7. Nasaď a sleduj. Svět se mění a model stárne.

Strojové učení nepoužívej, když:

  • umíš pravidlo přesně napsat, třeba výpočet DPH nebo kontrolu formátu PSČ,
  • nemáš dost příkladů se spolehlivými odpověďmi,
  • každá chyba je nepřijatelná a nejde ji zachytit jinak,
  • musíš přesně doložit, proč rozhodnutí padlo, a model to neumožní.
Pod kapotou · učení jako minimalizace rizika

Formálně hledáš funkci f z třídy hypotéz H, která minimalizuje očekávanou ztrátu na neznámém rozdělení dat. To rozdělení nemáš, takže minimalizuješ průměrnou ztrátu na vzorku (empirical risk minimization). Celý obor stojí na mezeře mezi těmito dvěma veličinami. Volba H je indukční předpoklad: lineární model sází na lineární vztah, k-NN na to, že blízké body mají podobný cíl. Věty typu no free lunch říkají, že bez takového předpokladu není žádný algoritmus napříč všemi možnými úlohami lepší než jiný.

Parametrický model má pevný počet parametrů nezávisle na n. K-NN je neparametrický, jeho „parametry“ jsou samotná data, takže paměť roste s n a naivní dotaz stojí O(n * d). KD-strom a Ball tree to zrychlují v nízkých dimenzích, ale ve vysokých ztrácejí výhodu, protože vzdálenosti se k sobě přibližují. Poměr nejbližší a nejvzdálenější vzdálenosti u náhodných bodů to ukazuje přímo.

import numpy as np

rng = np.random.default_rng(0)
for d in [2, 10, 100, 1000]:
    X = rng.random((500, d))
    dotaz = rng.random(d)
    vzdalenosti = np.linalg.norm(X - dotaz, axis=1)
    print(f"d={d:<5} nejbližší / nejvzdálenější = {vzdalenosti.min() / vzdalenosti.max():.2f}")
Výstup
d=2     nejbližší / nejvzdálenější = 0.02
d=10    nejbližší / nejvzdálenější = 0.18
d=100   nejbližší / nejvzdálenější = 0.74
d=1000  nejbližší / nejvzdálenější = 0.90

Čím blíž je poměr jedničce, tím méně znamená slovo „nejbližší“. Tomu se říká prokletí dimenzionality. Praktický dovětek: první pravidlo známých Rules of Machine Learning od Martina Zinkeviche zní, že se nemáš bát spustit produkt bez ML.

První model ve scikit-learn

scikit-learn (importuje se jako sklearn) je standardní knihovna pro klasické strojové učení. Všechny modely v ní mají stejné ovládání, takže stačí naučit se ho jednou:

  • vytvoříš objekt a zvolíš nastavení,
  • model.fit(X, y) natrénuje,
  • model.predict(X_novy) odhaduje.

Vestavěný dataset iris obsahuje rozměry květů tří druhů kosatců. Nastavení n_neighbors=3 je stejné hlasování tří sousedů, jaké máš z úkolu.

from sklearn.datasets import load_iris
from sklearn.neighbors import KNeighborsClassifier

data = load_iris()
X, y = data.data, data.target
print("tvar X:", X.shape)
print("vlastnosti:", data.feature_names)

model = KNeighborsClassifier(n_neighbors=3)
model.fit(X, y)

kvet = [[5.0, 3.4, 1.5, 0.2]]
trida = model.predict(kvet)[0]
print("odhad:", data.target_names[trida])
Výstup
tvar X: (150, 4)
vlastnosti: ['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']
odhad: setosa

Ve výstupu si všimni tvaru dat a toho, že predict čeká seznam řádků, proto ty dvojité závorky i u jediného květu. Vrací číslo třídy a target_names z něj udělá název.

Pod kapotou · kontrakt estimátoru

Jednotné API je smlouva, na které stojí Pipeline, GridSearchCV i clone. Konstruktor jen uloží hyperparametry a nic nevaliduje ani nepočítá. Vše naučené vzniká ve fit a končí podtržítkem (classes_, n_features_in_). fit vrací self, takže jde řetězit. Díky tomu clone vyrobí nenatrénovanou kopii jen z get_params(). Kdo píše vlastní estimátor a v __init__ hodnoty upravuje, rozbije tím křížovou validaci způsobem, který se špatně hledá. Pravidla popisuje kapitola Developing scikit-learn estimators v dokumentaci.

from sklearn.base import clone
from sklearn.datasets import load_iris
from sklearn.neighbors import KNeighborsClassifier

X, y = load_iris(return_X_y=True)
model = KNeighborsClassifier(n_neighbors=3)
print(model.get_params()["n_neighbors"], hasattr(model, "classes_"))

vraceno = model.fit(X, y)
print(vraceno is model, model.classes_, model.n_features_in_)

kopie = clone(model)
print(kopie.get_params()["n_neighbors"], hasattr(kopie, "classes_"))
Výstup
3 False
True [0 1 2] 4
3 False
Kartičky

Opakování

Zopakuj si pojmy, než půjdeš dál.

Vyzkoušej si: Rozhodnutí podle sousedů

Uprav body a posuvníkem změň k. Sleduj, jak se mění oblasti jednotlivých tříd.