0 dní v řadě · 0 bodů

Práce s daty · 28 min

Statistika a pravděpodobnost

Průměr, medián, rozptyl, korelace, Bayesova věta, normální rozdělení a poctivé ověření rozdílu simulací v Pythonu.

Hloubka
Úkoly
Lidsky řečeno

Ve firmě pracuje pět lidí za běžný plat a majitel, který si vyplácí čtvrt milionu. Průměrný plat vyjde krásně a nikdo z pěti ho nedostává. Statistika je sada nástrojů, jak říct o datech pravdu jedním nebo pár čísly, a taky jak poznat, kdy tě někdo těmi čísly vodí za nos.

Střed dat: průměr, medián, modus

Tři různé otázky, tři různá čísla:

  • Průměr je součet dělený počtem. Kdyby všichni dostali stejně, tolik by to bylo.
  • Medián je prostřední hodnota po seřazení. Polovina je pod ní, polovina nad ní.
  • Modus je nejčastější hodnota.

Modul statistics je součástí Pythonu, nic se neinstaluje. Než kód spustíš, tipni si oba první řádky.

import statistics as st

platy = [31, 34, 36, 38, 41, 240]  # tisíce Kč, poslední je majitel

print("průměr:", st.mean(platy))
print("medián:", st.median(platy))
print("bez majitele:", st.mean(platy[:-1]), "a", st.median(platy[:-1]))

boty = [42, 43, 41, 43, 44, 42, 43]
print("nejčastější velikost:", st.mode(boty))
print("když je jich víc:", st.multimode([1, 1, 2, 2, 3]))
Výstup
průměr: 70
medián: 37.0
bez majitele: 36 a 36
nejčastější velikost: 43
když je jich víc: [1, 2]

Jeden člověk posunul průměr z 36 na 70, medián se pohnul jen z 36 na 37. Medián je robustní: krajní hodnoty ho skoro nezajímají. Proto se u platů a cen bytů uvádí spíš on.

Rozptyl: jak moc se data liší

Dvě města mají stejnou průměrnou teplotu, a přesto bys v jednom potřeboval jen tričko a ve druhém celý šatník. Střed nestačí, potřebuješ i rozptyl.

text
odchylka          = hodnota - průměr
rozptyl           = součet(odchylka²) / (n - 1)
směrodatná odch.  = odmocnina z rozptylu

Odchylky se umocňují, aby se kladné a záporné nevyrušily. Odmocnina pak vrátí výsledek do původních jednotek, takže směrodatná odchylka je ve stupních a čte se jako typická vzdálenost od průměru.

import statistics as st

mesta = {
    "přímořské": [18, 20, 22, 20, 20],
    "vnitrozemské": [5, 35, 20, 10, 30],
}

for nazev, teploty in mesta.items():
    print(nazev)
    print("  průměr:", st.mean(teploty))
    print("  rozpětí:", max(teploty) - min(teploty))
    print("  rozptyl:", st.variance(teploty))
    print("  směrodatná odchylka:", round(st.stdev(teploty), 2))
Výstup
přímořské
  průměr: 20
  rozpětí: 4
  rozptyl: 2
  směrodatná odchylka: 1.41
vnitrozemské
  průměr: 20
  rozpětí: 30
  rozptyl: 162.5
  směrodatná odchylka: 12.75

Percentil říká, pod jakou hodnotou leží dané procento dat. 90. percentil doby odezvy znamená, že 90 % požadavků bylo rychlejších. Správci serverů ho mají radši než průměr, protože ukazuje, co zažívají ti méně šťastní uživatelé.

import numpy as np

odezva_ms = np.array([120, 135, 140, 150, 155, 160, 170, 180, 210, 900])

print(f"průměr: {odezva_ms.mean():.1f}")
print(f"medián: {np.median(odezva_ms):.1f}")
for p in [25, 75, 90, 99]:
    print(f"p{p}: {np.percentile(odezva_ms, p):.1f}")
Výstup
průměr: 232.0
medián: 157.5
p25: 142.5
p75: 177.5
p90: 279.0
p99: 837.9
Úkol

Jak daleko od průměru

Z-skóre říká, o kolik směrodatných odchylek je hodnota od průměru: z = (x - průměr) / směrodatná odchylka. Pro seznam body spočítej prumer, odchylka (přes stdev), seznam z_skore a do nejdal ulož tu původní hodnotu, která má největší absolutní z-skóre.

import statistics as st

body = [62, 70, 74, 78, 86, 50, 90]

# doplň
Výstup

Korelace: jdou dvě věci spolu?

Pearsonova korelace je číslo od -1 do 1. Hodnota 1 znamená, že body leží na rostoucí přímce, -1 na klesající a kolem 0 žádná přímková souvislost není. Pořadová (Spearmanova) varianta porovnává jen pořadí, takže jí nevadí extrémy ani křivka, pokud trend roste pořád stejným směrem.

import statistics as st

hodiny = [1, 2, 3, 4, 5, 6]
body = [52, 55, 61, 64, 70, 72]
print("učení a body:", round(st.correlation(hodiny, body), 3))

x = [-3, -2, -1, 0, 1, 2, 3]
parabola = [v * v for v in x]
print("parabola:", round(abs(st.correlation(x, parabola)), 3))

a = [1, 2, 3, 4, 5]
b = [1, 2, 3, 4, 100]
print("Pearson s extrémem:", round(st.correlation(a, b), 3))
print("pořadová:", round(st.correlation(a, b, method="ranked"), 3))
Výstup
učení a body: 0.993
parabola: 0.0
Pearson s extrémem: 0.725
pořadová: 1.0

Parabola má korelaci nula, přestože y je na x úplně závislé. Korelace vidí jen přímky, a proto se data mají i kreslit.

Přetahuj body a sleduj, jak se mění korelace a proložená přímka. Zkus jeden bod odtáhnout daleko od ostatních nebo přepnout na oblouk.

Kvíz

V létě roste prodej zmrzliny i počet utonulých a korelace je vysoká. Co z toho plyne?

Pravděpodobnost: počítej, nebo simuluj

Pravděpodobnost je číslo od 0 do 1, které říká, jak velkou část případů událost zabere, kdyby se pokus opakoval pořád dokola. Když jsou všechny výsledky stejně pravděpodobné, stačí spočítat příznivé a vydělit všemi. Dvě kostky dají 36 kombinací a součet 7 má šest z nich, tedy 1/6.

Python ti dovolí totéž ověřit hrubou silou. Se zvyšujícím se počtem pokusů se podíl přibližuje skutečné hodnotě. Tomu se říká zákon velkých čísel.

import random
from fractions import Fraction
from itertools import product

vsechny = list(product(range(1, 7), repeat=2))
priznive = [hod for hod in vsechny if sum(hod) == 7]
presne = Fraction(len(priznive), len(vsechny))
print("přesně:", presne, "=", round(float(presne), 4))

random.seed(1)
for n in [10, 100, 1000, 10000, 50000]:
    uspechy = sum(random.randint(1, 6) + random.randint(1, 6) == 7 for _ in range(n))
    print(f"{n:>6} pokusů: {uspechy / n:.4f}")
Výstup
přesně: 1/6 = 0.1667
    10 pokusů: 0.1000
   100 pokusů: 0.2100
  1000 pokusů: 0.1690
 10000 pokusů: 0.1687
 50000 pokusů: 0.1670

Dvě pravidla pokryjí většinu úloh. U nezávislých jevů se pravděpodobnosti násobí: dvě šestky za sebou mají 1/6 · 1/6. A pro otázky typu „aspoň jednou“ je nejsnazší jít přes opak: P(aspoň jednou) = 1 - P(ani jednou).

Úkol

Aspoň jedna šestka

Házíš čtyřikrát kostkou. Do presne spočítej vzorcem pravděpodobnost, že padne aspoň jedna šestka. Do odhad ulož podíl úspěchů ze simulace s aspoň 10 000 pokusy.

import random

random.seed(5)

# doplň
Výstup

Podmíněná pravděpodobnost a Bayes

P(A | B) čti „pravděpodobnost A, když víme, že nastalo B“. Pozor, P(A | B) a P(B | A) jsou různá čísla. Pravděpodobnost, že pes je savec, je 1. Pravděpodobnost, že savec je pes, rozhodně ne.

Mezi nimi přepíná Bayesova věta. Příklad: v továrně je 1 % výrobků vadných. Kamera zachytí 90 % vadných, ale falešně označí i 5 % dobrých. Kamera právě zapípala. Jak pravděpodobné je, že výrobek je opravdu vadný? Intuice říká 90 %. Počítej radši na 10 000 kusech.

text
10 000 výrobků
├── 100 vadných   -> 90 pípne, 10 proklouzne
└── 9 900 dobrých -> 495 pípne, 9 405 v klidu

pípnutí celkem: 90 + 495 = 585
z toho vadných: 90 / 585
vyskyt = 0.01
zachyti = 0.90
falesne = 0.05

pipne_a_vadny = vyskyt * zachyti
pipne_a_dobry = (1 - vyskyt) * falesne
vysledek = pipne_a_vadny / (pipne_a_vadny + pipne_a_dobry)

print(f"P(vadný | pípnutí) = {vysledek:.3f}")
print(f"přes počty: {90 / 585:.3f}")
Výstup
P(vadný | pípnutí) = 0.154
přes počty: 0.154

Jen asi 15 %. Dobrých výrobků je tolik, že i malé procento jejich planých poplachů přehluší ty skutečné. Stejný jev potká každý detektor vzácných událostí: filtry podvodů, bezpečnostní alarmy i modely, ke kterým se dostaneš v lekci o metrikách.

Úkol

Bayes jako funkce

Napiš funkci po_poplachu(vyskyt, zachyti, falesne), která vrátí pravděpodobnost, že jev opravdu nastal, když detektor spustil poplach.

def po_poplachu(vyskyt, zachyti, falesne):
    # doplň
    return 0
Výstup

Rozdělení a proč je všude zvon

Rozdělení popisuje, jak často se které hodnoty objevují. Nejslavnější je normální rozdělení, známý zvon, daný průměrem a směrodatnou odchylkou. Třída NormalDist z modulu statistics s ním umí počítat. cdf(x) vrátí pravděpodobnost hodnoty nejvýš x, inv_cdf(p) dělá opak.

from statistics import NormalDist

# Smyšlený model: doba výroby kusu v sekundách
vyroba = NormalDist(mu=60, sigma=4)

print("do 66 s:", round(vyroba.cdf(66), 3))
print("mezi 56 a 64 s:", round(vyroba.cdf(64) - vyroba.cdf(56), 3))
print("95 % kusů stihneme do:", round(vyroba.inv_cdf(0.95), 1), "s")

standard = NormalDist()
for k in [1, 2, 3]:
    podil = standard.cdf(k) - standard.cdf(-k)
    print(f"do {k} sigma od průměru: {podil:.1%}")
Výstup
do 66 s: 0.933
mezi 56 a 64 s: 0.683
95 % kusů stihneme do: 66.6 s
do 1 sigma od průměru: 68.3%
do 2 sigma od průměru: 95.4%
do 3 sigma od průměru: 99.7%

Sigma (řecké písmeno σ) je běžné označení směrodatné odchylky. Poslední tři řádky jsou pravidlo 68–95–99,7: v normálním rozdělení leží asi 68 % hodnot do jedné sigmy od průměru, 95 % do dvou a 99,7 % do tří. Proč se zvon objevuje tak často? Vysvětluje to centrální limitní věta: průměr mnoha nezávislých hodnot má přibližně normální rozdělení, ať vypadají původní hodnoty jakkoli. Jedna kostka má rozdělení ploché. Průměr šesti kostek už připomíná zvon a průměr třiceti se stáhne do úzké špičky kolem 3,5. Každý průměr se zaokrouhlí na nejbližší půlku a jeden znak # znamená 40 pokusů.

import random
from collections import Counter

random.seed(3)


def graf(pocet_kostek, pokusu=3000):
    print(f"počet kostek v průměru: {pocet_kostek}")
    kose = Counter()
    for _ in range(pokusu):
        hody = random.choices(range(1, 7), k=pocet_kostek)
        kose[round(sum(hody) / pocet_kostek * 2) / 2] += 1
    for i in range(2, 13):
        hodnota = i / 2
        print(f"{hodnota:3.1f} {'#' * (kose[hodnota] // 40)}")
    print()


graf(1)
graf(6)
graf(30)
Výstup
počet kostek v průměru: 1
1.0 ###########
1.5
2.0 #############
2.5
3.0 ############
3.5
4.0 ############
4.5
5.0 ############
5.5
6.0 ############

počet kostek v průměru: 6
1.0
1.5
2.0 ##
2.5 #######
3.0 ################
3.5 ####################
4.0 ################
4.5 #######
5.0 ##
5.5
6.0

počet kostek v průměru: 30
1.0
1.5
2.0
2.5
3.0 ###############
3.5 ##########################################
4.0 ###############
4.5
5.0
5.5
6.0

Díky tomu se dá odhadnout, jak přesný je průměr ze vzorku. Směrodatná chyba průměru je s / odmocnina(n), kde s je směrodatná odchylka vzorku a n jeho velikost. Odmocnina má nepříjemný důsledek: pro dvojnásobnou přesnost potřebuješ čtyřikrát víc dat.

Vyber výchozí rozdělení, i hodně nesouměrné, a zvyšuj počet hodnot v jednom průměru. Histogram průměrů se blíží zvonu a zároveň se zužuje.

Je ten rozdíl skutečný?

Nový návrh formuláře zkrátil průměrnou dobu vyplnění o několik sekund. Je to skutečné zlepšení, nebo náhoda? Na dvě otázky stačí dvě simulace, statistické tabulky ani vzorce nepotřebuješ.

Bootstrap odhaduje nejistotu. Z dat losuješ s vracením stejně velké vzorky a sleduješ, jak moc výsledek kolísá. Prostředních 95 % výsledků dává přibližný interval spolehlivosti.

import random
import statistics as st

stary = [41, 38, 52, 47, 44, 39, 50, 46, 43, 48]
novy = [36, 42, 35, 40, 33, 44, 37, 39, 34, 41]

rozdil = st.fmean(stary) - st.fmean(novy)
print(f"rozdíl průměrů: {rozdil:.1f} s")

random.seed(11)
kola = 2000
vysledky = []
for _ in range(kola):
    a = random.choices(stary, k=len(stary))
    b = random.choices(novy, k=len(novy))
    vysledky.append(st.fmean(a) - st.fmean(b))

vysledky.sort()
dolni = vysledky[int(0.025 * kola)]
horni = vysledky[int(0.975 * kola)]
print(f"95% interval: {dolni:.1f} až {horni:.1f} s")
Výstup
rozdíl průměrů: 6.7 s
95% interval: 3.5 až 10.1 s
Najdi chybu

Bootstrap, který nekolísá

Kód měl vytvořit 1000 bootstrapových průměrů, aby bylo vidět, jak moc průměr kolísá. Všechny ale vyšly stejně. Najdi řádek, který za to může.

Permutační test se ptá jinak. Představ si, že na návrhu vůbec nezáleží. Pak jsou popisky „starý“ a „nový“ jen náhodné nálepky a můžeš je libovolně přeházet. Kolikrát takové míchání vytvoří rozdíl aspoň tak velký jako ten skutečný? Ten podíl je p-hodnota.

import random
import statistics as st

stary = [41, 38, 52, 47, 44, 39, 50, 46, 43, 48]
novy = [36, 42, 35, 40, 33, 44, 37, 39, 34, 41]
rozdil = st.fmean(stary) - st.fmean(novy)

random.seed(12)
spolecne = stary + novy
kola = 2000
aspon_tak_velke = 0
for _ in range(kola):
    random.shuffle(spolecne)
    d = st.fmean(spolecne[:10]) - st.fmean(spolecne[10:])
    if abs(d) >= abs(rozdil):
        aspon_tak_velke += 1

p = (aspon_tak_velke + 1) / (kola + 1)
print(f"p-hodnota: {p:.4f}")
Výstup
p-hodnota: 0.0045

Vyšlo zhruba 0,005, takže samotná náhoda by takový rozdíl vytvořila asi v jednom případě z dvou set. Sedí to i s bootstrapem: interval od 3,5 do 10,1 sekundy neobsahuje nulu. Deset lidí v každé skupině je ale málo, takže skutečná velikost zlepšení zůstává dost nejistá, jak ukazuje šířka intervalu.

Kvíz

Test vyšel s p = 0,03. Co to znamená?

Kartičky

Pojmy ze statistiky

Pod kapotou · pasti, které přežijí code review

Simpsonův paradox. Kurýr A je lepší na obou typech tras a přesto má horší celkový výsledek, protože dostává víc těžkých tras. Agregace přes skrytou proměnnou může obrátit závěr. Než porovnáš součty, udělej groupby podle toho, co ovlivňuje obě strany.

text
                 kurýr A            kurýr B
město            18/20  = 90 %      64/80 = 80 %
venkov           40/80  = 50 %       8/20 = 40 %
celkem           58/100 = 58 %      72/100 = 72 %

Vícenásobné testování. Při hladině 0,05 a 20 nezávislých testech bez skutečného efektu je šance na aspoň jeden falešný nález 1 - 0.95 ** 20, tedy asi 64 %. Korekce Bonferroni dělí hladinu počtem testů, Benjamini-Hochberg kontroluje podíl falešných objevů. Stejně škodí i průběžné nakukování do A/B testu s ukončením při první významnosti. Na to jsou sekvenční metody.

Proč n - 1. Odchylky se měří od průměru vzorku, který je datům nejblíž, jak to jde, takže rozptyl vychází systematicky menší. Besselova korekce to u rozptylu vyrovná. Směrodatná odchylka zůstává mírně podhodnocená, protože odmocnina je nelineární.

Implementace. statistics.mean počítá přesně přes zlomky a je pomalý, fmean používá math.fsum a je několikanásobně rychlejší. np.sum sčítá po dvojicích, takže chyba zaokrouhlení roste jen logaritmicky. statistics.quantiles má výchozí metodu exclusive, kdežto np.percentile lineární interpolaci odpovídající inclusive, a tak se kvartily stejných dat mohou lišit.

Interval spolehlivosti se vztahuje k postupu: při opakování by 95 % takto sestrojených intervalů obsahovalo skutečnou hodnotu. Percentilový bootstrap je u malých a šikmých vzorků nepřesný, scipy.stats.bootstrap proto ve výchozím stavu používá korekci BCa. Permutační test je k dispozici jako scipy.stats.permutation_test a klasická volba pro dva průměry je Welchův t-test, ttest_ind(a, b, equal_var=False). Přičtení jedničky v čitateli i jmenovateli zajišťuje, že odhad p-hodnoty z konečného počtu permutací nikdy nevyjde nulový.