Lidsky řečeno
Než koupíš ojeté auto, nejdeš rovnou podepsat smlouvu. Obejdeš ho, podíváš se pod kapotu, zkontroluješ, jestli tachometr odpovídá stavu sedaček, a teprve pak se bavíš o ceně. S daty je to stejné. Prohlídce dat se říká průzkumová analýza, anglicky exploratory data analysis, zkráceně EDA. Hledáš v ní chyby, zvláštnosti a otázky, na které ses předem neuměl zeptat.
První pohled: co vlastně máš
Export je text ve formátu CSV. Každý řádek je jedna jízda a hodnoty dělí středník, jak to bývá u českých exportů. Sloupce znamenají:
| Sloupec | Význam |
|---|---|
id | číslo jízdy |
datum | den jízdy |
kolo | typ kola, A staré, B nové |
pocasi | sucho, nebo dest (aplikace píše bez diakritiky) |
minuty | délka jízdy |
hodnoceni | známka od zákazníka, 1 až 5 hvězdiček, nepovinná |
Nic nepočítej, dokud nevíš tři věci: kolik toho je, jakého typu to je a jak to vypadá. shape řekne počet řádků a sloupců, dtypes typ každého sloupce a unique() všechny různé hodnoty.
import io
import pandas as pd
SUROVA = """id;datum;kolo;pocasi;minuty;hodnoceni
1;2026-09-01;A;sucho;22;4
2;2026-09-02;a;sucho;25;5
3;2026-09-04;A;sucho;18;4
4;2026-09-05;A;SUCHO;30;4
5;2026-09-07;A;dest;9,0;3
6;2026-09-09;A;sucho;24;5
7;2026-09-11;A;sucho;27;4
7;2026-09-11;A;sucho;27;4
8;2026-09-12;a;sucho;21;4
9;2026-09-15;A;sucho;26;5
10;2026-09-17;A;sucho;23;4
11;2026-09-19;A;Dest;11;2
12;2026-09-22;A;sucho;24;
13;2026-09-28;B;sucho;28;5
14;2026-10-01;B;Dest;12;3
15;2026-10-02;b;dest;14;3
16;2026-10-05;B;sucho;25,0;4
17;2026-10-06;B;dest;10;2
18;2026-10-08; B;dest;13;3
19;2026-10-09;B;dest;9999;
20;2026-10-12;B;dest;11;4
20;2026-10-12;b;dest;11;4
21;2026-10-14;B ;dest;15;3
22;2026-10-16;b;SUCHO;28;5
23;2026-10-19;B;dest;12,0;3
24;2026-10-21;B;dest;13;
25;2026-10-23;B;dest;8;3
"""
surova = pd.read_csv(io.StringIO(SUROVA), sep=";")
print(surova.shape)
print(surova.head(3))
print()
print(surova.dtypes)
print()
print(sorted(surova["kolo"].unique()))
print(sorted(surova["pocasi"].unique()))
(27, 6) id datum kolo pocasi minuty hodnoceni 0 1 2026-09-01 A sucho 22 4.0 1 2 2026-09-02 a sucho 25 5.0 2 3 2026-09-04 A sucho 18 4.0 id int64 datum object kolo object pocasi object minuty object hodnoceni float64 dtype: object [' B', 'A', 'B', 'B ', 'a', 'b'] ['Dest', 'SUCHO', 'dest', 'sucho']
io.StringIO jen předstírá, že je text soubor, takže read_csv nepozná rozdíl. Hned tady jsou vidět tři podezřelé věci.
Sloupec minuty má typ object. Čísla by měla být int64 nebo float64, object tu znamená text. Někde ve sloupci tedy sedí hodnota, kterou pandas neumí přečíst jako číslo. V datech ji najdeš snadno: 9,0 má desetinnou čárku.
Kola mají místo dvou typů šest zápisů, protože a, b, B a B jsou pro počítač jiné hodnoty než A a B. Počasí je na tom podobně.
A hodnoceni je float64, přestože hvězdičky jsou celá čísla. Prázdné buňky se načtou jako NaN (not a number, značka pro chybějící hodnotu) a ta se v klasickém číselném sloupci vejde jen mezi desetinná čísla.
Sloupec s cenami se po načtení hlásí jako object. Co je nejrozumnější udělat jako první?
Typ object je příznak, ne diagnóza. Může jít o desetinnou čárku, měnu za číslem nebo text „neznámo“ a každá z těch příčin se řeší jinak.
Úkol 1: změř škody
Zjisti, jak na tom export je. Vytvoř čtyři proměnné:
radku: počet řádků tabulky,chybi_hodnoceni: kolik jízd nemá hodnocení,presne_duplicity: kolik řádků je přesnou kopií některého předchozího,variant_kola: kolik různých zápisů má sloupeckolo.
import io
import pandas as pd
SUROVA = """id;datum;kolo;pocasi;minuty;hodnoceni
1;2026-09-01;A;sucho;22;4
2;2026-09-02;a;sucho;25;5
3;2026-09-04;A;sucho;18;4
4;2026-09-05;A;SUCHO;30;4
5;2026-09-07;A;dest;9,0;3
6;2026-09-09;A;sucho;24;5
7;2026-09-11;A;sucho;27;4
7;2026-09-11;A;sucho;27;4
8;2026-09-12;a;sucho;21;4
9;2026-09-15;A;sucho;26;5
10;2026-09-17;A;sucho;23;4
11;2026-09-19;A;Dest;11;2
12;2026-09-22;A;sucho;24;
13;2026-09-28;B;sucho;28;5
14;2026-10-01;B;Dest;12;3
15;2026-10-02;b;dest;14;3
16;2026-10-05;B;sucho;25,0;4
17;2026-10-06;B;dest;10;2
18;2026-10-08; B;dest;13;3
19;2026-10-09;B;dest;9999;
20;2026-10-12;B;dest;11;4
20;2026-10-12;b;dest;11;4
21;2026-10-14;B ;dest;15;3
22;2026-10-16;b;SUCHO;28;5
23;2026-10-19;B;dest;12,0;3
24;2026-10-21;B;dest;13;
25;2026-10-23;B;dest;8;3
"""
surova = pd.read_csv(io.StringIO(SUROVA), sep=";")
# doplň radku, chybi_hodnoceni, presne_duplicity, variant_kola
Duplicita ti vyšla jedna. Podívej se ale na jízdu číslo 20: je tam dvakrát, jednou s B a jednou s b. Dokud se zápisy neshodují, pandas ty řádky za kopii nepovažuje.
Úklid: nejdřív sjednotit, potom mazat
Čištění dat znamená opravit to, co je zapsané různě, a vyřadit to, co nemůže být pravda. Pořadí kroků hraje roli. Tahle malá ukázka to dokazuje.
import pandas as pd
t = pd.DataFrame({"id": [20, 20], "kolo": ["B", "b"], "minuty": [11, 11]})
print("Duplicit před úklidem:", t.duplicated().sum())
t["kolo"] = t["kolo"].str.upper()
print("Duplicit po úklidu:", t.duplicated().sum())
Duplicit před úklidem: 0 Duplicit po úklidu: 1
Zbývá 9999 u jízdy číslo 19. Hana k tomu říká: „Aplikace každou jízdu sama ukončí nejpozději po 240 minutách. Když čip na kole neodpoví, zapíše 9999.“ Není to tedy dlouhá jízda, ale zástupná hodnota, číslo v převleku za chybu. Taková jízda nemá ani hodnocení, takže o ní nevíš nic a můžeš ji vyřadit.
Úkol 2: napiš úklidovou funkci
Napiš funkci vycisti(tabulka), která vrátí novou uklizenou tabulku a původní nechá beze změny. Funkce postupně:
- ve sloupci
koloodstraní okrajové mezery a převede text na velká písmena, - ve sloupci
pocasiodstraní mezery a převede text na malá písmena, - ve sloupci
minutynahradí čárku tečkou a převede ho na čísla, - sloupec
datumpřevede na datum, - odstraní duplicitní řádky,
- ponechá jen jízdy do 240 minut včetně.
import io
import pandas as pd
SUROVA = """id;datum;kolo;pocasi;minuty;hodnoceni
1;2026-09-01;A;sucho;22;4
2;2026-09-02;a;sucho;25;5
3;2026-09-04;A;sucho;18;4
4;2026-09-05;A;SUCHO;30;4
5;2026-09-07;A;dest;9,0;3
6;2026-09-09;A;sucho;24;5
7;2026-09-11;A;sucho;27;4
7;2026-09-11;A;sucho;27;4
8;2026-09-12;a;sucho;21;4
9;2026-09-15;A;sucho;26;5
10;2026-09-17;A;sucho;23;4
11;2026-09-19;A;Dest;11;2
12;2026-09-22;A;sucho;24;
13;2026-09-28;B;sucho;28;5
14;2026-10-01;B;Dest;12;3
15;2026-10-02;b;dest;14;3
16;2026-10-05;B;sucho;25,0;4
17;2026-10-06;B;dest;10;2
18;2026-10-08; B;dest;13;3
19;2026-10-09;B;dest;9999;
20;2026-10-12;B;dest;11;4
20;2026-10-12;b;dest;11;4
21;2026-10-14;B ;dest;15;3
22;2026-10-16;b;SUCHO;28;5
23;2026-10-19;B;dest;12,0;3
24;2026-10-21;B;dest;13;
25;2026-10-23;B;dest;8;3
"""
surova = pd.read_csv(io.StringIO(SUROVA), sep=";")
def vycisti(tabulka):
df = tabulka.copy()
# doplň jednotlivé kroky
return df
print(vycisti(surova).shape)
Pod kapotou · načítání, které nelže
Ruční oprava po načtení je dobrá na průzkum. V produkci patří znalost formátu přímo do načtení, aby změna exportu skončila chybou, a ne tichým posunem čísel.
df = pd.read_csv(
path, sep=";", decimal=",",
dtype={"id": "int64", "kolo": "string", "pocasi": "string"},
na_values={"minuty": ["9999"], "hodnoceni": [""]},
parse_dates=["datum"], date_format="%Y-%m-%d",
keep_default_na=False,
)keep_default_na si zaslouží pozornost. Ve výchozím stavu se text NA, null nebo None změní na chybějící hodnotu, takže kód země NA (Namibie) z dat tiše zmizí. Když ho vypneš, musíš prázdné buňky povolit sám, proto je v ukázce "hodnoceni": [""]. Pozor i na verze: pandas 2.2 hlásí text jako object, pandas 3 má pro něj výchozí typ str. Kontroly proto piš přes pd.api.types, ne porovnáním s názvem typu.
Chybějící hodnoty mají tři druhy. MCAR znamená, že chybí zcela náhodně. MAR znamená, že chybění vysvětlí jiné sloupce, třeba že v dešti lidé hodnotí méně. MNAR znamená, že záleží na samotné chybějící hodnotě: kdo byl spokojený průměrně, nemá důvod hodnotit. MNAR z dat samotných neprokážeš a právě u hodnocení je běžný, takže průměr hvězdiček popisuje lidi, kteří hodnotili, ne všechny zákazníky.
Rozložení: jak data vypadají
Uklizená tabulka má 24 jízd. Než začneš porovnávat kola, podívej se na samotné minuty. Průměr je součet vydělený počtem. Medián je prostřední hodnota po seřazení. Tady je vidět, co s nimi udělá jediný zapomenutý nesmysl.
import pandas as pd
minuty = pd.Series([22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8])
se_zmetkem = pd.concat([minuty, pd.Series([9999])], ignore_index=True)
print("Čistá data: průměr", round(minuty.mean(), 2), " medián", minuty.median())
print("S 9999: průměr", round(se_zmetkem.mean(), 2), " medián", se_zmetkem.median())
print()
print(minuty.describe().round(2))
Čistá data: průměr 18.71 medián 19.5 S 9999: průměr 417.92 medián 21.0 count 24.00 mean 18.71 std 7.18 min 8.00 25% 12.00 50% 19.50 75% 25.00 max 30.00 dtype: float64
Jedna špatná hodnota vytáhne průměr z necelých 19 minut přes 400, medián se posune jen z 19,5 na 21. Průměr je citlivý na extrémy, medián skoro ne.
describe() vypíše souhrn: počet, průměr, směrodatnou odchylku (jak moc hodnoty kolísají), minimum, maximum a kvartily. Kvartil 25 % je hodnota, pod kterou leží čtvrtina dat, kvartil 75 % je hodnota, pod kterou leží tři čtvrtiny.
Rozdíl mezi nimi se jmenuje IQR (interquartile range) a slouží k hledání odlehlých hodnot, tedy těch, které jsou od ostatních podezřele daleko. Běžné pravidlo:
IQR = Q3 - Q1
dolní mez = Q1 - 1,5 * IQR
horní mez = Q3 + 1,5 * IQRÚkol 3: hlídač nesmyslů
Napiš funkci odlehle(s), která dostane sloupec čísel a vrátí jen hodnoty ležící mimo meze podle pravidla IQR. Kdyby Hana příště poslala export s jinou zástupnou hodnotou, funkce ji odhalí sama.
import pandas as pd
se_zmetkem = pd.Series([22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8, 9999])
def odlehle(s):
# doplň výpočet mezí a výběr
return s.iloc[0:0]
print(list(odlehle(se_zmetkem)))
Horní mez tu vychází 44,5 minuty, takže 9999 neprojde. Pravidlo ale jen ukazuje na podezřelé hodnoty. O tom, že jde o chybu, rozhodla až Hanina informace o limitu 240 minut. Dlouhý výlet by mohl být odlehlý a přitom naprosto pravdivý.
Čísla v souhrnu neprozradí všechno. Proto se každý průzkum dívá i na histogram: rozdělí hodnoty do přihrádek a nakreslí, kolik jich v každé je.
import matplotlib.pyplot as plt
minuty = [22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8]
plt.hist(minuty, bins=range(5, 35, 5), edgecolor="black")
plt.xlabel("Délka jízdy (minuty)")
plt.ylabel("Počet jízd")
plt.title("Jízdy mají dva hrby")
plt.show()
Přihrádky obsahují 2, 8, 2, 5 a 7 jízd. Uprostřed je dolík: krátké jízdy kolem 12 minut a delší kolem 25, skoro nic mezi nimi. Dva hrby obvykle znamenají, že se v datech míchají dvě různé skupiny. Tuhle stopu si zapamatuj.
Průměrná mzda ve firmě je 95 000 Kč, medián 41 000 Kč. Co to nejspíš znamená?
Medián říká, že polovina lidí bere nejvýše 41 000 Kč. Pár extrémně vysokých hodnot zvedne průměr, medián se téměř nehne.
První odpověď a proč jí nevěřit
Od této chvíle pracuješ s uklizenými daty. Jsou to stejné jízdy, jen seřazené podle kola a počasí a bez sloupců, které už nepotřebuješ, aby se ukázky vešly na obrazovku.
Úkol 4: zopakuj Haninu úvahu
Spočítej průměrné minuty a hodnoceni pro každý typ kola a ulož je do tabulky prumery (řádky A a B, sloupce minuty a hodnoceni). Do proměnné rozdil_minut ulož průměrné minuty kola B minus průměrné minuty kola A.
import pandas as pd
jizdy = pd.DataFrame({
"kolo": ["A"] * 12 + ["B"] * 12,
"pocasi": ["sucho"] * 10 + ["dest"] * 2 + ["sucho"] * 3 + ["dest"] * 9,
"minuty": [22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8],
"hodnoceni": [4, 5, 4, 4, 5, 4, 4, 5, 4, None, 3, 2,
5, 4, 5, 3, 3, 2, 3, 4, 3, 3, None, 3],
})
# doplň prumery a rozdil_minut
Na první pohled má Hana pravdu. Kolo A má průměr 21,67 minuty a hodnocení 4,00. Kolo B má 15,75 minuty a 3,45. Rozdíl skoro šest minut vypadá jasně a bylo by snadné tady skončit.
Jenže histogram ukázal dvě skupiny jízd a ty jsi zatím nevysvětlil. V tabulce je jeden sloupec, který jsi nepoužil: počasí. Křížová tabulka (crosstab) spočítá, kolik jízd spadá do každé kombinace, a pivot_table totéž rozdělí pro průměry.
import pandas as pd
jizdy = pd.DataFrame({
"kolo": ["A"] * 12 + ["B"] * 12,
"pocasi": ["sucho"] * 10 + ["dest"] * 2 + ["sucho"] * 3 + ["dest"] * 9,
"minuty": [22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8],
"hodnoceni": [4, 5, 4, 4, 5, 4, 4, 5, 4, None, 3, 2,
5, 4, 5, 3, 3, 2, 3, 4, 3, 3, None, 3],
})
print(pd.crosstab(jizdy["pocasi"], jizdy["kolo"]))
print()
print(jizdy.pivot_table(index="pocasi", columns="kolo", values="hodnoceni", aggfunc="mean").round(2))
kolo A B pocasi dest 2 9 sucho 10 3 kolo A B pocasi dest 2.50 3.00 sucho 4.33 4.67
Kola A mají deset jízd v suchu a dvě v dešti. Kola B tři v suchu a devět v dešti. Dorazila totiž na konci září, zrovna když začal deštivý podzim.
Úkol 5: rozděl to podle počasí
Vytvoř kontingenční tabulku tabulka, kde řádky jsou pocasi, sloupce kolo a hodnoty průměrné minuty. Do rozdil ulož pro každé počasí minuty kola B minus minuty kola A. Do b_delsi_vsude ulož True, pokud je B delší za každého počasí, jinak False.
import pandas as pd
jizdy = pd.DataFrame({
"kolo": ["A"] * 12 + ["B"] * 12,
"pocasi": ["sucho"] * 10 + ["dest"] * 2 + ["sucho"] * 3 + ["dest"] * 9,
"minuty": [22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8],
"hodnoceni": [4, 5, 4, 4, 5, 4, 4, 5, 4, None, 3, 2,
5, 4, 5, 3, 3, 2, 3, 4, 3, 3, None, 3],
})
# doplň tabulka, rozdil, b_delsi_vsude
V suchu jezdí kola B 27 minut proti 24. V dešti 12 proti 10. Za každého počasí je kolo B lepší, a dohromady vychází horší. Stejně dopadne i hodnocení: v suchu 4,67 proti 4,33, v dešti 3,00 proti 2,50.
Není to chyba ve výpočtu. Jev se jmenuje Simpsonův paradox a stačí na něj obyčejná aritmetika. Celkový průměr je průměr skupin vážený jejich velikostí.
prumer_a = (10 * 24 + 2 * 10) / 12
prumer_b = (3 * 27 + 9 * 12) / 12
print("Kolo A:", round(prumer_a, 2), " skoro samé jízdy v suchu")
print("Kolo B:", round(prumer_b, 2), " skoro samé jízdy v dešti")
Kolo A: 21.67 skoro samé jízdy v suchu Kolo B: 15.75 skoro samé jízdy v dešti
Počasí tady hraje roli matoucí proměnné. Ovlivňuje délku jízdy a zároveň souvisí s tím, které kolo se zrovna používalo. Hana tedy z velké části srovnávala září s říjnem, ne kolo s kolem.
import matplotlib.pyplot as plt
import pandas as pd
jizdy = pd.DataFrame({
"kolo": ["A"] * 12 + ["B"] * 12,
"pocasi": ["sucho"] * 10 + ["dest"] * 2 + ["sucho"] * 3 + ["dest"] * 9,
"minuty": [22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8],
})
tabulka = jizdy.pivot_table(index="pocasi", columns="kolo", values="minuty", aggfunc="mean")
ax = tabulka.plot.bar(rot=0)
ax.set_xlabel("Počasí")
ax.set_ylabel("Průměrná délka jízdy (minuty)")
ax.set_title("Za stejného počasí jezdí kola B déle")
plt.show()
Lék X má v každé věkové skupině lepší výsledky než lék Y, ale celkově vychází hůř. Co je nejpravděpodobnější vysvětlení?
Je to stejný vzorec jako u kol: skupiny mají různé složení. Lék, který dostávají hlavně těžší případy, vypadá v celkovém průměru hůř.
Pod kapotou · kterou tabulku věřit
Simpsonův paradox nemá čistě statistické řešení. Stejná čísla mohou vést k opačným závěrům podle toho, jak třetí proměnná vzniká, a to v datech napsané není.
Počasí je tu příčina před volbou kola: kolo déšť nezpůsobí. Rozdělení podle něj je proto správné, v řeči kauzální analýzy zavírá zadní cestu (back-door criterion, Judea Pearl). Kdybys ale rozděloval podle „počtu zastávek na nabíjení“, který samo kolo ovlivňuje, odstranil bys část efektu, který chceš měřit. To je mediátor. A rozdělení podle proměnné ovlivněné kolem i spokojeností, třeba „zákazník napsal na podporu“, vyrobí závislost, která neexistuje. To je collider. Než přidáš sloupec do groupby nebo do modelu, odpověz si, co způsobuje co.
Druhá past je překryv. Kolo A má v dešti jen dvě jízdy, takže celý jeho „dešťový“ průměr visí na dvou lidech. Při mnoha segmentech buňky rychle zřídnou a rozdíly mezi nimi začnou být hlavně šum.
Férové srovnání
Hana potřebuje jedno číslo pro každé kolo. Otázka zní: jak by dopadla kola, kdyby obě jezdila za stejného počasí? Vezmeš průměr kola v suchu a v dešti a složíš je se stejnými vahami pro obě kola. Vahou je podíl počasí ve všech jízdách dohromady. Postupu se říká standardizace.
férový průměr kola = průměr v suchu * podíl sucha + průměr v dešti * podíl deštěÚkol 6: stejné podmínky pro obě kola
Napiš funkci ferovy_prumer(df, kolo, sloupec). Pracuje jen s řádky, kde sloupec není prázdný. Z nich spočítá podíl každého počasí přes obě kola a pak vrátí vážený součet průměrů daného kola.
import pandas as pd
jizdy = pd.DataFrame({
"kolo": ["A"] * 12 + ["B"] * 12,
"pocasi": ["sucho"] * 10 + ["dest"] * 2 + ["sucho"] * 3 + ["dest"] * 9,
"minuty": [22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8],
"hodnoceni": [4, 5, 4, 4, 5, 4, 4, 5, 4, None, 3, 2,
5, 4, 5, 3, 3, 2, 3, 4, 3, 3, None, 3],
})
def ferovy_prumer(df, kolo, sloupec):
# doplň
return 0.0
print(ferovy_prumer(jizdy, "A", "minuty"))
Za stejného počasí vychází kolo A na 17,6 minuty a kolo B na 20,1. U hodnocení je to 3,50 proti 3,91. Pořadí se otočilo.
Pod kapotou · přesný permutační test bez knihoven
Je rozdíl 2,54 minuty víc než náhoda? Při 24 jízdách můžeš vyzkoušet všechna možná přiřazení. Předpokládáš, že typ kola na délce nezáleží, a v rámci každého počasí přerozděluješ štítky A a B. V suchu je 286 možností, v dešti 55, dohromady 15 730. Ptáš se, jak často vyjde rozdíl aspoň tak velký jako ten skutečný.
from itertools import combinations
SUCHO_A = [22, 25, 18, 30, 24, 27, 21, 26, 23, 24]
SUCHO_B = [28, 25, 28]
DEST_A = [9, 11]
DEST_B = [12, 14, 10, 13, 11, 15, 12, 13, 8]
VAHA_SUCHO, VAHA_DEST = 13 / 24, 11 / 24
def rozdil(a, b):
return sum(b) / len(b) - sum(a) / len(a)
def vsechny_rozdily(a, b):
vse = a + b
celkem = sum(vse)
vysledky = []
for vyber in combinations(vse, len(b)):
soucet_b = sum(vyber)
vysledky.append(soucet_b / len(b) - (celkem - soucet_b) / len(a))
return vysledky
skutecny = VAHA_SUCHO * rozdil(SUCHO_A, SUCHO_B) + VAHA_DEST * rozdil(DEST_A, DEST_B)
sucho = vsechny_rozdily(SUCHO_A, SUCHO_B)
dest = vsechny_rozdily(DEST_A, DEST_B)
extremni = sum(
abs(VAHA_SUCHO * x + VAHA_DEST * y) >= abs(skutecny) - 1e-9
for x in sucho for y in dest
)
vsech = len(sucho) * len(dest)
print(f"Skutečný rozdíl: {skutecny:.2f} min")
print(f"Stejně nebo víc extrémních: {extremni} z {vsech}")
print(f"p = {extremni / vsech:.3f}")
Skutečný rozdíl: 2.54 min Stejně nebo víc extrémních: 1041 z 15730 p = 0.066
Asi 6,6 % přiřazení dá stejně velký nebo větší rozdíl. To je náznak, ne důkaz, a obvyklou hranici 5 % to nesplňuje. Hranice ale není magická, důležitější je, že test odpovídá jen na otázku o náhodě. Nevyloučí sezónu, zkušenost zákazníků ani to, že kola B jsou nová.
Pozor i na rozdvojené cesty (garden of forking paths): hypotézu o počasí jsi našel v těchže datech, na kterých ji testuješ, takže p-hodnota vychází optimističtěji, než by měla. Průzkum hypotézy vytváří, potvrdit je musí nová data. Stejný princip uvidíš u oddělení testovacích dat. Volba vah je také rozhodnutí: podíly všech jízd odpovídají na „co kdyby takhle jezdili všichni“, podíly jen z kola B na „co přineslo B tam, kde se skutečně jezdilo“.
Zpráva pro Hanu
Analýza, kterou nikdo nepřečte, nic nezmění. Zpráva má dát odpověď a poctivě říct, co z dat vyčíst nejde. Tabulku poskládej přímo z výpočtů, ať se při nových datech nemusí opisovat ručně.
import pandas as pd
jizdy = pd.DataFrame({
"kolo": ["A"] * 12 + ["B"] * 12,
"pocasi": ["sucho"] * 10 + ["dest"] * 2 + ["sucho"] * 3 + ["dest"] * 9,
"minuty": [22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8],
"hodnoceni": [4, 5, 4, 4, 5, 4, 4, 5, 4, None, 3, 2,
5, 4, 5, 3, 3, 2, 3, 4, 3, 3, None, 3],
})
def ferovy_prumer(df, kolo, sloupec):
platne = df.dropna(subset=[sloupec])
vahy = platne["pocasi"].value_counts(normalize=True)
prumery = platne[platne["kolo"] == kolo].groupby("pocasi")[sloupec].mean()
return (prumery * vahy).sum()
prosty = jizdy.groupby("kolo")[["minuty", "hodnoceni"]].mean()
print(f"Jízd po úklidu: {len(jizdy)}, z toho hodnocených: {jizdy['hodnoceni'].count()}")
print()
print(f"{'':<28}{'A':>7}{'B':>7}")
for sloupec, nazev in [("minuty", "Minuty"), ("hodnoceni", "Hodnocení")]:
a, b = prosty.loc["A", sloupec], prosty.loc["B", sloupec]
print(f"{nazev + ', prostý průměr':<28}{a:>7.2f}{b:>7.2f}")
a, b = ferovy_prumer(jizdy, "A", sloupec), ferovy_prumer(jizdy, "B", sloupec)
print(f"{nazev + ', stejné počasí':<28}{a:>7.2f}{b:>7.2f}")
Jízd po úklidu: 24, z toho hodnocených: 22
A B
Minuty, prostý průměr 21.67 15.75
Minuty, stejné počasí 17.58 20.12
Hodnocení, prostý průměr 4.00 3.45
Hodnocení, stejné počasí 3.50 3.91Text pro Hanu pak může znít takto:
Kola B zatím nevracej. Data neukazují, že by byla horší.
Kola B vypadají hůř, protože jezdí hlavně v říjnovém dešti.
Za stejného počasí jsou na tom lehce lépe než kola A:
jízdy jsou asi o 2,5 minuty delší a hodnocení asi o 0,4 hvězdičky vyšší.
Pozor, je to odhad z 24 jízd. Obě kola nikdy nejezdila ve stejný den
a kolo A má v dešti jen dvě jízdy. Jistotu to nedává.
Doporučení: příští měsíc nasaď obě kola současně a typ přiděluj
zákazníkům náhodně. Pak budeme vědět, co způsobuje samo kolo.Všimni si, co zpráva neříká. Netvrdí, že kola B jsou prokazatelně lepší. Tvrdí, že důvod k jejich vrácení v datech není, a navrhuje levný pokus, který otázku rozhodne. Náhodné přidělení je silné tím, že v průměru vyrovná i to, co jsi neměřil: počasí, sezónu i typ zákazníka.
Který závěr z Haniných dat je poctivý?
Srovnání za stejného počasí mluví spíš pro kola B, ale jízd je málo a kola nejezdila současně. Na tvrzení o příčině to nestačí, na odložení drahého rozhodnutí ano.