0 dní v řadě · 0 bodů

Datové struktury · 24 min

Řetězce do hloubky

Rozsekáš a vyčistíš špinavý text, sestavíš zarovnanou tabulku a pochopíš diakritiku, Unicode a bajty.

Hloubka
Úkoly
Lidsky řečeno

Text z reálného světa přichází jako nákup z tržnice: se zemí na kořenech, v různých velikostech a občas s něčím, co jsi nekupoval. Než z něj něco uvaříš, musíš ho rozebrat, umýt a nakrájet. Tahle lekce je sada nožů.

Rozsekat a slepit

Řetězec je programátorský název pro text: řada znaků za sebou. Z e-shopu ti přišel export, kde jsou údaje na řádku oddělené středníkem. Metoda split je rozseká na seznam a join je zase spojí.

Pozor na zápis join: oddělovač stojí vpředu a seznam jde do závorky. Čteš to jako „tímhle spoj tohle“.

radek = "Novák;Jan;Praha;1987"

casti = radek.split(";")
print(casti)
print(casti[1])
print(" / ".join(casti))

veta = "  málo   místa  ve   větě "
print(veta.split())
print(veta.split(" ")[:4])

print("a,b,,c".split(","))
print("klíč=hodnota=další".split("=", 1))
print("klíč=hodnota=další".partition("="))
print("archiv.tar.gz".rsplit(".", 1))
Výstup
['Novák', 'Jan', 'Praha', '1987']
Jan
Novák / Jan / Praha / 1987
['málo', 'místa', 've', 'větě']
['', '', 'málo', '']
['a', 'b', '', 'c']
['klíč', 'hodnota=další']
('klíč', '=', 'hodnota=další')
['archiv.tar', 'gz']

Co z výstupu plyne:

  • split() bez argumentu dělí podle jakýchkoli mezer a prázdná místa zahodí. Na běžný text je to správná volba.
  • split(" ") dělí přesně podle jedné mezery, takže z každé další vznikne prázdný řetězec.
  • Číslo navíc omezuje počet řezů. Hodí se, když se oddělovač může objevit i v hodnotě.
  • partition vrátí vždy tři díly: před, oddělovač, za. rsplit řeže zprava.
Úkol

Oprav záznam ze starého systému

Z řetězce zaznam udělej text ve tvaru Jan Novák (Praha) a ulož ho do proměnné vysledek. Údaje jsou v pořadí příjmení, jméno, město. Kolem nich jsou zbytečné mezery a velikost písmen je náhodná.

zaznam = "  noVÁK ;  JAN ;praha  "

# doplň
Výstup

Hledat a kontrolovat

Operátor in odpoví ano nebo ne. Když potřebuješ i pozici, použij find. Ten vrátí index prvního výskytu, nebo -1, když nic nenajde. Sourozenec index dělá totéž, ale při neúspěchu skončí chybou ValueError.

startswith a endswith kontrolují začátek a konec. Umí vzít i n-tici možností.

adresa = "[email protected]"

print("@" in adresa)
print(adresa.find("@"))
print(adresa.find("#"))
print(adresa.count("a"))
print(adresa.startswith("objednavky"))
print(adresa.endswith((".cz", ".sk")))

zavinac = adresa.find("@")
print(adresa[zavinac + 1:])
Výstup
True
10
-1
3
True
True
pekarna-u-mostu.cz

Teď klasická past. strip vypadá, že odebírá text, ale ve skutečnosti odebírá sadu znaků z obou okrajů. Dokud narazí na cokoli z té sady, maže dál. Na odříznutí přesného začátku nebo konce slouží removeprefix a removesuffix.

soubor = "report.txt"

print(soubor.rstrip(".txt"))
print(soubor.removesuffix(".txt"))
print("foto_001.jpg".removeprefix("foto_"))
print("report.txt".removesuffix(".pdf"))

print("--- Nadpis ---".strip("- "))
Výstup
repor
report
001.jpg
report.txt
Nadpis

rstrip(".txt") smazal i poslední t ze slova report, protože t patří do sady. Takový bug projde každým testem, dokud se neobjeví soubor končící správným písmenem.

Kvíz

Co vrátí "data.csv".find("x")?

Úkol

Vyber jen fotky

Ze seznamu soubory vyber ty, které končí na .jpg nebo .png, bez ohledu na velikost písmen. Ulož je do seznamu fotky s původním zápisem a v původním pořadí.

soubory = ["Dovolena.JPG", "smlouva.pdf", "pes.jpg", "Kocka.PNG", "jpg.txt", "png"]

fotky = []
# doplň
Výstup

Text se nemění

Řetězec je neměnný. Žádná metoda nezmění původní text. Každá vrátí nový a ty si ho musíš uložit. Zapomenuté přiřazení je jedna z nejčastějších začátečnických chyb: kód běží, nic nehlásí a nic neudělá.

Protože metody vracejí řetězec, dají se řetězit za sebou. Funkce repr tady ukazuje text i s uvozovkami, takže jsou vidět mezery na krajích.

jmeno = "  jAN novÁK "

jmeno.strip()
print(repr(jmeno))

ciste = jmeno.strip().title()
print(repr(ciste))
print(repr(jmeno))

telefon = "123 456 789"
print(telefon.replace(" ", ""))
print(telefon.replace(" ", "-", 1))

jmeno[0] = "J"
Výstup
'  jAN novÁK '
'Jan Novák'
'  jAN novÁK '
123456789
123-456 789
Kvíz

Co vypíše tento kód: t = "ahoj", potom t.upper(), potom print(t)?

Formátování jako z tiskárny

F-string umí víc než vložit hodnotu. Za dvojtečkou může být formátovací specifikace, tedy předpis, jak má hodnota vypadat. Díky ní se sloupce srovnají bez počítání mezer.

text
{hodnota:zarovnání šířka .desetiny typ}

{nazev:<14}     vlevo, 14 znaků
{kusy:>3}       vpravo, 3 znaky
{cena:>10.2f}   vpravo, 10 znaků, 2 desetinná místa
polozky = [("Chléb", 42.5, 2), ("Máslo", 69.9, 1), ("Káva zrnková", 289, 1)]

print(f"{'položka':<14}{'ks':>3}{'cena':>10}")
print("-" * 27)

celkem = 0
for nazev, cena, kusy in polozky:
    soucet = cena * kusy
    celkem += soucet
    print(f"{nazev:<14}{kusy:>3}{soucet:>10.2f}")

print("-" * 27)
print(f"{'celkem':<14}{celkem:>13.2f}")
Výstup
položka        ks      cena
---------------------------
Chléb           2     85.00
Máslo           1     69.90
Káva zrnková    1    289.00
---------------------------
celkem               443.90

Další užitečné kousky: oddělovač tisíců, doplnění nulami, procenta, vlastní výplň a šířka v proměnné. Česká čísla mají mezeru a desetinnou čárku, což vyřeší dvě náhrady.

castka = 1234567.891

print(f"{castka:,.2f}")
print(f"{castka:,.2f}".replace(",", " ").replace(".", ","))

print(f"{7:03d}")
print(f"{0.1532:.1%}")
print(f"{255:x} {255:b}")
print(f"{'střed':*^11}")

sirka = 8
print(f"[{'ok':>{sirka}}]")

cena = 99
print(f"{cena=}")
print(f"{'text'!r}")

print(f"{2.675:.2f}")
Výstup
1,234,567.89
1 234 567,89
007
15.3%
ff 11111111
***střed***
[      ok]
cena=99
'text'
2.67

Poslední řádek není překlep. Číslo 2.675 se ve dvojkové soustavě nedá uložit přesně a ve skutečnosti je o chlup menší, takže se zaokrouhlí dolů. U peněz proto počítej v haléřích nebo s modulem decimal.

Úkol

Srovnaná účtenka

Pro každou položku vypiš jeden řádek: název zarovnaný vlevo na šířku 10, hned za ním cena zarovnaná vpravo na šířku 8 se dvěma desetinnými místy. Mezi sloupci nic dalšího.

polozky = [("Rohlík", 3.5), ("Mléko", 24.9), ("Sýr", 159)]

for nazev, cena in polozky:
    print(nazev, cena)
Výstup

Znaky, bajty a diakritika

Některé znaky se nedají napsat přímo, a tak se zapisují přes zpětné lomítko: \n je nový řádek a \t tabulátor. Samotné lomítko se píše \\. To je nepříjemné u cest ve Windows. Pomůže surový řetězec s písmenem r před uvozovkami, ve kterém lomítko nic zvláštního neznamená. Text přes více řádků se píše do trojitých uvozovek.

print("první řádek\n\tdruhý odsazený")
print("C:\\novy\\test")
print(r"C:\novy\test")

basen = """Kočka leze dírou,
pes oknem."""
print(basen)
print(len(basen.splitlines()))
Výstup
první řádek
	druhý odsazený
C:\novy\test
C:\novy\test
Kočka leze dírou,
pes oknem.
2

Každý znak má v normě Unicode své číslo. Když se text ukládá do souboru nebo posílá po síti, převede se na bajty, nejčastěji kódováním UTF-8. Písmena bez diakritiky zaberou jeden bajt, česká písmena s háčkem nebo čárkou dva.

A teď zrada: č se dá zapsat dvěma způsoby. Buď jako jeden hotový znak, nebo jako c následované samostatným háčkem. Na obrazovce vypadají stejně, ale Python je považuje za různé texty. Takové rozložené znaky chodí třeba z názvů souborů na Macu. Sjednotí je unicodedata.normalize.

import unicodedata

hotove = "č"
slozene = "c\u030c"

print(hotove, slozene, hotove == slozene)
print(len(hotove), len(slozene))
print(unicodedata.normalize("NFC", slozene) == hotove)

print(ord("č"), chr(269))
print("kůň".encode("utf-8"))
print(len("kůň"), len("kůň".encode("utf-8")))
print(b"k\xc5\xaf\xc5\x88".decode("utf-8"))
Výstup
č č False
1 2
True
269 č
b'k\xc5\xaf\xc5\x88'
3 5
kůň

Rozkladu se dá využít: forma NFD rozdělí písmena a značky a značky pak stačí vynechat. Tak vznikají adresy bez diakritiky. Řazení je další kapitola. sorted porovnává čísla znaků, takže velká písmena jdou před malá a č až za z.

import unicodedata

rozlozeno = unicodedata.normalize("NFD", "Žluťoučký kůň")

bez_hacku = ""
for znak in rozlozeno:
    if not unicodedata.combining(znak):
        bez_hacku += znak
print(bez_hacku)

print(sorted(["čaj", "Zuzana", "cukr", "adam", "Čenda", "dům"]))
Výstup
Zlutoucky kun
['Zuzana', 'adam', 'cukr', 'dům', 'Čenda', 'čaj']
Úkol

Adresa článku

Z textu nadpis vyrob adresu do proměnné slug: malá písmena, bez diakritiky, slova spojená pomlčkou, žádná interpunkce. Má vyjít prilis-zlutoucky-kun-upel-ale-bezel.

import unicodedata

nadpis = "Příliš žluťoučký kůň: úpěl, ale   běžel!"

# doplň
Výstup
Pod kapotou · jak CPython drží text v paměti

Od PEP 393 má každý řetězec pevnou šířku znaku podle svého největšího znaku: 1 bajt do U+00FF, 2 bajty do U+FFFF, jinak 4 bajty. Díky tomu je s[i] O(1) a len(s) je počet kódových bodů, ne bajtů. Cena: jedno emoji v megabajtovém ASCII logu zvětší celý řetězec čtyřikrát.

Kódový bod není to, co člověk vnímá jako znak. Emoji s odstínem pleti nebo vlajka mají len větší než 1, takže text[:100] může rozříznout viditelný znak napůl. Na hranice viditelných znaků (UAX #29) standardní knihovna nástroj nemá.

Opakované s += x v cyklu je podle jazyka kvadratické. CPython umí řetězec rozšířit na místě, když na něj nikdo jiný neukazuje, ale je to optimalizace implementace a PEP 8 na ni zakazuje spoléhat. Ve větším měřítku používej "".join(casti), který napřed spočítá délku a alokuje jednou.

import sys

for znak in ["a", "é", "č", "👍"]:
    narust = sys.getsizeof(znak * 2001) - sys.getsizeof(znak * 1001)
    print(znak, narust)

print("²".isdigit(), "²".isdecimal())
print(int("\u0664\u0662"))
print("řádek\u2028další\x0bkonec".splitlines())
print("1\xa0000".split())
print("Straße".lower(), "Straße".casefold(), "ß".upper())
Výstup
a 1000
é 1000
č 2000
👍 4000
True False
42
['řádek', 'další', 'konec']
['1', '000']
straße strasse SS

Co z toho kouše v produkci:

  • isdigit pustí ², na kterém int spadne. Přísnější je isdecimal, jenže int bere i arabsko-indické číslice. Při validaci vstupu proto kontroluj přímo znaky 0 až 9.
  • splitlines dělí i podle \x0b, \x0c, \x85 nebo \u2028. Iterace přes textový soubor dělí jen podle \n, \r a \r\n. Počty řádků se pak rozejdou a parser logů se rozpadne na jednom podivném znaku od uživatele.
  • split() i strip() berou nezlomitelnou mezeru \xa0 jako bílý znak, split(" ") ne. V datech z Excelu a webu je jí plno.
  • Bezpečné porovnání bez ohledu na velikost písmen je casefold, ne lower. Převod velikosti písmen může změnit délku textu, takže indexy z upravené kopie neplatí pro originál.
  • NFD nerozloží písmena bez skládané formy, například ł, ø nebo ß. Na slugy pro více jazyků je potřeba převodní tabulka přes str.translate.
  • Správné české řazení, kde ch leží za h, neřeší sorted ani casefold. Potřebuješ pravidla kolace: locale.strxfrm závisí na locale systému, přenositelně to umí knihovna PyICU.

Od Pythonu 3.12 (PEP 701) smí f-string uvnitř výrazu použít stejné uvozovky jako navenek a výrazy můžou mít víc řádků. Pokud kód běží i na starších verzích, tuhle volnost nepoužívej. Přehled voleb je v popisu formátovacího jazyka.