0 dní v řadě · 0 bodů

Tahák · Python · Neuronové sítě a moderní AI

Mise: znakový jazykový model

Postavíš v NumPy malý jazykový model od nuly: slovník, bigramy, síť s kontextem a vlastním zpětným průchodem, teplotu a generování textu. A uvidíš, proč velké modely potřebují attention.

Otevřít celou lekciVšechny taháky
python
# okna kontextu
X = np.stack([ids[i:i + ctx] for i in range(len(ids) - ctx)])
y = ids[ctx:]

# dopředný průchod
x = E[X].reshape(len(X), -1)           # slepené embeddingy
h = np.tanh(x @ W1 + b1)
logity = h @ W2 + b2

# zpětný průchod (křížová entropie + softmax)
dl = softmax(logity); dl[np.arange(B), y] -= 1; dl /= B
dW2 = h.T @ dl
dp = (dl @ W2.T) * (1 - h ** 2)
dE = np.zeros_like(E); np.add.at(dE, X, (dp @ W1.T).reshape(B, ctx, -1))

# generování
p = softmax(logity / T)
dalsi = rng.choice(V, p=p)

# měření: ztráta na ověření, podlaha = nejistota / délka
# velké modely: attention + maska + AdamW, stejný cíl (další token)