0 dní v řadě · 0 bodů

Tahák · Python · Neuronové sítě a moderní AI

Backpropagation a autograd

Pochopíš derivaci a řetízkové pravidlo, spočítáš gradient ručně a napíšeš vlastní automatické derivování, jaké mají velké frameworky.

Otevřít celou lekciVšechny taháky
python
# numerická derivace (jen ke kontrole)
(f(x + h) - f(x - h)) / (2 * h)

# pravidla pro zpětný průchod
# c = a + b:  a.grad += c.grad;      b.grad += c.grad
# c = a * b:  a.grad += b * c.grad;  b.grad += a * c.grad
# c = a ** n: a.grad += n * a ** (n - 1) * c.grad

# jeden krok
w.grad = 0.0            # vynulovat
L = ztrata(w)           # dopředu
L.backward()            # dozadu
w.hodnota -= lr * w.grad  # krok proti gradientu

# maticově: dL/dW = X.T @ g / n,  další vrstva dostane g @ W.T