# dávky
poradi = rng.permutation(n)
for s in range(0, n, velikost):
i = poradi[s:s + velikost]
v = beta * v + g; w -= lr * v # momentum
m = b1 * m + (1 - b1) * g # Adam
q = b2 * q + (1 - b2) * g ** 2
w -= lr * (m / (1 - b1**t)) / (np.sqrt(q / (1 - b2**t)) + eps)
lr = lr_max * 0.5 * (1 + np.cos(np.pi * t / T)) # kosinový plán
W = rng.randn(a, b) * np.sqrt(2 / a) # He pro ReLU
h = h * (rng.rand(*h.shape) >= p) / (1 - p) # dropout, jen trénink
g = g * min(1, max_norma / norma) # ořezání gradientuTahák · Python · Neuronové sítě a moderní AI
Optimalizátory a trénink sítí
Minibatche, učicí krok, momentum a Adam, inicializace, dropout i předčasné zastavení. Nakonec celý tréninkový cyklus v NumPy.