def attention(Q, K, V, mask=None):
s = Q @ K.swapaxes(-1, -2) / np.sqrt(Q.shape[-1])
if mask is not None:
s = np.where(mask, s, -np.inf) # False = hidden
e = np.exp(s - s.max(axis=-1, keepdims=True))
a = e / e.sum(axis=-1, keepdims=True)
return a @ V, a
causal = np.tril(np.ones((T, T), dtype=bool))
heads = x.reshape(B, T, H, D // H).transpose(0, 2, 1, 3)
F.scaled_dot_product_attention(q, k, v, attn_mask=allowed) # True = use
nn.MultiheadAttention(dim, heads, batch_first=True) # True = blockTahák · Python · Neuronové sítě a moderní AI
Attention od nuly
Napíšeš scaled dot-product attention, masky, poziční kódování i více hlav v NumPy a natrénuješ model, který si sám najde správnou položku.