E = E / np.linalg.norm(E, axis=1, keepdims=True) # unit length
scores = E @ E[i] # cosine similarity
top = np.argsort(-scores)[:k] # best k
# distance² = 2 - 2 * cosine (for unit vectors)
emb = nn.Embedding(vocab_size, 64, padding_idx=0)
vectors = emb(ids) # (B, T) to (B, T, 64)
sim = torch.nn.functional.cosine_similarity(a, b, dim=-1)Tahák · Python · Neuronové sítě a moderní AI
Embeddingy a podobnost
Jak se ze slov stanou čísla, která nesou význam. Měříš podobnost, učíš vektory z textu a stavíš malé sémantické vyhledávání.