# greedy vs sampling
token = probs.argmax()
token = rng.choice(len(probs), p=probs)
# temperature
p = softmax(logits / T)
# top-k
keep = np.argsort(p)[::-1][:k]
# top-p
order = np.argsort(p)[::-1]
keep = order[:np.searchsorted(np.cumsum(p[order]), top_p) + 1]
# training target: the same tokens shifted by one
x, y = ids[:-1], ids[1:]
perplexity = np.exp(mean_cross_entropy)Tahák · Python · Neuronové sítě a moderní AI
Jak fungují velké jazykové modely
Tokeny, předpověď dalšího slova, teplota, top-k, top-p, chatová šablona a proč si model umí sebejistě vymýšlet.