PALABRAS
Token
En simple
La unidad pequeña con la que un modelo lee y construye texto.
Cómo lo entendí
Un token es una pequeña unidad de texto que un modelo utiliza para procesar y generar lenguaje.
No siempre corresponde a una palabra completa: puede ser una palabra, parte de ella o incluso un signo.