Engineering
Qu'est-ce qu'un token en IA ? Définition (LLM)
Définition d'un token : l'unité de base qu'un grand modèle de langage (LLM) lit et génère. Un mot vaut souvent 1 à 3 tokens. La facturation des LLM se fait au token.
25 juin 20261 min
Image de couverture
Un token est l'unité élémentaire qu'un grand modèle de langage manipule : un fragment de texte, souvent une partie de mot. En français, un mot vaut en moyenne 1 à 3 tokens.
Les LLM lisent et génèrent du texte token par token. C'est aussi l'unité de facturation des API d'IA (on paie au nombre de tokens en entrée et en sortie) — d'où l'importance d'optimiser ses prompts et de cacher les résultats pour maîtriser les coûts.
→ Maîtriser les coûts en production : guide LLMOps.