Un token est l'unité élémentaire qu'un grand modèle de langage manipule : un fragment de texte, souvent une partie de mot. En français, un mot vaut en moyenne 1 à 3 tokens.
Les LLM lisent et génèrent du texte token par token. C'est aussi l'unité de facturation des API d'IA (on paie au nombre de tokens en entrée et en sortie) — d'où l'importance d'optimiser ses prompts et de cacher les résultats pour maîtriser les coûts.
→ Maîtriser les coûts en production : guide LLMOps.
Équipe Origin 137Origin 137