OpenAI propose un outil qui explique comment ses modèles de langage décomposent le langage en tokens.
Un token, c'est une unité de texte utilisée par une intelligence artificielle pour comprendre et traiter le langage. Il peut s'agir d'un mot, d'une partie de mot ou même d'un caractère. Les intelligences artificielles ne lisent pas les phrases comme les humains. Elles analysent le texte en petits morceaux appelés tokens, ce qui leur permet de :

  • Comprendre la structure d'une phrase
  • Prédire les mots suivants
  • Traduire ou générer du texte