Un token est la plus petite unité de texte qu'un modèle d'IA générative manipule pour lire ou produire du langage — approximativement un mot, une partie de mot, ou un signe de ponctuation. C'est l'unité de mesure utilisée pour évaluer la longueur d'un texte traité par l'IA.
Un modèle de langage ne traite pas le texte lettre par lettre ni mot par mot au sens strict : il le découpe en tokens, des fragments qui peuvent correspondre à un mot entier, une partie de mot, ou un caractère. En français, un mot représente en moyenne 1,3 à 2 tokens.
Cette notion a une conséquence pratique directe : chaque modèle d'IA a une limite de tokens qu'il peut traiter en une seule fois (le « contexte »), ce qui détermine la longueur maximale d'un document qu'on peut lui soumettre.
Pour un document volumineux — une liasse fiscale complète, un dossier de PLU dense — la capacité de contexte du modèle choisi devient un critère important. C'est un des points que nous abordons dans nos formations lors du choix de l'outil adapté à chaque situation.
Non, un token peut représenter un mot entier, une partie de mot, ou même un seul caractère selon la complexité du terme. Les mots courants sont souvent un seul token, les mots rares peuvent en compter plusieurs.
Elle détermine la quantité de texte qu'un modèle peut lire et produire en une seule fois. Pour analyser un document très long, il faut donc un modèle avec une capacité de contexte suffisante.
OPTIGEN CONSEIL — organisme de formation certifié Qualiopi. Contact : Alexandre Brubach — alexandre.brubach@ieseg.fr — 06 60 03 15 11.
Prendre rendez-vous