Qu'est-ce qu'un token en IA ?
Un token est la plus petite unité de texte qu'un modèle d'IA générative manipule pour lire ou produire du langage : approximativement un mot, une partie de mot, ou un signe de ponctuation. C'est l'unité de mesure utilisée pour évaluer la longueur d'un texte traité par l'IA.
Un modèle de langage ne traite pas le texte lettre par lettre ni mot par mot au sens strict : il le découpe en tokens, des fragments qui peuvent correspondre à un mot entier, une partie de mot, ou un caractère. En français, un mot représente en moyenne 1,3 à 2 tokens.
Cette notion a une conséquence pratique directe : chaque modèle d'IA a une limite de tokens qu'il peut traiter en une seule fois (le « contexte »), ce qui détermine la longueur maximale d'un document qu'on peut lui soumettre.
En pratique, dans un cabinet
Pour un document volumineux (une liasse fiscale complète, un grand livre dense), la capacité de contexte du modèle choisi devient un critère important. C'est un des points que nous abordons dans nos formations lors du choix de l'outil adapté à chaque situation.
Deux exemples concrets
En cabinet. Une liasse fiscale complète avec ses annexes peut représenter plusieurs dizaines de milliers de tokens. Selon le modèle et l'outil, elle tient dans la fenêtre de contexte en une fois, ou doit être découpée en parties. Savoir cela évite des réponses tronquées ou incomplètes.
Ce qu'il faut retenir
- Les tokens comptent dans les deux sens : ce que vous envoyez et ce que le modèle répond. Une réponse longue consomme aussi du contexte.
- Sur les offres facturées à l'usage (API), le coût est calculé en tokens ; sur les abonnements, la limite se manifeste par des plafonds d'échanges.
- Un document bien préparé (pertinent, sans pages inutiles) donne de meilleurs résultats qu'un document exhaustif qui sature le contexte.
Un token correspond-il toujours à un mot entier ?
Non, un token peut représenter un mot entier, une partie de mot, ou même un seul caractère selon la complexité du terme. Les mots courants sont souvent un seul token, les mots rares peuvent en compter plusieurs.
Pourquoi la limite de tokens est-elle importante ?
Elle détermine la quantité de texte qu'un modèle peut lire et produire en une seule fois. Pour analyser un document très long, il faut donc un modèle avec une capacité de contexte suffisante.
Combien de pages tiennent dans une fenêtre de contexte ?
Cela varie selon le modèle. À titre indicatif, 1 000 tokens correspondent à environ 600 à 750 mots en français, soit une à deux pages. Les modèles récents acceptent des contextes de plusieurs centaines de milliers de tokens, mais la qualité d'analyse peut baisser sur les documents très longs ; découper reste souvent préférable.
Les tableaux et les PDF consomment-ils plus de tokens que du texte ?
Souvent, oui. Un PDF converti en texte contient des en-têtes répétés, des numéros de page et des mises en forme qui comptent comme des tokens sans apporter d'information. Nettoyer le document avant de le soumettre améliore à la fois le coût et la qualité.
Ce sujet est travaillé en pratique dans notre formation IA pour experts-comptables.
Voir ce concept appliqué à votre métier
OPTIGEN CONSEIL, organisme de formation certifié Qualiopi. Contact : raphael.detroye@optigen.fr, 06 60 03 15 11.
Prendre rendez-vous