Lexique de l’IA · Les fondamentaux
C’est quoi, un token ?
En bref : Un token est un morceau de texte, l’unité que lit un modèle de langage. Avant de lire, le modèle découpe le texte en tokens, qui peuvent être un mot entier, un bout de mot, un signe, un chiffre ou un emoji. Tout se compte en tokens : ce que le modèle peut lire d’un coup, la longueur de sa réponse et le prix facturé.
La réponse en dessin, en 1 min 34
Dans cet épisode
Prenez Inès : elle colle un rapport de 50 pages dans son assistant et demande un résumé. Réponse : « trop long : 40 000 tokens, limite 32 000 ». Des tokens ? Elle comptait des pages.
Un token, c’est un morceau de texte. Le modèle ne lit pas des mots : avant de lire, il découpe. « Le chaton dort » : trois mots, cinq tokens. Dans cet épisode : ce qu’est un token (mot entier, bout de mot, signe, chiffre, emoji), pourquoi tout se compte en tokens (ce que le modèle lit d’un coup, la longueur de sa réponse, le prix), les ordres de grandeur (une page ≈ 700 tokens, un livre ≈ 200 000), pourquoi le français coûte un tiers de tokens de plus que l’anglais, et pourquoi l’IA peut se tromper en comptant les « r » de « fraise ».
Les chapitres
Lire la transcription
Inès et le rapport trop long
C’est quoi, un token ? Inès colle un rapport de cinquante pages dans son assistant : « résume-le ». Réponse : « trop long : quarante mille tokens, limite trente-deux mille ». Des tokens ? Elle comptait des pages.
Un token : un morceau de texte
Un token, c’est un morceau de texte. Le modèle ne lit pas des mots : avant de lire, il découpe en morceaux. « Le chaton dort » : trois mots, cinq tokens, car « chaton » est coupé en deux.
Mot entier, bout de mot, signe, chiffre, emoji
Un token : un mot entier, un bout de mot, un signe, un chiffre, un emoji. Les mots courants font un token ; les rares ou les longs, plusieurs.
Tout se compte en tokens : lire, répondre, payer
Pourquoi ça compte ? Tout se mesure en tokens : ce que le modèle peut lire d’un coup, la longueur de sa réponse, et le prix. Une page : sept cents tokens. Un livre : deux cent mille.
Le rapport d’Inès : deux solutions
Le rapport d’Inès ? Elle le coupe en deux, ou prend un modèle qui lit plus large. Et en français, comptez un tiers de tokens de plus qu’en anglais.
Des tokens, pas des lettres
Une limite : il voit des tokens, pas des lettres. Combien de « r » dans « fraise » ? Il peut se tromper. Et chaque modèle découpe à sa façon.
À retenir
Retenez : un token est un morceau de texte. Le modèle lit, répond et facture en tokens. Trop long ? Coupez.
Voir aussi
D’autres mots en vidéo : Les fondamentaux
-
-
C’est quoi, le machine learning ?
1 min 36
-
C’est quoi, l’IA générative ?
1 min 42
-
C’est quoi, un LLM ?
1 min 39
-
C’est quoi, un embedding ?
1 min 38
-
C’est quoi, l’inférence ?
1 min 37
Un mot vous manque ?
Les prochaines vidéos partent des questions qu’on me pose. Dites-moi lequel vous bloque, je l’ajoute.