Vous avez peut-être remarqué que les plans d'abonnement de Gamma comprennent des nombres spécifiques de jetons d'IA, et vous vous êtes demandé ce qu'était exactement un jeton
Gamma utilise la définition d'un jeton d'OpenAI :
Les jetons peuvent être considérés comme des morceaux de mots. Avant que l'API ne traite la demande, l'entrée est décomposée en jetons. Ces jetons ne sont pas découpés exactement à l'endroit où les mots commencent ou se terminent - les jetons peuvent inclure des espaces de fin et même des sous-mots.
La manière dont les mots sont divisés en jetons dépend également de la langue. Par exemple, "Cómo estás" ("Comment allez-vous" en espagnol) contient 5 jetons (pour 10 caractères). Le rapport plus élevé entre les tokens et les caractères peut rendre plus coûteuse la mise en œuvre de l'API pour les langues autres que l'anglais.
Le plan d'abonnement Plus de Gamma permet d'obtenir jusqu'à 50 000 jetons d'IA par génération, et le plan d'abonnement Pro de Gamma permet d'obtenir jusqu'à 100 000 jetons d'IA par génération.
OpenAI propose un tokenizer gratuit, que vous pouvez utiliser pour comprendre comment un morceau de texte peut être tokenisé par un modèle de langage, et le nombre total de tokens dans ce morceau de texte : https://platform.openai.com/tokenizer