Você deve ter notado que os planos de assinatura da Gamma incluem contagens específicas de tokens de IA e se perguntou: o que exatamente é um token?
A Gamma usa a definição de token da OpenAI:
Os tokens podem ser considerados como pedaços de palavras. Antes de a API processar a solicitação, a entrada é dividida em tokens. Esses tokens não são cortados exatamente onde as palavras começam ou terminam - os tokens podem incluir espaços finais e até mesmo subpalavras.
A forma como as palavras são divididas em tokens também depende do idioma. Por exemplo, "Cómo estás" ("Como você está" em espanhol) contém 5 tokens (para 10 caracteres). A maior proporção de tokens por caractere pode tornar mais cara a implementação da API em outros idiomas além do inglês.
O plano de assinatura Plus da Gamma permite até 50 mil tokens de IA por geração, e o plano de assinatura Pro da Gamma permite até 100 mil tokens de IA por geração.
A OpenAI oferece um tokenizador gratuito, que você pode usar para entender como um trecho de texto pode ser tokenizado por um modelo de linguagem e a contagem total de tokens nesse trecho de texto: https://platform.openai.com/tokenizer