Es posible que se haya dado cuenta de que los planes de suscripción de Gamma incluyen recuentos específicos de tokens de IA, y se haya preguntado, ¿qué es exactamente un token?
Gamma utiliza la definición de token de OpenAI:
Los tokens son fragmentos de palabras. Antes de que la API procese la solicitud, la entrada se divide en tokens. Estos tokens no se cortan exactamente donde empiezan o acaban las palabras, sino que pueden incluir espacios al final e incluso subpalabras.
La división de las palabras en tokens también depende del idioma. Por ejemplo, "Cómo estás"contiene 5 tokens (para 10 caracteres). La mayor proporción entre tokens y caracteres puede encarecer la implementación de la API en idiomas distintos del inglés.
El plan de suscripción Plus de Gamma permite hasta 50.000 tokens de IA por generación, y el plan de suscripción Pro de Gamma permite hasta 100.000 tokens de IA por generación.
OpenAI ofrece un tokenizador gratuito, que puede utilizarse para comprender cómo un fragmento de texto puede ser tokenizado por un modelo lingüístico, y el recuento total de tokens en ese fragmento de texto: https://platform.openai.com/tokenizer