Возможно, вы заметили, что планы подписки Gamma включают определенное количество токенов ИИ, и задались вопросом, что же такое токен?
Гамма использует определение токена, данное OpenAI:
Токены можно представить как фрагменты слов. Перед тем как API обработает запрос, входные данные разбиваются на токены. Эти лексемы не разрезаются точно на части, где начинаются или заканчиваются слова - лексемы могут включать пробелы и даже подслова.
То, как слова разбиваются на лексемы, также зависит от языка. Например, "Cómo estás" ("Какдела" на испанском) содержит 5 лексем (10 символов). Более высокое соотношение токенов к символам может привести к удорожанию реализации API для языков, отличных от английского.
План подписки Gamma Plus позволяет получать до 50 тысяч жетонов ИИ за поколение, а план подписки Gamma Pro - до 100 тысяч жетонов ИИ за поколение.
OpenAI предлагает бесплатный токенизатор, с помощью которого вы можете понять, как фрагмент текста может быть токенизирован языковой моделью, и узнать общее количество токенов в этом фрагменте текста: https://platform.openai.com/tokenizer