감마의 구독 요금제에 특정 AI 토큰 수가 포함되어 있는 것을 보고 토큰이 정확히 무엇인지 궁금해하셨을 것입니다
감마는 OpenAI의 토큰 정의를 사용합니다:
토큰은 단어의 조각으로 생각할 수 있습니다. API가 요청을 처리하기 전에 입력은 토큰으로 나뉩니다. 이러한 토큰은 단어가 시작하거나 끝나는 곳에서 정확히 잘리지 않으며, 토큰에는 후행 공백과 하위 단어까지 포함될 수 있습니다.
단어가 토큰으로 분할되는 방식도 언어에 따라 다릅니다. 예를 들어 'Cómo estás'(스페인어로 '어떻게 지내세요')는 5개의 토큰(10자)을 포함합니다. 토큰 대 문자 비율이 높을수록 영어 이외의 언어에 대한 API를 구현하는 데 더 많은 비용이 발생할 수 있습니다.
감마 플러스 구독 플랜은 세대당 최대 5만 개의 AI 토큰을, 감마 프로 구독 플랜은 세대당 최대 10만 개의 AI 토큰을 허용합니다.
OpenAI는 언어 모델에 의해 텍스트가 토큰화되는 방식과 해당 텍스트의 총 토큰 수를 이해하는 데 사용할 수 있는 무료 토큰화 도구를 제공합니다 (https://platform.openai.com/tokenizer)