Gamma'nın abonelik planlarının belirli AI token sayılarını içerdiğini fark etmiş ve bir token'ın tam olarak ne olduğunu merak etmiş olabilirsiniz
Gamma, OpenAI'nin token tanımını kullanır:
Jetonlar kelime parçaları olarak düşünülebilir. API isteği işlemeden önce girdi belirteçlere ayrılır. Bu belirteçler kelimelerin tam olarak başladığı veya bittiği yerde kesilmez - belirteçler sondaki boşlukları ve hatta alt kelimeleri içerebilir.
Kelimelerin belirteçlere nasıl bölüneceği de dile bağlıdır. Örneğin 'Cómo estás' (İspanyolca'da 'Nasılsın') 5 belirteç içerir (10 karakter için). Daha yüksek token/char oranı, API'nin İngilizce dışındaki diller için uygulanmasını daha pahalı hale getirebilir.
Gamma'nın Plus abonelik planı nesil başına 50 bin YZ tokenine kadar izin verirken, Gamma'nın Pro abonelik planı nesil başına 100 bin YZ tokenine kadar izin vermektedir.
OpenAI, bir metin parçasının bir dil modeli tarafından nasıl tokenize edilebileceğini ve bu metin parçasındaki toplam token sayısını anlamak için kullanabileceğiniz ücretsiz bir tokenizer sunar: https://platform.openai.com/tokenizer