Anda mungkin telah memperhatikan bahwa paket langganan Gamma menyertakan jumlah token AI tertentu, dan bertanya-tanya, apa sebenarnya yang dimaksud dengan token?
Gamma menggunakan definisi OpenAI tentang token:
Token dapat dianggap sebagai potongan-potongan kata. Sebelum API memproses permintaan, input dipecah menjadi token. Token-token ini tidak dipotong persis di mana kata-kata dimulai atau diakhiri - token dapat menyertakan spasi dan bahkan sub-kata.
Bagaimana kata-kata dipecah menjadi token juga bergantung pada bahasa. Misalnya 'Cómo estás' ('Apa kabar' dalam bahasa Spanyol) berisi 5 token (untuk 10 karakter). Rasio token-ke-karakter yang lebih tinggi dapat membuatnya lebih mahal untuk mengimplementasikan API untuk bahasa selain bahasa Inggris.
Paket berlangganan Gamma's Plus memungkinkan hingga 50 ribu token AI per generasi, dan paket berlangganan Gamma's Pro memungkinkan hingga 100 ribu token AI per generasi.
OpenAI menawarkan tokenizer gratis, yang dapat Anda gunakan untuk memahami bagaimana sebuah teks dapat ditokenisasi oleh sebuah model bahasa, dan jumlah total token dalam teks tersebut: https://platform.openai.com/tokenizer