Token & Karakter Sayacı

Token, yapay zeka dil modellerinin metni işlerken kullandığı en küçük birimdir. Bir token bir kelimenin parçası, tam bir kelime veya bir noktalama işareti olabilir. Modeller metni token token okur ve hem maliyet hem de bağlam sınırları token sayısı üzerinden hesaplanır.

Yaklaşık olarak İngilizce'de 1 token ≈ 4 karakter, Türkçe'de ise ~3–3,5 karakterdir. Kelimeye göre kaba bir tahmin için 1 kelime ≈ 1,3 token kabul edilir. Bunlar yaklaşık değerlerdir; kesin sayı modelin tokenizer'ına bağlıdır.

Türkçe sondan eklemeli bir dildir ve çoğu model ağırlıklı olarak İngilizce metinle eğitilmiştir. Bu nedenle Türkçe kelimeler tokenizer tarafından daha çok parçaya bölünür ve aynı anlam İngilizce'ye kıyasla daha fazla token tüketebilir. Araçta Türkçe için daha yoğun bir oran (karakter/3,3) kullanıyoruz.

Bağlam penceresi (context window), bir modelin tek bir istekte işleyebildiği toplam token sayısıdır; hem gönderdiğiniz girdiyi hem de modelin ürettiği çıktıyı kapsar. Metniniz bu sınırı aşarsa modele tamamı sığmaz. Araç, seçtiğiniz modelin penceresine göre metnin yüzde kaçının dolduğunu gösterir.

Bu araç tahmini bir sayım yapar. Gerçek token sayısı, her sağlayıcının kendi tokenizer'ına (örneğin farklı modellerin farklı sözcük dağarcığına) göre değişir. Kesin sayı için ilgili sağlayıcının resmi tokenizer'ını kullanın; buradaki değerleri planlama amaçlı bir tahmin olarak değerlendirin.

Token sayısı hem maliyeti hem de sınırları belirler: API kullanımı genelde 1 milyon token başına ücretlendirilir ve metniniz modelin bağlam penceresine sığmak zorundadır. Token tahmini, hangi modeli seçeceğinizi, maliyeti ve metni bölme ihtiyacını önceden planlamanıza yardımcı olur.