Bahasa Melayu, kod dan teks dengan banyak nombor atau simbol sering menggunakan lebih banyak token setiap perkataan daripada prosa Inggeris. Anggap hasil sebagai anggaran sahaja.
Soalan lazim
Apakah token?
Sekeping teks yang dibaca model bahasa, selalunya perkataan pendek atau sebahagian perkataan. Secara purata, satu token ialah kira-kira 4 aksara atau tiga perempat perkataan dalam bahasa Inggeris.
Seberapa tepat ini?
Ia panduan kasar. Kiraan sebenar bergantung pada pemtokenan model, bahasa dan kandungan, dan kod, nombor dan bahasa lain menggunakan lebih banyak token.
Bagaimana mendapat kiraan tepat?
Guna alat pemtokenan atau pengira token daripada pembekal AI anda, yang menggunakan peraturan model sendiri.