Slovník AI pojmov
Čo je Token?
Token je základná jednotka textu, s ktorou jazykový model pracuje: slovo, časť slova alebo znak. Model číta aj generuje text token po tokene a podľa ich počtu sa väčšinou aj platí za jeho použitie.
Model nevidí text ako súvislé vety, ale rozdelený na tokeny. Krátke bežné slovo býva jeden token, dlhšie alebo menej bežné slovo sa rozpadne na viac tokenov. Slovenčina s diakritikou sa delí na viac tokenov než rovnako dlhý anglický text, takže rovnaká odpoveď po slovensky stojí o niečo viac.
Poskytovatelia jazykových modelov účtujú cenu za tisíc alebo milión tokenov, samostatne za vstup (prompt aj kontext z RAG) a výstup (odpoveď). Prevádzkové náklady chatbota alebo agenta preto rastú s objemom konverzácií a dĺžkou dodávaného kontextu, nie s počtom mesiacov.
Počet tokenov, ktoré model dokáže spracovať naraz, obmedzuje aj kontextové okno. Dlhší dokument vložený do promptu znamená viac tokenov aj vyššiu cenu za danú odpoveď.
Príklad z praxe
Otázka zákazníka, tri nájdené úryvky z cenníka cez RAG a odpoveď chatbota spolu tvoria niekoľko stoviek tokenov, za ktoré sa platí poskytovateľovi modelu.