Slovník AI pojmov
Čo je Kontextové okno?
Kontextové okno je maximálny počet tokenov, vstupu aj výstupu dohromady, ktoré jazykový model dokáže spracovať v jednej odpovedi.
Do kontextového okna sa zmestí všetko, čo model pri odpovedi „vidí“: systémový prompt, história konverzácie, úryvky dodané cez RAG aj samotná odpoveď. Keď sa presiahne, najstaršiu časť treba orezať alebo zhrnúť.
Väčšie kontextové okno umožňuje poslať modelu viac podkladov naraz, napríklad dlhší dokument alebo dlhšiu históriu rozhovoru. Nerieši to však presnosť vyhľadávania: aj pri veľkom okne treba cez vektorovú databázu vybrať tie správne úryvky, nie posielať všetko.
Pre firmu je dôsledok praktický: pri dlhých rozhovoroch alebo objemných dokumentoch môže chatbot „zabudnúť“ na začiatok konverzácie, ak presiahne kontextové okno. Dobre nastavený systém preto pracuje s históriou a kontextom úsporne.
Príklad z praxe
Pri dlhšom rozhovore o viacerých produktoch môže chatbot po presiahnutí kontextového okna stratiť detail spomenutý na začiatku, ak systém históriu priebežne nezhŕňa.