Slovník AI pojmov

Čo je LLM (veľký jazykový model)?

LLM (veľký jazykový model) je model natrénovaný na obrovskom množstve textu, ktorý predpovedá najpravdepodobnejšie pokračovanie a tak generuje odpovede, zhrnutia či text.

Model sa učí na texte z webu, kníh a ďalších zdrojov. Cieľom trénovania je predpovedať ďalší token (časť slova) v texte. Z tejto úlohy sa naučí gramatiku, fakty aj štýl vyjadrovania.

LLM negeneruje odpoveď vyhľadaním faktu v databáze, ale slovo po slove, podľa pravdepodobnosti. Preto môže znieť sebavedomo aj vtedy, keď je odpoveď nesprávna, čo sa označuje ako halucinácia. Presnosť zlepšuje najmä kontext, ktorý modelu dodáte, napríklad cez RAG.

Vo firemnom nasadení sa LLM nepoužíva samostatne: dostáva prompt, kontext z vašich dokumentov a niekedy prístup k nástrojom. Veľkosť kontextového okna a cena za token určujú, koľko textu naraz spracuje a za akú cenu.

Príklad z praxe

Keď sa zákazník opýta chatbota na dodaciu lehotu, LLM odpoveď zloží vo vete z otázky a dodaných úryvkov webu, nevyhľadá ju v tabuľke.

Časté otázky

Aký je rozdiel medzi LLM a chatbotom?

LLM je model, ktorý generuje text. Chatbot je aplikácia okolo neho: rozhranie, pripojenie na vaše dáta a pravidlá, kedy odpovedať a kedy odovzdať konverzáciu človeku.

Prečo LLM niekedy odpovie nesprávne?

Model predpovedá pravdepodobné pokračovanie textu, nie overený fakt. Bez správneho kontextu z vašich dokumentov (RAG) môže vymyslieť odpoveď, ktorá znie logicky, ale nie je pravdivá.

Napíšte nám, čo riešite

Stačí e-mail a pár viet. Ozveme sa do jedného pracovného dňa s návrhom riešenia a orientačnou cenou. Úvodná konzultácia je zdarma a nezáväzná.

Čo je LLM (veľký jazykový model)?

Časté otázky

Súvisiace

Napíšte nám, čo riešite