Slovník AI pojmov
Čo je Halucinácia AI?
Halucinácia je situácia, keď jazykový model vygeneruje tvrdenie, ktoré znie vierohodne, ale nie je podložené zdrojom ani pravdivé.
Model generuje text podľa pravdepodobnosti, nie podľa overenia faktov. Ak otázka presahuje to, čo sa naučil, alebo nemá k dispozícii správny kontext, medzeru doplní najpravdepodobnejším, nie nutne pravdivým pokračovaním.
V praxi to vyzerá napríklad tak, že chatbot vymyslí cenu produktu, ktorý firma nemá, alebo citáciu paragrafu, ktorý neexistuje. Odpoveď pritom znie rovnako sebavedomo ako správna.
Riziko sa znižuje najmä technikou RAG, kde model odpovedá z konkrétnych dokumentov a je vidieť zdroj, a pravidlom, aby pri neistote povedal, že odpoveď nevie, namiesto toho, aby si ju domyslel. Pri citlivých krokoch sa pridáva aj kontrola človeka (human-in-the-loop).
Príklad z praxe
Na otázku o produkte, ktorý firma nikdy nepredávala, chatbot bez ochrany odpovie vymyslenou cenou. So správne nastaveným RAG odpovie, že informáciu nemá, a ponúkne kontakt.