Slovník AI pojmov
Čo je Fine-tuning?
Fine-tuning je dodatočné trénovanie už existujúceho jazykového modelu na vlastných dátach, po ktorom model trvalo zmení spôsob odpovedania.
Kým RAG dodá modelu kontext pri každej otázke bez zásahu do modelu samotného, fine-tuning model skutočne pretrénuje na množstve príkladov, napríklad na pároch otázka-odpoveď z vlastnej firmy. Zmena je trvalá a prejaví sa aj bez ďalšieho kontextu.
Vyžaduje väčšie množstvo kvalitných trénovacích dát, výpočtový výkon a opakovanie pri každej zmene, ktorú chcete premietnuť. Náklady aj čas sú preto rádovo vyššie než úprava promptu alebo doplnenie znalostnej bázy.
Vo väčšine firemných nasadení preto stačí RAG a dobre napísaný prompt: obsah sa dá meniť priebežne, bez trénovania. Fine-tuning sa oplatí až pri špecifickej úlohe, ktorú RAG a prompt nedokážu naučiť, napríklad pri veľmi špecifickom štýle alebo formáte odpovede pri vysokom objeme.
Príklad z praxe
Namiesto fine-tuningu na tisícoch starých e-mailov podpory sa bežne najprv skúša RAG nad znalostnou bázou a presnejší prompt. Fine-tuning prichádza do úvahy, až keď to nestačí.