Field Note 003AI
RAG in de praktijk: AI die je eigen kennis kent
Retrieval-Augmented Generation laat een taalmodel antwoorden op basis van jouw documenten in plaats van zijn training. Hoe het werkt, wanneer je het kiest boven fine-tuning, en waar het misgaat.
Retrieval-Augmented Generation (RAG) is een techniek waarbij een taalmodel eerst de relevante passages uit jouw eigen bronnen ophaalt, en daarná pas een antwoord formuleert. Het model put niet uit zijn training, maar uit jouw documenten. Dat is het verschil tussen een AI die klinkt alsof het klopt en een AI die antwoordt op wat er echt in staat.
Het probleem dat RAG oplost
Een taalmodel op zichzelf heeft drie beperkingen: het weet niets van jouw interne kennis, zijn kennis heeft een einddatum, en het vult gaten op met plausibel klinkende onzin. RAG haalt die drie problemen weg door het antwoord te verankeren in bronnen die jij beheert en actueel houdt.
Hoe het werkt
De pijplijn valt uiteen in twee helften: eerst zoeken, dan schrijven. Daartussen zit de stap die de meeste mensen overslaan, en die het verschil maakt.
- Indexeren: documenten worden opgeknipt in stukken en omgezet in embeddings, opgeslagen in een vector-database.
- Retrieval: de vraag wordt zelf een embedding, waarmee de semantisch dichtstbijzijnde passages worden opgehaald.
- Augmentatie: die passages gaan als context mee in de prompt naar het model.
- Generatie: het model formuleert een antwoord dat op de opgehaalde bronnen steunt, met verwijzing naar de herkomst.
De kwaliteit van het antwoord wordt bepaald bij retrieval, niet bij generatie. Haal je de verkeerde passages op, dan schrijft het beste model nog steeds een verkeerd antwoord.
Wanneer RAG, wanneer fine-tuning
RAG en fine-tuning worden vaak als concurrenten gepresenteerd, maar ze lossen verschillende problemen op. RAG geeft het model kénnis; fine-tuning geeft het model gedrág.
| RAG | Fine-tuning | |
|---|---|---|
| Voegt toe | actuele, eigen kennis | stijl, toon, format |
| Actualiseren | bron bijwerken | opnieuw trainen |
| Bronvermelding | mogelijk | niet |
| Beste bij | feiten die veranderen | vaste manier van antwoorden |
Voor de meeste zakelijke toepassingen, van een interne kennisassistent tot ondersteuning van klantcontact, begin je met RAG. Fine-tuning voeg je pas toe als je een specifieke toon of output-vorm nodig hebt die je met prompting niet stabiel krijgt.
Waar het misgaat
De drie zaken die de kwaliteit bepalen:
- Chunking. Hoe je documenten opknipt, bepaalt of de juiste context ophaalbaar is.
- Evaluatie. Meet apart of de retrieval de goede passages vindt, los van of het antwoord goed klinkt.
- Bronnen op orde. RAG is zo goed als de documenten eronder. Versnipperde of verouderde bronnen produceren versnipperde, verouderde antwoorden.
RAG maakt van een taalmodel geen alwetend orakel, maar een goede lezer van jouw kennis. Dat is precies wat je in de praktijk nodig hebt.
Begin met een afgebakende bron, een meetbare vraag en een harde evaluatie op de retrieval. Pas als dat staat, is uitbreiden zinvol. RAG is geen truc die je aanzet, maar een systeem dat je onderhoudt.
