Wat is RAG en hoe laat je AI antwoorden uit je eigen documenten?

RAG (retrieval-augmented generation) is een techniek in AI waarbij een AI-toepassing eerst relevante passages uit een eigen verzameling documenten ophaalt en een LLM pas daarna het antwoord laat formuleren. Zo baseert het taalmodel zijn antwoord op jouw handboek, dossier of beleid in plaats van alleen op zijn trainingsdata.

RAG lost drie problemen op die elk taalmodel heeft: het mist jouw eigen documenten, zijn kennis stopt bij de trainingsdatum en het antwoord heeft geen controleerbare bron. Door eerst te zoeken en dan te schrijven, krijgt het antwoord die bron wel.

De werking bestaat uit twee fasen. Vooraf knipt het systeem documenten in stukken en maakt het ze doorzoekbaar; bij elke vraag haalt het systeem de best passende stukken op en voegt die aan de prompt toe.

RAG verkleint het risico op verzonnen antwoorden, maar heft het niet op. Wat je van een RAG-toepassing verwacht, hangt verder af van het verschil met MCP en van varianten als GraphRAG en agentic RAG.

Waar staat RAG voor?

RAG staat voor retrieval-augmented generation: het genereren van tekst (generation), aangevuld (augmented) met informatie die eerst is opgehaald (retrieval). Een taalmodel met RAG schrijft dus niet uit zijn geheugen, maar op basis van gevonden passages.

De term komt uit een paper van Patrick Lewis en collega’s van Facebook AI Research, University College London en New York University. Lewis e.a. publiceerden het paper in mei 2020 op arXiv; later dat jaar verscheen het in de proceedings van NeurIPS.

Lewis en zijn coauteurs beschrijven RAG als een combinatie van twee soorten geheugen: de kennis die in het model zelf zit en een doorzoekbare index van documenten. Die index vervang je zonder het model opnieuw te trainen.

Welk probleem lost RAG op?

RAG lost het probleem op dat een taalmodel alleen werkt met wat in zijn trainingsdata stond. Jouw werkinstructies, klantdossiers en de stand van zaken van deze week zitten daar niet in.

Daaruit volgen drie problemen: het model mist eigen kennis, zijn kennis veroudert en het antwoord heeft geen controleerbare bron. Lewis e.a. noemden herkomst tonen en kennis bijwerken in 2020 expliciet als open problemen voor taalmodellen.

Een model zonder bron vult gaten op met tekst die plausibel klinkt. Zo’n AI hallucinatie komt minder vaak voor zodra het model met opgehaalde passages werkt, omdat het antwoord dan aan een concreet stuk tekst vastzit.

Hoe werkt RAG?

RAG werkt in twee fasen: eerst maak je de documenten doorzoekbaar, daarna haalt het systeem bij elke vraag de passende stukken op en laat het taalmodel antwoorden. Samen heten die stappen een RAG-pipeline, met een retriever die zoekt en een generator die schrijft.

Wat gebeurt er vooraf met je documenten?

Vooraf bereidt het systeem je documenten in drie stappen voor. Eerst knipt het systeem elk document in kortere stukken; dat heet chunking. Een contract van veertig pagina’s wordt zo een reeks passages van een paar alinea’s.

Daarna zet een embeddingmodel elk stuk om in een embedding: een lange reeks getallen die de betekenis vastlegt. Passages over hetzelfde onderwerp krijgen vergelijkbare getallen, ook wanneer ze andere woorden gebruiken. De embeddings komen in een vectordatabase, die snel op betekenis zoekt.

Wat in die database staat, bepaalt wat RAG terugvindt. Verouderde versies, dubbele bestanden en onleesbare scans komen gewoon in het antwoord terecht. Opgeschoonde bronbestanden zijn daarom de eerste stap in AI data readiness, nog voordat een kantoor met RAG begint.

Wat gebeurt er als je een vraag stelt?

Bij een vraag zet RAG eerst ook jouw vraag om in een embedding. De vectordatabase geeft de passages terug die qua betekenis het dichtst bij de vraag liggen, meestal een handvol stukken.

Die passages gaan samen met je vraag de prompt in, met de instructie om alleen op basis van die tekst te antwoorden. Daarna formuleert het taalmodel het antwoord en verwijst het, wanneer de toepassing daarom vraagt, naar de stukken waaruit het put.

Die bronverwijzing is het controlepunt. Een medewerker opent de genoemde passage en toetst of het antwoord er echt in staat, voordat het naar een klant gaat.

Waar gebruik je RAG op kantoor?

RAG gebruik je op kantoor overal waar het antwoord al in je eigen documenten staat, maar het zoeken tijd kost. Vier toepassingen komen vaak terug:

• Interne kennisbank: vragen over het kwaliteitshandboek, werkinstructies of het verlofbeleid beantwoorden met een verwijzing naar de juiste paragraaf.
• Dossiervragen: in een omvangrijk klantdossier opzoeken welke afspraken over een termijn of bedrag zijn vastgelegd.
• Vakliteratuur: beroepsregels, richtlijnen en eigen adviesmemo’s doorzoeken op één specifieke vraag.
• Klantvragen: een conceptantwoord opstellen op basis van de eigen algemene voorwaarden en tarievenlijst.

Hetzelfde principe pas ik toe op zzpgeldzaken.nl: de cijfers staan daar niet in de tekst maar in een database die ik met AI heb opgezet. De feiten komen uit een bron die ik zelf beheer; het model schrijft alleen de tekst eromheen.

Die database bevatte in het begin veel fouten, waardoor berekeningen op de site niet klopten. Een eigen bron maakt antwoorden dus herleidbaar, niet automatisch juist.

Wat zijn de beperkingen van RAG?

RAG heeft vier beperkingen die meewegen voordat je op de uitkomst vertrouwt. De eerste: ook met RAG produceert een model onjuiste antwoorden.

Magesh e.a. testten in mei 2024 de juridische onderzoekstools van LexisNexis en Thomson Reuters, die op RAG gebaseerd zijn. Volgens dat onderzoek hallucineerden die tools in 17 tot 33 procent van de gevallen.

De tweede beperking zit in het ophalen: pakt de retriever het verkeerde stuk, dan antwoordt het model overtuigend op basis van de verkeerde tekst. De derde: taalmodellen benutten informatie midden in een lange context slechter dan aan het begin of eind, bleek in 2023 uit onderzoek van Liu e.a.

De vierde is organisatorisch. Een index met alle dossiers toont een medewerker ook passages uit dossiers waar hij geen toegang toe heeft. Rechten per map of dossier in de RAG-toepassing voorkomen dat.

Wat is het verschil tussen RAG en MCP?

RAG en MCP lossen elk een ander probleem op: RAG is een techniek om de juiste stukken tekst te vinden, MCP is een standaard om systemen aan te sluiten. Via MCP, het Model Context Protocol, maakt een AI-toepassing op één vaste manier verbinding met bestanden, databases en tools.

Volgens de MCP-documentatie bepaalt de toepassing zelf wat ze met de aangesloten gegevens doet, bijvoorbeeld de relevante delen selecteren door te zoeken met embeddings. Die zoekstap is precies wat RAG doet.

De twee sluiten elkaar dus niet uit. MCP levert de aansluiting op een dossiersysteem, RAG bepaalt welke passages uit dat systeem in de prompt komen.

Wat is GraphRAG?

GraphRAG is een variant van RAG die Microsoft Research in april 2024 publiceerde (Edge e.a.). Een taalmodel bouwt daarbij eerst een kennisgraaf: een netwerk van entiteiten zoals personen, organisaties en onderwerpen, met een samenvatting per groep verwante entiteiten.

GraphRAG is bedoeld voor vragen over een hele verzameling, waar gewone RAG zwak in is. Een voorbeeld is de vraag welke thema’s terugkomen in alle klachtdossiers van dit jaar; gewone RAG haalt daarvoor een handvol passages op en mist het overzicht.

Microsoft publiceerde GraphRAG als open source. Bij het indexeren verwerkt het taalmodel vooraf alle tekst, en de eigen documentatie waarschuwt dat die stap duur uitvalt.

Wat is agentic RAG?

Agentic RAG is RAG waarbij een AI-agent het ophalen stuurt: de agent bepaalt zelf wat hij zoekt, beoordeelt de resultaten en zoekt zo nodig opnieuw.

De term heeft geen vaste definitie. Een overzichtsstudie van Singh e.a. uit januari 2025 omschrijft agentic RAG als autonome agents in de ophaalstap, zodat het systeem zich aanpast aan vragen die meerdere stappen vereisen.

Meer stappen betekent meer plekken waar het misgaat. Bij agentic RAG weegt de bronverwijzing in het eindantwoord daarom nog zwaarder dan bij gewone RAG.

Is RAG hetzelfde als fine-tunen?

Nee, RAG is iets anders dan fine-tunen. Bij RAG blijft het model ongewijzigd en krijgt het per vraag extra tekst mee; bij fine-tunen pas je de modelgewichten aan met extra training.

Voor kennis die vaak verandert, zoals dossiers en beleid, past RAG beter, omdat je een document vervangt zonder opnieuw te trainen.

Blijven je documenten vertrouwelijk bij RAG?

RAG traint het model niet op je documenten, maar de opgehaalde passages gaan wel mee naar de dienst die het model draait. Wat daar met die tekst gebeurt, hangt af van de aanbieder, het accounttype en de afspraken met de verwerker.

Voor persoonsgegevens geldt de AVG: verwerken vraagt een grondslag en afspraken met de verwerker. Leg daarnaast vast welke mappen in de index komen en wie welke passages te zien krijgt.

Is RAG nog nodig nu modellen lange teksten aankunnen?

Ja, RAG blijft nodig, omdat een groter contextvenster twee problemen niet oplost. Een kantoorarchief is vele malen groter dan wat in één prompt past, en modellen benutten informatie midden in een lange context slechter (Liu e.a., 2023).

Ophalen beperkt de prompt tot de stukken die ertoe doen. Daarmee blijft het antwoord herleidbaar naar een paar concrete passages.

Hoe leer je een AI-automatisering met eigen documenten bouwen?

Een AI-automatisering met eigen documenten bouw je stap voor stap: één taak, één documentsoort en één controlestap. In de AI automatisering cursus stuur je pdf’s via de Claude API mee en laat je Claude antwoorden met bronvermelding.

Je sluit af met een eigen werkstroom met controlestap, getest op je eigen voorbeelden. Zo leer je AI antwoorden te laten geven uit je eigen documenten, met een bron die je zelf controleert.