instellectEen RAG-evaluatie beoordeelt zowel de gevonden informatie als het antwoord dat daarop volgt. Gebruik vragen met bekende relevante bronnen, vragen zonder antwoord en vragen die buiten de toegangsrechten vallen. Een gemiddelde tevredenheidsscore is daarvoor te grof.
Maak een vraagset die het werk vertegenwoordigt
Verzamel normale vragen, uitzonderingen, afkortingen en exacte codes. Noteer per vraag welke bron passages bevat die het antwoord kunnen onderbouwen. Voeg ook vragen toe waarvoor het juiste gedrag is om onzekerheid te melden of een verduidelijking te vragen. Houd een deel van de set apart, zodat je niet alleen optimaliseert op de voorbeelden die je steeds gebruikt.
Lokaliseer de eerste fout in de keten
Controleer of de juiste bron überhaupt in de index zit en toegankelijk is. Bekijk daarna de opgehaalde passages. Beoordeel pas vervolgens of het model de informatie juist gebruikt en of de bronvermelding de bewering ondersteunt. Een ontbrekende bron los je niet op door uitsluitend de antwoordprompt te veranderen. Leg de foutcategorie vast bij ieder beoordeeld geval.
Verander één onderdeel en vergelijk opnieuw
Test bijvoorbeeld een andere chunkingstrategie met dezelfde vragen en hetzelfde model. Vergelijk kwaliteit per categorie, naast kosten en wachttijd. Automatische beoordelaars kunnen helpen bij schaal, maar kalibreer ze met menselijke beoordelingen en concrete voorbeelden. Gebruik voor belangrijke feiten ook eenvoudige controleerbare regels. De bredere agent-evaluatieguide behandelt toolacties en eindresultaten.
Fouten terugbrengen naar een herstelactie
| Waarneming | Waarschijnlijk te onderzoeken | Volgende test |
|---|---|---|
| Bron ontbreekt | Indexering of bronselectie | Document rechtstreeks zoeken |
| Verkeerde passage | Chunking, zoekmethode of ranking | Gelabelde passages vergelijken |
| Juiste context, fout antwoord | Instructies en generatie | Antwoord toetsen op concrete feiten |
| Onbevoegde inhoud zichtbaar | Autorisatie of cache | Rollenmatrix opnieuw uitvoeren |
Een antwoord zonder onderbouwing
Een testvraag vraagt naar de geldige opzegtermijn. De juiste passage wordt gevonden, maar het model noemt een ander aantal dagen. Dit geval krijgt de categorie antwoordfout. Een tweede vraag vindt een verouderde versie en krijgt een retrieval- of actualiteitsfout. Dezelfde onjuiste uitkomst vraagt dus twee verschillende verbeteringen.
Neem mee naar je team.
- Bewaar vragen, verwachte bronnen en beoordelingsregels samen.
- Neem geen-antwoord- en verboden-toeganggevallen op.
- Vergelijk wijzigingen op dezelfde bevroren evaluatieset.
Met ruimte voor je besluit, eigenaar en testbewijs. Geen e-mailadres nodig.
Bronnen & verantwoording
Technische achtergrond bij dit onderwerp. De keuzetabel, checklist en fictieve voorbeelden zijn een eigen redactionele uitwerking van Instellect. De beschreven patronen zijn geen overzicht van reeds beschikbare productfuncties.
Geraadpleegd op 11 oktober 2026. Een correctie doorgeven? Mail Instellect.