instellectEen agent-evaluatie test of een systeem binnen afgesproken grenzen een taak goed afrondt. Beoordeel het eindresultaat, het gebruik van tools, de naleving van bevoegdheden en de benodigde correcties. Gebruik herhaalbare testgevallen en vooraf vastgelegde criteria.
Definieer succes vóór je de uitkomst ziet
Schrijf per taak op wat aanwezig moet zijn en wat niet mag gebeuren. Een conceptvoorstel moet bijvoorbeeld de gevraagde scope bevatten, open punten markeren en niet verzonden zijn. Splits harde voorwaarden van kwalitatieve beoordelingen. Een overtreden bevoegdheidsgrens hoort niet te verdwijnen in een gemiddelde score voor schrijfstijl of snelheid.
Gebruik meerdere soorten testgevallen
Neem normale taken, onvolledige aanvragen, bronconflicten en tijdelijke uitval op. Voeg tests toe waarin de correcte reactie weigeren of overdragen is. Houd een afzonderlijke set achter voor vergelijking van nieuwe versies. Gebruik bij onvoorspelbaar gedrag meerdere uitvoeringen waar dat nodig is; één geslaagde run zegt weinig over hoe stabiel de uitkomst is.
Combineer controleerbare regels met beoordeling
Automatische controles zijn geschikt voor verplichte velden, onbedoelde toolacties en aantoonbare systeemwijzigingen. Menselijke reviewers beoordelen betekenis en bruikbaarheid. Een model als beoordelaar kan helpen, maar moet worden vergeleken met menselijke voorbeelden en mag niet het enige bewijs voor een gevoelige uitkomst zijn. Voor de zoeklaag bevat RAG evalueren een specifiek foutmodel.
Vier dimensies van een agent-evaluatie
| Dimensie | Voorbeeldcriterium | Bewijs |
|---|---|---|
| Resultaat | Concept bevat alle verplichte onderdelen | Vergelijking met taakspecificatie |
| Gedrag | Geen ongeoorloofde schrijfcall | Tooltrace en bronstatus |
| Herstel | Bronuitval krijgt een eerlijke eindstatus | Gecontroleerde fouttest |
| Bruikbaarheid | Reviewer kan het resultaat beoordelen | Correcties en beoordeling met vaste rubric |
Sneller, maar meer herstelwerk
Een fictieve nieuwe versie maakt concepten sneller, maar laat vaker een contractuele uitzondering weg. Het team registreert snelheid en volledigheid apart. De versie gaat niet automatisch door omdat de gemiddelde doorlooptijd verbetert. De uitzondering krijgt een expliciet testgeval en de verbeterde versie wordt opnieuw tegen dezelfde set vergeleken.
Neem mee naar je team.
- Leg harde grenzen en kwaliteitscriteria afzonderlijk vast.
- Bewaar ook geweigerde, afgebroken en foutieve runs.
- Vergelijk releases op dezelfde representatieve evaluatieset.
Met ruimte voor je besluit, eigenaar en testbewijs. Geen e-mailadres nodig.
Bronnen & verantwoording
Technische achtergrond bij dit onderwerp. De keuzetabel, checklist en fictieve voorbeelden zijn een eigen redactionele uitwerking van Instellect. De beschreven patronen zijn geen overzicht van reeds beschikbare productfuncties.
Geraadpleegd op 11 oktober 2026. Een correctie doorgeven? Mail Instellect.