Een tijd geleden vroeg ik Lisa, een van onze AI-assistenten, naar welke sessie van een AI-congres zij zelf zou gaan. Ze koos een sessie over de "AI memory wall". Ik vroeg door: stel dat de spreker ziek is en jij moet invallen, wat vertel je de zaal dan? Ze schreef er twee presentaties over. Eén ervan begon met een bekentenis: "Elk gesprek dat ik voer, begint opnieuw."

Dit gaat iedereen aan die met AI werkt, want het verklaart iets waar gebruikers zich regelmatig over verbazen. Een assistent met een cao in zijn kennisbank vertelt je zonder moeite wat een administratief medewerker verdient. Vraag je dezelfde assistent om die cao samen te vatten, dan krijg je een mager antwoord. Stuur je de cao als bijlage mee met je bericht, dan lukt die samenvatting opeens wel.

Hoe zit dat?

Een model onthoudt niets

Een AI-model zoals GPT, Claude, Gemini of Mistral weet twee dingen. Wat het tijdens de training heeft geleerd uit openbare teksten en wat er op dit moment voor zijn neus ligt. Jouw personeelshandboek zat niet in de training. En het model slaat uit zichzelf niets op van wat je het vertelt.

Dat "voor zijn neus" kun je zien als een bureau. Bij elke vraag wordt het bureau opnieuw ingericht met de instructies van de assistent, het gesprek tot nu toe, eventuele documenten en je nieuwe vraag. Het model leest alles wat er ligt en schrijft een antwoord. Daarna wordt het bureau leeggeruimd. Wat er niet op lag, bestaat voor het model niet.

Dat geldt voor ChatGPT en Copilot net zo goed als voor Scavian. Al deze toepassingen sturen bij elke vraag een compleet ingericht bureau naar het model.

Het bureau heeft een maximale oppervlakte

Alles wat op het bureau ligt, moet tijdens het rekenen in het snelle geheugen staan van de chips waarop het model draait. Dat geheugen is schaars en duur. Hoe meer tekst er ligt, hoe meer geheugen en rekentijd één antwoord kost. Technici noemen die grens de memory wall. De term komt uit de chipwereld, waar rekenkracht al jaren harder groeit dan het geheugen dat die rekenkracht moet voeden.

De bureaus worden groter. Bij de nieuwste modellen passen er honderden pagina's op. Dat lost het probleem maar voor een deel op. Een vol bureau maakt elk antwoord trager en duurder. Bovendien blijken modellen bij heel veel tekst minder goed op te letten: wat midden in de stapel ligt, krijgt minder aandacht dan het begin en het eind.

Hoe een assistent dan toch je handboek kent

Een kennisbank met duizenden pagina's past dus nooit in zijn geheel op het bureau. Daarom werken vrijwel alle AI-assistenten met een tussenstap, die in vakjargon RAG heet. Bij het inlezen wordt elk document in fragmenten geknipt van ongeveer een halve pagina. Stel je een vraag, dan zoekt het systeem eerst de fragmenten op die qua betekenis het best bij je vraag passen. Alleen die fragmenten gaan op het bureau, meestal tien tot twintig. Het model beantwoordt je vraag op basis van die paar pagina's.

Vergelijk het met een medewerker die de cao nooit heeft gelezen en een uitstekende archivaris naast zich heeft. Bij elke vraag krijgt hij de bladzijden aangereikt die erover gaan.

Gerichte vraag, globale vraag

Bij "wat verdient een administratief medewerker?" werkt dat prima. De archivaris vindt de functie-indeling en de salaristabel, het model leest ze en geeft antwoord met bronvermelding.

Bij "maak een samenvatting van de cao" gaat het mis. Welke fragmenten horen bij die vraag? Eigenlijk allemaal en dus geen enkele in het bijzonder. De archivaris reikt aan wat er nog het meest op lijkt en het model vat dat keurig samen. Je krijgt een vlot geschreven tekst die eruitziet als een samenvatting van de cao. In werkelijkheid is het een samenvatting van tien van de honderdvijftig pagina's. Aan het antwoord zelf zie je dat niet en dat maakt het verraderlijk.

Hetzelfde geldt voor elke vraag die over het geheel gaat. Wat is er veranderd ten opzichte van de vorige cao? Staan er tegenstrijdigheden in ons handboek? Wie zulke vragen wil beantwoorden, moet het hele document hebben gelezen.

Waarom het met een bijlage wel lukt

Voeg je de cao als bijlage toe aan je bericht, dan slaat het document de archivaris over. Het gaat in zijn geheel op het bureau. Het model leest het van voor tot achter en kan dus ook vragen over het geheel beantwoorden.

Dat heeft een prijs. Zo'n vraag duurt langer en kost meer rekenkracht en het document ligt er alleen tijdens dat ene gesprek. Er is ook een bovengrens: een document dat niet op het bureau past, kan het model ook als bijlage niet in één keer lezen.

In Scavian maken we die afweging per kennisbron. Een bron van beperkte omvang die nodig is om een vraag te beantwoorden, zoals een reglement van een paar pagina's, gaat bij een vraag in zijn geheel op het bureau. De archivaris komt pas in beeld bij grote bronnen.

Wat je hiermee kunt

Stel gerichte vragen aan de kennisbank. Daar is hij voor gebouwd.

Gaat je vraag over een groot document als geheel, voeg dat document dan als bijlage toe. Vertrouw een samenvatting van een groot document alleen als je weet dat de assistent alles heeft gezien. De bronvermelding onder het antwoord laat zien waar het op gebaseerd is.

Wil je dat de assistent ook zonder bijlage iets zinnigs kan zeggen over het geheel, zet dan een samenvatting in de kennisbank die door een mens is gemaakt of gecontroleerd. De kans is groot dat de archivaris bij een globale vraag juist dat document aanreikt.

Vragen over hoe dit uitpakt voor jouw documenten? Mail naar redactie@scavian.ai.

Omslagfoto: Tima Miroshnichenko