Een gesprek met een AI-toepassing is, net als een mailbox, iets persoonlijks. De AVG beschermt dat, en de Autoriteit Persoonsgegevens houdt er toezicht op. Een werkgever mag er alleen onder strikte voorwaarden in kijken. Het moet noodzakelijk zijn (er mag geen minder ingrijpende manier zijn), je mag alleen gericht zoeken (en dus niet alles zomaar doorspitten) en je medewerkers moeten weten dat je mee kunt kijken.

Maar zelfs als je aan deze voorwaarden voldoet, ben je er nog niet. Je moet ook een gegronde reden hebben. Denk aan een concreet incident, een verdenking van fraude, of langdurige afwezigheid waardoor de continuïteit in gevaar komt.

Een systeem waarmee je het gedrag van medewerkers kunt volgen, vereist in ieder geval ook de instemming van de ondernemingsraad. Een goede AI-toepassing maakt meelezen overigens simpelweg onmogelijk: de inhoud van een gesprek is alleen zichtbaar voor de gebruiker zelf.

Dat betekent dus dat "af en toe even meekijken" geen manier is om de kwaliteit van je AI te bewaken.

Dat je medewerkers enthousiast zijn, zegt niets over de kwaliteit van de antwoorden. AI brengt een fout antwoord met dezelfde overtuiging als een goed antwoord. En een medewerker die de fout niet ziet, is tevreden. Een fout antwoord over verlof of inschaling kost geld of rechten. Voert de AI ook taken uit, dan wordt het nog spannender. Als een AI-agent je mailbox opschoont, wil je niet dat die ook je belangrijke mails weggooit, toch?

Hoe krijg je daar grip op zonder mee te lezen?

Ons AI-meetplan, waarmee je vastlegt wat je met AI wilt bereiken en hoe je dat gaat meten, beschrijft vier manieren.

Verzamel voorbeelden uit je eigen praktijk met het resultaat dat jullie juist vinden. Een vraag: "Op hoeveel vakantiedagen heb ik recht?", met het juiste antwoord en de paragraaf uit het handboek erbij. Of een taak: "Schoon mijn mailbox op", met de eis erbij welke mails weg mogen en welke niet (gebruik een mailbox met testmails waarmee je veilig kunt testen!). Leg de testvoorbeelden voor aan de AI en beoordeel het resultaat: voldoet of voldoet niet. Dat kost een middag met de mensen die de inhoud kennen. Doe het voordat de AI-toepassing live gaat en herhaal het na elke wijziging, want de kwaliteit verandert zodra de informatie of het model verandert.

Stel je leverancier één vraag: kan een beheerder de gesprekken lezen? Is het antwoord ja, dan heb je een probleem (zie hierboven). Een goede AI-toepassing telt zonder dat iemand hoeft te lezen. Voor hoeveel vragen werd geen bron gevonden, hoeveel vragen werden in het volgende bericht (soms net even ander geformuleerd) opnieuw gesteld, hoeveel gesprekken werden afgebroken, hoeveel kregen een lage beoordeling. Die tellingen vertellen je waar de kwaliteit van je AI-toepassing tekortschiet en welke testopdrachten je aan de toets moet toevoegen.

Je medewerkers zien de foute antwoorden en de verkeerd uitgevoerde taken. Vraag ze die te melden. Zorg dat dit kan met één klik vanuit de AI-toepassing zelf, met ruimte voor een toelichting. Een melding is het enige gesprek dat je wél mag lezen, want de medewerker deelt het zelf. Let wel op de valkuil. Mensen zien fouten maar melden ze niet en ze stoppen met melden zodra ze nooit iets terug horen. Laat dus weten wat er met een melding is gebeurd.

Vraag je medewerkers in een anonieme enquête of ze voor hun werk ook andere AI gebruiken, buiten wat de organisatie aanbiedt. En vraag vooral waarom. Mensen wijken zelden uit vanwege kwaliteit of vanwege gedoe. Beide antwoorden zijn goud waard want ze vertellen je wat je moet verbeteren. Voorwaarde is dat de enquête anoniem is en de uitnodiging niet van de directie komt.