Zo wordt elke pilot een succes. Ook de pilots die dat niet waren.
Wat er misgaat
- De verkeerde mensen beoordelen. Iemand die zelf een goede ervaring heeft gehad met een AI-toepassing is enthousiast. En terecht. Maar die ervaring zegt niets over de vraag of de organisatie er beter van wordt. Of antwoorden kloppen, of gebruikers het begrijpen, of de kennis waarop het draait actueel is: dat vraagt iets anders dan een goed gevoel.
- Er wordt gemeten wat makkelijk te meten is. Gebruikscijfers zijn eenvoudig. Aantal gesprekken, aantal vragen, aantal actieve gebruikers. Allemaal nauwkeurig gemeten. En allemaal geen antwoord op de vraag of het werkt. Een AI-toepassing kan veel gebruikt worden en systematisch verkeerde antwoorden geven.
- Aannames worden gepresenteerd als metingen. Het klassieke voorbeeld is de bespaarde tijd. Neem het aantal beantwoorde vragen, vermenigvuldig met een geschat aantal minuten en er rolt een indrukwekkend getal uit. Dat is rekenen, geen meten. Wie dat getal in aan je voorlegt zonder erbij te vermelden welke aanname erin zit, geeft een verkeerde voorstelling van zaken.
Wat we hebben gemaakt
We hebben het AI-meetplan geschreven. Zeven stappen die je vooraf invult. Wat wil je bereiken, wat is de huidige situatie, welke risicoklasse heeft de kennis, welke cijfers ga je volgen, wat mag niet slechter worden, wanneer stop je en wanneer evalueer je.
Het invullen kost ongeveer een dagdeel.
Het meetplan is leveranciersonafhankelijk. Het werkt net zo goed als je besluit alle medewerkers Copilot te geven, een abonnement neemt op een AI-tool die een specifiek proces ondersteunt of een eigen AI-toepassing bouwt.
Drie onderdelen lichten we eruit, omdat ze in de praktijk veel opleveren.
Risicoklasse van de kennis
Niet elk onderwerp draagt hetzelfde risico bij een fout antwoord. Een verkeerd antwoord op de vraag welke opleidingen er bestaan is hinderlijk en omkeerbaar. Een verkeerd antwoord over inschaling, verlofrechten of contractvoorwaarden kan iemand geld kosten.
Bij die tweede categorie hoort een andere eis: leg vooraf vast welk percentage juiste antwoorden vereist is, meet dat op een steekproef en ga pas live als het gehaald wordt. Niet halen is dan een geldige uitkomst en geen fout van iemand.
Tegenmetrieken
Naast wat beter moet worden, leg je vast wat niet slechter mag worden. Zonder die tweede lijst meet een organisatie alleen wat ze hoopt te zien.
De meest interessante tegenmetrieken zijn ongemakkelijk. Neemt de ervaren werkdruk toe? Voelen mensen zich minder vrij om een collega iets te vragen? Gebruiken ze thuis andere AI voor hun werk? Merken ze dat ze dingen minder goed zelf opzoeken of onthouden dan voorheen? Dat laatste wordt in vrijwel geen enkele evaluatie gemeten en is precies het soort effect dat je pas na een jaar terugziet, als het lastig te repareren is.
Verkeersconcentratie
Onderzoek, voor AI-toepassingen waar je niet voor hoeft in te loggen zoals een chatbot op je site, welk deel van al het verkeer op de drukste vijf dagen valt.
Is dat aandeel hoog, dan drijft je toepassing op losse aandachtsmomenten. Elke nieuwsbrief geeft een piek en daartussen gebeurt er niets. Dat is geen kwaliteitsprobleem en het wordt ook niet opgelost door de chatbot te verbeteren, want mensen vinden hem simpelweg niet. Dat onderscheid tussen een vindbaarheidsprobleem en een kwaliteitsprobleem wordt vaak verward en leidt tot investeren in de verkeerde kant.
We hebben het eerst zelf toegepast
Dat leek ons het minste wat we kunnen doen voordat we zoiets publiceren.
Het viel niet mee. Binnen een paar uur kwamen er drie dingen boven tafel die we zelf niet zagen. Kennisbestanden bleken niet gekoppeld aan de assistent die ze zou moeten gebruiken. Documenten netjes ingelezen en verwerkt en toch volstrekt onbruikbaar. Het gebruik van een aantal omgevingen bleek volledig samen te vallen met promotiemomenten en daartussen naar bijna nul te zakken. En een aantal cijfers waarop we vertrouwden bleek over een testperiode te gaan en dus niet over echt gebruik.
Ook het meetplan zelf kwam er niet ongeschonden uit. De eerste versie ging er stilzwijgend van uit dat herhaald gebruik altijd goed nieuws is. Voor een AI-assistent die alleen door medewerkers mag worden gebruikt klopt dat. Voor een publieke chatbot niet. Iemand die in één gesprek vindt wat hij zoekt en daarna verder kan, hoort juist niet terug te komen. Die aanname zat verwerkt in de opzet en moest eruit.
Juist omdat toepassing in de praktijk duidelijk maakt waar het meetplan kan worden verbeterd, publiceren we het zoals het nu is. Alleen als het wordt gebruikt, komen we erachter wat er moet worden aangescherpt en wordt de bruikbaarheid en waarde van het meetplan steeds hoger.
Wat het niet doet
Het AI-meetplan vertelt je niet of AI een goed idee is. Het vertelt je ook niet of je organisatie er beter van wordt. Dat weet uiteindelijk alleen je organisatie zelf. Geen enkele leverancier kan dat voor je meten.
Wat het wel doet is ervoor zorgen dat je over een jaar precies weet wat AI jouw organisatie heeft opgeleverd. Zodat je gefundeerde besluiten kunt nemen over mogelijke verbeteringen van de toepassing, de promotie ervan en zelfs of je het wilt blijven gebruiken.
Wat je deze week al kunt doen
Pak het AI-project dat nu bij jullie loopt, of het abonnement dat jullie al hebben. Download het AI-meetplan en vul het in. Maximaal drie doelen. Beantwoord bij elk doel de vraag wat er over een jaar zichtbaar is veranderd. En zet erbij wie daar op wordt aangesproken.
Als het niet lukt om drie concrete doelen te formuleren, weet je nu al dat de evaluatie straks weer op enthousiasme is gebaseerd. Als het wel lukt, heb je iets wat de meeste organisaties niet hebben. Een afspraak waaraan je kunt toetsen wat jouw organisatie met AI heeft bereikt.
Downloaden en feedback
Het meetplan is gratis en vrij te gebruiken, ook als je met een andere leverancier werkt of nog geen keuze hebt gemaakt.
Dit is een eerste versie. Feedback is erg welkom. Ontbreekt er iets, klopt er iets niet of werkt het in jouw situatie anders? Laat het ons weten en stuur een mail naar redactie@scavian.ai. Aanvullingen verwerken we in volgende versies, met bronvermelding als je dat wilt.
Omslagfoto: Onderwijsgek, CC BY-SA 3.0 <https://creativecommons.org/licenses/by-sa/3.0>, via Wikimedia Commons