AI-bias testen MKB: wat de EU AI-verordening van je verwacht

Hoog-risico AI en discriminerende uitkomsten: dat is de combinatie die de Autoriteit Persoonsgegevens wakker houdt. En als jij als MKB-deployer een AI-systeem inzet voor werving, promotie of kredietscoring, dan geldt dat ook voor jou. AI-bias testen is onder de EU AI-verordening geen nice-to-have. Het is een harde verplichting, vastgelegd in meerdere artikelen, met bijbehorende documentatieplicht.

Laten we beginnen met wat de verordening verstaat onder bias, wat je concreet moet doen, en hoe je dat aanpakt als je geen team van data-scientists in huis hebt.

# Wat de EU AI-verordening verstaat onder bias

De verordening gebruikt het woord 'bias' niet letterlijk, maar omschrijft het effect heel precies. Artikel 10 verplicht aanbieders én deployers van hoog-risico AI om te werken met trainings-, validatie- en testdata die "relevant, representatief, vrij van fouten en volledig" zijn. Specifiek noemt het artikel dat de datasets moeten worden gecontroleerd op "mogelijke vooroordelen die schadelijk kunnen zijn".

Kijk, wat dat in de praktijk betekent: als jouw recruitmenttool historische aanstellingsdata gebruikt die mannen bevoordeelt, dan bakt die bias letterlijk in het model. De verordening vraagt van jou als deployer dat je dat weet, dat je het aanpakt, en dat je bewijs bewaart dat je het hebt geprobeerd.

Overweging 44 maakt dit nog concreter: het gaat expliciet om bescherming tegen discriminatie op basis van geslacht, ras, etnische oorsprong, godsdienst, handicap, leeftijd of seksuele gerichtheid. Dat zijn dezelfde beschermde kenmerken als in de AVG en de Nederlandse gelijke behandelingswetgeving. De verordening en de AVG versterken elkaar hier.

# Welke systemen vallen er eigenlijk onder

Niet elke AI-toepassing valt onder de biastestplicht. Alleen hoog-risico systemen, zoals gedefinieerd in Bijlage III van de verordening. Voor het MKB zijn de meest relevante categorieën:

• Werving en selectie: CV-screening, sollicitantenbeoordeling, interview-analysetools
• Promotie en ontslag: AI die werkprestaties beoordeelt of promotiekandidaten selecteert
• Kredietscoring: tools die kredietwaardigheid van particulieren beoordelen
• Toegang tot onderwijs: systemen die studenten selecteren of beoordelen

Gebruik je zo'n systeem als deployer, dus je kiest het in, configureert het en zet het in op je eigen werknemers of klanten? Dan ben je verantwoordelijk voor de naleving in jouw context, ook als de aanbieder (de leverancier) zegt dat het systeem al getest is. Artikel 26 maakt dat glashelder: deployers hebben zelfstandige verplichtingen.

# De concrete biastestverplichtingen

Wat moet je nu eigenlijk doen? De verordening legt dit niet in één artikel vast, maar verspreidt het over een paar sleutelartikelen.

Artikel 10 vraagt dat de data waarop het systeem draait vrij is van schadelijke vooroordelen. Als deployer kun je de trainingsdata van een extern systeem niet altijd inzien, maar je kunt wél de uitkomsten in jouw eigen context monitoren.

Artikel 9 (risicobeheer) verplicht een doorlopend risicobeheerssysteem. Bias is een risico. Dat betekent dat je het moet identificeren, inschatten, en maatregelen nemen. Dit is geen eenmalige exercitie bij implementatie, maar een cyclisch proces.

Artikel 72 (post-market monitoring) zegt dat deployers van hoog-risico AI actief moeten monitoren hoe het systeem presteert in de praktijk. Dat omvat ook afwijkende of ongewenste uitkomsten, zoals systematisch lagere scores voor bepaalde groepen.

Combineer je dat met de AVG-verplichting tot een DPIA bij geautomatiseerde besluitvorming met grote risico's, dan heb je een behoorlijk eisenpakket op je bord.

# Praktische methoden voor het MKB

Even serieus: je hoeft geen machine learning engineer te zijn om dit goed te doen. Er zijn methoden die gewoon werken voor een bedrijf van 50 of 100 mensen.

Uitkomstanalyse per groep Dit is de eenvoudigste test. Kijk naar de uitkomsten van je AI-systeem uitgesplitst naar beschermde kenmerken. Krijgen mannelijke sollicitanten structureel hogere scores dan vrouwelijke? Worden bepaalde postcodegebieden systematisch afgewezen bij kredietaanvragen? Je hebt hiervoor geen modelinzicht nodig, alleen de outputdata en een spreadsheet.

Let op: je mag geen beschermde kenmerken direct verwerken voor dit doel als je ze niet al hebt. Maar als je al persoonsgegevens verzamelt (wat bij werving standaard is), dan kun je die aggregaat analyseren. Leg dit vast in je DPIA.

Steekproef met handmatige review Neem maandelijks een steekproef van twintig beslissingen en laat een HR-medewerker of compliance officer ze handmatig beoordelen. Klopt de AI-aanbeveling met wat een redelijke persoon zou beslissen? Zijn er patronen in de gevallen waar het systeem afwijkt van de menselijke beoordeling?

Leverancierscheck Vraag je AI-leverancier schriftelijk: welke biastests zijn er gedaan voor dit systeem, op welke datasets, en wat waren de uitkomsten? Goede leveranciers hebben dit gedocumenteerd in hun technische documentatie (vereist door Artikel 11). Krijg je geen antwoord of vaag antwoord? Dat is een risicosignaal.

Periodieke hertest Systemen driften. Een model dat vorig jaar redelijk presteerde, kan nu scheefgetrokken zijn door veranderde inputdata. Plan minimaal één keer per jaar een hertest. Leg de datum, methode en uitkomst vast.

# Documentatie: wat je moet bewaren

Dit is waar het MKB het meest struikelt. Niet het testen zelf, maar het aantonen dat je getest hebt. De AP en andere toezichthouders vragen bij een onderzoek om bewijs, geen intenties.

Minimaal bewaar je:

• Een beschrijving van het AI-systeem en het doel waarvoor je het inzet
• De risicoanalyse (als onderdeel van Artikel 9 risicobeheer)
• De resultaten van elke biastest, inclusief datum en methode
• Maatregelen die je hebt genomen naar aanleiding van testresultaten
• Correspondentie met de leverancier over technische documentatie

Als het systeem ook persoonsgegevens verwerkt (wat bij HR-toepassingen bijna altijd het geval is), hoort dit ook in je DPIA. De AP heeft guidance gepubliceerd over AI en gegevensbescherming die specifiek ingaat op de combinatie AVG en AI-verordening.

# Wat doe je als je bias detecteert

Je test, je vindt een probleem. Wat nu?

Eerst: raak niet in paniek en verstop het niet. Bias detecteren en erop reageren is precies wat de verordening bedoelt. Het verbergen ervan is het probleem.

Praktisch:

1. Documenteer de bevinding onmiddellijk. Datum, beschrijving, omvang.
2. Schakel het systeem tijdelijk terug naar menselijke besluitvorming voor de getroffen categorie, als de bias ernstig genoeg is.
3. Informeer je leverancier schriftelijk. Vraag om een verklaring en een tijdlijn voor correctie.
4. Beoordeel of betrokkenen geïnformeerd moeten worden. Onder Artikel 86 van de verordening hebben mensen recht op uitleg over AI-beslissingen die hen raken.
5. Herzie je DPIA en pas de risicoanalyse aan.

Als de bias heeft geleid tot discriminatoire beslissingen die mensen schade hebben berokkend, kan ook een AVG-melding bij de AP aan de orde zijn. Dat is een aparte procedure, maar de overlap is reëel.

# Wat de Autoriteit Persoonsgegevens verwacht

De AP is aangewezen als één van de nationale toezichthouders voor de AI-verordening in Nederland, naast de nog op te richten markttoezichthouder. De AP heeft al laten weten dat zij de combinatie van geautomatiseerde besluitvorming en discriminatierisico als prioriteit beschouwt.

Dit betekent concreet: als jij als MKB-deployer een hoog-risico systeem gebruikt en geen biastestdocumentatie kunt overleggen bij een AP-onderzoek, loop je het risico op een boete. Artikel 99 voorziet in boetes tot 15 miljoen euro of 3% van de wereldwijde omzet voor deployers die verplichtingen niet nakomen. Voor een MKB-bedrijf is zelfs een fractie daarvan een serieuze klap.

Het goede nieuws: de AP heeft ook aangegeven dat zij bij kleine organisaties rekening houdt met proportionaliteit. Een gedegen, eerlijke documentatie van wat je hebt gedaan en wat je nog gaat doen, weegt mee. Perfectie is niet het doel. Aantoonbare zorgvuldigheid wel.

# Begin hier

Maak deze week een lijst van alle AI-systemen die je inzet waarbij een geautomatiseerde beoordeling van mensen plaatsvindt. Noteer per systeem: valt het onder Bijlage III? Heb je documentatie van de leverancier? Heb je zelf ooit de uitkomsten geanalyseerd op groepspatronen?

Die lijst is je startpunt. Alles wat daarna komt, kun je stap voor stap opbouwen.

Wil je weten waar je nu staat? Via comply.khairos.ai doe je in twee minuten een gratis compliance-check die laat zien welke verplichtingen voor jouw organisatie het meest urgent zijn.