Een wijziging in onderliggende systemen kan er bijvoorbeeld voor zorgen dat het algoritme niet meer wordt voorzien van de noodzakelijk data om de benodigde output te genereren.
Het beheerteam zorgt ervoor dat dergelijke situaties worden voorkomen of opgelost. Er kunnen ook incidenten worden gemeld door gebruikers die worden opgelost door het beheerteam.
Nadat een besluit is genomen over het definitieve ontwerp van het algoritme, kan worden gestart met het inrichten van de ontwikkelomgeving (indien nodig), de dataverkenning, datapreparatie.
Dit besluit betekent dat een akkoord wordt gegeven voor het type algoritme en de beoogde werking.
In deze fase is niet alleen het ontwikkelen van een algoritme, maar ook het documenteren van belangrijke afwegingen en het opstellen van technische documentatie van groot belang.
Daarnaast zullen tal van (technische) maatregelen moeten worden getroffen zoals de verdere beveiliging van het informatiesysteem of bij de ontsluiting van de output naar gebruikers, het automatische genereren van logs en het inrichten van service en incidentmanagementprocedures.
In deze fase beschrijven we de randvoorwaarden die je als organisatie moet hebben om aan de slag te gaan. Dit zijn aspecten die je in het ideale geval al regelt voordat je begint aan het gebruik van algoritmes.
Het zijn ook taken die je voortdurend aandacht zal moeten geven, maar die je niet voor ieder algorite opnieuw hoeft te organiseren.
Deze fase wordt doorgaans afgerond met een akkoord van de (gemandateerd) verantwoordelijk(en)/opdrachtgever om een algoritme te ontwikkelen.
Een vastgestelde business case of plan van aanpak vormen veelal de basis om de ontwerpfase te starten met de benodigde experts.
Het algoritme is hiermee niet meer te gebruiken door gebruikers.
Gebruikers moeten hier vooraf over worden geïnformeerd en waar passend, bijvoorbeeld bij impactvolle of hoog risico AI-systemen, worden betrokkenen geïnformeerd over het beëindigen van het gebruik.
Het is ook denkbaar dat het algoritme onvoldoende aansluit bij de doelstellingen en het gebruik ervan moet wordt beëindigd.
Een andere conclusie kan zijn dat het presteert conform verwachting en naar de implementatiefase kan worden gegaan.
Als overheid moet je hier goed op letten. Doe dit zo vroeg mogelijk in de levenscyclus. De maatregelen die we adviseren, beginnen al bij het ontwerpen en trainen van algoritmes.
Na het bepalen van de manier van controleren, bepaal je de manier waarop je feedback krijgt over het algoritme: Wat voor soort informatie moet bij wie terechtkomen? Aan wie moet een gebruiker bijvoorbeeld rapporteren dat het AI-systeem niet meer goed werkt?
Veroorzaak zo min mogelijk schade als het toch fout gaat. En maak een noodplan voor incidenten. Het doel van dit plan is ervoor zorgen dat de fout zo min mogelijk gevolgen heeft voor de organisatie en de maatschappij. In het plan staat bijvoorbeeld wie wat moet doen als het systeem uitvalt.
Dit is degene die gaat over wat wenselijk is en adviseert bij de ontwikkeling en/of inzet van een algoritme. Hierbij horen rollen zoals de beleidsmedewerker, ethicus, CIO-adviseur, architect.
diff --git a/pr-preview/pr-464/search/search_index.json b/pr-preview/pr-464/search/search_index.json
index 6cac5f8475..8b033047fe 100644
--- a/pr-preview/pr-464/search/search_index.json
+++ b/pr-preview/pr-464/search/search_index.json
@@ -1 +1 @@
-{"config":{"lang":["nl"],"separator":"[\\s\\-]+","pipeline":["stopWordFilter"],"fields":{"title":{"boost":1000.0},"text":{"boost":1.0},"tags":{"boost":1000000.0}}},"docs":[{"location":"","title":"Het algoritmekader","text":"Wetten en regels, tips en hulpmiddelen voor verantwoord gebruik van algoritmes. b\u00e8taversie
Deze website is in ontwikkeling. Alle versies ontstaan op een open manier. Iedereen mag opmerkingen of suggesties geven.
Onderwerpen
Bias en non-discriminatie
Governance
Transparantie
Privacy & gegevensbescherming
Publieke inkoop
Bekijk alle onderwerpen Informatie per rol
Beleid en advies
Jurist
Ontwikkelaar
Projectleider
Bekijk alle rollen Levenscyclus
Probleemanalyse
Ontwerpen
Dataverkenning & datapreparatie
Ontwikkelen
Monitoring & beheer
Bekijk de hele levenscyclus Voldoen aan wetten en regels
"},{"location":"levenscyclus/","title":"Levenscyclus algoritmes en AI","text":"
Fase 0: Organisatieverantwoordelijkheden
Voordat je start met de ontwikkeling of het gebruik van een algoritme, zul je moeten zorgen dat je organisatie voldoende ingericht is om algoritmes te gebruiken of te ontwikkelen.
Fase 1: Probleemanalyse
In deze fase wordt het probleem en de doelstellingen van een opdrachtgever geanalyseerd en beschreven.
Fase 2: Ontwerp
In de ontwerpfase wordt het conceptuele ontwerp van het AI-systeem uitgedacht.
Fase 3: Dataverkenning en datapreparatie
Dit is de fase waarin het algoritme of AI-systeem wordt ontwikkeld door het ontwikkelteam.
Fase 4: Ontwikkelen
Dit is de fase waarin het algoritme of AI-systeem wordt ontwikkeld door het ontwikkelteam.
Fase 5: Verificatie en validatie
Bij de verificatie en validatie van het algoritme of AI-systeem dient bepaald te worden of het algoritme of AI-systeem gebouwd is volgens de (technische) specificaties en voldoet aan de beoogde doelstellingen.
Fase 6: Implementatie
In deze fase wordt het algoritme of AI-systeem in de praktijk gebracht en duurzaam ge\u00efntegreerd in het bedrijfsproces.
Fase 7: Monitoring en beheer
Het algoritme of AI-systeem wordt in deze fase voortdurend gemonitord om ervoor te zorgen dat het blijft presteren zoals verwacht en kan worden gebruikt door gebruikers.
Fase 8: Uitfaseren
Als wordt besloten dat het algoritme of AI-systeem niet langer nodig is of wordt vervangen door een wezenlijk andere versie, wordt het gearchiveerd en uitgefaseerd.
"},{"location":"levenscyclus/dataverkenning-en-datapreparatie/","title":"Dataverkenning en datapreparatie","text":"
In deze fase worden relevante datasets ge\u00efdentificeerd en wanneer nodig wordt nieuwe data verzameld. In deze fase zal ook de ontwikkelomgeving (verder) worden ingericht indien nodig. Het is van belang dat voorafgaand aan verzameling is vastgesteld dat de benodigde data mag worden verwerkt en dat de juiste maatregelen worden getroffen, zodra de data kan worden verwerkt. Denk hierbij aan het anonimiseren, pseudonimiseren of aggregeren van persoonsgegevens. De data zullen vervolgens worden opgeschoond, geanalyseerd en voorbereid voor verdere verwerking.
Het is van belang dat dataverzameling op de juiste manier gebeurt, en dat datasets die gebruikt gaan worden van goede kwaliteit zijn. In deze fase is het van belang om de datakwaliteit en eventuele bias in de dataset te onderzoeken. Indien er risico's optreden door bijvoorbeeld missende data of niet representatieve data, is het belangrijk om te kijken wat voor effecten dit heeft op het oorspronkelijke ontwerp van het algoritme. Dit kan betekenen dat nieuwe keuzes moeten worden gemaakt in het ontwerp en eventueel eerste deze fase van ontwerp (deels) opnieuw moet worden doorlopen.
Met voorgaande handelingen wordt het fundament gelegd om het algoritme te kunnen ontwikkelen. In de praktijk zal bijvoorbeeld het analyseren van de data niet stoppen na deze fase, maar terugkerend zijn in alle fasen die volgen. Als de verzamelde data van voldoende kwaliteit is en de vereiste maatregelen zijn getroffen, dan kan worden gestart met het ontwikkelen van het algoritme.
In deze fase wordt het algoritme in de praktijk gebracht en duurzaam ge\u00efntegreerd in het bedrijfsproces. In de praktijk worden veelal eerst een pilot uitgevoerd voor een afgebakende periode of over een beperkt aan zaken. In deze situatie, een pilot, wordt tijdelijk productiedata verwerkt. Dit vraagt om een goede samenwerking tussen het ontwikkelteam en de gebruikers van het algoritme. Niet alleen de prestaties van het algoritme worden nogmaals gevalideerd, maar bijvoorbeeld ook of de output zodanig wordt gepresenteerd dat gebruikers hiermee kunnen werken. Na deze pilot wordt onderzocht in hoeverre het algoritme presteert conform wens en verwachting. Er kan worden gekozen om het algoritme eerst nog door te ontwikkelen op basis van de bevindingen, uit te faseren of om de oplossing structureel onderdeel te maken van de bedrijfsvoering door het te implementeren.
Als een besluit wordt genomen om de oplossing te implementeren, dan is het van belang dat gebruikers goed begrijpen hoe de resultaten van het algoritme moeten worden ge\u00efnterpreteerd, dat de rest-risico's bekend zijn, de verantwoordelijkheden belegd zijn en dat er duidelijke werkinstructies zijn over het gebruik van het algoritme. Service- en incidentmanagement moet volledig worden geoperationaliseerd, zodat gebruikers kunnen worden geholpen bij vragen of incidenten. Een kenmerkend element van deze fase is dat vanaf nu betrokkenen onderhevig zijn aan de werking van het algoritme. Beslissingen en besluiten komen nu bijvoorbeeld mede of geheel door de werking van het algoritme tot stand. Waar passend, bijvoorbeeld bij impactvolle of hoog risico AI-systemen wordt dit duidelijk gecommuniceerd naar betrokken, voordat de oplossing volledig is ge\u00efmplementeerd.
"},{"location":"levenscyclus/monitoring-en-beheer/","title":"Monitoring en beheer","text":"
Het algoritme wordt in deze fase voortdurend gemonitord om ervoor te zorgen dat het blijft presteren zoals verwacht en kan worden gebruikt door gebruikers. Eventuele afwijkingen of degradatie van prestaties worden gesignaleerd en er worden maatregelen getroffen om dit te herstellen. Dit is van belang vanuit een technisch perspectief (presteert het model nog wel waar het voor ontworpen is), maar ook vanuit een juridische en ethische blik (functioneert het model nog wel rechtmatig en zijn er geen onvoorziene nadelige effecten op mens en maatschappij). Hierbij dient ook voortdurend gemonitord te worden of de omstandigheden waarin het algoritme wordt gebruikt veranderlijk zijn, en of daar op geanticipeerd moet worden. Dit kan bijvoorbeeld spelen bij veranderende data of bij het uitvoeren van nieuw beleid of wet- en regelgeving in het werkproces dat wordt ondersteund met het algoritme.
Het is van belang dat beheer wordt uitgevoerd over het algoritme, zodat de (gehele) oplossing operationeel blijft. Een wijziging in onderliggende systemen kan er bijvoorbeeld voor zorgen dat het algoritme niet meer wordt voorzien van de noodzakelijk data om de benodigde output te genereren. Het beheerteam zorgt ervoor dat dergelijke situaties worden voorkomen of opgelost. Er kunnen ook incidenten worden gemeld door gebruikers die worden opgelost door het beheerteam.
In de ontwerpfase wordt het conceptuele ontwerp van het algoritme uitgedacht. Het is van belang om belangrijke uitgangspunten en beleid, zoals doelarchitectuur en de datastrategie, van de betreffende organisatie meteen te verwerken in het ontwerp en dat het applicatielandschap en de databronnen in beeld wordt gebracht. In deze fase worden doorgaans veel werkzaamheden verzet, zoals business- en informatieanalyse, om een goed beeld te krijgen hoe aan de beoogde doelstellingen kan worden voldaan met een passende oplossing.
Het is goed denkbaar dat meerdere ontwerpen in deze fase tot stand komen voor het te ontwikkelen algoritme. Het is van belang om deze ontwerpen te toetsen bij bijvoorbeeld de proceseigenaar, opdrachtgever en gebruiker, maar ook bij informatiebeveiligingsadviseurs, privacy officers, informatiebeheerders, architecten of een ethicus. Deze experts kunnen vanuit hun vakgebied een eerste toets doen in hoeverre het ontwerp haalbaar of gewenst is, aansluit bij de gebruikersbehoefte, aan welke vereisten moet worden voldaan of dat er risicoanalyses moeten worden uitgevoerd en een onafhankelijke commissies moet worden betrokken.
Met deze input kan het ontwerp worden verbeterd en vraagstukken over bijvoorbeeld governance en risicomanagement verder worden uitgewerkt. In deze fase kan ook een eerste stap worden gezet om de vereisten te vertalen naar concrete maatregelen, te structureren en te beleggen bij de betrokken experts. Als bijvoorbeeld is vastgesteld dat persoonsgegevens noodzakelijkerwijs moeten worden verwerkt en hier een grondslag voor is, dan is het van belang dat voorafgaand aan de dataverkenning en datapreparatie fase voldoende (technische) maatregelen zijn getroffen om de data veilig te verwerken in de beoogde (ontwikkel)omgeving.
Daarnaast dient er in de ontwerpfase ook aandacht besteed te worden aan de succesfactoren van een algoritme. Het is belangrijk om in een multidisciplinaire setting te bepalen hoe het algoritme in de praktijk ge\u00ebvalueerd kan worden en wanneer we kunnen spreken van een rechtvaardig succes. Hierbij dient er ook te worden nagedacht over evaluatiemethoden om na te gaan of het algoritme voldoet aan bijvoorbeeld het vereiste van non-discriminatie.
Nadat een besluit is genomen over het definitieve ontwerp van het algoritme, kan worden gestart met het inrichten van de ontwikkelomgeving (indien nodig), de dataverkenning, datapreparatie. Dit besluit betekent dat een akkoord wordt gegeven voor het type algoritme en de beoogde werking.
Dit is de fase waarin het algoritme wordt ontwikkeld door het ontwikkelteam. Als het gaat om AI-systemen, omvat deze fase het trainen van modellen met behulp van de voorbereide gegevens. Als het gaat om algoritmes op basis van rekenregels, betreft dit het implementeren van deze rekenregels in de (ontwikkelomgeving van de) systemen.
Het algoritme technisch correct ontwikkelen, inclusief het kunnen begrijpen van de beperkingen ervan, vraagt om een samenspel van expertise vanuit verschillende disciplines. Denk hierbij aan de proceseigenaar, domeinexperts van het te ondersteunen werkproces, data scientists, data engineer, (privacy)juristen, beleidsmedewerkers en een ethicus. Een voorbeeld hiervan is het beoordelen van de zogenaamde inputvariabelen of rekenregels (die voor een groot deel bepalen hoe een algoritme functioneert) van een machine learning model of algoritme. Deze rollen zijn bijzonder waardevol bij het beoordelen of deze variabelen of rekenregels juridisch zijn toegestaan, ethisch wenselijk zijn, technisch gezien- voldoende significant zijn en of deze van toegevoegde waarde zijn voor gebruikers. Dit multidisciplinaire team kan tijdens de ontwikkeling continu bijsturen, zodat het algoritme op een verantwoorde wijze functioneert en aansluit bij de beoogde doelstellingen.
In deze fase is niet alleen het ontwikkelen van een algoritme, maar ook het documenteren van belangrijke afwegingen en het opstellen van technische documentatie van groot belang. Daarnaast zullen tal van (technische) maatregelen moeten worden getroffen zoals de verdere beveiliging van het informatiesysteem of bij de ontsluiting van de output naar gebruikers, het automatische genereren van logs en het inrichten van service en incidentmanagementprocedures.
Voordat je start met de ontwikkeling of het gebruik van een algoritme, zul je moeten zorgen dat je organisatie voldoende ingericht is om algoritmes te gebruiken of te ontwikkelen. In deze fase beschrijven we de randvoorwaarden die je als organisatie moet hebben om aan de slag te gaan. Dit zijn aspecten die je in het ideale geval al regelt voordat je begint aan het gebruik van algoritmes. Het zijn ook taken die je voortdurend aandacht zal moeten geven, maar die je niet voor ieder algorite opnieuw hoeft te organiseren.
In deze fase wordt het probleem en de doelstellingen van een opdrachtgever geanalyseerd en beschreven. Er wordt bijvoorbeeld onderzocht welke publieke taak moet worden ondersteund en welke publieke waarden daarbij moeten worden beschermd of juist gerealiseerd. In deze fase wordt onderzocht of het ontwikkelen van een algoritme een geschikt middel is om het doel te realiseren en het probleem op te lossen. Dat hangt van verschillende zaken af.
Hierbij kan worden gedacht aan de middelen (capaciteit en financi\u00eble middelen) die nodig zijn om algoritmen op een verantwoorde wijze te ontwikkelen, de complexiteit van de oplossing, het in beeld brengen van de verwachte risico's (hoog over), een eerste beeld krijgen bij wat voor data nodig zijn en het in kaart brengen en beleggen van de verschillende verantwoordelijkheden. Daarnaast is het van belang om het beleid met betrekking tot de inzet van algoritme een organisatie te raadplegen.
Er zal een conclusie moeten volgen of de ontwikkeling van een algoritme passend is. Deze fase wordt doorgaans afgerond met een akkoord van de (gemandateerd) verantwoordelijk(en)/opdrachtgever om een algoritme te ontwikkelen. Een vastgestelde business case of plan van aanpak vormen veelal de basis om de ontwerpfase te starten met de benodigde experts.
Als wordt besloten dat het algoritme niet langer nodig is of wordt vervangen door een wezenlijk andere versie, wordt het gearchiveerd en uitgefaseerd. Hiermee wordt ervoor gezocht dat later kan worden gereconstrueerd hoe het algoritme heeft gefunctioneerd en dat gebruikers er geen gebruik meer van kunnen maken.
Archiveren betekent dat documentatie en eventuele relevante artefacten (zoals logbestanden en de parameters van het model) worden bewaard voor een bepaalde periode. Het gaat daarbij ook om informatie over het algoritme, bijvoorbeeld het besluit en onderbouwing waarom het niet meer wordt gebruikt en waarom het in het verleden wel gebruikt werd. Archiveren is niet enkel relevant aan het einde van de levenscyclus, maar is ook gedurende het gebruik van het algoritme van belang. Er moet tijdig worden vastgesteld welke versies van een model moeten worden gearchiveerd, bijvoorbeeld al tijdens de ontwerpfase.
Bij AI-systemen is er in praktijk vaak sprake van hertrainen op nieuwe data, wat het model anders maakt en andere voorspellingen kan doen geven. Ook meer eenvoudige algoritmes kunnen gedurende de tijd veranderen en andere voorspellingen geven, bijvoorbeeld door veranderende data of veranderende rekenregels. Er moet worden vastgesteld welke versies van een model moet gearchiveerd.
Bij uitfaseren wordt het algoritme verwijderd uit de productieomgeving en, na archivering, wordt de trainingsdata uit de ontwikkelomgeving verwijderd. Het algoritme is hiermee niet meer te gebruiken door gebruikers. Gebruikers moeten hier vooraf over worden ge\u00efnformeerd en waar passend, bijvoorbeeld bij impactvolle of hoog risico AI-systemen, worden betrokkenen ge\u00efnformeerd over het be\u00ebindigen van het gebruik.
"},{"location":"levenscyclus/verificatie-en-validatie/","title":"Verificatie en validatie","text":"
Bij de verificatie en validatie van het algoritme dient bepaald te worden of het algoritme gebouwd is volgens de (technische) specificaties en voldoet aan de beoogde doelstellingen. Hiervoor moeten technische, maar ook organisatorische maatregelen worden getroffen.
Bij verificatie kan worden gedacht aan het (laten) controleren of het algoritme voldoet aan de (technische) specificaties, bijvoorbeeld door een interne of externe audit of in de toekomst een conformiteitsbeoordeling voor hoog risico AI-systemen. Hiermee kan (onafhankelijk) worden vastgesteld of het systeem voldoet aan de vereisten die organisaties daaraan stellen. Op basis van bevindingen uit een audit of conformiteitsbeoordeling, is het denkbaar dat het ontwikkelteam nog bepaalde maatregelen moet treffen om te voldoen aan de specificaties.
Bij het valideren van een algoritme moet worden bepaald of het goed genoeg presteert en of het geschikt is voor het beoogde doel van het systeem. Wanneer het een AI-systeem betreft, is het belangrijk dat dit gevalideerd wordt op nieuwe, niet eerder geziene data. Het valideren betreft het iteratief evalueren van de nauwkeurigheid en prestaties van het systeem. Daarnaast is het ook belangrijk om te valideren of het algoritme gelijke prestaties toont voor verschillende groepen en om te testen hoe het algoritme presteert in uitzonderlijke gevallen. Het is net als in de ontwerpfase belangrijk dat een multidisciplinair team beoordeelt of de werking passend en bijvoorbeeld non-discriminatoir is. In het geval van impactvolle algoritmen of hoog risico AI-systemen, is het raadzaam om een onafhankelijke commissie of partij te betrekken die een advies geeft over de werking van het algoritme of AI-systeem.
In praktijk zal vaak na validatie weer worden teruggegaan naar de ontwikkelfase om prestaties van het model te verbeteren voorafgaand aan implementatie van de oplossing. Het is ook denkbaar dat het algoritme onvoldoende aansluit bij de doelstellingen en het gebruik ervan moet wordt be\u00ebindigd. Een andere conclusie kan zijn dat het presteert conform verwachting en naar de implementatiefase kan worden gegaan.
Hulp bij het voorkomen van bias en discriminatie in algoritmes. Met aanbevelingen en hulpmiddelen zoals het toetsingskader van het College voor de Rechten van de Mens.
Data
Hulp bij het verantwoord selecteren en verwerken van data voor je algoritmes. Gebruik bijvoorbeeld de toolbox verantwoord datagebruik.
Duurzaamheid
Hulp bij het maken van duurzame keuzes voor hardware en software. Bijvoorbeeld voor de aanschaf van apparaten of het energieverbruik van trainen en data-opslag.
Governance
Hulp bij het verantwoordelijk omgaan met algoritmes. Bijvoorbeeld het vastleggen van rollen en verantwoordelijkheden.
Grondrechten
Hulp bij het beschermen van grondrechten en mensenrechten in algoritmes. Bijvoorbeeld het beoordelen van de gevolgen per grondrecht.
Menselijke controle
Hulp bij de controle als mens over algoritmes. Bijvoorbeeld kunnen ingrijpen bij onbetrouwbare resultaten.
Privacy en gegevensbescherming
Hulp bij verantwoord gebruik van gegevens voor algoritmes, zoals persoonsgegevens en privacygevoelige gegevens.
Publieke inkoop
Hulp bij het publiek inkopen van software met algoritmen en AI. Met hulpmiddelen zoals modelcontracten en de PIANOo-handreiking Inkoop van algoritmes.
Technische robuustheid en veiligheid
Hulp bij het bewaken van de prestaties van algoritmes. En beveiliging van de systemen tegen bijvoorbeeld cyberaanvallen.
Transparantie
Hulp bij transparant zijn over algoritmes, zoals gebruikers informeren en publiceren in het algoritmeregister.
"},{"location":"onderwerpen/bias-en-non-discriminatie/","title":"Discriminerende effecten van algoritmes","text":"
Wie algoritmes ontwikkelt of gebruikt, moet discriminerende effecten hiervan voorkomen. Want met algoritmes kun je makkelijk discrimineren, ook al is dat niet de bedoeling. Let daarom steeds op \u2018bias\u2019. Dit zijn vooroordelen of fouten in je algoritme of aanpak.
"},{"location":"onderwerpen/bias-en-non-discriminatie/#wat-zijn-discriminerende-effecten-van-algoritmes","title":"Wat zijn discriminerende effecten van algoritmes?","text":"
Algoritmes hebben een discriminerend effect als je mensen ongelijk behandelt in gelijke situaties. En dit mag niet volgens de wet of de rechter.
Een camera met gezichtsherkenning herkent bijvoorbeeld geen vrouwen van kleur. Of een computerprogramma selecteert vooral mensen met een laag inkomen als risicogroep voor fraude.
Zo\u2019n discriminerend effect ontstaat doordat het algoritme een verboden onderscheid maakt:
Direct onderscheid: Het algoritme gebruikt een discriminatiegrond als variabele, zoals geloof, politieke voorkeur, ras, nationaliteit, geslacht, handicap, burgerlijke staat, vermogen of leeftijd.
Indirect onderscheid: Het algoritme lijkt neutraal of eerlijk. Maar later blijkt dat bepaalde mensen op een andere manier worden behandeld door hun geloof, politieke of seksuele voorkeur, ras, geslacht, of burgerlijke staat.
[!TIP] Heeft je algoritme een discriminerend effect, dan moet je zo snel mogelijk stoppen met het algoritme. Gebruik bijvoorbeeld het discriminatieprotocol van het ministerie van Binnenlandse Zaken.
Een direct of indirect onderscheid is niet altijd verboden volgens Artikel 2 Algemene wet gelijke behandeling. In bepaalde situaties en onder bepaalde strenge voorwaarden mag je zo\u2019n onderscheid wel maken.
Direct onderscheid maken mag bijvoorbeeld als hiervoor een uitzondering staat in de wet. Zo mag je bijvoorbeeld in situaties waar het gaat om moederschap of zwangerschap onderscheid maken op basis van geslacht.
Indirect onderscheid maken mag niet, tenzij hiervoor een wettelijke uitzondering geldt. Of je hebt een goede reden (objectieve rechtvaardiging). Selecteert je algoritme bijvoorbeeld alleen vrouwen voor een vacature, dan moet je hier een goede reden voor hebben. En het algoritme moet passend en noodzakelijk zijn om een doel te bereiken dat wettelijk is toegestaan. Anders is het discriminatie.
"},{"location":"onderwerpen/bias-en-non-discriminatie/#belang-van-discriminerende-effecten-voorkomen","title":"Belang van discriminerende effecten voorkomen","text":"
Discriminatie is verboden volgens Artikel 1 van de Nederlandse Grondwet. En algoritmes kunnen snel een discriminerend effect hebben op grote groepen mensen. Vooral impactvolle algoritmes kunnen veel schade veroorzaken in de maatschappij door discriminatie.
Het is erg moeilijk om discriminerende effecten te voorkomen. Discriminatiegronden weglaten als variabele in je algoritme is niet genoeg. Want discriminatie ontstaat ook indirect, door bias.
Bias herkennen is een belangrijke stap in het voorkomen van discriminerende effecten van algoritmes.
'Bias' is een Engels woord voor vooroordeel of vooringenomenheid. Volgens de norm ISO/IEC TR 24027 maken algoritmes met een bias steeds een bepaald soort fout. Hierdoor behandelen ze bepaalde mensen, groepen of producten steeds (systematisch) op een verschillende manier. Dit verhoogt de kans op discriminatie.
Alle algoritmes hebben vooroordelen en maken fouten, net als de mens. Wil je dit aanpakken, zoek dan naar bias in het algoritme zelf en in de mensen en processen om het algoritme heen. Een bias-vrij algoritme is niet mogelijk.
Bias ontstaat bijvoorbeeld in:
statistiek en berekeningen (statistische bias)
systemen en processen in bijvoorbeeld de samenleving of je organisatie (systemische bias)
het menselijk denken (menselijke bias)
"},{"location":"onderwerpen/bias-en-non-discriminatie/#bias-in-statistiek-en-berekeningen","title":"Bias in statistiek en berekeningen","text":"
Dit zijn fouten in de:
kwaliteit van de data
manier waarop algoritmes data verwerken
Voorbeelden:
Meet-bias (measurement bias) Je algoritme maakt een verkeerde schatting of benadering van kenmerken of labels. Dit komt doordat het de ene variabele gebruikt om een andere variabele te voorspellen of te benaderen (proxy). En hierbij laat het belangrijke informatie weg, of het voegt onbelangrijke informatie (ruis) toe. Een algoritme maakt bijvoorbeeld een verkeerde schatting van het risico op overlijden aan longontsteking in het ziekenhuis. Het algoritme leert namelijk uit de data dat dit risico lager is voor astmapati\u00ebnten. Maar dit komt niet door hun astma. Het algoritme laat weg dat astmapati\u00ebnten met longontsteking direct naar de intensive care gaan. En mensen zonder astma niet. Versterkingsbias (amplification bias) Je algoritme versterkt een patroon uit de trainingsdata. Een algoritme dat mensen en hun acties herkent, voorspelt bijvoorbeeld 5 keer zo vaak de combinatie \u2018vrouw\u2019 en \u2018koken\u2019. Terwijl deze combinatie in de trainingsdata maar 2 keer zo vaak voorkomt. Evaluatie-bias (evaluation bias) Je algoritme trekt verkeerde conclusies omdat de evaluatiedata niet kloppen, of niet compleet zijn. Een algoritme voor gezichtsherkenning herkent bijvoorbeeld vrouwen van kleur niet goed, omdat deze vrouwen te weinig voorkomen in de dataset voor evaluatie. Representatie-bias (representation bias) Je algoritme doet voorspellingen over een grote groep, op basis van resultaten uit subgroepen met te weinig verschillende proefpersonen. Een algoritme beoordeelt bijvoorbeeld de populariteit van treinstations onder reizigers op basis van hun smartphone-gebruik. Maar deze groep is niet representatief, omdat oudere reizigers vaak minder gebruik maken van smartphones."},{"location":"onderwerpen/bias-en-non-discriminatie/#bias-in-systemen-en-processen","title":"Bias in systemen en processen","text":"
Dit is vooringenomenheid die vaak in de loop der tijd is ontstaan in de samenleving of je organisatie. Deze vooringenomenheid werkt door in processen of systemen, of wordt soms versterkt door algoritmes. Dit gebeurt vaak niet bewust.
Systemische bias heet ook wel: institutionele vooringenomenheid. Dit betekent dat vooroordelen vaak horen bij de cultuur en samenleving. Die vooroordelen zitten daardoor ook in veel datasets, en kunnen zo versterkt worden door je algoritme.
Voorbeelden:
Historische bias Je algoritme heeft vooroordelen die in de loop der tijd ontstonden in de samenleving. Een algoritme gebruikt bijvoorbeeld data die gebaseerd is op oude belastingregels, terwijl er nieuwe wetten en regels zijn. Dan zit er een historische bias in je data. Of een algoritme voorspelt bijvoorbeeld de koopkracht van mensen, maar gebruikt hiervoor data uit een tijd waarin mannen meer verdienden dan vrouwen. Activiteitenbias (activity bias) Je algoritme geeft een verkeerd beeld over gebruikers van interactieve producten, zoals websites of apps. Dit komt omdat alleen de meest actieve gebruikers trainingsdata aanleveren. Een algoritme onderzoekt bijvoorbeeld wat burgers van een bepaalde brief vinden op basis van kliks in een digitale vragenlijst. Het algoritme kan niet zeggen wat burgers \u00e9cht vinden, omdat de meest actieve internetgebruikers vaker klikken en vaker de vragenlijst invullen. Samenlevingsbias (societal bias) Je algoritme maakt een fout op basis van stereotypes die voorkomen in de samenleving. Dit gebeurt vooral in AI-systemen die taal verwerken via Natural Language Processing (NLP). Een algoritme dat teksten maakt, geeft bijvoorbeeld \u2018verpleegster\u2019 als vrouwelijke vorm van \u2018dokter\u2019. Dit komt omdat het stereotype dokter in die samenleving een man is."},{"location":"onderwerpen/bias-en-non-discriminatie/#bias-in-menselijk-denken","title":"Bias in menselijk denken","text":"
Dit zijn vooroordelen in het menselijk denken die steeds (systematisch) invloed hebben op de manier waarop iemand iets ziet, hoort, ruikt, proeft of voelt.
Menselijke bias kan invloed hebben op de:
verzamelde data
manier waarop je het algoritme optimaliseert
besluiten die je neemt op basis van het algoritme
Voorbeelden:
Automatiseringsbias Mensen maken een denkfout omdat zij de voorkeur geven aan adviezen van automatische besluitvormingssystemen. Zelfs als uit andere informatie blijkt dat deze adviezen niet kloppen. Wanneer behandelaren handmatig controleren of een uitkering van een burger klopt, hebben zij vaak de neiging om de beslissing te volgen van het algoritme. Cognitieve bias Mensen maken een denkfout omdat zij volgens een vast patroon afwijken van logisch nadenken. Vaak gebeurt dit om complexe denktaken te versimpelen of versnellen. Administratief medewerkers weigeren bijvoorbeeld een AI-systeem te gebruiken, omdat ze slechte ervaringen hebben met een ander AI-systeem. Zij willen het nieuwe AI-systeem dus niet gebruiken, terwijl ze dit nooit gebruikt hebben. Bevestigingsbias Mensen maken een denkfout omdat zij de voorkeur geven aan voorspellingen van algoritmes die hun eigen overtuigingen of gedachtes bevestigen. Rechercheurs zoeken bijvoorbeeld direct naar bewijs om verdachte X te veroordelen, nadat een algoritme X voorspelt als dader. Terwijl de rechercheurs ook ander bewijs moeten zoeken. Implementatie-bias Een algoritme wordt op een andere manier gebruikt dan hoe het bedoeld is en waarvoor het ontwikkeld is. Dit komt vaak voor wanneer een algoritme wordt gebruikt als beslishulp voor mensen. erkt niet goed door de menselijke denkfout dat gebruikers op dezelfde manier omgaan met adviezen. Terwijl gebruikers verschillend omgaan met adviezen. Hierdoor is het algoritme niet goed getest tijdens de implementatiefase. Een wet over bijvoorbeeld immigratie wordt ingevoerd en er wordt een algoritme ontwikkeld om te onderzoeken wat de gevolgen hiervan zijn. Dit algoritme is dan ook bedoeld om voor bepaalde groepen mensen te kijken wat de gevolgen zijn. Het algoritme wordt ook gebruikt bij het toekennen van staatsburgerschap aan de hand van de gevolgen. Dit is niet zoals het systeem bedoeld is en dus kunnen er incomplete antwoorden of resultaten uitkomen. Overlevingsbias (survivorship bias) Mensen hebben de neiging om voorkeur te geven aan dingen, mensen of observaties die door een bepaalde selectie zijn gekomen. Naar de gevallen die buiten de selecties vallen wordt vaak niet of minder gekeken. Dit kan leiden tot een zichzelf versterkend proces. Zo worden bijvoorbeeld modellen die werken verbeterd, maar wordt niet gekeken waarom de andere modellen niet werken. Om fraudeherkenning te vergemakkelijken wordt bijvoorbeeld een model getraind op data van personen/huishoudens die eerder zijn gecontroleerd op mogelijke fraude. Hiermee wordt een groot gedeelte personen/huishoudens niet meegenomen in de trainingsdata, omdat deze groep niet eerder gecontroleerd is."},{"location":"onderwerpen/bias-en-non-discriminatie/#bepaal-wat-eerlijk-en-rechtvaardig-is","title":"Bepaal wat eerlijk en rechtvaardig is","text":"
Ontdek je bias, dan wil je je algoritme of je aanpak verbeteren. Hoe je dat doet, hangt af van wat je organisatie zelf eerlijk en rechtvaardig vindt. Dit heet ook wel het bepalen van \u2018algoritmische fairness\u2019.
"},{"location":"onderwerpen/bias-en-non-discriminatie/#let-altijd-op-discriminerende-effecten","title":"Let altijd op discriminerende effecten","text":"
Het risico op bias en discriminatie blijft altijd bestaan. Je kunt dit niet in 1 keer wegnemen.
Houd daarom rekening met bias tijdens het ontwikkelen, inkopen en gebruiken van algoritmes. En controleer voortdurend of je algoritmes en je aanpak nog eerlijk en rechtvaardig zijn. Let hierop in alle fasen van de levenscyclus van het algoritme.
"},{"location":"onderwerpen/bias-en-non-discriminatie/#aanbevolen-hulpmiddelen","title":"Aanbevolen hulpmiddelen","text":"HulpmiddelenThe Fairness HandbookHandreiking non-discriminatie by designDiscriminatie door risicoprofielen - Een mensenrechtelijk toetsingskader"},{"location":"onderwerpen/bias-en-non-discriminatie/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
Overheden moeten verantwoord omgaan met de data die hun algoritmes gebruiken. De data moet voldoen aan regels voor bijvoorbeeld privacy. De kwaliteit van de data moet goed zijn. En overheden moeten deze gegevens goed beheren. Anders is het algoritme niet betrouwbaar.
"},{"location":"onderwerpen/data/#wat-is-verantwoord-datagebruik","title":"Wat is verantwoord datagebruik?","text":"
Verantwoord datagebruik betekent:
Rechtmatig gebruik van gegevens
Goede datakwaliteit
Goed databeheer
"},{"location":"onderwerpen/data/#rechtmatig-gebruik-van-data","title":"Rechtmatig gebruik van data","text":"
Net als organisaties mogen algoritmes niet zomaar gegevens verzamelen en gebruiken. Dit moet rechtmatig gebeuren: volgens de wettelijke regels. Zo moet je rekening houden met auteursrechten. Ook v\u00f3\u00f3rdat het algoritme in gebruik is, moet je rechtmatig omgaan met data. Dus tijdens het trainen, valideren en testen.
Andere belangrijke regels gaan over privacy. Zo mag je algoritme alleen de minimale persoonsgegevens gebruiken die nodig zijn om het doel te bereiken. Technieken om dit te doen zijn:
Anonimiseren: data zoveel mogelijk anoniem maken
Pseudonimiseren: data moeilijker herleidbaar maken naar personen
Aggregeren: data zoveel mogelijk combineren of samenvoegen tot 1 waarde, zoals een totaal of gemiddelde
Hoe slechter de datakwaliteit, hoe onbetrouwbaarder de uitkomsten van je algoritme.
Je bepaalt en controleert zelf de kwaliteit van je dataset. Check bijvoorbeeld of alle gegevens juist, compleet en actueel zijn. En herken bias in je data.
"},{"location":"onderwerpen/data/#goed-databeheer-datagovernance-en-datamanagement","title":"Goed databeheer: datagovernance en datamanagement","text":"
Goed databeheer betekent dat je organisatie duidelijke afspraken maakt over het:
opslaan en verwerken van data
gebruik van data: welke data mag je waarvoor gebruiken?
beveiligen van data
bewaken van de datakwaliteit, zoals het actueel houden van de gegevens
eigenaarschap van data, bijvoorbeeld de partij die het algoritme ontwikkelt
documenteren en labelen van data (metadata)
Leg de processen en afspraken hierover vast in de datagovernance van je organisatie. In een datamanagementstrategie beschrijf je hoe je organisatie data verzamelt, ordent en gebruikt. Zo kan je organisatie optimaal gebruikmaken van data.
Hoe goed je organisatie data beheert, check je met datavolwassenheidsmodellen uit de Toolbox verantwoord datagebruik van de Interbestuurlijke Datastrategie (IBDS). Of gebruik de beslishulp datavolwassenheid.
"},{"location":"onderwerpen/data/#belang-van-verantwoord-datagebruik","title":"Belang van verantwoord datagebruik","text":"
Algoritmes kunnen veel schade veroorzaken in de maatschappij als ze de verkeerde gegevens gebruiken.
Met verantwoord datagebruik voorkom je:
verkeerde beslissingen doordat je algoritme resultaten baseert op data van slechte kwaliteit
discriminerende effecten van algoritmes doordat je data bias bevat
lekken van privacygevoelige informatie, zoals persoonsgegevens
gebruik van data die niet rechtenvrij zijn, zoals teksten met auteursrechten
dat resultaten niet te reproduceren zijn, doordat de data niet goed is opgeslagen
Richtlijnen voor \u2018FAIR\u2019 data, GO FAIR Foundation
"},{"location":"onderwerpen/duurzaamheid/","title":"Duurzaam werken met algoritmes","text":"
Overheden moeten duurzaam werken met hun ICT, zoals algoritmes. Dit betekent dat je algoritmes inkoopt, ontwikkelt en gebruikt op een manier die vriendelijk is voor mens en milieu.
"},{"location":"onderwerpen/duurzaamheid/#wat-is-duurzaam-werken-met-algoritmes","title":"Wat is duurzaam werken met algoritmes?","text":"
Je werkt duurzaam met algoritmes als je tijdens de hele levenscyclus keuzes maakt die passen bij de duurzame en sociale doelen van de overheid:
klimaatneutraal werken in 2030
50% minder gebruik van grondstoffen direct uit de natuur (zoals olie, gas en lithium) in 2030
circulair werken in 2050: zonder afval, met alleen hergebruikte grondstoffen
meer banen voor mensen met een arbeidsbeperking
geen sociale misstanden in internationale productieketens, zoals slechte arbeidsomstandigheden of schending van mensenrechten
Om bij te dragen aan deze doelen, kies je bijvoorbeeld voor:
energiezuinig programmeren
energiezuinig trainen van AI-systemen
dataopslag in een duurzaam of \u2018groen\u2019 datacenter
"},{"location":"onderwerpen/duurzaamheid/#belang-van-duurzaam-werken","title":"Belang van duurzaam werken","text":"
Algoritmes kunnen veel impact hebben op het milieu. De rekenkracht die algoritmes nodig hebben op computers kost elektriciteit. En de datacenters die nodig zijn voor het opslaan van data, verbruiken veel energie, water en grondstoffen. Vooral complexe AI-systemen zoals Large Language Models (LLM\u2019s) verbruiken veel energie door training en gebruik en door opslag van grote datasets in datacenters.
"},{"location":"onderwerpen/duurzaamheid/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
"},{"location":"onderwerpen/fundamentele-rechten/","title":"Grondrechten beschermen in algoritmes","text":"
Als overheid moet je de grondrechten van burgers beschermen. Dit geldt ook als je algoritmes gebruikt voor publieke taken.
"},{"location":"onderwerpen/fundamentele-rechten/#wat-is-het-beschermen-van-grondrechten-in-algoritmes","title":"Wat is het beschermen van grondrechten in algoritmes?","text":"
Dit betekent dat je tijdens het ontwikkelen en gebruiken van algoritmes rekening houdt met de fundamentele rechten van de mens:
grondrechten uit de Grondwet
mensenrechtenverdragen zoals het Europees Verdrag tot bescherming van de rechten van de mens en de fundamentele vrijheden (EVRM).
"},{"location":"onderwerpen/fundamentele-rechten/#belang-van-grondrechten-beschermen","title":"Belang van grondrechten beschermen","text":"
Algoritmes kunnen grondrechten schenden. Een bekend probleem is bias in algoritmes. Hierdoor worden resultaten onbetrouwbaar en kun je mensen ongelijk behandelen.
Belangrijke grondrechten die vaak worden geraakt door algoritmen zijn bijvoorbeeld:
recht op persoonsgegevensbescherming
verbod op ongelijke behandeling
recht op eerbiediging van de persoonlijke levenssfeer
Als overheid moet je hier goed op letten. Doe dit zo vroeg mogelijk in de levenscyclus. De maatregelen die we adviseren, beginnen al bij het ontwerpen en trainen van algoritmes.
"},{"location":"onderwerpen/fundamentele-rechten/#aanbevolen-maatregelen","title":"Aanbevolen maatregelen","text":"idMaatregelenpba-04Overleg regelmatig met belanghebbendenowp-06Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafwegingowp-07Maak een lijst van de meest kwetsbare groepen en bescherm hen extra"},{"location":"onderwerpen/fundamentele-rechten/#hulpmiddelen","title":"Hulpmiddelen","text":"HulpmiddelenAssessment List for Trustworthy Artificial Intelligence (ALTAI)De Ethische Data AssistentImpact Assessment Mensenrechten en AlgoritmesThe Fairness HandbookFramework for Meaningful EngagementHandreiking non-discriminatie by designDiscriminatie door risicoprofielen - Een mensenrechtelijk toetsingskader"},{"location":"onderwerpen/fundamentele-rechten/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
"},{"location":"onderwerpen/governance/","title":"Governance","text":""},{"location":"onderwerpen/governance/#wat-is-governance","title":"Wat is governance","text":"
Governance gaat over de inrichting van een organisatie en de daarbij horende processen, regels, gebruiken en bijbehorende verantwoordelijkheden. In het Algoritmekader gaat governance over de governance algoritmes ingezet door een overheidsorganisatie.
Let op!
Omdat het Algoritmekader uitgaat van de brede definitie van een algoritme, hanteren we voor het gemak de term \u201calgoritmegovernance\u201d als we het hebben over governance over algoritmes, waaronder AI.
De noodzaak van algoritmegovernance is om grip te hebben (of krijgen) op algoritmes binnen een organisatie en nadelige gevolgen ervan, zoals (onbedoelde) discriminatie, te voorkomen. Een algoritmegovernance is een belangrijke randvoorwaarde om de vereisten die gelden voor een verantwoorde inzet van algoritmes gestructureerd toe te passen.
Er bestaan verschillende niveaus van algoritmegovernance: het (inter)nationaal niveau, het organisatieniveau en het niveau van het algoritme zelf, het systeemniveau (zie figuur hieronder). Het Algoritmekader focust op de onderste twee niveaus, waar een organisatie invloed op heeft. Dit zijn organisatieniveau en systeemniveau.
Als je deze sectie leest ben je waarschijnlijk ge\u00efnteresseerd in het opzetten of verbeteren van algoritmegovernance bij jouw organisatie. Dit vindt plaats op het organisatieniveau en in de levenscyclus bij \"organisatieverantwoordelijkheden\". Het gaat over het inrichten van processen zoals (die rondom) de levenscyclus van een algoritme Alles op deze pagina gaat dus over het inrichten van governance.
Er worden maatregelen gegeven waar concreet mee aan de slag kan worden gegaan. Deze maatregelen zijn nog onder te verdelen in twee stappen:
Randvoorwaarden algoritmegovernance: Dit speelt zich af op organisatieniveau. Bijvoorbeeld een duidelijke visie op de ontwikkeling en gebruik van algoritmes is hier onderdeel van.
Inrichten van algoritmegovernance: Dit speelt zich af op organisatieniveau, maar heeft betrekking op het systeemniveau. Er worden bijvoorbeeld keuzes gemaakt hoe de levenscyclus, rollen en verantwoordelijkheden specifiek voor jouw organisatie wordt ingericht.
Het Algoritmekader schrijft niet voor hoe je algoritmegovernance moet inrichten. Organisaties zullen dit zelf moeten bepalen. (In latere versies komt mogelijk tooling om vereisten en maatregelen te koppelen aan rollen binnen een eigen organisatie.)
"},{"location":"onderwerpen/governance/#waar-te-starten","title":"Waar te starten","text":"
Is er al een visie of beleid over hoe om te gaan algoritmes binnen de organisatie? Is er al iemand verantwoordelijk voor de ontwikkeling en gebruik van algoritmes? Wie gaat over de naleving van bijvoorbeeld de AI-verordening? Stap 1 kan ondersteunen bij deze vragen.
"},{"location":"onderwerpen/governance/#voorbeelden-bij-stap-1-randvoorwaarden-algoritmegovernance","title":"Voorbeelden bij stap 1: Randvoorwaarden algoritmegovernance","text":"
Deze maatregelen gaan over de basis leggen om algortimegovernance mogelijk te maken. Kijk eens naar maatregelen zoals:
Stel een visie met betrekking tot AI en algoritmes op en zorg voor bestuurlijk bewustzijn en draagvlak.
Onderzoek wat er al is qua bestaande governancestructuren en samenwerking.
Breng het AI-volwassenheidsniveau in kaart om focus aan te brengen waar het nodig is.
"},{"location":"onderwerpen/governance/#voorbeelden-bij-stap-2-inrichten-van-algoritmegovernance","title":"Voorbeelden bij stap 2: Inrichten van algoritmegovernance","text":"
We geven bij deze maatregelen meer voorbeelden en best practices voor het inrichten van algoritmegovernance. Kijk eens naar maatregelen (onderaan deze pagina) zoals:
Rollen en verantwoordelijkheden in algoritmegovernance
De AI-levenscyclus en go/no-go 'gates'.
Intern toezicht zoals met three lines of defence
Let op!
Voorbeelden bieden in hoofdlijnen een \u2018blauwdruk\u2019 voor hoe algoritmegovernance kan worden ingericht. Overheidsorganisaties verschillen, onder andere in grootte. Er moet altijd moet worden gekeken hoe dit in de eigen organisatie is in te passen.
"},{"location":"onderwerpen/governance/#aandachts-en-actiepunten-algoritmegovernance-algemeen","title":"Aandachts- en actiepunten algoritmegovernance algemeen","text":"
Maak iemand verantwoordelijk voor het opstellen van de algoritmegovernance.
Zorg voor (bestuurlijk) bewustzijn als je ziet dat algoritmegovernance ontbreekt maar nog niet belegd is.
Zorg voor overlegstructuren met keuzemandaat met belangrijke partijen/stakeholders.
"},{"location":"onderwerpen/governance/#aanbevolen-maatregelen","title":"Aanbevolen maatregelen","text":"idMaatregelenorg-01Bepaal of er genoeg experts beschikbaar zijnorg-04Stel beleid op voor een verantwoorde inzet van algoritmes binnen de organisatie.org-03Maak een plan voor het omgaan met risico\u2019sorg-04Zorg voor politiek-bestuurlijk bewustzijn, betrokkenheid, en verantwoordelijkheid.org-05Sluit algoritmegovernance aan op bestaande governancestructuren binnen de organisatie.org-06Gebruik een algoritme volwassenheidsmodel om te weten waar de organisatie staatorg-07Richt een algoritmegovernance in met three lines of defenceorg-08Maak gebruik van beslismomenten in de algoritmelevenscyclusorg-09Richt algoritmegovernance op basis van de risicoclassificatie van algoritmes.org-10Taken en verantwoordelijkheden zijn toebedeeld in de algoritmegovernanceorg-11Maak afspraken over het beheer van gebruikersorg-12Controleer en verbeter regelmatig de kwaliteit van het algoritmeorg-13Maak afspraken over het beheer van wachtwoordenorg-14Maak afspraken over het wijzigen van de codepba-01Beschrijf het probleem dat het algoritme moet oplossenpba-02Beschrijf het doel van het algoritmepba-03Beschrijf waarom een algoritme het probleem moet oplossenpba-04Overleg regelmatig met belanghebbendenpba-05Beschrijf de wettelijke grondslag voor de inzet van het algoritmeowp-01Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmesowp-05Bepaal het soort algoritme en de risicogroep en vereisten die hierbij horenowp-28Pas vastgestelde interne beleidskaders toe en maak aantoonbaar dat deze zijn nageleefd bij het ontwikkelen, inkopen en gebruiken van algoritmes.org-02Pas vastgestelde beleidskaders toeowk-02Maak een noodplan voor het stoppen van het algoritmever-03Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleidimp-03Richt de juiste menselijke controle in van het algoritmeimp-06Spreek af hoe de organisatie omgaat met privacy-verzoekenimp-05Spreek af hoe medewerkers omgaan met het algoritme.imp-09Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme en monitor dit proces.imp-01Maak een openbaar besluit over de inzet van het algoritmemon-03Maak een noodplan voor beveiligingsincidenten"},{"location":"onderwerpen/governance/#aanbevolen-hulpmiddelen","title":"Aanbevolen hulpmiddelen","text":"HulpmiddelenOnderzoekskader algoritmes Auditdienst Rijk 2023Toetsingskader Algoritmes Algemene Rekenkamer"},{"location":"onderwerpen/menselijke-controle/","title":"Menselijke controle over algoritmes","text":"
Algoritmes van de overheid moeten onder controle blijven van mensen. Presteert het algoritme niet goed, dan moet een mens dit kunnen aanpassen of stoppen.
"},{"location":"onderwerpen/menselijke-controle/#wat-is-menselijke-controle","title":"Wat is menselijke controle?","text":"
Menselijke controle over een algoritme of AI-systeem betekent dat mensen invloed hebben op de uitkomsten. Mensen moeten het ontwerp van het algoritme kunnen aanpassen. En mensen moeten het algoritme kunnen stoppen. Zo kun je op tijd ingrijpen als er iets fout gaat.
"},{"location":"onderwerpen/menselijke-controle/#belang-van-menselijke-controle","title":"Belang van menselijke controle","text":"
Algoritmes kunnen schade veroorzaken in de maatschappij. Gebruik je een algoritme voor een publieke taak, dan moet je dit continu op een of andere manier controleren.
Tijdens het ontwerp van een algoritme of AI-systeem controleer je bijvoorbeeld of het algoritme op de juiste manier \u2018getraind\u2019 wordt. Maakt het bijvoorbeeld gebruik van een goede dataset, zonder bias, die representatief is voor de samenleving? En je controleert of het algoritme bepaalde groepen niet benadeelt.
Voordat je een algoritme gaat gebruiken, is het belangrijk om het doel te bepalen.
Tijdens het gebruik van een algoritme is menselijke controle belangrijk omdat de werking verandert in de loop der tijd:
Situaties kunnen veranderen. Het algoritme kan daarvan niet op de hoogte zijn. Een routeplanner kent bijvoorbeeld niet alle werkzaamheden of veranderingen aan de wegen.
AI-systemen leren soms nog bij. En soms is het niet duidelijk op welke data de uitkomsten gebaseerd zijn. Een beeldherkenningssysteem herkent bijvoorbeeld honden op foto\u2019s op basis van de achtergrond in plaats van de hond zelf.
Nieuwe mogelijkheden ontstaan door technologische ontwikkelingen. Zo maken leerlingen en studenten massaal gebruik van large language modellen (LLM\u2019s) zoals ChatGPT.
Er is maatschappelijke consensus dat alleen natuurlijke personen in staat zijn om een goede (ethische) afweging te maken over wanneer en welke controle nodig is. Menselijke controle kan je dus niet automatiseren. Mensen mogen zich hierbij wel laten helpen door computers of andere technologie.
Je kunt op verschillende manieren controle houden over de prestaties van een algoritme:
Technische controle: Controle uitoefenen op het algoritme zelf. Je bepaalt bijvoorbeeld dat een AI-systeem alleen mag 'bijleren\u2019 wanneer de data voldoet aan bepaalde voorwaarden voor sociale representativiteit.
Contextuele controle: Controle van de omgeving van het algoritme. Je verbiedt bijvoorbeeld dat je organisatie het algoritme gebruikt in situaties met een hoog risico op schade.
Controle door kennis: Je probeert de werking en risico\u2019s van je algoritmes zo goed mogelijk te begrijpen. Gaat het om een AI-systeem, dan heb je ook voldoende kennis over AI nodig.
Wanneer en hoe je controle uitoefent, hangt af van het soort algoritme en risico, de levenscyclusfase van je project en je expertise.
Bepaal in elk geval zo vroeg mogelijk wie in welke levenscyclusfase verantwoordelijk is voor menselijke controle. En beschrijf dit in een RACI-matrix of VERI-matrix. Want menselijke controle is nodig in verschillende fases, door verschillende mensen. Er is nooit 1 persoon verantwoordelijk voor de totale controle.
Tijdens het gebruik kun je menselijke controle op de volgende manieren uitoefenen:
Human in the loop: Een mens moet de acties starten van het algoritme. Het werkt niet uit zichzelf.
Human on the loop: Mensen kunnen acties stoppen van het algoritme.
Human above the loop: Mensen houden overzicht en kunnen ingrijpen bij strategische en ethische beslissingen.
Human before the loop: Het algoritme interpreteert morele modellen die mensen vooraf bedenken. Deze oplossing is bedoeld voor volledig autonome algoritmes. Dit zijn algoritmes die zelf beslissingen moeten nemen, bijvoorbeeld door tijdsdruk.
Na het bepalen van de manier van controleren, bepaal je de manier waarop je feedback krijgt over het algoritme: Wat voor soort informatie moet bij wie terechtkomen? Aan wie moet een gebruiker bijvoorbeeld rapporteren dat het AI-systeem niet meer goed werkt?
"},{"location":"onderwerpen/menselijke-controle/#aanbevolen-maatregelen","title":"Aanbevolen maatregelen","text":"idMaatregelenorg-12Controleer en verbeter regelmatig de kwaliteit van het algoritmepba-03Beschrijf waarom een algoritme het probleem moet oplossenowk-02Maak een noodplan voor het stoppen van het algoritmeimp-01Stel een werkinstructie op voor gebruikers.imp-03Richt de juiste menselijke controle in van het algoritmeimp-05Spreek af hoe medewerkers omgaan met het algoritme."},{"location":"onderwerpen/menselijke-controle/#hulpmiddelen","title":"Hulpmiddelen","text":"HulpmiddelenAssessment List for Trustworthy Artificial Intelligence (ALTAI)Framework for Meaningful Engagement"},{"location":"onderwerpen/menselijke-controle/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
"},{"location":"onderwerpen/privacy-en-gegevensbescherming/","title":"Privacy en gegevensbescherming","text":"
Overheidsinstanties verwerken vaak persoonsgegevens om hun taken uit te voeren en maatschappelijke waarden te cre\u00ebren. Met de opkomst van algoritmes en kunstmatige intelligentie (AI) worden deze gegevens steeds vaker gebruikt om processen te optimaliseren, zoals bij het beoordelen van subsidieaanvragen of het verlenen van vergunningen.
Bij het gebruik van algoritmes is van groot belang om aandacht te besteden aan privacy en gegevensbescherming. Deze technologie\u00ebn vari\u00ebren van eenvoudige rekenregels tot complexe machine learning-modellen en generatieve AI, elk met hun eigen specifieke risico\u2019s. Bijvoorbeeld, eenvoudige AI kan basisberekeningen uitvoeren, terwijl complexere AI-voorspellingen kan doen of informatie kan genereren. Ongeacht de complexiteit is het identificeren van risico\u2019s en het implementeren van passende beheersmaatregelen essentieel om de privacy van burgers te waarborgen en gevoelige gegevens te beschermen.
Bij de inzet van AI in de publieke sector moeten overheidsinstanties rekening houden met de vereisten uit privacywetgeving, zoals de Algemene Verordening Gegevensbescherming (AVG). Dit omvat onder andere het minimaliseren van gegevensgebruik, implementeren van een privacy by design werkwijze waar mogelijk, en het transparant zijn over hoe en waarom (persoons)gegevens worden verwerkt. Het toewijzen van verantwoordelijkheden en het opstellen van duidelijke richtlijnen voor gegevensverwerking zijn belangrijke stappen in dit proces.
Het bouwblok privacy en gegevensbescherming van algoritmes wordt ook ge\u00efntegreerd in de algoritmelevenscyclus. Dit biedt inzicht in wanneer specifieke vereisten en maatregelen tijdens de ontwikkeling van algoritmes moeten worden toegepast. Door deze vereisten in de levenscyclus te integreren, kunnen de gebruikers inzichten opdoen wanneer deze maatregelen kunnen worden ge\u00efmplementeerd.
"},{"location":"onderwerpen/privacy-en-gegevensbescherming/#hulpmiddelen","title":"Hulpmiddelen","text":"HulpmiddelenAssessment List for Trustworthy Artificial Intelligence (ALTAI)Data Protection Impact Assessment"},{"location":"onderwerpen/publieke-inkoop/","title":"Publieke inkoop","text":"
Door middel van publieke inkoop wordt door overheidsinstellingen software ingekocht. Deze software wordt ingekocht om ambtenaren te ondersteunen met hun werkzaamheden om zo maatschappelijk waarden te cre\u00ebren. Het kan bijvoorbeeld gaan om het inkopen van een systeem waarmee een aanvraag voor een subsidie of vergunning kan worden behandeld. Het virtueel vergaderen of het digitaal samenwerken aan documenten zijn hier ook voorbeelden van.
Disclaimer
Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.
Software wordt vaak ontwikkeld door gespecialiseerde aanbieders en bevat steeds meer algoritmes. Het komt ook voor dat de overheid deze technologie zelf ontwikkelt. Deze algoritmes kunnen eenvoudig van aard zijn, zoals het maken van een eenvoudige berekening. Zij kunnen complexer van aard zijn, zoals een voorspelling geven of het genereren van informatie. In het laatste geval kan worden gedacht aan ChatGPT, Google Bard of Co-Pilot. Er zijn verschillende type technologie\u00ebn die vallen onder het bereik van algoritmes. In dit kader drukken we deze uit als \u2018rekenregel\u2019, \u2018machine learning\u2019 en \u2018generatieve AI\u2019. Elke technologie heeft eigen bijzondere aandachtspunten. Ook de bijbehorende risico\u2019s kunnen per type verschillen. Het identificeren van deze risico\u2019s en het treffen van beheersmaatregelen is daarbij van belang. Dat geldt in het bijzonder als algoritmes bijdragen aan de totstandkoming van overheidsbesluitvorming en impactvolle beslissingen die burgers en ondernemingen raken.
Door bij publieke inkoop van software met algoritmes rekening te houden met vereisten die voorkomen uit wet- en regelgeving, toepassen van publieke waarden, het type algoritme of AI en de potenti\u00eble risico\u2019s die ontstaan bij het gebruiken ervan, kunnen negatieve gevolgen worden voorkomen. Publieke inkoop speelt daarom een belangrijke rol bij de totstandkoming van verantwoord ontwikkelde algoritmes en het gebruik daarvan door ambtenaren. In dit deel van het Algoritmekader wordt nader ingegaan op deze vereisten. Er worden suggesties gedaan hoe deze vereisten kunnen worden nageleefd en welke rollen daarbij betrokken kunnen zijn. Waar mogelijk worden concrete voorbeelden uit de praktijk gegeven en zal worden aangegeven bij welk type algoritmes dit relevant is.
Het publiek inkopen van algoritmes wordt ook gekoppeld aan de algoritme levenscyclus. Dit geeft een beeld van wanneer bepaalde vereisten en maatregelen, bij het ontwikkelen van algoritmes, moeten worden geadresseerd. Door deze vereisten ook te vertalen naar het inkoopproces, zullen de rollen binnen het inkoopproces beter in staat zijn om te duiden wanneer en hoe dit kan worden geadresseerd. Dit moet bijdragen aan een goed samenspel met aanbieders, zodat de kansen van algoritmes worden benut en de negatieve gevolgen worden voorkomen.
Algoritmes kunnen een grote impact hebben op onze maatschappij. Daarom is het van belang dat deze op een verantwoorde manier worden ontwikkeld en gebruikt. Het toepassen van de algoritme levenscyclus is hierover een bruikbare leidraad. De algoritme levenscyclus bestaat uit meerdere fasen. De werkzaamheden die noodzakelijk zijn om een verantwoord algoritme of AI te ontwikkelen, kunnen logisch worden gekoppeld aan deze fasen. Deze levenscyclus kan worden gebruikt voor alle typen algoritmes. Het verschilt uiteraard wel per type wat moet worden gedaan en dit is mede afhankelijk van de risico classificatie. Bij hoog risico toepassing zal meer moeten worden gedaan om risico\u2019s te mitigeren dan als er sprake is van lage risico toepassingen. De levenscyclus geeft een bruikbaar overzicht voor leveranciers en opdrachtgevers wanneer welke werkzaamheden moeten worden uitgevoerd. Het laat ook zien welke werkzaamheden moeten zijn afgerond als algoritmes in de markt mogen worden gezet en klaar zijn voor gebruik.
Bij het publiek inkopen van software met bijbehorende algoritmes zijn de wensen van de behoeftesteller en de doelstellingen van de organisatie van groot belang. Dit kan tot verschillende situaties leiden:
\u2022 Een al ontwikkelde kant-en-klare oplossing voldoet direct aan deze wensen en doelstellingen;
\u2022 Een al ontwikkelde oplossing moet eerst worden aangepast voordat deze kan worden gebruikt;
\u2022 Er moet een nieuwe oplossing worden ontwikkeld om te voldoen aan de wensen.
Deze inschatting is dus bepalend wat wel en niet van een product mag worden verwacht. Dit is relevant voor zowel de leverancier als de opdrachtgever. Het is aannemelijk dat als het om risicovolle (nog te ontwikkelen) algoritmes gaat, de opdrachtgever een intensieve bijdrage moet leveren aan de samenwerking om het product te kunnen gebruiken. De opdrachtgever zal bijvoorbeeld moeten aangeven wat de juridische en ethische grenzen zijn van de uiteindelijk werking van het algoritme of AI. Als een kant-en-klare oplossing wordt afgenomen, dan zal de leverancier moeten laten zien dat de ontwikkelde algoritmes voldoen aan alle vereisten en moet dit kunnen aantonen.
De inzichten uit de algoritme levenscyclus kunnen ondersteunen bij bijvoorbeeld de behoeftestelling, het maken van make-or-buy beslissingen, de te hanteren aanbestedingsvorm, de totstandkoming van de selectie- en gunningseisen, contractspecificaties en de uitvoering en management van het contract. De algoritme levenscyclus kan worden geraadpleegd via het tabblad boven aan deze pagina. Per fase en per type algoritme of AI kan worden bekeken aan welke vereisten moet worden voldaan en welke beheersmaatregelen kunnen worden getroffen.
Hieronder volgt een overzicht van instrumenten die kunnen worden gebruikt om invulling te geven aan de vereisten en maatregelen.
HulpmiddelenInkoopvoorwaarden"},{"location":"onderwerpen/publieke-inkoop/#bruikbare-informatie-en-bronnen","title":"Bruikbare informatie en bronnen","text":"
Europese modelcontractbepalingen AI-systemen (hoog risico)
Europese modelcontractbepalingen AI-systemen (niet hoog risico)
Contractvoorwaarden voor algoritmes gemeente Amsterdam
Inkoopproces
Community of Practise Digitale Innovatie
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/","title":"Technische robuustheid en veiligheid","text":"
Algoritmes van de overheid moeten robuust en veilig zijn. Dit betekent dat je algoritmes in elke situatie goed presteren, ook als er iets onverwachts gebeurt. Gaat er toch iets mis, dan is er een noodplan.
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#wat-is-technisch-robuust-en-veilig","title":"Wat is technisch robuust en veilig?","text":"
Een technisch robuust en veilig algoritme presteert onder elke omstandigheid zoals het bedoeld is.
Een robuust algoritme is:
Nauwkeurig: Het algoritme geeft de juiste uitkomst voor het gewenste doel, of meldt dat de uitkomst onzeker is.
Betrouwbaar: Ook in nieuwe of onverwachte situaties geeft het algoritme de juiste uitkomst.
Reproduceerbaar: In dezelfde situaties vertoont het algoritme hetzelfde gedrag.
Een algoritme is veilig onder deze omstandigheden:
Geautoriseerde toegang: Alleen personen en systemen met toestemming kunnen het algoritme gebruiken of beheren.
Confidentieel: Het algoritme kan geen vertrouwelijke of gevoelige informatie lekken door aanvallen.
Integer: Kwaadwillenden kunnen nergens in de levenscyclus van het algoritme onbedoeld de controle van het model overnemen.
Beschikbaar: Je kunt op elk moment het algoritme gebruiken waarvoor het bedoeld is. Gaat dit toch fout, dan ontstaat er geen grote schade.
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#belang-van-robuuste-veilige-algoritmes","title":"Belang van robuuste, veilige algoritmes","text":"
Algoritmes kunnen grote schade veroorzaken aan de maatschappij. Met een technisch robuust en goed beveiligd algoritme voorkom je:
onverwachte schadelijke uitkomsten, zoals verkeerde beslissingen of discriminatie door onvoldoende nauwkeurigheid
uitval van het systeem
lekken van informatie, zoals persoonsgegevens
gebruik van het algoritme voor verkeerde doelen
schade door misbruik of aanvallen van buitenaf
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#gebruik-algoritmes-op-de-juiste-manier","title":"Gebruik algoritmes op de juiste manier","text":"
Gebruik een algoritme alleen voor het juiste doel en op de juiste manier. Dit is de manier die is getest en gecontroleerd. Wanneer je het algoritme gebruikt voor een ander doel of in een verkeerde context, zijn de resultaten niet meer betrouwbaar.
Voorkom dat medewerkers op de verkeerde manier werken met het algoritme. Zij moeten weten wat het algoritme wel en niet kan. En wat ze moeten doen als het algoritme fouten maakt of niet goed werkt. Denk aan technische en organisatorische ondersteuning:
Leid medewerkers op.
Maak duidelijke afspraken over werkprocessen (governance).
Stuur gebruikers in het juiste gebruik via interactie en technische verbeteringen in het ontwerp.
Begin zo vroeg mogelijk met regelmatige controles van de uitkomst en werking van het algoritme. In de praktijk verandert de omgeving en de situatie waarin het algoritme wordt gebruikt. Controleer daarom regelmatig of het algoritme nog werkt zoals het is bedoeld.
Een algoritme leest kentekens tijdens parkeercontroles. Het herkent de juiste letters en cijfers op elk kenteken. Ook als het bord een andere kleur heeft, op een andere plek zit of vies is. Het algoritme is nauwkeurig en dus robuust.
Een algoritme berekent het risico op fraude door mensen. Maar bij personen uit dezelfde groep geeft het algoritme de ene keer als uitkomst \u2018hoog risico\u2019 en de andere keer \u2018geen risico\u2019. De uitkomst is niet reproduceerbaar. Hierdoor is het algoritme niet robuust.
Bereid de controles voor tijdens de levenscyclusfases probleemanalyse, ontwerp en dataverkenning en datapreparatie. Onderzoek de situatie waarin je organisatie het algoritme gaat gebruiken: Wat zijn de risico\u2019s? Welke onderdelen van het algoritme moet je evalueren? Analyseer de kwaliteit en variatie van de data. Bedenk maatregelen waarmee je de risico\u2019s zoveel mogelijk voorkomt. En bedenk met welke methode je de controles gaat evalueren.
Ontwikkel je het algoritme zelf, controleer dan tijdens de ontwikkeling al wat er gebeurt in de verschillende situaties die je verwacht. Experimenteer met nieuwe combinaties van de inputdata en gebruik verschillende representatieve test-sets.
Voer de controles uit tijdens de ontwikkelfase en de verificatie- en validatiefase. Test het algoritme goed. Evalueer hoe robuust en veilig het algoritme is. Verbeter het algoritme waar nodig. En monitor goed welke data het algoritme gebruikt, zodat je veranderingen in die data snel signaleert. Maak een noodplan voor als blijkt dat het algoritme niet meer werkt zoals het bedoeld was.
Blijf regelmatig controleren tijdens de fases implementatie en monitoring en beheer. Dit zijn de fases waarin je het algoritme gebruikt. Presteert het algoritme niet goed, los het probleem dan op of stop het gebruik.
[!TIP] Houd rekening met concept drift. Dit betekent dat de eigenschappen van je data in de loop van de tijd kunnen veranderen. Hierdoor trekt je algoritme mogelijk verkeerde conclusies. Zo was er v\u00f3\u00f3r 2020 een verband tussen thuiswerken en ziek zijn. Maar sinds de coronacrisis in 2020 is dit verband minder sterk, omdat gezonde mensen vaker thuiswerken.
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#bescherm-algoritmes-tegen-aanvallen-en-bedreigingen","title":"Bescherm algoritmes tegen aanvallen en bedreigingen","text":"
Beveilig het ICT-systeem waarin het algoritme wordt gebruikt. Dit zijn bijvoorbeeld maatregelen uit de Baseline Informatiebeveiliging Overheid (BIO) die je standaard neemt voor beveiliging van ICT-systemen tegen cyberaanvallen.
Beveilig de algoritmes zelf tegen cybercriminelen. Belangrijke bedreigingen voor algoritmes zijn:
Trainingsdata van een AI-model aanpassen, waardoor het later fouten gaat maken tijdens het gebruik.
Input van een algoritme aanpassen om het normale gedrag te omzeilen, of om het algoritme specifieke, ongewenste output te laten geven.
Een \u2018achterdeurtje\u2019 inbouwen met toegang tot het algoritme, waardoor aanvallers het algoritme kunnen misbruiken.
Intellectueel eigendom of kwetsbaarheden afleiden uit de details van een AI-model.
Gevoelige informatie afleiden uit de eigenschappen van trainingsdata.
Lees meer in het TNO-rapport Verkenning van het raakvlak cybersecurity en AI.
Aandachtspunten voor het beschermen van algoritmes tegen specifieke dreigingen:
Controleer of de trainingsdata geschikt, correct en betrouwbaar is.
Controleer of de inputdata geschikt, correct en betrouwbaar is.
Houd bij complexe algoritmes rekening met verborgen en onwenselijke functionaliteiten.
Train je algoritme om bestand te zijn tegen aanvallen.
Stimuleer veilig gebruik van het algoritme door gebruikers.
Maak afspraken met leveranciers en controleer de geleverde algoritmes voor gebruik.
Test periodiek of het algoritme weerbaar is tegen bekende aanvallen.
Hiermee voorkom je:
misleiding, doordat het algoritme niet werkt op de bedoelde manier
verkeerde implementatie en daardoor een verkeerde werking
Begin zo vroeg mogelijk met beveiligen. Beveilig in elk geval in de fases ontwikkelen, verificatie en validatie, implementatie, monitoring en beheer en uitfaseren.
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#verklein-de-kans-op-schade","title":"Verklein de kans op schade","text":"
Veroorzaak zo min mogelijk schade als het toch fout gaat. En maak een noodplan voor incidenten. Het doel van dit plan is ervoor zorgen dat de fout zo min mogelijk gevolgen heeft voor de organisatie en de maatschappij. In het plan staat bijvoorbeeld wie wat moet doen als het systeem uitvalt.
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#aanbevolen-maatregelen","title":"Aanbevolen maatregelen","text":"idMaatregelenorg-11Maak afspraken over het beheer van gebruikersorg-13Maak afspraken over het beheer van wachtwoordenorg-14Maak afspraken over het wijzigen van de codeowp-04Beschrijf welke techniek gebruikt wordt voor de beoogde toepassingowp-10Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmesowp-24Voer een risico-analyse met de aanbieder uit op het gebied van informatiebeveiliging bij een uitbestedingstrajectdat-04Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsproceduredat-07Gebruik bij machine learning technieken gescheiden train-, test- en validatiedata en houdt rekening met underfitting en overfitting.owk-01Ontwerp en ontwikkel het algoritme volgens de principes van \u2018security by design\u2019owk-04Maak logbestanden waarin staat wie wanneer toegang had tot de data en de codever-01Controleer regelmatig of het algoritme werkt zoals het bedoeld isimp-02Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie\u2019 te controlerenmon-01Maak back-ups van algoritmesmon-02Beveilig de softwaremon-03Maak een noodplan voor beveiligingsincidentenmon-04Monitor regelmatig op veranderingen in de data. Bij veranderingen evalueer je de prestaties en output van het algoritme."},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#hulpmiddelen","title":"Hulpmiddelen","text":"HulpmiddelenAssessment List for Trustworthy Artificial Intelligence (ALTAI)Baseline Informatiebeveiliging Overheid (BIO)"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#bronnen","title":"Bronnen","text":"
Natalia D\u00edaz-Rodr\u00edguez et al, 2023, Connecting the dots in trustworthy Artificial Intelligence: From AI principles, ethics, and key requirements to responsible AI systems and regulation, Information Fusion 99.
Andrea Tocchetti, Lorenzo Corti, Agathe Balayn, Mireia Yurrita, Philip Lippmann, Marco Brambilla, and Jie Yang. 2022. A.I. Robustness: a Human-Centered Perspective on Technological Challenges and Opportunities. In ACM, New York, NY, USA
Ronan Hamon, Henrik Junklewitz, Ignacio Sanchez, 2020, Robustness and Explainability of Artificial Intelligence: from technical to policy solutions, JRC Technical Report, EUR 30040 EN
Bhanu Chander, Chinju John, Lekha Warrier, Gopalakrishnan Kumaravelan, 2024, Toward Trustworthy AI in the Context of Explainability and Robustness, ACM Computing Surveys
Niels Brink, Yori Kamphuis, Yuri Maas, Gwen Jansen-Ferdinandus, Jip van Stijn, Bram Poppink, Puck de Haan, Irina Chiscop, 2023, Adversarial AI in de cyber domain, TNO-2023-R10292-EN
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
"},{"location":"onderwerpen/transparantie/","title":"Transparant zijn over algoritmes","text":"
Overheden moeten transparant zijn over hun algoritmes. Dit betekent dat je duidelijke informatie geeft over de algoritmes die je ontwikkelt of gebruikt.
"},{"location":"onderwerpen/transparantie/#wanneer-ben-je-transparant","title":"Wanneer ben je transparant?","text":"
Je draagt bij aan transparantie over algoritmes als je duidelijk uitlegt:
dat je algoritmes ontwikkelt of gebruikt
voor welk doel je deze algoritmes ontwikkelt of gebruikt
wat voor soort algoritmes dit zijn
welke code of programmeertaal je hiervoor gebruikt
welke data je hiervoor gebruikt
hoe uitkomsten tot stand komen
hoe belanghebbenden bezwaar kunnen maken tegen gevolgen van het algoritme
"},{"location":"onderwerpen/transparantie/#belang-van-transparantie","title":"Belang van transparantie","text":"
Als je open bent over de algoritmes die je ontwikkelt of gebruikt, kunnen burgers en bedrijven zich beter verdedigen tegen mogelijke nadelige gevolgen. Verkeerd gebruik van algoritmes kan iemands leven namelijk ernstig be\u00efnvloeden. Bijvoorbeeld door discriminatie of een besluit dat niet klopt.
Door uit te leggen hoe het algoritme werkt, kun je de beslissingen van het algoritme makkelijker controleren. Je leert sneller waarom het bepaalde keuzes maakt en waar de zwakke plekken zitten.
Ook je organisatie is makkelijker te controleren. Omdat je transparant bent over algoritmes, kunnen burgers feedback geven. Journalisten zien wat je doet. En andere overheden kunnen hiervan leren.
wie de gebruikers zijn van het algoritme, bijvoorbeeld medewerkers of burgers
de vereisten waar je aan moet voldoen
de maatregelen die je neemt
de doelgroep die je wil bereiken
de levenscyclus-fase van je algoritme
Onderzoek goed welk soort algoritme je gebruikt of wil gebruiken. Hoe groter de impact en het risico, hoe strenger de vereisten.
De keuze voor het soort algoritme bepaalt ook hoe transparant je kunt zijn. Van rekenregels kun je namelijk precies uitleggen hoe deze tot een beslissing komen. Maar complexe AI-systemen zijn vaak een black box: niemand weet precies hoe deze systemen beslissingen maken. Volledige transparantie is dan niet mogelijk. In dat geval moet je de werking zo goed mogelijk onderzoeken. Probeer bijvoorbeeld in elk geval ernstige gevolgen zoals discriminatie te voorkomen.
Tip
Rekenregels zijn makkelijker uit te leggen dan AI-systemen. Als een rekenregel voldoende is voor het bereiken van je doel, dan is het ook makkelijker om transparant te zijn.
Stem je informatie af op de betrokken partij. Zo moeten gebruikers de uitkomst van het algoritme voldoende begrijpen voor het nemen van onderbouwde beslissingen. En belanghebbenden zoals burgers moeten weten dat zij te maken hebben met een algoritme. Zij moeten snel en makkelijk kunnen vinden wat hun rechten zijn en hoe zij in beroep kunnen gaan.
Doelgroep Informeer bijvoorbeeld over Geef de informatie bijvoorbeeld via: Ontwikkelaar de werking, keuzes van het ontwikkelteam technische documentatie Gebruiker hoe uitkomsten tot stand komen, gebruikte data, wat het algoritme wel en niet kan gebruiksinstructies, trainingen Medewerker contactpersonen, algoritmegebruik binnen de organisatie, afspraken over algoritmemanagement (ook wel: algoritmegovernance) intern algoritmeregister, trainingen Belanghebbende (iemand voor wie het algoritme gevolgen heeft) hoe een besluit tot stand kwam, mogelijkheden om bezwaar te maken, contactmogelijkheden brief over het besluit, webpagina over het algoritme Ge\u00efnteresseerde burger algoritmegebruik binnen de organisatie webpagina over het algoritme, algoritmeregister Auditor werking, ontwikkelproces, keuzes van het ontwikkelteam, hoe uitkomsten tot stand komen algoritmeregister, technische documentatie, programmeercode Onderzoeker of journalist algoritmegebruik binnen de organisatie algoritmeregister, technische documentatie, code"},{"location":"onderwerpen/transparantie/#aanbevolen-maatregelen","title":"Aanbevolen maatregelen","text":"idMaatregelenorg-04Stel beleid op voor een verantwoorde inzet van algoritmes binnen de organisatie.org-04Zorg voor politiek-bestuurlijk bewustzijn, betrokkenheid, en verantwoordelijkheid.pba-01Beschrijf het probleem dat het algoritme moet oplossenpba-02Beschrijf het doel van het algoritmepba-05Beschrijf de wettelijke grondslag voor de inzet van het algoritmeowp-08Bepaal welke documenten voor hoe lang gearchiveerd moeten wordenowp-13Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst.owp-20Vul technische documentatie van aanbieder aan met relevante informatie vanuit de gebruiksverantwoordelijke.owp-22Bepaal in een aanbesteding of algoritmes van een aanbieder bepalende invloed hebben in een besluit richting personenpba-04Stel vast welke betrokkenen ge\u00efnformeerd moeten worden en welke informatie zij nodig hebben.owp-07Pas uitlegbaarheidstechnieken toe en evalueer en valideer deze.org-02Pas vastgestelde beleidskaders toedat-03Beschrijf welke persoonsgegevens het algoritme gebruikt en waaromver-03Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleidimp-01Stel een werkinstructie op voor gebruikers.imp-04Publiceer impactvolle algoritmes en hoog-risico-AI-systemen in het Algoritmeregisterimp-07Vermeld het gebruik van persoonsgegevens in een privacyverklaringimp-08Vermeld het gebruik van persoonsgegevens in het verwerkingsregisterimp-01Maak een openbaar besluit over de inzet van het algoritme"},{"location":"onderwerpen/transparantie/#hulpmiddelen","title":"Hulpmiddelen","text":"HulpmiddelenAssessment List for Trustworthy Artificial Intelligence (ALTAI)Impact Assessment Mensenrechten en AlgoritmesAlgoritmeregisterFramework for Meaningful Engagement"},{"location":"onderwerpen/transparantie/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
Overzicht van de belangrijkste vereisten voor overheden die algoritmes of AI-systemen ontwikkelen of gebruiken.
Soorten algoritmes
Om te voldoen aan de vereisten, moet je weten met welk soort algoritme je werkt. Gaat het om simpele rekenregels of een AI-systeem?
Risico en impact van algoritmes
AI-systemen vallen mogelijk onder een risicogroep uit de AI-verordening. En wat voor impact hebben je algoritmes?
Woordenlijst
Uitleg van begrippen die je vaak tegenkomt op deze website.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/","title":"Bijdragen aan het Algoritmekader","text":"
Allereerst, bedankt dat je de tijd hebt genomen om een bijdrage te leveren! \u2764\ufe0f
We waarderen alle soorten bijdragen enorm. Zie die Inhoudsopgave voor verschillende manieren waarop je kan bijdragen aan het Algoritmekader. Zorg ervoor dat je de relevante hoofdstukken even leest voordat je een bijdrage levert. Het zal het voor het team van het Algoritmekader een stuk makkelijker maken en de ervaring voor alle betrokkenen soepeler laten verlopen. We kijken uit naar alle bijdragen! \ud83c\udf89
Werken in Github is voor het team Algoritmekader nieuw en experimenteel. Dit vraagt voor ons om een aangepaste werkwijze en hier is bepaalde expertise voor nodig. Het begin is gemaakt en het team Algoritmekader is nog lerende om hier optimaal invulling aan te geven. Hierdoor kan het iets langer duren voordat er wordt gereageerd op suggesties of toevoegingen. We werken aan een duidelijk proces om hier goed mee om te gaan (deze guidelines zijn daar een voorbeeld van). Daarnaast werken we niet aan alle bouwblokken tegelijk. Deze worden \u00e9\u00e9n voor \u00e9\u00e9n opgepakt. Aanbevelingen over onderwerpen die later op de planning staan kunnen daardoor ook iets langer duren om te verwerken, en worden mogelijk pas verwerkt wanneer dit bouwblok wordt uitgewerkt.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#code-of-conduct","title":"Code of Conduct","text":"
Dit project en iedereen die eraan deelneemt, valt onder de Code of Conduct. Door deel te nemen, wordt van je verwacht dat je je aan deze code houdt. Meld onacceptabel gedrag aan algoritmes@minbzk.nl.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#ik-heb-een-vraag","title":"Ik heb een vraag","text":""},{"location":"overhetalgoritmekader/CONTRIBUTING/#maak-een-issue-aan","title":"Maak een issue aan","text":"
Voordat je een Issues gaat aanmaken, kan je bekijken of jouw vraag al tussen de bestaande Issues staat. Wellicht staat er al een issue tussen die jou vraag kan beantwoorden.
Als je jouw vraag nog steeds wilt stellen, kan je een Issue aanmaken.
Gebruik daarvoor de knop new issue.
Schrijf je vraag of opmerking is en geef een heldere toelichting.
Anderen kunnen nu opmerkingen toevoegen aan jouw issue.
Het team van het Algoritmekader zal deze issue labelen als question en pakt jouw issue zo snel mogelijk op. Mogelijk neemt het team van het Algoritmekader contact op voor een verduidelijking of een oplossing.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#stel-een-vraag-via-mail","title":"Stel een vraag via mail","text":"
Je kan je vragen ook altijd stellen door een mail te sturen naar algoritmes@minbzk.nl.
Wanneer je bijdraagt aan dit project, moet je ermee akkoord gaan dat je 100% van de inhoud hebt geschreven, dat je de benodigde rechten op de inhoud hebt en dat de inhoud die je bijdraagt mag worden geleverd onder de Code of Conduct.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#sluit-je-aan-bij-een-werkgroep","title":"Sluit je aan bij een werkgroep","text":"
Voor sommige bouwblokken wordt er gewerkt met werkgroepen, om de informatie verder uit te werken. Deelname aan een werkgroep kost tijd. Werkgroepen komen regelmatig bij elkaar, en tussendoor worden bepaalde zaken uitgewerkt door werkgroepleden. Wil je op \u00e9\u00e9n van de onderwerpen meewerken? Stuur dan een bericht naar algoritmes@minbzk.nl.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#neem-deel-aan-een-sprint-review-klankbord-demo","title":"Neem deel aan een sprint review / klankbord / demo","text":"
Het team van het algoritmekader werkt in sprints van ongeveer 3 weken. Daarin werken we toe naar de volgende release van het Algoritmekader. Ongeveer eens in de 6 weken vindt er een nieuwe release plaats. Wanneer er een release is, wordt deze altijd toegelicht en gepresenteerd in een open online review / demo. Deze kan je vrijblijvend volgen. Zo blijf je op de hoogte en kun je een bijdrage leveren. Bekijk de agenda op Algoritmes Pleio voor de komende bijeenkomsten.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#ik-wil-een-fout-of-bug-melden","title":"Ik wil een fout of bug melden","text":"
Heb je een foutje gevonden in het Algoritmekader? Dan kan je deze melden door een Issue aan te maken.
Voordat je een Issues gaat aanmaken, kan je bekijken of jouw gevonden fout al tussen de bestaande Issues staat.
Als je de gevonden fout nog steeds wilt melden, kan je een Issue aanmaken.
Gebruik daarvoor de knop new issue.
Beschrijf de fout duidelijk en geef een heldere toelichting. Voeg waar mogelijk een screenshot toe.
Het team van het Algoritmekader zal deze issue labelen als bug en pakt jouw issue zo snel mogelijk op. Mogelijk neemt het team van het Algoritmekader contact op voor een verduidelijking of een oplossing.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#ik-wil-een-verbetering-voorstellen","title":"Ik wil een verbetering voorstellen","text":"
Heb je een suggestie of wil je een verbetering voorstellen? Dat kan gaan om een compleet nieuwe functionaliteit van de site of om kleine verbeteringen. Het volgen van onderstaande instructie helpt het team van het algoritmekader om je suggestie te begrijpen en gerelateerde suggesties te vinden.
Je kan een suggestie doen door een Issue aan te maken of door een Pull Request te maken.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#voordat-je-een-suggestie-gaat-maken","title":"Voordat je een suggestie gaat maken","text":"
Voordat je een suggestie gaat maken, kan je bekijken of jouw suggestie al tussen de bestaande Issues staat. Wellicht bestaat er al een issue die jouw suggestie beschrijft, en zijn we er al mee bezig.
Zoek uit of jouw idee past binnen het doel en de scope van het project. Wat zijn de voordelen van deze functionaliteit of toevoeging? Het is aan jou om het team van het Algoritmekader en de community te overtuigen dat dit een nuttige toevoeging is aan het Algoritmekader. Houd in gedachten dat we functioanliteiten willen die nuttig zijn voor de meerderheid van onze gebruikers en niet slechts voor een kleine groep.
Als je jouw suggestie nog steeds wilt doen, kan je een Issue aanmaken.
Gebruik daarvoor de knop new issue.
Beschrijf duidelijk jouw suggestie en geef een heldere toelichting en onderbouwing waarom dit een goede toevoeging zal zijn aan het Algoritmekader
Het team van het Algoritmekader zal deze issue labelen als enhancement en pakt jouw issue zo snel mogelijk op. Mogelijk neemt het team van het Algoritmekader contact op voor een verduidelijking of een oplossing.
Afhankelijk van de complexiteit en het onderwerp van jouw suggestie kan het even duren voordat deze wordt opgepakt door het team van het Algoritmekader.
Kun je niet uit de voeten met de issues? Bijvoorbeeld omdat je verschillende wijzigingsvoorstellen wilt doen? Je kan ook gebruik maken van een Fork en een Pull Request.
Het team van Algoritmekader bekijkt daarna jouw aanpassingen en kan bij akkoord jouw aanpassingen mergen. Er zijn ook andere manieren om een pull request te doen. Meer daarover.
Afhankelijk van de complexiteit en het onderwerp van jouw suggestie kan het even duren voordat deze wordt opgepakt door het team van het Algoritmekader.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#preview-van-een-pull-request","title":"Preview van een pull-request","text":"
We maken gebruik van de tool pr-preview-action om automatisch previews te maken van een pull-request. Dit maakt het mogelijk om de wijzigingen die zijn gedaan in een pull-request al te bekijken in de uiteindelijke omgeving. Wanneer er een pull-request gedaan wordt via een fork, leidt dit helaas tot een error, zie Issue #79. Dit blokkeert de pull-request niet.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#hoe-we-werken-op-github","title":"Hoe we werken op Github","text":"
We werken met Markdown bestanden. Dit is bestandsformaat voor platte tekstbestanden en wordt door veel verschillende tools ondersteund. Dit maakt het eenvoudig om versiebeheer op het Algoritmekader toe te passen.
Daarnaast maken gebruik van mkdocs en material for mkdocs om de informatie op een interactieve wijze inzichtelijk te maken op de website van het Algoritmekader.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#wil-je-een-nieuwe-pagina-aanmaken","title":"Wil je een nieuwe pagina aanmaken?","text":"
In het mkdocs.yml bestand staan de settings voor deze website. In principe hoef je hier niets aan aan te passen, maar als je een nieuwe pagina wilt aanmaken kan het nodig zijn om hier een aanpassing in te doen. Onderdeel van deze settings is namelijk de navigatie voor de site (welke pagina's zijn zichtbaar, en welke pagina's vallen daaronder). Dit staat in de nav: sectie. Indien je een nieuwe pagina wilt toevoegen, is het vaak nodig deze wijziging ook door te voeren in het mkdocs.yml bestand.
"},{"location":"overhetalgoritmekader/over-het-algoritmekader/","title":"Over het Algoritmekader","text":"
Het Algoritmekader is een hulpmiddel voor overheden die algoritmes, waaronder AI (artifici\u00eble intelligentie), gebruiken. Hierin vind je de wetten en regels, hulpmiddelen en adviezen per situatie. De informatie in het Algoritmekader is nog niet betrouwbaar. Het is een b\u00e8taversie. De definitieve versie verschijnt eind 2024.
"},{"location":"overhetalgoritmekader/over-het-algoritmekader/#verantwoord-gebruik-van-algoritmes","title":"Verantwoord gebruik van algoritmes","text":"
In het Algoritmekader vind je informatie over verantwoord gebruik van algoritmes. Bijvoorbeeld:
Wie is waarvoor verantwoordelijk?
Hoe voorkom je discriminatie (bias) in een algoritme?
Hoe verwerk je gegevens op een veilige manier?
Hoe voorkom je mensenrechtenschendingen?
Welke inkoopvoorwaarden spreek je af voor algoritmes van een externe partij?
De informatie is bedoeld voor medewerkers van de rijksoverheid, provincies, gemeentes en waterschappen.
"},{"location":"overhetalgoritmekader/over-het-algoritmekader/#informatie-van-de-overheid","title":"Informatie van de overheid","text":"
Het Algoritmekader is een website van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Het team Data, AI en Algoritmes stelt de informatie samen, op basis van:
alle wetten en regels, zoals de AI-verordening en de Algemene wet bestuursrecht
belangrijke hulpmiddelen, zoals de IAMA (Impact Assessment Mensenrechten en Algoritmes)
adviezen en ervaringen van experts, zoals wetenschappers
Algoritmekader is de nieuwe naam van het Implementatiekader 'Verantwoorde inzet van algoritmen'. Dit rapport is de eerste versie. Door het verder ontwikkelen van dit rapport ontstond de website Algoritmekader.
Sindsdien verschijnt elke maand een nieuwe b\u00e8taversie van het Algoritmekader. Deze b\u00e8taversies zijn nog niet betrouwbaar. De informatie is onvolledig. Er kunnen fouten in staan.
Versie 2.0 is de definitieve, betrouwbare versie van het Algoritmekader. Deze versie verschijnt eind 2024.
De informatie in het Algoritmekader komt open source tot stand. Dat betekent dat iedereen kan meekijken en zijn mening mag geven, of een voorstel mag doen:
Geef je vraag of wijziging door.
Sluit je aan bij een werkgroep.
Doe mee aan een (online) vergadering zoals onze demo na een nieuwe release van het Algoritmekader.
Om te voldoen aan de vereisten, moet je weten met welk soort algoritme je werkt. Gaat het om simpele rekenregels of een AI-systeem? En wat voor impact hebben je algoritmes?
"},{"location":"overhetalgoritmekader/soorten-algoritmes/#wanneer-is-het-een-algoritme","title":"Wanneer is het een algoritme?","text":"
Met een algoritme bedoelen we een set regels en instructies die een computer uitvoert, met 1 of meer van deze doelen:
Rekenregels (ook wel: regelgebaseerde algoritmes) zijn de meest eenvoudige algoritmes. Dit zijn door mensen bedachte regels die het computersysteem precies moet opvolgen: als x gebeurt, dan doe je y.
Rekenregels:
zijn expliciet geprogrammeerd en bedacht door mensen
bestaan uit vaste stappen om een taak uit te voeren
Rekenregels zijn niet kunstmatig intelligent (AI). Rekenregels kunnen wel onderdeel zijn van een AI-systeem.
Zelflerende algoritmes zijn algoritmes die zichzelf trainen. Dit proces heet machinelearning. Hierdoor worden computers intelligent zonder dat mensen dit precies zo programmeren. Dit is een veel voorkomende vorm van AI.
Zelflerende technieken zijn in elk geval:
Supervised learning (gecontroleerd leren): Je algoritme leert van gegevens die je labelt met informatie. Je biedt bijvoorbeeld foto\u2019s aan met de labels: dit is wel een kat, dit is geen kat. Voorbeeld: Virtuele assistent Gem.
Unsupervised learning (ongecontroleerd leren): Je laat het algoritme zelf patronen en structuren ontdekken in ongestructureerde gegevens zonder labels. Je biedt bijvoorbeeld foto\u2019s aan van dieren die het algoritme zelf moet groeperen. Voorbeeld: Polis voor participatieplatformen.
Reinforcement learning (bekrachtiginsleren): Het algoritme leert door straf en beloning. Het doel is zo hoog mogelijk scoren in zo min mogelijk tijd. Je geeft bijvoorbeeld punten als het algoritme foto\u2019s sorteert die op katten lijken. Voorbeeld: I-VRI voor verkeerslichten.
Deep learning: Supervised, unsupervised of reinforcement learning gecombineerd met diepe neurale netwerken. Dit zijn kunstmatige neurale netwerken met veel verschillende lagen. Hierdoor kun je nog ingewikkeldere problemen oplossen. Voorbeeld: Geautomatiseerde gezichtsvergelijking bij het RNI-inschrijfproces.
Met een AI-systeem bedoelen we een systeem dat kunstmatig intelligent is volgens de Europese AI-verordening. Dit zijn in elk geval systemen die gebruik maken van:
supervised learning
unsupervised learning
reinforcement learning
deep learning
Tip
Twijfel je of je algoritme onderdeel is van een AI-systeem? Raadpleeg een expert. Of beschouw het systeem voor de zekerheid als een AI-systeem.
AI-systemen vallen mogelijk onder een van de risicogroepen uit de AI-verordening:
Risico op misleiding
Hoog-risico-AI-systemen
Verboden AI-systemen
Het hangt ervan af waarvoor je dit AI-systeem gebruikt.
"},{"location":"overhetalgoritmekader/soorten-algoritmes/#impact-van-algoritmes","title":"Impact van algoritmes","text":"
Impactvolle algoritmes moet je publiceren in het Algoritmeregister. Dat moet in elk geval in deze situaties:
Je algoritme is onderdeel van een hoog-risico-AI-systeem.
Je algoritme heeft invloed op een proces met rechtsgevolgen voor burgers of organisaties. Bijvoorbeeld het wel of niet krijgen van boetes of subsidies.
Je algoritme heeft invloed op de manier waarop de overheid burgers of organisaties indeelt, of contact met hen zoekt. Bijvoorbeeld bij het inschatten van risico\u2019s of het signaleren van fraude.
Je overheidsorganisatie vindt zelf dat het algoritme impact heeft op de maatschappij. Bijvoorbeeld omdat het algoritme ingewikkeld is, veel data gebruikt, vaak in de media komt of onderzocht wordt door een toezichthouder.
Een impactvol algoritme kan schade veroorzaken aan de maatschappij. Daarom zijn de regels strenger voor impactvolle dan voor niet-impactvolle algoritmes.
Tip
Twijfel je of je algoritme impactvol is of niet? Beschouw het algoritme dan als impactvol.
Meer uitleg en voorbeelden vind je in de Handreiking Algoritmeregister.
Dit is degene die gaat over wat wenselijk is en adviseert bij de ontwikkeling en/of inzet van een algoritme. Hierbij horen rollen zoals de beleidsmedewerker, ethicus, CIO-adviseur, architect.
Jurist
Hier komt een tekstje.
Ontwikkelaar
De Ontwikkelaar omvat alle technische expertise.
Projectleider
De projectleider richt zich op het co\u00f6rdineren en aansturen van alle betrokken partijen en processen bij de ontwikkeling van algoritmes.
"},{"location":"rollen/beleid-en-advies/","title":"Beleid en advies","text":"
Dit is degene die gaat over wat wenselijk is en adviseert bij de ontwikkeling en/of inzet van een algoritme. Hierbij horen rollen zoals de beleidsmedewerker, ethicus, CIO-adviseur, architect.
De Ontwikkelaar omvat alle technische expertise. Dit zijn professionals die zich bezighouden met het analyseren, ontwikkelen, en implementeren van algoritmes en modellen. Dit zijn de specialisten die zorgen voor de technische kant van de algoritmeontwikkeling, inclusief programmeren, opschonen van data, data-analyse en het ontwerpen van informatieprocessen.
Mensen met technische expertise spelen een cruciale rol bij het verantwoord ontwerpen en ontwikkelen van algoritmes. Zij zorgen ervoor dat algoritmes voldoen aan technische en ethische standaarden, en passen methodes toe om de duurzaamheid, eerlijkheid en transparantie van modellen te waarborgen. Technische experts zijn vaak ook verantwoordelijk voor het testen en optimaliseren van de algoritmes, en voor het implementeren van maatregelen om privacy en gegevensbescherming te waarborgen. In het Algoritmekader zijn er tal van vereisten, maatregelen en hulpmiddelen die specifiek relevant zijn voor technische experts.
De projectleider richt zich op het co\u00f6rdineren en aansturen van alle betrokken partijen en processen bij de ontwikkeling van algoritmes. Projectleiders zorgen ervoor dat projecten door de verschillende fasen van de levenscyclus van algoritmes worden geleid, van probleemanalyse tot monitoring & beheer, of zelfs uitfasering.
Projectmanagement binnen het Algoritmekader betekent het verbinden van benodigde expertises en het waarborgen dat alle stappen van het ontwikkelproces verantwoord en volgens de gestelde kaders worden uitgevoerd. Projectmanagers maken afspraken over de te navolgen vereisten en stellen prioriteiten in uit te voeren maatregelen. Zij houden contact met opdrachtgevers en verantwoordelijken om te zorgen dat de projectdoelen worden behaald en risico\u2019s worden gemitigeerd. Zij spelen een hoofdrol bij het realiseren van een verantwoorde en effectieve inzet van algoritmes binnen een organisatie.
"},{"location":"voldoen-aan-wetten-en-regels/","title":"Voldoen aan wetten en regels","text":"
Vereisten
Overzicht van de belangrijkste vereisten voor overheden die algoritmes of AI-systemen ontwikkelen of gebruiken.
Maatregelen
Overzicht van aanbevolen maatregelen voor verantwoord gebruik van algoritmes en AI-systemen. Het zijn adviezen om te voldoen aan de vereisten voor overheden. Andere maatregelen zijn ook mogelijk.
Hulpmiddelen
Overzicht van aanbevolen hulpmiddelen voor het verantwoord ontwikkelen, gebruiken, beoordelen en monitoren van algoritmes en AI-systemen.
AI-verordening in het kort
In de AI-verordening staan de Europese regels voor het verantwoord ontwikkelen en gebruiken van AI. Ongewenste AI is verboden vanaf 2 februari 2025. Andere AI-systemen moeten vanaf 2026 of v\u00f3\u00f3r 2030 voldoen aan bepaalde vereisten.
Beslishulp AI-verordening
Stel snel en gemakkelijk vast of de AI-verordening geldt voor jouw overheidsorganisatie. En aan welke vereisten je dan moet voldoen.
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/","title":"AI-verordening in het kort","text":"
In de AI-verordening staan de Europese regels voor het verantwoord ontwikkelen en gebruiken van AI. Ongewenste AI is verboden vanaf 2 februari 2025. Andere AI-systemen moeten vanaf 2026 of v\u00f3\u00f3r 2030 voldoen aan bepaalde vereisten.
Verordening (EU) 2024/1689 (AI-verordening)
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/#over-de-ai-verordening","title":"Over de AI-verordening","text":"
De AI-verordening is de eerste uitgebreide wet over artifici\u00eble intelligentie (AI) ter wereld. De regels gelden voor alle Europese lidstaten.
De AI-verordening trad in werking op 1 augustus 2024 en gaat stap voor stap gelden. De eerste regels gaan in op 2 februari 2025. Vanaf 2 augustus 2025 geldt de volgende set regels. Op 2 augustus 2027 gaan de laatste regels in. Dan is de hele AI-verordening van kracht.
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/#europese-regels-voor-het-ontwikkelen-en-gebruiken-van-ai","title":"Europese regels voor het ontwikkelen en gebruiken van AI","text":"
De AI-verordening geldt in deze 3 situaties samen:
Je ontwikkelt of gebruikt AI.
Dit doe je namens een overheid, bedrijf of andere organisatie.
Je organisatie is gevestigd in een EU-land.
Het maakt niet uit waar je AI-producten ontwikkelt. Ontwikkel je buiten de EU, maar is je organisatie gevestigd in een EU-land? Dan geldt de EU-verordening.
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/#verantwoord-gebruik-van-ai","title":"Verantwoord gebruik van AI","text":"
Het doel van de AI-verordening is om verantwoord gebruik van AI te stimuleren in de hele EU. Daarom gelden in alle EU-landen dezelfde regels voor het:
Verkleinen van risico\u2019s voor de gezondheid, veiligheid en grondrechten van mensen
Beschermen van de democratie, de rechtsstaat en het milieu
Het gaat dan om nieuwe risico\u2019s, zoals misleiding en discriminatie door AI-systemen. Bestaande regels zoals de Algemene verordening gegevensbescherming (AVG) en de Algemene wet bestuursrecht (Awb) beschermen voor een deel tegen de risico\u2019s van AI. De AI-verordening vult deze regels aan.
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/#definitie-van-een-ai-systeem","title":"Definitie van een AI-systeem","text":"
De AI-verordening geldt voor AI-systemen. Volgens de verordening is dit:
'(\u2026) een op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na de uitrol aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen.'
Hieronder vallen systemen die kunstmatig intelligent zijn door zelflerende technieken zoals:
supervised learning
unsupervised learning
reinforcement learning (bekrachtiginsleren)
deep learning
Onder AI-systemen vallen ook systemen die gebruik maken van op logica en kennis gebaseerde benaderingen (knowledge and logic-based approaches) die leren, redeneren of modelleren mogelijk maken.
De AI-verordening deelt AI op in risicogroepen. Hoe groter het risico van AI voor de samenleving, hoe strenger de regels uit de AI-verordening. Het hangt ervan af waarvoor je dit AI-systeem gebruikt.
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/#risico-op-misleiding","title":"Risico op misleiding","text":"
Dit zijn AI-systemen die je gebruikt voor:
interactie met mensen, zoals AI-chatbots
genereren van content, zoals afbeeldingen laten maken door Dall-E en of audio en tekst
Over deze systemen moet je transparant zijn. Gebruikers mogen niet denken dat zij te maken hebben met echte mensen of originele content.
Dit zijn AI-systemen die je gebruikt als veiligheidsonderdeel van bepaalde producten of AI-systemen die je gebruikt voor bepaalde diensten of processen.
'Gebruiken als veiligheidsonderdeel' betekent dat je AI-systeem een belangrijke rol speelt in de veiligheid van een product. En dit product valt onder de harmonisatiewetgeving van de EU, zoals:
machines
speelgoed
liften
uitrusting en beveiligingssystemen voor plaatsen met ontploffingsgevaar
radioapparatuur
drukapparatuur
pleziervaartuigen
kabelbaaninstallaties
gastoestellen
medische hulpmiddelen
hulpmiddelen voor het testen van menselijk materiaal (in-vitrodiagnostiek)
auto-industrie
luchtvaartindustrie
Zie AI-verordening, bijlage I.
'Gebruik voor bepaalde diensten of processen' zijn:
Biometrie, zoals het herkennen of indelen van mensen op basis van hun vingerafdruk, gezicht of andere lichamelijke kenmerken.
Kritieke infrastructuur, zoals het veilig houden van digitale netwerken en verkeersnetwerken en het leveren van elektriciteit, water, gas en warmte.
Onderwijs en beroepsopleiding, zoals het bepalen welke studenten je toelaat en het beoordelen van hun prestaties of gedrag.
Werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, zoals het werven en selecteren van mensen, besluiten nemen die invloed hebben op hun contract en het beoordelen van hun prestaties of gedrag.
Essenti\u00eble particuliere en openbare diensten, zoals bepalen wie recht heeft op uitkeringen, gezondheidszorg en andere belangrijke diensten en wie noodhulp krijgt van politie, brandweer en ambulance, het beoordelen van iemands financi\u00eble situatie, fraude opsporen en het bepalen van risico\u2019s en prijzen voor levensverzekeringen en ziektekostenverzekeringen.
Rechtshandhaving, zoals iemands kans inschatten om slachtoffer of dader te worden, het gebruik van een leugendetector, het beoordelen van bewijsmateriaal en het opsporen van verdachten.
Migratie, asiel en grenzen, zoals inschatten wat de kans is dat iemand gevaarlijk of illegaal is, het behandelen van aanvragen en klachten en het herkennen of opsporen van mensen.
Rechtsbedeling en democratische processen, zoals het uitleggen van de wet aan een rechtbank, gerechtshof of de Hoge Raad, advies geven bij een geschil of het be\u00efnvloeden van de uitslag van een verkiezing.
misbruik maken van kwetsbaarheden of gevoelige situaties, zoals het overhalen van mensen met schulden om iets te kopen
sociale scores bijhouden voor gedrag van mensen en hen hiervoor straffen
beoordelen hoe groot het risico is dat iemand een strafbaar feit pleegt
afbeeldingen van gezichten \u2018scrapen\u2019 (verzamelen) via internet of bewakingscamera\u2019s en deze opslaan in een databank
emoties herkennen van mensen op hun werkplek of op school
biometrisch categoriseren: mensen indelen in gevoelige categorie\u00ebn zoals ras en geloof, op basis van lichamelijke kenmerken zoals huidskleur
biometrisch identificeren op afstand voor rechtshandhaving, zoals gezichten herkennen via camera\u2019s op een openbaar plein (hiervoor gelden uitzonderingen in ernstige situaties zoals ontvoeringen en terrorisme)
Zie AI-verordening, artikel 5.
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/#2-februari-2025-stoppen-met-verboden-ai","title":"2 februari 2025: stoppen met verboden AI","text":"
Organisaties die verboden AI ontwikkelen of gebruiken, moeten deze producten v\u00f3\u00f3r 2 februari 2025 uitfaseren.
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/#2-augustus-2026-ai-ontwikkelen-volgens-vereisten","title":"2 augustus 2026: AI ontwikkelen volgens vereisten","text":"
Organisaties die AI-systemen ontwikkelen, moeten ervoor zorgen dat deze producten v\u00f3\u00f3r 2026 voldoen aan bepaalde vereisten, zoals:
Personen die toezicht houden op het systeem beschikken over de juiste kennis, kunde en autoriteit.
Inputdata is voldoende relevant en representatief, voor zover dat mogelijk is.
Als een gebruiksverantwoordelijke aanneemt dat het systeem niet meer voldoet aan de eisen uit de AI-verordening, stelt deze de aanbieder op de hoogte en onderbreekt het gebruik.
Organisaties die beslissingen nemen over mensen met behulp van een hoog-risico-AI-systeem, informeren deze mensen hierover.
Organisaties die AI gebruiken voor emotieherkenning of biometrische categorisatie van mensen, informeren deze mensen hierover.
Overzicht van aanbevolen hulpmiddelen voor het verantwoord ontwikkelen, gebruiken, beoordelen en monitoren van algoritmes en AI-systemen.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/#richtlijnen-en-andere-hulpmiddelen","title":"Richtlijnen en andere hulpmiddelen","text":"
Met hulpmiddelen bedoelen we hulpmiddelen voor verantwoord en effectief gebruik van algoritmes en AI-systemen, zoals:
richtlijnen
standaarden
leidraden
handboeken
Deze hulpmiddelen helpen je bij het op een rij zetten, beoordelen en verbeteren van de kenmerken, prestaties, effecten en risico\u2019s van algoritmes en AI.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/#hoe-we-hulpmiddelen-selecteren","title":"Hoe we hulpmiddelen selecteren","text":"
Hulpmiddelen die we aanbevelen, zijn:
relatief bekend onder ambtenaren
in gebruik door overheid, wetenschap of industrie
positief beoordeeld door gebruikers
geschikt voor algoritmes of AI-systemen van overheden
Staat een instrument niet in onze selectie, dan kan het nog steeds een goed instrument zijn voor jouw organisatie. Er zijn dus meer hulpmiddelen mogelijk. We maken een selectie om 2 redenen:
Een selectie is duidelijker. Als we alle hulpmiddelen aanbieden, is het voor gebruikers moeilijker te bepalen welk instrument of welke combinatie het meest geschikt is. Daarvoor lijken de hulpmiddelen te veel op elkaar.
Een selectie kunnen we controleren op kwaliteit. We kunnen niet alle hulpmiddelen controleren.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/#sommige-hulpmiddelen-zijn-verplicht","title":"Sommige hulpmiddelen zijn verplicht","text":"
Als een instrument verplicht is, staat dit er duidelijk bij. Een verplicht hulpmiddel is bijvoorbeeld de Data protection impact assessment (DPIA).
De meeste hulpmiddelen zijn niet verplicht. Bepaal zelf of je er gebruik van maakt.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/#overzicht-hulpmiddelen","title":"Overzicht hulpmiddelen","text":"HulpmiddelenAssessment List for Trustworthy Artificial Intelligence (ALTAI)Baseline Informatiebeveiliging Overheid (BIO)De Ethische Data AssistentData Protection Impact AssessmentImpact Assessment Mensenrechten en AlgoritmesAlgoritmeregisterThe Fairness HandbookFramework for Meaningful EngagementHandreiking non-discriminatie by designInkoopvoorwaardenDiscriminatie door risicoprofielen - Een mensenrechtelijk toetsingskaderOnderzoekskader algoritmes Auditdienst Rijk 2023Toetsingskader Algoritmes Algemene Rekenkamer"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/ALTAI/","title":"Assessment List for Trustworthy Artificial Intelligence (ALTAI)","text":"
OntwerpOntwikkelenJuristOntwikkelaarProjectleiderBeleid en adviesPrivacy en gegevensbeschermingDuurzaamheidFundamentele rechtenTechnische robuustheid en veiligheidTransparantieMenselijke controleData
In 2019 publiceerde de High-Level Expert Group on Artificial Intelligence (AI HLEG), opgericht door de Europese Commissie, de Ethics Guidelines for Trustworthy Artificial Intelligence. De ALTAI is een hulpmiddel dat ontwikkelaars en organisaties helpt hun AI-systemen te beoordelen, gebaseerd op deze Ethics Guidelines for Trustworthy Artificial Intelligence. Het helpt te bepalen of het AI-systeem dat wordt ontwikkeld, ingezet, aangeschaft of gebruikt, voldoet aan zeven vereisten van betrouwbare AI:
Menselijke tussenkomst en toezicht;
Technische robuustheid en veiligheid;
Privacy en gegevensbeheer;
Transparantie;
Diversiteit, non-discriminatie en eerlijkheid;
Maatschappelijk en ecologisch welzijn;
Verantwoordelijkheid
De ALTAI is bedoeld voor zelfevaluatie. Het hulpmiddel is verankerd in de bescherming van de fundamentele rechten van mensen, de term die in de Europese Unie wordt gebruikt om te verwijzen naar de mensenrechten die zijn vastgelegd in de EU-verdragen, het Handvest van de Grondrechten, en het internationale mensenrechtenrecht.
De ALTAI is bedoeld voor flexibele inzet: organisaties kunnen gebruikmaken van de relevante onderdelen van dit hulpmiddel voor een specifiek AI-systeem of er elementen aan toevoegen die zij passend achten, rekening houdend met de sector waarin zij opereren. Het helpt organisaties te begrijpen wat betrouwbare AI inhoudt, in het bijzonder welke risico's een AI-systeem zou kunnen meebrengen en hoe deze risico's kunnen worden geminimaliseerd terwijl de kansen van AI worden gemaximaliseerd. Organisaties halen het meeste waarde uit de ALTAI door de gestelde vragen uitgebreid te beantwoorden, die zijn bedoeld om zorgvuldige reflectie te stimuleren en passende vervolgacties aan te formuleren, en een organisatiecultuur te bevorderen die zich inzet voor de ontwikkeling van betrouwbare AI-systemen. Het vergroot het bewustzijn van de mogelijke impact van AI op de samenleving, het milieu, consumenten, werknemers en burgers (in het bijzonder kinderen en mensen die tot gemarginaliseerde groepen behoren).
De ALTAI biedt houvast bij het evalueren van in hoeverre een betreffend AI-systeem voldoet aan de zeven vereisten van betrouwbare AI, zoals geformuleerd door de EU. Deze zeven vereisten en de ALTAI hebben samen de basis gevormd voor de AI-verordening.
De ALTAI is ontwikkeld door de High-Level Expert Group on Artificial Intelligence van de Europese Commissie.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/ALTAI/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregelpba-03 - Beschrijf waarom een algoritme het probleem moet oplossenowp-06 - Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafwegingimp-03 - Richt de juiste menselijke controle in van het algoritme6-imp-06-proces-privacyrechtenmon-02 - Beveilig de softwarepba-05 - Beschrijf de wettelijke grondslag voor de inzet van het algoritmeowp-03 - Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit magdat-03 - Beschrijf welke persoonsgegevens het algoritme gebruikt en waaromdat-04 - Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsprocedureowp-07 - Maak een lijst van de meest kwetsbare groepen en bescherm hen extraimp-04 - Publiceer impactvolle algoritmes en hoog-risico-AI-systemen in het Algoritmeregisterver-01 - Toets het algoritme op biasver-01 - Controleer regelmatig of het algoritme werkt zoals het bedoeld isowk-03 - Analyseer de privacy-risico\u2019s en neem maatregelen om deze risico\u2019s laag te houdenowk-01 - Ontwerp en ontwikkel het algoritme volgens de principes van \u2018security by design\u2019"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/BIO/","title":"Baseline Informatiebeveiliging Overheid (BIO)","text":"
OntwerpImplementatieMonitoring en beheerJuristOntwikkelaarProjectleiderTechnische robuustheid en veiligheid
De BIO is het basisnormenkader voor informatiebeveiliging voor alle overheidslagen, waardoor een gezamenlijke norm voor informatiebeveiliging is ontstaan. Het gebruik van 1 normenkader voor de gehele overheid biedt een aantal voordelen:
Het versterken van de informatieveiligheid door betere afstemming binnen ketens van overheden en andere partijen;
Administratieve lastenverlichting bij overheid en bedrijven, zowel afnemers als leveranciers, door uniforme beveiligingsnormen bij de overheid;
Aansluiting bij internationale regelgeving en standaarden;
Vermindering van onderhoudskosten.
Op dit moment wordt er gewerkt aan de BIO2.0. Omdat de BIO2.0 pas eind 2024 van kracht zal worden, is op 1 juni 2023 de handreiking BIO2.0-opmaat opgeleverd. In deze handreiking is de indeling van de controls, doelstellingen en overheidsmaatregelen in deel 2 van de BIO in lijn gebracht met de 2022-versie van de ISO-27002. Naast tekstuele wijzigingen, zijn ook een aantal overheidsmaatregelen geactualiseerd, vanwege nieuwe dreigingen, zoals ransomware. Naast de verhoging van de feitelijke veiligheid, wordt ook geanticipeerd op aanpassingen die in de BIO2.0 zullen worden doorgevoerd. Overheidsorganisaties doen er goed aan deze actualisatie in hun beveiliging door te voeren.
Iedere overheidsorganisatie is verplicht de BIO in te voeren. De BIO is in december 2018 vastgesteld door de ministerraad voor de Rijksoverheid. Daarvoor was door de gemeenten, waterschappen en provincie reeds besloten tot invoering van de BIO. De overheidslagen zijn per 1 januari 2019 gestart met de implementatie van de BIO. Iedere overheidslaag heeft daarvoor zelf een implementatiepad opgesteld. De minister van BZK heeft bepaald dat in het digitale verkeer met het Rijk de BIO wordt gehanteerd.
De interbestuurlijke werkgroep-BIO draagt zorg voor het onderhoud op de BIO. Onder het voorzitterschap van BZK zijn in de werkgroep de 4 overheidskoepels vertegenwoordigd: CIO Rijk, Vereniging Nederlandse Gemeenten, InterProvinciaal Overleg en Unie van Waterschappen. Verder bestaat de werkgroep uit een aantal grote uitvoeringsorganisaties, het Forum Standaardisatie, het Nationaal Cybersecurity Centrum en het Centrum voor Informatiebeveiliging & Privacybescherming. Besluitvorming over de BIO vindt plaats in het kern-IBO, waarin onder voorzitterschap van BZK vertegenwoordigers van de 4 overheidskoepels zitting hebben.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/BIO/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"MaatregelNone"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/DEDA/","title":"De Ethische Data Assistent","text":"
ProbleemanalyseOntwerpBeleid en adviesJuristOntwikkelaarProjectleiderDataFundamentele rechten
DEDA is ontwikkeld door de Data School van de Universiteit Utrecht en bestaat uit een toolkit die helpt bij het in kaart brengen van ethische kwesties bij dataprojecten, bij het documenteren van het beraadslagingsproces en bij de bevordering van de verantwoording aan de diverse stakeholders en het publiek.
DEDA bestaat uit een poster voor brainstormsessies, een interactieve vragenlijst en een handleiding. Alle tools zijn gepubliceerd door de Data School van de Universiteit Utrecht.
DEDA bevordert verantwoordingsplicht, onderwijst gebruikers, communiceert problemen en ondersteunt projectmanagement.
DEDA is een belangrijk hulpmiddel omdat het helpt bij de vroege identificatie en bespreking van ethische kwesties in dataprojecten. Net als de IAMA, biedt DEDA een gestructureerde aanpak om de implicaties van datagebruik en algoritmische besluitvorming te beoordelen. Het ondersteunt overheden bij het naleven van het zorgvuldigheidsbeginsel en maakt ethische afwegingen inzichtelijk als onderdeel van de besluitvorming. Door een interactieve vragenlijst en documentatie bevordert DEDA verantwoordingsplicht en transparantie.
DEDA stimuleert interdisciplinaire samenwerking en helpt beleidsmakers, juristen en ontwikkelaars de ethische dimensies van data-analyse beter te begrijpen. Dit draagt bij aan zorgvuldige en rechtvaardige datagedreven oplossingen binnen de publieke sector. DEDA draagt bij aan transparantie en uitlegbaarheid van datagebruik, essentieel voor publiek vertrouwen.
DEDA is ontwikkeld door de Data School van de Universiteit Utrecht. DEDA is in nauwe samenwerking met data-analisten ontwikkeld. Inmiddels is DEDA een wijdverspreid instrument, waar de Utrecht Data School ook trainingen en begeleiding bij geeft. Via deze link is meer informatie te vinden.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/DEDA/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregelpba-03 - Beschrijf waarom een algoritme het probleem moet oplossenowp-02 - Beschrijf welke data gebruikt wordt voor de beoogde toepassing"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/DPIA/","title":"Data Protection Impact Assessment","text":"
ProbleemanalyseOntwerpDataverkenning en datapreparatieBeleid en adviesJuristProjectleiderPrivacy en gegevensbescherming
Is je organisatie van plan persoonsgegevens te verwerken, maar levert dat waarschijnlijk een hoog privacyrisico op? Dan is je organisatie verplicht eerst een 'data protection impact assessment' (DPIA) uit te voeren. Als organisatie moet je zelf bepalen of de gegevensverwerking een hoog privacyrisico oplevert. En je dus een DPIA moet uitvoeren. De volgende criteria kunnen hierbij helpen:
Wat er in de Algemene verordening gegevensbescherming (AVG) staat over wanneer je een DPIA moet uitvoeren.
De lijst van de Autoriteit Persoonsgegevens (AP) met soorten verwerkingen waarvoor je een DPIA moet uitvoeren.
De 9 criteria voor een DPIA van de Europese privacytoezichthouders.
De AVG geeft aan dat je in ieder geval een DPIA moet uitvoeren als je als organisatie:
Systematisch en uitgebreid persoonlijke aspecten van mensen beoordeelt en dit gebeurt op basis van geautomatiseerde verwerking van persoonsgegevens, waaronder profiling. En hierop besluiten baseert die gevolgen hebben voor mensen. Bijvoorbeeld dat zij geen lening kunnen afsluiten. Een voorbeeld hiervan is creditscoring.
Op grote schaal bijzondere persoonsgegevens verwerkt.
Strafrechtelijke gegevens verwerkt.
Op grote schaal en systematisch mensen volgt in een publiek toegankelijk gebied. Bijvoorbeeld met cameratoezicht.
Een DPIA moet in een vroeg stadium van de beleids- of projectontwikkeling worden uitgevoerd. Op dat moment kan namelijk nog zonder vooroordelen worden nagedacht over de gevolgen en kan het voorstel nog makkelijker worden herzien. Dit voorkomt ook latere, kostbare aanpassingen in processen, herontwerp van systemen of zelfs stopzetten van een project. Behalve aan het begin van een project kan een DPIA ook op andere momenten en meermaals worden uitgevoerd en geactualiseerd. Als het voorstel wijzigt, wordt een DPIA opnieuw uitgevoerd. Als de gegevensverwerkingen of de gevolgen ervan veranderen, moet de DPIA worden geactualiseerd. Volgens de European Data Protection Board (EDPB) moet een DPIA iedere drie jaar worden ge\u00ebvalueerd.
Een organisatie is bij wet verplicht een DPIA uit te voeren wanneer de verwerking van persoonsgegevens een hoog privacyrisico oplevert. Wanneer hier sprake van is binnen jouw organisatie, dan is de DPIA per definitie relevant voor jou.
De DPIA is ontwikkeld door de Europese Unie in het kader van de AVG.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/DPIA/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregelowk-03 - Analyseer de privacy-risico\u2019s en neem maatregelen om deze risico\u2019s laag te houden"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/IAMA/","title":"Impact Assessment Mensenrechten en Algoritmes","text":"
ProbleemanalyseOntwerpVerificatie en validatieMonitoring en beheerProjectleiderOntwikkelaarJuristBeleid en adviesFundamentele rechtenTransparantie
Het Impact Assessment voor Mensenrechten bij de inzet van Algoritmes (IAMA) is een instrument voor overheidsorganen om een interdisciplinaire dialoog en besluitvorming te faciliteren bij de ontwikkeling en inzet van algoritmische systemen. Het IAMA stelt een reeks vragen die moeten worden besproken en beantwoord om een zorgvuldige afweging van de inzet van algoritmen te waarborgen. Dit proces is onderverdeeld in drie fasen: voorbereiding, input en throughput, en output en toezicht, waarbij steeds aandacht wordt besteed aan het vierde onderdeel van het IAMA: de impact op mensenrechten. Het IAMA fungeert als naslagwerk voor de besluitvorming en is gekoppeld aan andere relevante richtlijnen en instrumenten, zoals de gegevensbeschermingseffectbeoordeling (ook wel DPIA). Hierdoor biedt het een overkoepelend kader dat helpt om algoritmen verantwoord te implementeren en mogelijke risico\u2019s, zoals inbreuken op grondrechten, te identificeren en te mitigeren.
Het IAMA kan op dit moment op veel politieke en internationale belangstelling rekenen. In zowel de Eerste als Tweede Kamer zijn hierover moties ingediend en vragen gesteld. Daarbij is het IAMA een van de weinige instrumenten in de EU die een interdisciplinaire discussie rondom (de ontwikkeling, inzet en monitoring van) algoritmes, AI en grondrechten initieert en bevordert.
Het IAMA is ontwikkeld door de Utrecht Data School. De auteurs van het IAMA zijn prof. mr. Janneke Gerards, dr. Mirko Tobias Sch\u00e4fer, Arthur Vankan en Iris Muis, allen werkzaam aan de Universiteit Utrecht. Opdrachtgever voor de ontwikkeling is het Ministerie van Binnenlandse Zaken.
Benieuwd naar ervaringen in de praktijk? Bekijk het rapport IAMA in Actie voor de lessons learned van 15 IAMA-trajecten bij Nederlandse overheidsorganisaties.
De regering wil dat de overheid algoritmes verantwoord gebruikt. Mensen moeten erop kunnen vertrouwen dat algoritmes voldoen aan de waarden en normen van de samenleving. En er moet uitleg zijn over hoe algoritmes werken. Het Algoritmeregister helpt hierbij. Wanneer overheidsorganisaties open zijn over algoritmes en hun toepassing, kunnen burgers, organisaties en media de overheid kritisch volgen.
Je kunt hier meer lezen over de doelen van het Algoritmeregister.
In de Handreiking Algoritmeregister staan bruikbare handvatten voor overheidsorganisaties om met publicatie van hun algoritmes aan de slag te gaan. Hierin wordt bijvoorbeeld duidelijkheid gegeven over welke doelen we ermee bereiken, welke algoritmes erin thuishoren en welke organisaties erin kunnen publiceren.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/algoritmeregister/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregelimp-04 - Publiceer impactvolle algoritmes en hoog-risico-AI-systemen in het Algoritmeregister"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/algoritmeregister/#bronnen","title":"Bronnen","text":"
Het Fairness Handbook biedt overheidsorganisaties een gedetailleerde richtlijn om eerlijkheid in algoritmen te waarborgen en schadelijke vooroordelen binnen AI-systemen te verminderen. Het handboek, dat origineel is ontwikkeld voor de Gemeente Amsterdam, richt zich op het voorkomen en mitigeren van vooroordelen en oneerlijke uitkomsten (bias) door middel van een gestructureerde Fairness Pipeline. Deze pipeline behandelt alle fasen van het ontwikkelproces, van het formuleren van het probleem tot de uiteindelijke implementatie en monitoring. Dit hulpmiddel biedt inzicht in de soorten schadelijke effecten van AI (zoals representatiebias en denigratieschade) en introduceert specifieke technieken, zoals het uitvoeren van een bias-analyse en het gebruik van contra-feitelijke scenario's (counterfactual fairness), om te controleren of de algoritmen rechtvaardige resultaten opleveren.
Naast praktische technieken voor het meten en mitigeren van vooroordelen, definieert het Fairness Handbook verschillende eerlijkheidsprincipes en bijbehorende statistische metrics. Deze metrics helpen ontwikkelaars en beleidsmakers om de prestaties van modellen te analyseren en verschillen in modelprestaties tussen verschillende groepen te detecteren. Door de nadruk te leggen op transparantie, zowel in de keuze van datasets als in de manier waarop het model beslissingen neemt, helpt het handboek om het vertrouwen in AI-systemen te vergroten en discriminerend gedrag in algoritmen te verminderen.
Het Fairness Handbook biedt ondersteuning voor overheden die streven naar verantwoorde, niet-discriminerende algoritmische besluitvorming. Het handboek ondersteunt overheidsinstanties bij het identificeren en corrigeren van vooroordelen in datasets en algoritmes, waardoor het risico op schadelijke effecten, zoals ongelijke verdeling van kansen of kwaliteit van dienstverlening, wordt geminimaliseerd. Het hulpmiddel sluit nauw aan bij andere hulpmiddelen, zoals de IAMA, door richtlijnen te geven voor het beoordelen van specifieke eerlijkheidsaspecten in de context van datagebruik en algoritmeontwikkeling.
Door de combinatie van technische en niet-technische benaderingen bevordert het Fairness Handbook een holistische benadering van algoritmische eerlijkheid. Er wordt rekening gehouden met zowel de technische als de sociale en ethische dimensies. Dit maakt het een bruikbaar hulpmiddel voor diverse overheidsprojecten, waaronder de ontwikkeling van AI-toepassingen in het sociaal domein en besluitvormingsprocessen waarbij kansengelijkheid van groot belang is.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/fairness-handbook/#auteurs-en-ontwikkeling","title":"Auteurs en Ontwikkeling","text":"
Het Fairness Handbook is ontwikkeld in 2022 door de Gemeente Amsterdam, met als doel de eerlijkheid en transparantie van haar AI-systemen te verbeteren. Het project is tot stand gekomen in samenwerking met diverse stakeholders, waaronder datawetenschappers, ethici en beleidsmakers, om ervoor te zorgen dat het handboek aansluit bij de bredere maatschappelijke behoeften en regelgeving. Door deze samenwerking biedt het Fairness Handbook een gebalanceerd perspectief, met aandacht voor zowel technische oplossingen als ethische en juridische overwegingen die nodig zijn voor verantwoorde AI-toepassingen.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/fairness-handbook/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregeldat-01 - Controleer de datakwaliteitver-01 - Toets het algoritme op biasimp-02 - Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie\u2019 te controleren"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/fairness-handbook/#bronnen","title":"Bronnen","text":"
Het Framework for Meaningful Engagement biedt organisaties een praktische aanpak om verschillende stakeholders effectief te betrekken in processen rondom AI en algoritmes. Het beschrijft stapsgewijs hoe men betrokkenheid kan ontwerpen en uitvoeren, met de nadruk op drie pijlers:
een gedeelde doelstelling
een betrouwbaar proces
een zichtbare impact
Het framework helpt organisaties om input van belanghebbenden daadwerkelijk te integreren, wat leidt tot duurzamere, inclusievere besluitvorming.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/framework-meaningful-engagement/#relevantie-voor-het-algoritmekader","title":"Relevantie voor het Algoritmekader","text":"
Betekenisvolle betrokkenheid van stakeholders is cruciaal voor verantwoord algoritmegebruik. Voor overheden biedt dit framework handvatten om transparanter te zijn over de ontwikkeling en impact van algoritmes en om een goed proces in te richten bij het gebruik van een algoritme. Dit sluit aan bij eisen rond menselijke controle.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/framework-meaningful-engagement/#auteurs-en-ontwikkeling","title":"Auteurs en ontwikkeling","text":"
Het framework is ontwikkeld door de European Center for Not-for-Profit Law Stichting (ECNL) en SocietyInside, als onderdeel van de Deense Tech for Democracy Initiative. De totstandkoming vond plaats via een consultatieproces met bijdragen van meer dan 150 individuen en organisaties wereldwijd, waaronder belanghebbenden uit het maatschappelijk middenveld, bedrijfsleven en overheden. Het framework bouwt voort op de VN-richtlijnen voor bedrijfs- en mensenrechten.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/framework-meaningful-engagement/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregelimp-03 - Richt de juiste menselijke controle in van het algoritmever-03 - Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleidver-01 - Controleer regelmatig of het algoritme werkt zoals het bedoeld isowp-06 - Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafwegingowp-07 - Maak een lijst van de meest kwetsbare groepen en bescherm hen extrapba-01 - Beschrijf het probleem dat het algoritme moet oplossenpba-02 - Beschrijf het doel van het algoritmepba-03 - Beschrijf waarom een algoritme het probleem moet oplossenpba-04 - Overleg regelmatig met belanghebbendenorg-01 - Bepaal of er genoeg experts beschikbaar zijn"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/framework-meaningful-engagement/#bronnen","title":"Bronnen","text":"
ECNL - Framework for Meaningful Engagement
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/handreiking-non-discriminatie/","title":"Handreiking non-discriminatie by design","text":"
OntwikkelenImplementatieProjectleiderOntwikkelaarBias en non discriminatieFundamentele rechten
Direct naar de Handreiking non-discriminatie by design
Deze handreiking legt uit welke vragen en principes leidend zijn bij het ontwikkelen en implementeren van een AI-systeem met het oog op het discriminatieverbod, vanuit zowel juridisch, technisch, als organisatorisch perspectief. De handreiking is een praktisch toepasbaar ontwerpkader dat ontwikkelaars helpt om al in de ontwikkelfase van een AI-systeem discriminerende patronen zoveel mogelijk te identificeren, te voorkomen en te bestrijden.
Er zijn 4 uitgangspunten die leidend zijn in de handreiking:
Stuk over relevantie voor het AK volgt nog. Net als bij het IAMA, is dit document een manier om een multidisciplinaire discussie te faciliteren en stimuleren. Hierbij kunnen verschillende rollen betrokken worden door de projectleider: data-scientists, juristen, de functionaris gegevensbescherming (FG), aangevuld met domeinspecialisten.
De handreiking is primair geschreven voor teams die zelf AI-systemen bouwen. Het gaat in op verschillende fases van ontwikkeling: probleemanalyse, dataverkenning en datapreparatie, ontwikkeling, implementatie en evaluatie. Daarnaast kan deze handreiking dienen voor opdrachtgevers van AI-systemen, ofwel om vooraf offrerende partijen te vragen aan te geven hoe zij rekening zullen houden met de diverse punten uit de handreiking, ofwel om tijdens het proces mee te kijken en op relevante punten aanwijzingen te geven, ofwel om achteraf te controleren of een opgeleverd product aan alle relevante voorwaarden voldoet.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/handreiking-non-discriminatie/#relatie-tot-iama","title":"Relatie tot IAMA","text":"
Gebruikers van zowel de Handreiking non-discriminatie by design als het IAMA geven enkele verschillen tussen de twee instrumenten. Deze bevindingen zijn te vinden in het rapport 'Bekendheid, toepasbaarheid en toegevoegde waarde handreiking \u201cnon-discriminatie by design\"' van de Auditdienst Rijk.
Zij geven aan dat het IAMA wordt gezien als instrument voor het nagaan van de impact van grondrechten in algemenere zin, waar de Handreiking zich specifiek richt op discriminatie. De handreiking bevat dan weer meer praktische voorbeelden die kunnen helpen bij begrip en afwegingen, waar de IAMA wat abstracter is.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/handreiking-non-discriminatie/#relatie-tot-het-fairness-handbook","title":"Relatie tot het Fairness Handbook","text":"
Over het Fairness Handbook werd in het rapport aangegeven dat het een technischere uitwerking bevat dan de Handreiking. Het Handbook biedt wellicht meer houvast voor iemand die analyses maakt om inzicht te geven in de prestaties van het algoritme met het oog op \u2018fairness\u2019 en \u2018bias\u2019. Dit komt doordat het Handbook meer details geeft over de technische stappen die nodig zijn om te komen tot bepaalde analyses.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/handreiking-non-discriminatie/#relatie-tot-toetsingskader-risicoprofielen-van-college-voor-de-rechten-van-de-mens","title":"Relatie tot Toetsingskader Risicoprofielen van College voor de Rechten van de Mens","text":"
Ook het toetsingskader voor discriminatie door risicoprofielen van het College voor de Rechten van de Mens kan worden gebruikt om te bepalen of er discriminatie plaatsvindt. Dit kader is afkomstig uit 2021 en er wordt gewerkt aan een nieuwe versie, die waarschijnlijk eind 2024 zal verschijnen. De verschillende stappen die daarin gebruikt worden om te bepalen of een risicoprofiel tot discriminatie leidt op grond van ras of nationaliteit, zijn zeer relevant. Daarvoor hebben zij een beslisboom ontwikkeld.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/handreiking-non-discriminatie/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregeldat-01 - Controleer de datakwaliteitver-01 - Toets het algoritme op biasimp-02 - Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie\u2019 te controleren"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/handreiking-non-discriminatie/#bronnen","title":"Bronnen","text":"
Handreiking non-discriminatie by design
Onderzoeksrapport Bekendheid, toepasbaarheid en toegevoegde waarde handreiking 'non-discriminatie by design'
Toetsingskader voor discriminatie door risicoprofielen van het College voor de Rechten van de Mens (2021)
Voorbeelden of templates van inkoopvoorwaarden kunnen helpen om een contract op te stellen dat een organisatie in staat stelt veilige en verantwoorde algoritmen of AI-systemen in te kopen. Deze worden ook wel eens modelcontractbepalingen genoemd. Deze voorwaarden of bepalingen kunnen opgenomen worden wanneer er een contract wordt afgesloten met een leverancier van een algoritme of algoritmisch systeem. Er kunnen dan bijvoorbeeld beperkingen gelden om onaanvaardbare risico's van AI te vermijden, of bepaalde voorwaarden gesteld worden waaraan een algoritme juist moet voldoen. Ook kunnen bepaalde voorwaarden worden opgenomen op basis van de vereisten in het Algoritmekader.
De Europese contractvoorwaarden voor AI bieden aanbestedende organisaties de mogelijkheid om specifieke clausules op te nemen in de overeenkomst. Op deze manier worden afspraken gemaakt over onderwerpen die in lijn zijn met de aankomende AI-Act. Er zijn 2 versies van de AI-inkoopvoorwaarden opgesteld: een set voorwaarden voor AI-toepassingen met een hoog-risicoprofiel en een set voorwaarden voor AI-toepassingen met een laag-risicoprofiel.
De Europese contractvoorwaarden voor AI zijn gebaseerd op onder andere de modelbepalingen die de Gemeente Amsterdam al eerder opstelde. Deze dienen als voorbeeld voor andere gemeenten die algoritmische toepassingen willen inkopen.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/inkoopvoorwaarden/#ai-module-bij-arbit-2022","title":"AI-module bij ARBIT-2022","text":"
De AI-module bij de ARBIT is gebaseerd op het gepubliceerd model van de Europese Commissie dat hierboven beschreven wordt. Via een verwijzing in de gebruikte modelovereenkomst kan de AI-module onderdeel gaan uitmaken van een onder de ARBIT te sluiten overeenkomst.
De ARBIT zijn de Algemene Rijksinkoopvoorwaarden bij IT\u2011overeenkomsten (ARBIT) en zijn bedoeld voor kleine en middelgrote IT-inkopen door de overheid. Lees meer hierover op de website van PIANOo.
Steeds meer organisaties kopen algoritmische toepassingen in die veel impact hebben op gebruikers of beslissingen. Het is daarom van belang dat aanbestedende overheidsorganisaties afspraken maken met leveranciers, zodat de werking van de algoritmische toepassing transparant is en op een veilige en verantwoorde manier gebruikt wordt. Verschillende organisaties hebben daarom (voorbeeld-)contractvoorwaarden voor het inkopen van AI-systemen beschikbaar gesteld. Denk aan de Europese Commissie en de Gemeente Amsterdam.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/inkoopvoorwaarden/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregeldat-08 - Zorg dat je controle of eigenaarschap hebt over de dataowp-16 - Laat aanbieder(s) bewijs leveren dat de door hen ontwikkelde algoritmes geen inbreuk maken op de auteursrechten van derden met de trainingsdata en de output.owp-15 - Maak het leveren van bewijs voor het voldoen aan de vereisten voor algoritmes onderdeel van de beoordeling van een inschrijving.owp-13 - Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst.owp-23 - Laat de aanbieder aangeven welke mate van opleiding en ondersteuning bij de implementatie nodig is om de beoogde algoritmes verantwoord te gebruiken.owp-11 - Voer voorafgaand aan een project een data beschikbaarheid, kwaliteit- en toegankelijkheidsanalayse uit."},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/inkoopvoorwaarden/#bronnen","title":"Bronnen","text":"
Modelbepalingen voor gemeenten voor verantwoord gebruik van Algoritmische toepassingen
Contractvoorwaarden voor het inkopen van artifici\u00eble intelligentie (AI)
Heb jij een goed voorbeeld van het gebruik van modelbepalingen of contractvoorwaarden op het gebied van algoritmen? Laat het ons weten!
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/mensenrechtelijktoetsingskader/","title":"Discriminatie door risicoprofielen - Een mensenrechtelijk toetsingskader","text":"
ProbleemanalyseOntwerpBeleid en adviesJuristBias en non discriminatieFundamentele rechten
Direct naar het Mensenrechtelijk Toetsingskader
Let op!
Dit toetsingskader wordt momenteel vernieuwd. Een nieuwe versie wordt hier gepubliceerd zodra beschikbaar.
Dit toetsingskader helpt overheidsfunctionarissen om te bepalen wanneer risicoprofielen leiden tot discriminatie op grond van ras of nationaliteit. Het presenteert de (denk)stappen die doorlopen moeten worden om te toetsen of een risicoprofiel binnen de grenzen van het discriminatieverbod blijft. Het is belangrijk om te benadrukken dat het hierbij gaat om de juridische ondergrens van het discriminatieverbod, zoals geformuleerd door internationale en nationale rechters. Aan de regels uit dit toetsingskader moet de overheid zich dus ten minste houden. Dit laat onverlet dat de overheid kan beslissen om strengere regels te hanteren.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/mensenrechtelijktoetsingskader/#noot-voor-de-lezer","title":"Noot voor de lezer","text":"
Dit toetsingskader is gebaseerd op geldende verdragen, wetten en jurisprudentie tot aan november 2021. De normen en jurisprudentie op dit terrein zijn echter continu in ontwikkeling. Zo heeft het gerechtshof Den Haag in 2023 in een belangrijke uitspraak vastgesteld dat het gebruik van etnische kenmerken als een van de selectiecriteria voor controle, zoals dat plaatsvond binnen het \u2018Mobiel Toezicht Veiligheid\u2019 door de Koninklijke Marechaussee, in strijd is met het discriminatieverbod.
Ook op Europees niveau is er nieuwe relevante jurisprudentie verschenen. Dit alles biedt een verdere aanscherping en concretisering van de geldende normen. Het College werkt daarom op dit moment aan een aangepast en doorontwikkeld toetsingskader waarin alle nieuwe ontwikkelingen worden verwerkt.
Het spreekt voor zich dat overheidsinstanties zich bij het uitvoeren van hun taken moeten onthouden van discriminatie. Recente voorbeelden zoals de Kinderopvangtoeslagaffaire laten echter zien dat het in de praktijk toch mis kan gaan. Duidelijk is dat discriminerende elementen toch in risicoprofielen voorkomen. Dat heeft er mede mee te maken dat het voor medewerkers van uitvoeringsinstanties niet altijd duidelijk is wat in welke context wel en niet mag.
Er komt daarbij veel kijken bij de beoordeling of een risicoprofiel binnen de grenzen van het discriminatieverbod blijft, zeker wanneer afkomst-gerelateerde kenmerken als selectiecriteria binnen dit risicoprofiel een rol spelen. In alle gevallen zal nauwkeurig afgewogen moeten worden welke kenmerken voor welke doeleinden worden gebruikt en hoe zich dat verhoudt tot het toepasselijke wettelijke kader. Dit toetsings- kader biedt handvatten voor het maken van deze afweging.
Dit onderzoekskader is een instrument om de beheersing van algoritmes in kaart te brengen. Het geeft inzicht in de risico\u2019s die algoritmes met zich meebrengen en met welke maatregelen deze risico\u2019s beheerst (kunnen) worden.
Het onderzoekskader is in eerste instantie bedoeld als instrument voor auditors om de beheersing en werking van algoritmes binnen overheidsorganisaties te onderzoeken, maar is ook bruikbaar voor andere partijen om inzicht te krijgen in de huidige en/of gewenste beheersing van algoritme(s).
Het kader richt zich op algoritmes die binnen overheidsorganisaties gebruikt worden. Het is ingericht op algoritmes die zelf van voorbeelden leren, zoals machine learning, maar is ook toepasbaar op regelgebaseerde algoritmes. Het kader is ook bruikbaar voor andere organisaties en kan bij verschillende fases van de levenscyclus van een algoritme worden ingezet. Mogelijk zijn niet alle thema\u2019s relevant gezien de context van het algoritme. De opdrachtgever en auditor(s) dienen daarom voorafgaand aan een onderzoek te analyseren en te bepalen welke thema\u2019s en onderwerpen worden onderzocht. Het onderzoekskader is ingedeeld in 4 thema\u2019s:
Sturing en Verantwoording
Privacy
Data en Model
Informatiebeveiliging
Ethiek raakt alle thema\u2019s en komt daarom bij elk thema in het kader terug. Elk thema bevat deelgebieden en de risico\u2019s en beheersmaatregelen die daarbij horen (inclusief de bron). Ook deze kunnen weer gerelateerd zijn aan een ander thema. Een apart werkbestand voor auditors is opgesteld wat kan worden gebruikt bij het uitvoeren van een onderzoek. Dit bestand heeft dezelfde opbouw, maar bevat ook invulvelden om als auditor het risico (kans x impact) in te schatten en de bevindingen op te nemen. Daarnaast zijn toelichtingen en voorbeelden van checks en evidence opgenomen per beheersmaatregel.
Het onderzoekskader is ontwikkeld met behulp van nationale en internationale richtlijnen en kaders, rapporten en instrumenten, zoals de Ethics guidelines for trustworthy AI van de Europese Commissie (EC), Impact Assessment voor Mensenrechten bij de inzet van Algoritmes (IAMA), de richtlijnen van het ministerie van JenV, het DPIA model Rijksoverheid (gebaseerd op o.a. AVG) en de Guiding Principles Trustworthy AI Investigations van NOREA (beroepsvereniging IT-auditors Nederland). De bron van de betreffende risico\u2019s en beheersmaatregelen is tevens opgenomen.
Dit onderzoekskader is erg overkoepelend (net als het toetsingskader van de Algemene Rekenkamer). Er zijn dan ook veel maatregelen in het Algoritmekader gebaseerd op maatregelen die in het kader van de ADR staan. Bekijk alle maatregelen van het Algoritmekader hier.
Het toetsingskader omvat 5 perspectieven op algoritmes, elk met hun belangrijkste risico's geformuleerd. Het gaat om Sturing en Verantwoordelijkheid, Model en Data, Privacy, IT-beheer en Ethiek. Voor elk risico is er een specifieke onderzoeksvraag opgesteld. Door deze vragen te beantwoorden en een score toe te kennen, krijgt de gebruiker inzicht in hoe goed het gekozen algoritme de risico's beheerst.
De mate van risico voor een specifiek algoritme wordt bepaald door twee factoren: de gebruikte geavanceerde technieken en de impact van het algoritme op de burger.
Het toetsingskader is in eerste instantie bedoeld als toetsinstrument voor auditors (controleurs en toezichthouders). Zij kunnen dit kader gebruiken om de risico's van het beoordeelde algoritme in beeld te krijgen.
Het digitale toetsingskader 'Aandacht voor algoritmes' is ontwikkeld vanwege de toenemende maatschappelijke aandacht voor algoritmes en de behoefte aan een integraal instrument voor toetsing en analyse. Het is gebaseerd op bestaande informatie en raamwerken, zowel binnen het Rijk als door externe partijen zoals NOREA en grote accountantskantoren.
Dit onderzoekskader is erg overkoepelend (net als het onderzoekskader van de ADR). Er zijn dan ook veel maatregelen in het Algoritmekader gebaseerd op maatregelen die in het kader van de Algemene Rekenkamer staan. Bekijk alle maatregelen van het Algoritmekader hier.
Overzicht van aanbevolen maatregelen voor verantwoord gebruik van algoritmes en AI-systemen. Het zijn adviezen om te voldoen aan de vereisten voor overheden. Andere maatregelen zijn ook mogelijk.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/#alle-maatregelen-zijn-adviezen","title":"Alle maatregelen zijn adviezen","text":"
De maatregelen zijn niet verplicht. Het zijn adviezen uit:
Toetsingskader Algoritmes, Algemene Rekenkamer
Onderzoekskader algoritmes, Auditdienst Rijk
nationale en internationale standaarden (NEN, JTC21 en ISO)
Onderzoek het ontwikkelde algoritme op onbewuste vooringenomenheid (discriminatie) door middel van een bias-analyse.
Deze maatregel helpt om te voldoen aan de vereiste om niet te discrimineren. Maar deze maatregel is niet verplicht. Je organisatie mag ook eigen maatregelen nemen. Zolang je uiteindelijk maar voldoet aan de vereiste.
Tip
Aantal maatregelen verschilt per situatie
Welke maatregelen handig zijn in jouw situatie, hangt af van:
de fase in de levenscyclus van je project
de vereisten waar jouw organisatie aan moet voldoen
jouw rol in de organisatie
Tip
Met \u00e9\u00e9n maatregel voldoe je soms aan meerdere vereisten.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-01-benodigde-expertise-en-capaciteit/","title":"Bepaal of er genoeg experts beschikbaar zijn","text":"
org-01OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Bepaal welke expertise en capaciteit noodzakelijk is voor het ontwikkelen, inkopen en gebruiken van algoritmes en stel vast of er voldoende expertise en capaciteit beschikbaar is.
Bepaal welke expertise en capaciteit binnen de organisatie noodzakelijk is voor het ontwikkelen, inkopen en gebruiken van algoritmes.
Dit is sterk afhankelijk van de specifieke toepassing en de inzichten die voortkomen uit risicoanalyses. Hoe complexer en risicovoller de toepassing, des te meer expertise en capaciteit noodzakelijk is.
Interne en externe actoren die betrokken zijn bij het ontwikkelen, inkopen en gebruik moeten over voldoende expertise en capaciteit beschikken om hun taken naar behoren uit te voeren.
Stel vast of er afhankelijkheden van externe aanbieders ontstaan.
Bepaal voorafgaand aan het (laten) ontwikkelen of inkopen van algoritmes of voldoende expertise en capaciteit beschikbaar is om tot een verantwoorde inzet ervan te komen.
Leg vast of er voldoende expertise en capaciteit beschikbaar is en onderbouw dit in projectdocumentatie.
Om menselijke controle te kunnen uitoefenen in verschillende fases van de ontwikkeling (of inkoop) van algortimes moet de mens bepaalde kennis, tijd en vaardigheden hebben. Alleen met de juiste kennis, tijd en vaardigheden kunnen risico\u2019s op tijd ge\u00efdentificeerd en afgedekt worden. Deze kennis en expertise kan ook buiten de organisatie liggen, maar dan is het belangrijk om verantwoordelijkheden goed vast te leggen.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid_opstellen_inzet_algoritmes/","title":"Stel beleid op voor een verantwoorde inzet van algoritmes binnen de organisatie.","text":"
org-04OrganisatieverantwoordelijkhedenBeleid en adviesGovernanceTransparantie
Een duidelijk beleid over de inzet van algoritmes helpt organisaties te voldoen aan de vereisten voor het verantwoord gebruik ervan. Hierin worden zaken beschreven als:
Hoe de inzet van algoritmes gaat bijdragen aan het realiseren van de organisatiedoelstellingen.
Het beschrijven van de stappen die moeten worden gezet om algoritmes op een verantwoorde wijze in te gaan zetten. Dit is afhankelijk en verschilt per type algoritme en de bijbehorende risicoclassificatie.
Het beschrijven van welke hulpmiddelen in welke gevallen moeten worden ingezet om te voldoen aan de vereisten die gelden voor algoritmes. Hierbij kan worden gedacht aan:
Een Impact Assessment Mensenrechten en Algoritmes.
Een Data Protection Impact Assessment.
Het hanteren van inkoopvoorwaarden.
Hoe burgers worden ge\u00efnformeerd over de inzet van algoritmes door de organisatie (communicatiestrategie) en welke kanalen hiervoor kunnen worden gebruikt. Hierbij kan worden gedacht aan:
Het Algoritmeregister voor het publiceren van hoog risico AI-systemen of impactvolle algoritmes.
Een algemene pagina op de website met informatie over de inzet van algoritmes.
Het verwerkingsregister.
Een intern registratiesysteem, bijvoorbeeld voor het registreren van laag risico of niet-impactvolle algoritmes zodat deze informatie voor medewerkers beschikbaar is.
In welke gevallen een (openbaar) besluit wordt genomen door het bestuur over de inzet van een algoritme.
Er is beschreven welke informatie over welke typen algoritmes wordt gecommuniceerd met betrokkenen bij de ontwikkeling of gebruik ervan door de organisatie.
Er is beschreven welke stappen worden gezetten in het geval dat er incidenten ontstaan rondom de inzet van algoritmes, denk hierbij aan een discriminatieprotocol.
Dit beleidsdocument is beschikbaar en toegankelijk voor ge\u00efnteresseerden.
Zonder duidelijk beleid over de inzet van algoritmes kan het gebeuren dat algoritmes worden ontwikkeld of gebruikt die niet passend zijn binnen de organisatie.
ISO/IEC 42001: Artificial intelligence (AI) Management System
Webpagina van gemeente Amsterdam over algoritmes.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen_risicobeheer/","title":"Maak een plan voor het omgaan met risico\u2019s","text":"
org-03OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Bepaal tijdig, bijvoorbeeld in de probleemanalyse- of ontwikkelfase, om wat voor toepassing het gaat (algoritme of AI-systeem) en bepaal welke risicoclassificatie hierbij hoort.
Bepaal op basis van de toepassing en de risicoclassificatie, welke aspecten van risicobeheer moeten worden toegepast.
Inventariseer tijdig, bijvoorbeeld in de probleemanalayse- of ontwikkelfase, bij betrokken experts welke beleidskaders en hulpmiddelen binnen de organisatie moeten worden ingezet om risicobeheer toe te passen.
Bepaal op basis van de levenscyclus van een algoritme of AI-systeem wanneer welke aspecten van risicobeheer moeten worden toegepast.
Maak inzichtelijk op welke niveaus risicobeheer kan en moet worden belegd bij het ontwikkelen en gebruiken van algoritmes.
Daarbij gaat het om het identificeren, analyseren, evalueren (afhankelijk van de risicobereidheid), behandelen (risicoreactie, o.a. maatregelen), monitoren & beoordelen en communiceren & rapporteren van risico's.
Gedurende de levenscyclus van een algoritme of AI-systemen kunnen nieuwe risico's ontstaan waar mogelijk nieuwe maatregelen voor moeten worden getroffen. Het is van belang dat iteratief wordt gewerkt aan mitigerende maatregelen en dat risicobeheer periodiek wordt toegepast.
Let op! Sommige maatregelen in het Algoritmekader gaan dieper in op het uitvoeren van risicoanalyses.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-04-politiek-bestuurlijke-verantwoordelijkheid/","title":"Zorg voor politiek-bestuurlijk bewustzijn, betrokkenheid, en verantwoordelijkheid.","text":"
org-04OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernanceTransparantie
Voor een passende algoritmegovernance is politiek-bestuurlijk bewustzijn, betrokkenheid en verantwoordelijkheid essentieel.
De kernvraag voor publieke organisaties bij de inzet van algoritmen is altijd: Hoe wegen we (als publieke organisatie of samenleving) de voordelen en nadelen van de inzet van algoritmen?
Dit is per definitie een kwalitatieve en politieke vraag.
Dit gaat niet alleen over direct opbrengsten maar ook over lange termijn en indirecte effecten, de mate waarin de inzet van technologie bijdraagt aan de legitimiteit van publieke organisatie en hoe burgers met deze technologie worden bejegend.
Om te zorgen voor politiek-bestuurlijke betrokkenheid kan het helpen om een meerjarige visie/strategie rondom verantwoorde inzet te formuleren waar een communicatiestrategie richting burgers onderdeel van is.
Zorg ervoor dat bestuurders bewust zijn van de voor- en nadelen van de inzet van algoritmes en daarnaar kunnen handelen.
Dit ondersteunt teams bij het maken van de juiste overwegingen bij de ontwikkeling en gebruik van algoritmes. Het geeft ook inzicht wanneer de politiek of bestuurlijk verantwoordelijke(n) moeten worden betrokken bij het project om beslissingen te nemen, bijvoorbeeld of de mate van onbewuste vooringenomenheid (bias) binnen acceptabele grenzen ligt.
Het doorlopen van een concrete casus voor de ontwikkeling en gebruik van een algoritme, inclusief het uitvoeren van een IAMA, kan waardevolle informatiegeven om een meerjarige visie of strategie op te stellen.
\u00c9\u00e9n van de belangrijkste hoofdconclusies van het rapport Kleur Bekennen van de gemeente Rotterdam, opgesteld door de Algemene Rekenkamer, onderstreept het belang van actief bestuur binnen algoritme- en AI-governance:
\"Het ontbreekt aan een politiek-bestuurlijk kader dat duidelijk maakt welke normen en principes leidend zijn bij de ontwikkeling en het gebruik van algoritmes. Dit heeft als effect dat belangrijke besluit over bijvoorbeeld wenselijkheid, haalbaarheid, transparantie en bias bij de ambtelijke organisatie komen te liggen. Deze besluiten vragen om een politieke afweging\".
De algoritmegovernance van de Gemeente Rotterdam bestaat uit de volgende onderdelen:
een visie op de inzet van algoritmes;
instrumentarium voor risicobeheersing dat onder andere bestaat uit een risico-assessment en een mensenrechtenassessment;
een uiteenzetting van rollen en verantwoordelijkheden en;
een omschrijving van de verantwoordelijkheden voor controle en advies.
Deze stappen volgen kan helpen bij het inrichten van een algoritmegovernance.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance/","title":"Sluit algoritmegovernance aan op bestaande governancestructuren binnen de organisatie.","text":"
org-05OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Bij de vormgeving van een algoritmegovernance van een organisatie is het van belang om aansluiting en samenwerking te bewerkstelligen met huidige governancestructuren binnen de organisatie, zoals:
IT governance
datagovernance
informatiebeveiliging zoals governance rondom de NIS2 richtlijn
privacygovernance
Deze governancestructuren kunnen waardevolle aanknopingspunten bieden voor algoritmegovernance, omdat hierin vaak al duidelijke afspraken zijn gemaakt en processen zijn geschreven om bijvoorbeeld risico's zo goed mogelijk te managen. In veel organisaties werken bijvoorbeeld privacy- en informatiebeveiliging en informatiebeheerders nauw samen van strategisch organisatieniveau tot operationeel, omdat deze onderwerpen raken aan beide domeinen. Voor een verantwoorde inzet van algoritmes zullen deze expertise moeten gaan samengewerkt met andere expertise, zoals die van data science en ethiek. Het is van belang dat deze expertises tijdig en voldoende ruimte krijgen om samen te werken, zodat de functionele en niet functionele requirements kunnen worden gedefinieerd voor een verantwoorde inzet van algoritmes. Stel vast waar deze expertise elkaar nodig hebben en waar deze zelfstandige taken en verantwoordelijkheden hebben. Voorgaande geeft inzichten om te bepalen in hoeverre algoritmegovernance, naast de bestaande governancestructuren, moet worden ingericht.
De volgende vragen kunnen bedragen om bovenstaande inzichtelijk te krijgen: - Welke lessen zijn geleerd met de implementatie van de AVG of de toepassing van de BIO? - Is er iemand intern verantwoordelijk gemaakt voor (toezicht op) algoritmes? - Hoe werken experts vanuit verschillende onderwerpen zoals privacy, informatiebeheer, informatiebeveiliging en data op dit moment samen als het gaat om de inzet van algoritmes?
Een concreet voorbeeld van samen optrekken is deze handreiking om de IAMA en DPIA gezamelijk uit te voeren.
Voorbeeld: Ervaringen Kadaster
Bij inwerkingtreding van de AVG ging men snel aan de slag met DPIA\u2019s, vinkenlijstjes. Let op voor een schijndossier: Begrijp wat er toegepast moet worden, voordat je aan de slag gaat; niet uitvoeren om maar te laten zien dat je eraan voldoet.
Nadenken over governance. De FG is bij de wet geregeld, maar er is meer nodig. Welke profielen heeft de ondersteuning voor de uitvoering; (centrale) privacy officers en is hier ruimte voor?
Zorg dat interpretaties over wet- en regelgeving gelijk zijn binnen de organisatie en de collega\u2019s die binnen de governance structuur samenwerken.
Er is beleid gemaakt, maar in de praktijk is te weinig capaciteit om dit uit te voeren. Stel een realistisch beleidsplan op om de gestelde doelen daadwerkelijk te kunnen realiseren.
Centrale privacy officer Kadaster
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/","title":"Gebruik een algoritme volwassenheidsmodel om te weten waar de organisatie staat","text":"
org-06OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Om tot een passende algoritmegovernance voor een organisatie te komen, moet eerst worden vastgesteld wat op dit moment al is ingericht binnen een organisatie op het gebied van algoritmes.
Hiervoor kan een volwassenheidsmodel worden toegepast.
Op basis hiervan kunnen vervolgstappen worden gedefinieerd, zodat je een handelingsperspectief hebt om je organisatie te organiseren. Ook kunnen deze uitkomsten helpen bewustzijn over de uitdagingen te vergroten.
Het is denkbaar dat het realiseren van algoritmegovernance vraagt om een organisatieverandering. De noodzaak voor implementatie van de AI-Verordening kan hier een katalysator voor zijn. Pas daarom verandermanagementtechnieken toe.
Deel deze informatie met het bestuur en zorg dat hier bewustzijn ontstaat. Bepaal vervolgens hoe algoritmegovernance moet worden ingericht.
Het is aan te raden om verantwoordelijkheden te beleggen voor het realiseren van algoritmegovernance.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/#bronnen","title":"Bronnen","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/#risico","title":"Risico","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/#voorbeelden-van-volwassenheidsmodellen","title":"Voorbeelden van volwassenheidsmodellen","text":"
Er zijn verschillende modellen om het volwassenheidsniveau te bepalen. Deze modellen richten zich niet altijd specifiek op het beheer van algoritmes, maar kijken breder naar algoritmes in de organisatie of naar ethische vraagstukken. Governance is altijd een onderdeel van deze modellen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/#ai-ethics-maturity-model-van-krijger-thuis-de-ruiter-ligthart-broekman-2023","title":"AI ethics maturity model van Krijger, Thuis, de Ruiter, Ligthart & Broekman (2023)","text":"
Het AI ethics maturity model van Krijger, Thuis, de Ruiter, Ligthart & Broekman (2023) brengt de volwassenheid op verschillende niveau's in kaart op basis van zes categorie\u00ebn:
awareness & culture
policy
governance
communication & training
pevelopment proces
tooling
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/#het-datavolwassenheidsmodel-van-de-ibds","title":"Het Datavolwassenheidsmodel van de IBDS","text":"
Het datavolwassenheidmodel van de Interbestuurlijke Datastrategie (IBDS) kijkt naar hoe goed organisaties omgaan met data. Dit model is ook belangrijk voor kunstmatige intelligentie (AI), omdat data daar een grote rol speelt. Het model heeft een beslishulp datavolwassenheid waarmee bepaald kan worden hoe volwassen een organisatie is met data. IBDS biedt ook een gids met verschillende manieren om de datavolwassenheid in kaart te brengen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/#innovatie-en-volwassenheid","title":"Innovatie en volwassenheid","text":"
Het gebruik van algoritmes wordt vaak gezien als een vorm van innovatie. Hoe kan AI helpen bij het ondersteunen van nieuwe idee\u00ebn en het vinden van nieuwe toepassingen? Een voorbeeld van een volwassenheidsmodel over innovatie is de Innovatie Maturity Scan van Innoveren met Impact.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/#mitre-ai-maturity-model-en-organizational-assessment-tool","title":"MITRE AI Maturity Model en Organizational Assessment Tool","text":"
Het AI Maturity Model en de bijbehorende Organizational Assessment Tool zijn ontwikkeld door de Amerikaanse organisatie MITRE. MITRE is een non-profitorganisatie en enigzins vergelijkbaar met het Nederlandse TNO. Dit volwassenheidsmodel onderscheidt een zestal pijlers in de AI volwassenheid van een organisatie en daarbij een vijftal volwassenheidsniveaus. Het volwassenheidsmodel en assessment zijn goed gedocumenteerd.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes\\@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-07-intern-toezicht/","title":"Richt een algoritmegovernance in met three lines of defence","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-07-intern-toezicht/#maatregel","title":"Maatregel","text":"
Richt een algoritmegovernance in met three lines of defence.
Onder andere de UWV en de Gemeente Rotterdam hanteren dit model met drie linies. Bij de gemeente Rotterdam zijn bijvoorbeeld de drie lijnen ingevuld via de volgende rollen en verantwoordelijkheden: \u201cDe eerste lijn bestaat uit de proceseigenaren en de operationeel verantwoordelijken. Proceseigenaren zijn verantwoordelijk voor de gehele algoritmetoepassing en de operationeel verantwoordelijken voor de ontwikkeling. De tweede lijn is de algoritme expert, die een onafhankelijke toezicht- en adviestaak heeft. De derde lijn wordt volgens de stukken die gaan over de algoritme governance vervuld door Financial audit.\u201d (Rekenkamer Rotterdam, 2024)
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-08-beslismoment-levenscyclus/","title":"Maak gebruik van beslismomenten in de algoritmelevenscyclus","text":"
org-08OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Algoritmegovernance kan op de levenscyclus aansluiten door 'gates' of controlepunten in te voeren. Deze gates bevatten belangrijke mijlpalen om te beoordelen of de juiste taken zijn uitgevoerd, of ethische afwegingen zijn geamaakt, of documentatie heeft plaatsgevonden en of akkoord is ingewonnen (go/no-go moment) bij de verantwoordelijke(n) om naar de volgende fase te mogen.
Het is belangrijk om te weten dat toepassing van deze \u2018gates\u2019 niet altijd hetzelfde is. Dit kan namelijk verschillen afhankelijk van het type algoritme.
Een hoog-risico-AI-systeem moet aan meer vereisten voldoen dan een niet impactvol algoritme. Een hoog-risico AI-systeem moet daarom binnen de gates worden getoetst op meer onderdelen dan een niet impactvol algoritme.
Hieronder volgen twee voorbeelden van hoe governance effectief kan worden ge\u00efntegreerd in de levenscyclus van algoritmen en AI-modellen:
Ministerie VWS In de levenscyclus
In het hulpmiddel handelingsruimte waardevolle AI in de zorg is tussen elke fase in de levenscyclus een \u2018gate\u2019 geplaatst. Tussen de afronding van een fase en de start van de daaropvolgende fase wordt een formele poort geplaatst. Om door deze poort te gaan, moet de voorgaande fase volledig zijn afgerond: vraagstukken dienen beantwoord te zijn, activiteiten uitgevoerd en aan interne en externe vereisten dient te zijn voldaan. Deze zaken kunnen in de vorm van documentatie aan de organisatie worden opgeleverd, waarna een gesprek of review kan plaatsvinden.
Het vormgeven van deze overgangen geeft verantwoordelijke stakeholders binnen de organisatie een structuur om de ontwikkeling en inzet van algoritmen in elke fase te beoordelen en bij te sturen. De gezamenlijke kernvraag voor alle betrokkenen in de gates is: Geloven we dat de voordelen van de inzet (en ontwikkeling) van dit algoritme opwegen tegen eventueel te verwachten nadelen? En hoe gaan we om met deze dilemma's? Daarbij kunnen opvolgende fasen in de levenscyclus een eigen accentvraag kennen, zoals \u201cIs het beoogde algoritme wenselijk?\u201d in de probleemanalyse fase tot \u201cLevert het algoritme nog de waarde op die we beogen?\u201d tijdens de monitoring- en beheerfase.
Voorbeeld: Het UWV
In haar modellevenscyclus [^3] maakt het UWV gebruik van een gelaagdheid in de \u201cgates\u201d door gebruik te maken van een zachte en harde knip tussen de opvolgende fasen. Enerzijds is er een zachte knip voorzien door aan het eind van elke fase de mogelijkheid te laten om een stap terug te zetten in de levenscyclus. Mocht het onduidelijk zijn wat de beoogde voordelen zijn ten opzichte van de nadelen, of er onvoldoende invulling gegeven is aan de vereisten/activiteiten, dan kan het algoritme of AI-model ontwikkelproces bij een zachte knip een stap terugnemen in de levenscyclus. Anderzijds zijn er 4 harde grenzen in de levenscyclus aangebracht waarin formele vereisten aan het ontwikkeltraject worden opgelegd.
Voorbeeld: BD (Analytische en Cognitieve Technologie - CoE Cognitieve Oplossingen)
Enkele ervaringen m.b.t. levencyclus: Plot sleutelmomenten en mijlpaal momenen in die nodig zijn om het proces te kunnen laten werken en bepaal de requirements die daarmee samenhangen. Richt als eerste een basis (b.v. voor low risk) de AI-governance in op operationeel niveau, implementeer deze basis en stel gaandeweg/ondertussen op basis van o.a. best practices de requirements op naar de \"wereld\" er om heen (tactisch en strategisch niveau).
Voorbeeld: Algoritmeprocesmodel Ministerie van Defensie
Het Ministerie van Defensie heeft een \"algoritmeprocesmodel\" ontwikkeld. Op level 1 is het een levenscyclus zoals ook in het Algoritmekader. Op level 2 wordt ingegaan op de rollen en verantwoordelijkheden. Op level 3 zijn ook formulieren om op specifieke momenten in de AI-levenscyclus de juiste documentatie op te leveren. N.B.: Defensie heeft dit ingericht in Sharepoint, waardoor verantwoordelijken te koppelen zijn aan activiteiten in de levenscyclus.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie/","title":"Richt algoritmegovernance op basis van de risicoclassificatie van algoritmes.","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie/#maatregel","title":"Maatregel","text":"
Richt algoritmegovernance in op basis van de risicoclassificatie van algoritmes.
Er is een verschil in de vereisten die van toepassing zijn op type algoritmes. Dit is mede afhankelijk van de risioclassificatie en de impact van het algoritme op betrokkenen.
Zo zullen op basis van de AI-verordening meer vereisten moeten worden nageleefd bij hoog-risico AI-systemen, dan voor een AI-systeem met een beperkt risico.
Dit betekent dat algoritmegovernance uitgebreider moet zijn voor de risicovollere, complexere toepassingen dan voor de eenvoudige, niet-risicovolle toepassingen.
Stel daarom tijdig vast om welk type algoritme het gaat en welke vereisten hiervoor gelden. Dat draagt eraan bij dan alleen wordt gefocust op het realiseren van de vereisten waar daadwerkelijk aan moet worden voldaan. Dit zorgt ervoor dat projecten sneller kunnen worden gerealiseerd.
Let op dat niet enkel naar de AI-verordening wordt gekeken. Ook op impactvolle algoritmes die niet vallen onder het bereik van de AI-Verordening zijn ook vereisten van toepassing, en moet algoritmegovernance op worden toegepast.
Is algoritmegovernance nieuw bij jouw organisatie, dan kan het helpen om een use-case met beperkt risico grondig te doorlopen om hiervan te leren.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie/#bronnen","title":"Bronnen","text":"Bekijk alle vereisten
De gemeente Rotterdam kiest ervoor om de algoritmegovernance alleen in te zetten bij hoog-risico AI-toepassingen. Deze risicoclassificatie volgt de AI-Verordening. Voor laag-risico toepassingen geldt de standaard governance van de gemeente: de informatiebeveiligings- en privacy governance (Kleur Bekennen, Rekenkamer Rotterdam, 2024, p.71). Tabel 1 geeft inzicht in verschillende typen algoritmen en AI-toepassingen. De afbeelding uit hetzelfde rapport geeft een flowchart van hoe de governance anders is afhankelijk van de risico-categorie.
In dit voorbeeld is ook het principe gehanteerd dat naast hoog-risico volgens de AI-verordening, bij ieder algoritme aan de hand van een drietal vragen moet worden besloten of een uitgebreidere algoritmegovernance nodig is. * Is de werking van het algoritme niet volledig \u00e9n beknopt uit te leggen aan een gemiddelde Rotterdammer? * Ontbreekt er een menselijke beoordeling voordat de uitkomst van het algoritme in de praktijk wordt gebracht door middel van een concrete handeling van de gemeente? * Is het voorstelbaar dat de algoritmetoepassing uitmondt in een onrechtvaardige handeling van de gemeente tegen burgers of bedrijven
Kijk zelf goed wat passend is voor jouw organisatie.
Voorbeeld BD (Analytische en Cognitieve Technologie | CoE Cognitieve Oplossingen): * Richt als eerste een basis (b.v. voor low risk) algoritmegovernance in op operationeel niveau, implementeer deze basis en stel gaandeweg/ondertussen op basis van o.a. best practices de requirements op naar de \"wereld\" er om heen (tactisch en strategisch niveau).
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-10-inrichten-taken-en-verantwoordelijkheden-algoritmegovernance/","title":"Taken en verantwoordelijkheden zijn toebedeeld in de algoritmegovernance","text":"
org-10OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Bij het vormgeven van een doeltreffende algoritmegovernance is het beleggen van expliciete taken en verantwoordelijkheden cruciaal.
Het beleggen van deze taken en verantwoordelijkheden zorgt voor een actiegerichte structuur waarin duidelijkheid bestaat over wie wanneer aan zet is.
Denk hierbij aan het opstellen van een RACI-matrix en pas dit binnen de organisatie toe per risicoclassificatie voor algoritmes.
Rollen en verantwoordelijkheden kunnen worden gekoppeld aan de vereisten en maatregelen die moeten worden gerealiseerd in de verschillende fasen van de levenscyclus van een algoritme.
Organisaties zullen zelf moeten beoordelen welke taken en verantwoordelijkheden ze willen koppelen aan de beschikbare (of nieuwe) rollen binnen hun organisaties.
Zie hieronder een mogelijk voorbeeld van hoe dit eruit kan zien.
Het three lines of defence model dat zowel de gemeente Rotterdam als het UWV hanteert biedt hiervoor handvatten. De essentie van dit model is het scheiden van drie niveau\u2019s in verantwoordelijkheden om effectieve governance mogelijk te maken. Daarnaast wordt in veel governance structuren een RACI model opgesteld om rollen en verantwoordelijkheden expliciet te maken.
RACI matrix - diverse organisaties
RACI is de afkorting voor Responsible (Verantwoordelijk \u2013 uitvoerder van de taak), Accountable (Aanspreekbaar \u2013 eigenaar van de taak), Consulted (Geconsulteerd) en Informed (Ge\u00efnformeerd). De gemeente Rotterdam heeft de interactie tussen rollen/verantwoordelijkheden van algoritme/AI governance en de volledige datamanagement structuur in een RACI model vormgegeven (Bron: Kleur bekennen rekenkamer Rotterdam). Wees bewust dat iedere organisatie anders is, en waarschijnlijk op een andere RACI-matrix uitkomt.
Niet alles town down vast te leggen - CoE Belastingdienst
Het te regide vastleggen van functies en bijbehorende taken en verantwoordelijkheden kan nadelen hebben. Een team bij de belastingdienst (Analytische en Cognitieve Technologie | CoE Cognitieve Oplossingen) heeft ervaren dat het definieren van werkpakketten in plaats van uitwerkte functies beter werkt. Alles dient belegd te zijn, maar alles op microniveau vastleggen is vaak niet te doen zonder in de praktijk te staan, en kan avenrechts werken. Wees als algoritmegovernance nog nieuw is zeker in het begin bewust dat inrichting altijd beter kan; ga grondig maar ook flexibel te werk.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-11-gebruikersbeheer/","title":"Maak afspraken over het beheer van gebruikers","text":"
org-11OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesTechnische robuustheid en veiligheidGovernance
Richt gebruikersbeheer in, waarmee bepaald wordt wie toegang heeft tot wat, en wat er bijvoorbeeld gebeurt bij indiensttreding, functiewijziging en uitdiensttreding.
Gebruikersbeheer zorgt ervoor dat accounts en autorisaties beheerst worden aangevraagd, geautoriseerd, gewijzigd en ingetrokken bij indiensttreding, functiewijziging en uitdiensttreding. Ook wordt functievermenging voorkomen bij toegang en gebruik van het algoritme, de data of de uitkomsten van een algoritme.
Bij het inrichten van gebruikersbeheer moeten aan de volgende elementen worden gedacht:
Gebruikers en beheerders krijgen slechts toegang tot functionaliteit die zij uit hoofde van hun functie nodig hebben (need to know, need to use). Daartoe is een beschrijving beschikbaar welke rollen en rechten per applicatie bij een functie horen (BIO 6.1.2, 9.2.2 en 9.4).
Het verlenen en muteren van accounts en toegangsrechten vindt plaats na goedkeuring door een bevoegde functionaris. Dit aan de hand van een actueel mandaatregister waaruit blijkt welke personen beslissende bevoegdheden hebben voor het verlenen van een bepaald type (niveau) toegangsrechten danwel functieprofielen (BIO 9.2.1.2, 9.2.2.1, 9.4).
Er bestaat functiescheiding tussen het aanvragen, autoriseren en doorvoeren van wijzigingen in gebruikersaccounts en toegangsrechten (BIO 9.2.1.2, 9.2.2.1, 9.2.3).
Functiewijzigingen en uitdiensttredingen worden bewaakt voor aanpassen van de toegangsrechten en voor intrekken van de identiteits- en authenticatiemiddelen (BIO 9.2.2, 9.2.6).
Het aantal accounts met verhoogde rechten is beperkt en verklaard, en staat in logische verhouding tot de beheerders en of ICT-afdeling (BIO 9.1.2.(1), 9.2.3, 9.2.4).
Gebruikersaccounts en beheeraccounts dienen altijd persoonsgebonden en verklaard te zijn, zodat handelingen altijd te herleiden zijn naar \u00e9\u00e9n verantwoordelijke (BIO 9.1, 9.4.2).
Eindgebruikers hebben geen directe toegang tot de onderliggende componenten (zoals de database) (BIO 9.2.3, 13.1.3).
Toegangsrechten op onderliggende componenten dienen periodiek, minimaal jaarlijks, ge\u00ebvalueerd te worden. Dit interval dient te zijn beschreven in het toegangsbeleid en zijn bepaald op basis van het risiconiveau. De uitkomsten van de evaluatie en de opvolging daarvan worden vastgelegd (BIO 9.2.5).
Voor deze maatregelen is het van belang om aandacht te hebben voor de volgende zaken:
Autorisatiematrix en beschrijving rollen/rechten per systeem(laag)
Lijst met wijzigingen rollen en bijbehorende goedkeuringen
Er bestaan meerdere risico's wanneer er geen gebruikersbeheer is: - Toegangsrechten kunnen niet meer up-to-date zijn, bijvoorbeeld wanneer er geen rekening wordt gehouden met het IDU-proces (). Er bestaat dan het risico dat gebruikers toegang tot de omgeving van het algoritme, de data of de uitkomsten van het algoritme hebben die zij niet zouden mogen hebben. - Wanneer functievermenging niet wordt voorkomen bij toegang en gebruik van het algoritme, bestaat het risico dat er ongeautoriseerde wijzigingen worden doorgevoerd aan het algoritme, de data of de uitkomsten van het algoritme. - Wanneer gebruik wordt gemaakt van generieke-, groeps- of onpersoonlijke accounts, bestaat het risico dat handelingen niet te herleiden zijn naar een verantwoordelijke persoon.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-12-periodieke-evaluatie-kwaliteit/","title":"Controleer en verbeter regelmatig de kwaliteit van het algoritme","text":"
org-12OrganisatieverantwoordelijkhedenMonitoring en beheerProjectleiderBeleid en adviesGovernanceMenselijke controle
Het is van belang dat een proces wordt ingericht waarmee periodiek de kwaliteit van algoritmes wordt ge\u00ebvalueerd.
Bij kwaliteit van een algoritme kan worden gedacht aan doeltreffenheid, doelmatigheid, betrouwbaarheid en accuraatheid (geschiktheid), non-discriminatie en menselijke controle.
Hieronder vallen het analyseren en evalueren van ingediende klachten en incidenten.
Hieronder vallen ook het analyseren evalueren van besluiten door of aan de hand van het algoritmen.
Na verloop van tijd kan de accuraatheid van machine learning modellen bijvoorbeeld wijzigen of kan het gebeuren dat bepaalde groepen (indien van toepassing) anders worden behandeld.
Het is van belang dat monitoringsactiviteiten worden ingericht om deze kwaliteitsaspecten tijdig te beoordelen.
Als er ongewenste wijzigingen plaatsvinden met betrekking tot de kwaliteit, moeten die worden ge\u00ebvalueerd en zullen maatregelen moeten worden getroffen om deze te herstellen.
Het proces moet er voor zorgen dat de juiste experts of stakeholders worden betrokken bij het proces van evaluatie en het treffen van passende maatregelen.
Let op! Sommige maatregelen in het Algoritmekader gaan dieper in op het uitvoeren van risicoanalyses.
Zonder evaluatie van de kwaliteit van het algoritme is er geen goede sturing, beheersing en verantwoording mogelijk als er ongewenste wijzigingen plaatsvinden in het algoritme of AI-systeem.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-13-wachtwoordbeheer/","title":"Maak afspraken over het beheer van wachtwoorden","text":"
org-13OrganisatieverantwoordelijkhedenProjectleiderOntwikkelaarTechnische robuustheid en veiligheidGovernance
Richt wachtwoordbeheer in, waarmee bepaald wordt hoe wachtwoorden worden opgeslagen, wanneer wijzigingen moeten plaatsvinden en waaraan wachtwoorden moeten voldoen. Hiermee wordt de toegang tot bijvoorbeeld ontwikkelomgevingen geregeld op een veilige manier.
Bij het inrichten van wachtwoordbeheer moeten de volgende zaken worden toegepast:
Alle wachtwoorden van gebruikers en beheerders dienen periodiek te worden gewijzigd, met een maximum van 1 jaar (BIO 9.4.3). Initi\u00eble wachtwoorden en wachtwoorden die gereset zijn, hebben een maximale geldigheidsduur van 24 uur en moeten bij het eerste gebruik worden gewijzigd.
Voor toegang vanuit een onvertrouwde omgeving dient twee-factor authenticatie te worden gebruikt (BIO 9.4.2.1). Als er geen gebruik wordt gemaakt van two-factor authenticatie, is de wachtwoordlengte minimaal 8 posities en complex van samenstelling. In situaties waar geen two-factor authenticatie mogelijk is, wordt minimaal halfjaarlijks het wachtwoord vernieuwd.
Na een periode van maximaal 15 minuten inactiviteit dient de toegang tot de applicatie te worden vergrendeld en na 10 foutieve inlogpogingen dient het account geblokkeerd te worden (BIO 11.2.9, BIO 9.4.3). De tijdsduur dat een account wordt geblokkeerd na overschrijding van het aantal keer foutief inloggen is vastgelegd.
Wachtwoorden mogen niet in originele vorm (plaintext) worden opgeslagen, maar dienen versleuteld te worden. (NIST 5.1.1.2)
De eisen aan wachtwoorden moeten geautomatiseerd worden afgedwongen.
Als het wachtwoordbeheer van onvoldoende kwaliteit is, kan oneigenlijke toegang plaatsvinden tot het algoritme of uitkomsten van het algoritme, bijvoorbeeld doordat het wachtwoord te eenvoudig is.
Bij het inrichten van een proces om wijzigingen aan de code te mogen aanbrengen, kunnen aan de volgende elementen worden gedacht:
Wijzigingen dienen van te voren te worden geautoriseerd door de systeemeigenaar of product owner. (BIO 12.1.2)
Wijzigingen worden getest in een andere omgeving dan de productieomgeving. (BIO 12.1.4, 14.2.3, 14.2.9, 14.3.1)
Wijzigingen worden door de systeemeigenaar of product owner goedgekeurd op basis van gedocumenteerde testresultaten en pas daarna doorgevoerd in de productieomgeving. (BIO 12.1.2, 14.2.2, 14.2.9)
Er dient functiescheiding te zijn ingericht tussen het aanvragen, goedkeuren en doorvoeren van wijzigingen om onbevoegde en onbedoelde wijzigingen te beperken. (BIO 6.1.2, 14.2.2)
Er dient periodiek controle plaats te vinden op wijzigingen aan het systeem, zodanig dat oneigenlijke wijzigingen worden gesignaleerd. (BIO 9.4.4, 12.4.1)
Als een formeel wijzigingenproces ontbreekt bestaat het risico van ongeautoriseerde toegang, wijziging of beschadiging van de code van het algoritme, of de uitkomsten van het algoritme.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-15-discriminatieprotocol/","title":"Stel een protocol vast voor de situatie dat er (een vermoeden van) discriminatie door een algoritme is geconstateerd en pas dit wanneer nodig toe.","text":"
imp-10OrganisatieverantwoordelijkhedenImplementatieProjectleiderBeleid en adviesBias en non discriminatie
De inzet van algoritme kan onbedoeld leiden tot discriminerende effecten. Het is van belang om als organisatie een protocol te hebben vastgesteld waarin is uitgewerkt hoe wordt omgegaan met situaties waarin (een vermoeden van) discriminatie door een algoritme is geconstateerd. In een dergelijk protocol kunnen de handelingen worden beschreven die moeten worden uitgevoerd om deze situatie te gaan herstellen. Het vaststellen van een dergelijk protocol geeft ontwikkelaar en gebruikers (vooraf) duidelijkheid wat van hen wordt verwacht en wat zij kunnen doen om discriminatie door algoritmes te voorkomen. Een voorbeeld hiervan is het analyseren van de data op datakwaliteit en bias in de data en toets regelmatig je algoritmisch systeem op bias.
Het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties heeft een discriminatieprotocol opgesteld wat organisaties handvatten biedt.
Een discriminatieprotocol kan de volgende stappen bevatten:
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-15-discriminatieprotocol/#stap-1-vermoeden-van-onrechtmatigheid","title":"Stap 1: Vermoeden van onrechtmatigheid","text":"
Een vermoeden van bevooroordeeldheid of discriminatie kan vanuit verschillende partijen gemeld worden. Signalen hiervoor kunnen worden ontvangen vanuit de interne organisatie, bijvoorbeeld door de betrokken ontwikkelaars, gebruikers of beheerders, of door externe partijen, zoals belanghebbenden, toezichthouder, journalisten.
Zorg dat signalen tijdig bij de goede medewerkers terecht komen.
Indien er sprake is van zo'n vermoeden, zorg je dat bijvoorbeeld de uitvoerend directeur, de interne toezichthouder en/of de CIO en CDO hierover worden ge\u00efnformeerd.
Maak met de verantwoordelijken een afweging of het betreffende systeem in werking kan blijven of dat bijvoorbeeld het noodplan voor het stopzetten van het algoritme (tijdelijk) in gang moet worden gezet.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-15-discriminatieprotocol/#stap-2-inzicht-en-overzicht","title":"Stap 2: Inzicht en overzicht","text":"
Het is van belang om inzicht en overzicht te krijgen over de oorzaak en de gevolgen van eventuele discriminerende effecten van het algoritme. Daarvoor kan worden gedacht aan het uitvoeren van een bias analyse.
Bepaal wie er verantwoordelijk is voor het uitvoeren van het onderzoek.
Bepaal of je een onafhankelijk onderzoek wilt doen naar het algoritme.
Breng in kaart wat de omvang van het probleem is. Hoe lang doet het probleem zich al voort, en hoeveel mensen betreft het?
Ga snel met (vertegenwoordigers van) gedupeerden in gesprek over de gevolgen en de mogelijke schade
Trek een conclusie of er sprake is van discriminatie, of een sterk vermoeden van discriminatie.
Bepaal welke mitigerende maatregelen er genomen moeten worden. Als er in het onderzoek is vastgesteld dat er sprake is van discriminatie, dan moet het betreffende systeem worden stopgezet. Hierbij kan je denken aan:
Het in werking stellen van het het noodplan voor het stopzetten van het algoritme, indien dat in stap 1 nog niet gebeurd is.
Aanpassingen in het algoritme, de werkinstructies of de bijbehorende processen.
Indien het algoritme essentieel is in de uitvoer kan er sprake zijn van een een proportionaliteitsvraagstuk. In dat geval moet er worden bezien wat de alternatieven zijn, en of er delen van het systeem kunnen worden uitgeschakeld.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-15-discriminatieprotocol/#stap-4-melden-en-informeren","title":"Stap 4: Melden en informeren","text":"
De conclusies van de eerdere stappen moeten, indien nodig, worden gemeld bij de betreffende instanties. De eventuele gedupeerde burgers dienen te worden ge\u00efnformeerd over de gevolgen.
Als er sprake is van een hoog-risico-AI-systeem moeten ernstige incidenten worden gemeld bij de markttoezichtautoriteiten. Zie artikel 73 van de AI-verordening en artikel 3 (49.c) van de AI-verordening.
Voor alle algoritmes geldt: Informeer de interne toezichthouder, de externe toezichthouder en de politiek, afhankelijk van hoeveel mensen geraakt en gedupeerd zijn en de impact.
Informeer de betrokken burgers over de sitatie. Maak indien nodig excuses en geef de mensen die (mogelijk) geraakt zijn uitleg zodat zij:
begrijpen wat er is gebeurd
weten wat de waarschijnlijke gevolgen zijn
welke mitigerende maatregelen zijn genomen
waar mensen terecht kunnen met vragen
op de hoogte zijn van het proces rondom de afhandeling van de schade.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-15-discriminatieprotocol/#stap-5-registratie-en-afhandeling","title":"Stap 5: Registratie en afhandeling","text":"
Registreer het algoritme in het algoritmeregister, indien dat nog niet gebeurd is.
Zorg voor goede klachtenafhandeling en herstelprocedures.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/1-pba-01-formuleren-probleemdefinitie/","title":"Beschrijf het probleem dat het algoritme moet oplossen","text":"
Formuleer en documenteer wat de aanleiding is om een algoritme in te willen zetten. Formuleer duidelijk de probleemdefinitie en probleemafbakening waarvoor het algoritme een oplossing zou moeten vormen.
Het algoritme dient niet het onderliggende probleem. Zonder eenduidigheid over het op te lossen probleem is geen sturing op en verantwoording over het algoritme mogelijk.
Het doel en de eventuele subdoelen van het algoritme moeten zo specifiek mogelijk zijn geformuleerd, en waar mogelijk gekwantificeerd. Maak de consequenties van het algoritme specifiek en zorg dat het doel van het algoritme formeel is vastgesteld en vastgelegd.
Het doel van de inzet van een algoritme dient zo concreet en specifiek mogelijk gedefinieerd te worden. Indien er meerdere doelen zijn, is het belangrijk om een zekere rangorde te maken: wat zijn de belangrijkste doelen? En waarom? Welke doelen zijn subdoelen, waarvoor het minder belangrijk is om deze te realiseren?
Indien mogelijk, dienen de doelstellingen gekwantificeerd te worden (SMART).
Om te zorgen voor voldoende draagvlak voor de beoogde doelen, is het noodzaak om voldoende belanghebbenden te betrekken. Hierbij kan het ook helpen om burgers te betrekken bij de totstandkoming van de doelstellingen, bijvoorbeeld door middel van een burgerpanel of het betrekken van belangengroepen.
Het algoritme dient niet het beoogde doel en onderliggend probleem. Zonder eenduidigheid over het doel is geen sturing op en verantwoording over het algoritme mogelijk. Er is dan een groter risico op fouten en/of verschillen in interpretatie.
Wanneer doelstellingen niet meetbaar zijn gemaakt, is het onmogelijk om achteraf te kwantificeren of de doelstellingen zijn behaald. Doelstellingen zijn in dat geval moeilijk bespreekbaar.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/1-pba-03-onderbouwen-gebruik-algoritme/","title":"Beschrijf waarom een algoritme het probleem moet oplossen","text":"
Bepaal waarom het gewenst of nodig is om een algoritme in te zetten, en of er ook alternatieven zijn om het probleem op te lossen. Documenteer de onderbouwing waarom een algoritme een betere oplossing zou bieden dan een niet-geautomatiseerd of niet-digitaal proces.
Maak een bewuste afweging of een algoritme het juiste middel is om het probleem op doelmatige en doeltreffende wijze op te lossen, en documenteer deze afweging.
Breng in kaart welke belanghebbenden er zijn en betrek hen op verschillende momenten in de levenscyclus. Belanghebbenden zijn onder meer eindgebruikers, mensen en rechtspersonen die door het algoritme geraakt kunnen worden en vertegenwoordigende organisaties.
Algoritmes worden vaak gebruikt binnen een (specifieke) context waar deze invloed op uitoefenen. Medewerkers moeten bijvoorbeeld werken met de uitkomsten of anderen zijn onderwerp van het algoritme. Om te voorkomen dat er een mismatch ontstaat met de realiteit, is het van belang om verschillende belanghebbende mee te nemen. Het betrekken van specifieke domeinkennis kan bijvoorbeeld in de vorm van kennisdelingsessies of workshops.
Het betrekken van belanghebbenden is van belang in bijna alle fasen van de levenscyclus.
In de fase van de probleemanalyse is het allereerst van belang in kaart te brengen welke stakeholders er zijn. Wie gaan bijvoorbeeld werken met het algoritme (eindgebruikers)? En welke demografie\u00ebn worden geraakt door een algoritme? Bij wie liggen de voordelen en bij wie liggen de nadelen? Ga vervolgens in gesprek met belanghebbenden - al dan niet vertegenwoordigd door belangenorganisaties zoals burgerrechtenorganisaties - over het te ontwerpen algoritme en de context waarin het gebruikt wordt. Bespreek daarbij welke definitie en metriek van fairness past bij de context.
In de fase van dataverkenning en datapreparatie is het van belang om domeinexpertise te betrekken, om zo in kaart te brengen wat de data features betekenen en waar zij vandaan komen. Op basis daarvan kan in kaart gebracht worden of er sprake is van bias en/of links met beschermde persoonskenmerken.
In de fase van implementatie is het van belang de eindgebruikers te betrekken. Het is dan vooral van belang om maatregelen te nemen om automation bias, deployment bias en reinforcing feedback loop te voorkomen of te beperken.
In de fase van monitoren is het van belang belanghebbenden te betrekken bij de evaluatie. Dit kan bijvoorbeeld in de vorm van een survey of focusgroep. Zij kunnen problemen in de praktijk naar voren brengen, die niet altijd terug te vinden zijn in de data.
De mismatch kan nadelige gevolgen hebben voor de effectiviteit van het algoritme binnen een context. Het kan daarnaast ook ongerechtvaardigde discriminatie in de hand werken. Ontwikkelaars kunnen bijvoorbeeld missen dat in de context van het algoritme een variabele een proxy is voor een discriminatiegrond.
Er zijn veel verschillende methoden om belanghebbenden te betrekken. Zo kan je bijvoorbeeld werken met persona\u2019s of \u2018empathy maps\u2019 maken. Ook kan je focusgroepen houden. Denk dan bijvoorbeeld aan een burgerpanel.
Andere methoden zijn: Methodologie van Waag, Civic AI lab, Stakeholder escalation ladder.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/1-pba-05-wettelijke-grondslag/","title":"Beschrijf de wettelijke grondslag voor de inzet van het algoritme","text":"
Analyseer of er een concrete wettelijke grondslag is die de inzet van het algoritme mogelijk maakt en deze inzet voldoende voorzienbaar maakt.
Als de verwachting is dat een algoritme tot gevolg heeft dat wordt ingegrepen in het leven of de vrijheid van mensen, en zeker als de verwachting is dat er grondrechten worden geraakt, moet er een wettelijke grondslag bestaan voor de inzet van het algoritme.
Voor het verwerken van persoonsgegevens is een wettelijke grondslag noodzakelijk.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-01-rollen-en-verantwoordelijkheden/","title":"Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes","text":"
owp-01OntwerpImplementatieMonitoring en beheerProjectleiderGovernance
Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes. De rollen en verantwoordelijkheden worden vastgesteld door de verantwoordelijke(n).
Een re\u00ebel risico is dat bepaalde groepen en belanghebbenden over het hoofd worden gezien tijdens het ontwikkelproces van een algoritme. Daarom is het noodzakelijk om al vroeg in kaart te brengen welke groepen allemaal een mening over het beoogde algoritme kunnen hebben.
Duidelijkheid en borging van rollen en verantwoordelijkheden zorgen voor een effectief en verantwoord verloop van het proces rondom de ontwikkeling, inkoop en gebruik van een algoritme. Zeker wanneer ongewenste effecten optreden en maatregelen nodig zijn, is duidelijkheid over rollen, verantwoordelijkheden en bijbehorende besluitvormingsstructuren van belang.
Om deze reden kan het handig zijn om een matrix van belanghebbenden op te stellen. Deze matrix kan in verdere fases helpen wanneer belanghebbenden betrokken moeten worden. In deze matrix kunnen de volgende onderdelen staan:
Per belanghebbende een beschrijving van wie deze groep is
Mate van invloed van belanghebbende op het algoritme: wie, wanneer in de levenscyclus zorgt voor passende menselijke controle
Impact van algoritme op de belanghebbende
Risico\u2019s voor belanghebbende (wat zal de belanghebbende merken als het algoritme eventueel niet naar behoren functioneert).
Een RACI-matrix/VERI-matrix is een passend middel om de verantwoordelijkheden (Responsible/Verantwoordelijk, Accountable/Eindverantwoordelijk, Consulted/Geraadpleegd, Informed/Ge\u00efnfomeerd) te bepalen. Werk specifieke, gevoelige activiteiten nader uit te in concrete taken en verantwoordelijkheden, bijvoorbeeld welke stappen moeten worden gezet om data veilig te leveren ten behoeve van een onderzoek naar onbwuste vooringenomenheid.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-01-rollen-en-verantwoordelijkheden/#vaststellen-van-rollen-en-verantwoordelijkheden","title":"Vaststellen van rollen en verantwoordelijkheden","text":"
Laat de rollen en verantwoordelijkheden vaststellen door de verantwoordelijke(n). Het doel van vaststelling is dat de verantwoordelijke(n) de verantwoordelijkheid neemt en actief een keuze maakt om het algoritme te (laten) ontwikkelen of gebruiken op de beoogde wijze en met de bijbehorende verantwoordelijkheden. Met het vaststellen worden afspraken geformaliseerd.
Vaststelling van de verantwoordelijkheden kan plaatsvinden door beleidsdocumenten, werkinstructies, verwerkersovereenkomst of een PIA/DPIA, mits de verantwoordelijkheden voldoende duidelijk zijn beschreven.
Gedurende de levenscyclus kan het voorkomen dat rollen en verantwoordelijkheden opnieuw moet worden beschreven en vastgesteld.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-01-rollen-en-verantwoordelijkheden/#verwerking-van-persoonsgegevens","title":"Verwerking van persoonsgegevens","text":"
Bij het verwerken van persoonsgegevens moet worden vastgelegd wie de (gezamelijke) verwerkingsverantwoordelijken zijn en wie de verwerkers. Uit deze vaststelling van de rolverdeling volgen onder de AVG verschillende rechten en plichten.
Bij de ontwikkeling en gebruiken van algoritmes is het denkbaar dat de noodzaak voor het verwerken van persoonsgegevens wijzigt en dat meer of andere verwerkingen moeten plaatsvinden. Het is van belang dat wederom wordt beoordeeld wat dit betekent voor de bijbehorende verantwoordelijkheden. Als er sprake is van een wezenlijke wijziging ten opzichte van de al vastgestelde situatie, bijvoorbeeld doordat er meer persoonsgegevens worden verwerkt door een andere partij, dan zal de verwerkingsverantwoordelijke opnieuw tot vaststelling moeten overgaan om de afspraken te formaliseren.
Rapport Kleur Bekennen, Algemene Rekenkamer, p. 114, figuur 5-4
De proceseigenaar wordt vaak verantwoordelijk gehouden voor eventuele gevolgen van het gebruik van het algoritme. Deze maatregel zorgt ervoor dat de proceseigenaar niet alle verantwoordelijkheid draagt, omdat dit vaak niet realistisch is. Met deze maatregel kunnen er heldere afspraken over de verschillende verantwoordlijkheden worden gemaakt. Hierdoor wordt het draagvlak groter, zonder ten koste te gaan van de duidelijkheid over rollen en verantwoordelijkheden.
De sturing en verantwoording is ontoereikend of niet geborgd, waardoor er onvoldoende betrokkenheid of capaciteit is van verantwoordelijken. Ook kan er dan onvoldoende deskundigheid in de organisatie zijn, wat de kans vergroot op fouten en ongewenste effecten. Zonder het vaststellen van rollen en verantwoordelijkheden, kan er geen effectieve sturing plaatsvinden op partijen die betrokken zijn bij het ontwikkelen of gebruiken van algoritmes.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-02-gebruikte-data/","title":"Beschrijf welke data gebruikt wordt voor de beoogde toepassing","text":"
owp-02OntwerpDataverkenning en datapreparatieOntwikkelaarBeleid en adviesData
Maak in een vroege fase van de ontwikkeling een inschatting van welke data er gebruikt gaat worden voor het algoritme. Welke data is er beschikbaar? Wat voor type data gaat gebruikt worden en uit welke bronnen is de data afkomstig?
Maak al een eerste inschatting van de kwaliteit van de data, en of dit voldoende is voor de beoogde toepassing. Later in de levenscyclus moet je nog nader onderzoek doen naar de kwaliteit van de data.
Impact Assessment Mensenrechten en Algoritmes, 2A.2.1
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-03-doel-verwerken-persoonsgegevens/","title":"Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit mag","text":"
owp-03OntwerpDataverkenning en datapreparatieOntwikkelenVerificatie en validatieImplementatieProjectleiderJuristPrivacy en gegevensbescherming
Persoonsgegevens mogen alleen worden verwerkt voor een \u2018welbepaald, uitdrukkelijk omschreven en gerechtvaardigd\u2019 doel;
De wettelijke grondslag / wettelijke taak voor de verwerking van de persoonsgegevens moet zijn beschreven, bijvoorbeeld in een DPIA;
De verwerking van persoonsgevens voor het ontwikkelen en gebruiken van het algoritme moet verenigbaar met het oorspronkelijke verwerkingsdoel (doelbinding);
Eventuele verdere (subsidiaire) verwerkingen, zoals het verwerken van persoonsgegevens voor een onderzoek naar onbewuste vooringenomenheid, moeten uitdrukkelijk worden omschreven.
Als het doel voor het verwerken van persoonsgegevens onvoldoende is omschreven en onderbouwd, ontstaat het risico dat onrechtmatig persoonsgegevens worden verwerken en een inbreuk wordt gemaakt op privacyrechten van betrokkenen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-04-gebruikte-techniek/","title":"Beschrijf welke techniek gebruikt wordt voor de beoogde toepassing","text":"
owp-04OntwerpOntwikkelaarTechnische robuustheid en veiligheid
Beschrijf wat voor soort algoritme er gebruikt gaat worden voor de beoogde toepassing.
Bepaal of je gebruik wilt maken van een:
zelflerend algoritme
niet-zelflerend algoritme zoals een algoritme gebaseerd op rekenregels
Beschrijf vervolgens ook:
waarom er voor dit type algoritme wordt gekozen
wat de alternatieven zijn en waarom die minder passend zijn?
waarom dit algoritme het meest geschikt is om het beoogde doel van het algoritme te bereiken.
De precieze details kunnen in dit stadium van de levenscyclus waarschijnlijk nog niet ingevuld worden. Maak een goede eerste inschatting van de gebruikte techniek. Eventueel kan je er ook voor kiezen om verschillende technieken verder te onderzoeken. Dat betekent dat er meerdere algoritmes ontwikkeld worden (op basis van verschillende technieken), en je later een definitieve keuze maakt.
Het is belangrijk om uiteindelijk een passend uitlegbaar algoritme te selecteren voor de context waarin het wordt toegepast. Daarin moet de afweging gemaakt worden of de technische uitlegbaarheid voldoende is in de context die de inzet van het algoritme vereist. Hierbij kan ook de conclusie worden getrokken dat een simpeler, inzichtelijker algoritme de voorkeur krijgt.
Impact Assessment Mensenrechten en Algoritmes, 2A.1, 2B.1
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-05-soort-algoritme/","title":"Bepaal het soort algoritme en de risicogroep en vereisten die hierbij horen","text":"
owp-05OntwerpOntwikkelenProjectleiderBeleid en adviesPublieke inkoopGovernance
Het verschilt per type algoritme welke vereisten hierop van toepassing is en waar een aanbieder of gebruiksverantwoordelijke aan moet voldoen. Dit is mede afhankelijk van de bijbehorende risicoclassificatie. Hiervoor kan in de nabije toekomst de 'beslisboom' in het Algoritmekader voor worden gebruikt'. Deze stap is van groot belang, omdat dit ook bepalend is welke contractuele verplichtingen moeten worden gecre\u00eberd tussen opdrachtgever en opdrachtnemer/aanbieder.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-05-soort-algoritme/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-06-afwegen-grondrechten/","title":"Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging","text":"
owp-06ProbleemanalyseOntwerpVerificatie en validatieMonitoring en beheerProjectleiderBeleid en adviesFundamentele rechten
Een algoritme kan invloed hebben op grondrechten. Op een aantal grondrechten kan een algoritme sneller invloed hebben, zoals recht op persoonsgegevensbescherming, recht op behoorlijk bestuur en recht op gelijke behandeling. Deze veelvoorkomende grondrechten krijgen op andere plekken in het Algoritmekader specifieke aandacht. Er zijn echter ook grondrechten die bij minder algoritmen relevant zijn, maar desalniettemin in die gevallen zeer invloedrijk kunnen zijn. Het is van belang uiteindelijk een totale afweging te maken van alle grondrechten die (mogelijk) geraakt worden ten opzichte van de voordelen van het in te zetten algoritme. Een voorbeeld van een grondrecht dat minder snel geraakt wordt is bijvoorbeeld een algoritme om hate speech te kunnen detecteren. Zo'n algoritme zal van invloed kunnen zijn op de vrijheid van meningsuiting en het recht op informatie.
Doorloop in lijn met Deel 4 van het Impact Assessment Mensenrechten en Algoritmes de volgende stappen:
Breng in kaart welke grondrechten geraakt kunnen worden door de inzet van het algoritme. Hiervoor kan bijlage 1 uit het Impact Assessment Mensenrechten en Algoritmes gebruikt worden.
Als dat het geval is, is het allereerst van belang om te controleren of hiervoor specifieke wetgeving is waar de inzet van het algoritme aan moet voldoen.
Bepaal hoe zwaar de geindentificeerde grondrechten worden geraakt door het beoogde algoritme.
Bepaal hoe doeltreffend/effectief het algoritme in de praktijk is.
Bepaal of de inzet van het algoritme noodzakelijk is om het beoogde doel te bereiken. Zijn er alternatieven? Of zijn er mitigerende maatregelen die genomen kunnen worden waardoor grondrechten niet of minder worden geraakt en eventuele nadelige gevolgen verzacht kunnen worden?
Gegeven alle voorgaande stappen, bepaal of de inzet van het algoritme en proportioneel is om het beoogde doel te bereiken. Wegen de voordelen op tegen de nadelen?
Het is van belang voldoende belanghebbenden te betrekken bij het doorlopen van deze stappen om te zorgen dat alle eventueel nadelige aspecten van het in te zetten algoritme worden meegenomen. Documenteer de doorlopen stappen en leg de keuzes en afwegingen goed vast.
Opmerking
Zoals vermeld in de vereiste voor beoordeling van gevolgen voor grondrechten uit de AI-verordening moeten sommige hoog-risico AI-systemen een beoordeling doen van de gevolgen voor grondrechten. Het is nog niet bekend welke vorm dit precies moet hebben.
Hoofdstuk 4 van het Impact Assesment Mensenrechten en Algoritmen (IAMA) richt zich specifiek op de grondrechten. In bijlage 1 is tevens een overzicht te vinden van mogelijk relevante grondrechten.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-07-kwetsbare-groepen/","title":"Maak een lijst van de meest kwetsbare groepen en bescherm hen extra","text":"
Bepaal wat de impact van het in te zetten algoritme is voor betrokkenen (personen of groepen). Bepaal vervolgens of er groepen zijn waarbij de impact van het algoritme dermate groot kan zijn, dat het wenselijk is om deze groepen extra bescherming te bieden.
Verschillende groepen kunnen op een andere manier geraakt worden door het inzetten van een algoritme. Dit is afhankelijk van de context waarin het algoritme wordt ingezet, en dient daardoor bij iedere toepassing opnieuw bekeken te worden.
Bedenk wat er met de uitkomsten van het algoritme gedaan wordt, en wat de consequenties daarvan zijn voor burgers. Hierbij kan gedacht worden aan de volgende aspecten:
Worden bepaalde groepen sneller gemonitord?
Wat als het model het fout heeft?
Wordt het systeem gebruikt om informatie te verkrijgen, om besluiten voor te bereiden of om zelfstandige besluiten te nemen en welke gevolgen heeft dat voor de mate waarin het algoritme bepalend zal zijn in de praktijk?
Worden de gegevens veilig en vertrouwelijk behandeld; welke gevolgen zou een datalek hebben voor groepen of categorie\u00ebn personen?
Worden data gedeeld met andere partijen en wat is het gevaar dat die misbruik maken van de data met negatieve gevolgen voor groepen of categorie\u00ebn personen?
Houd hierbij ook rekening met de impact van het in te zetten algoritme op de samenleving (vanuit sociaal, democratisch en milieu/ecologisch perspectief).
Om de impact op groepen te bepalen, kan het handig zijn een mensenrechtentoets zoals het Impact Assessment Mensenrechten en Algoritmes toe te passen.
Bepaal of er maatregelen genomen kunnen worden om de ge\u00efdentificeerde groepen extra bescherming te bieden. Hierbij kan men denken aan de volgende aspecten: Kan de (extra) administratieve druk voor bepaalde groepen worden weggenomen? Worden resultaten van het algoritme naast de resultaten van een expert gelegd? Is het wenselijk om een proces in te richten waarbij zowel algoritme als een expert een uitkomst geven? Kunnen we de betreffende groep extra hulp aanbieden? Is het wenselijk bij negatieve uitkomsten een vier-ogen-principe toe te passen?
De impact van het algoritme op de groepen die ge\u00efdentificeerd worden in deze stap, kunnen mogelijk onderzocht worden in een biasanalyse. Daarbij kan geidentificeerd worden of bepaalde groepen oververtegenwoordigd of ondervertegenwoordigd zijn in selecties, of dat het algoritme andere of meer fouten maakt voor bepaalde groepen.
Merk op dat het onmogelijk is om de risico's voor alle specifieke groepen af te vangen. Hierbij kan het helpen om te focussen op de meest kwetsbare groepen.
De impact van het algoritme op de besluitvorming en op personen, doelgroepen en/of de samenleving is niet inzichtelijk, waardoor onvoldoende maatregelen zijn getroffen om ongewenste effecten (zoals bias en discriminatie) te voorkomen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-08-archiveren-documenten/","title":"Bepaal welke documenten voor hoe lang gearchiveerd moeten worden","text":"
Stel vast welke documenten, (samengesteld geheel van) data/informatie van/in het algoritme gelden als \"archiefbescheiden\" in de zin van artikel 1 c Archiefwet en documenteer daarvan een overzicht, bij voorkeur vastgesteld door een daartoe bevoegde. Bepaal de bijbehorende bewaartermijnen vast voor de archiefbescheiden.
Bij archiefbescheiden kan worden gedacht aan de broncode, trainings- en testdata, (technische) documentatie en de output.
Deze archiefbescheiden moeten voor een bepaalde tijd worden bewaard (de bewaartermijn).
Overleg hierover met de verantwoordelijke binnen de organisatie voor het toepassen van de Archiefwet.
Het is mogelijk dat de selectielijsten nog niet duiden welke informatie of data, specifiek bij de toepassing van algoritmen, moet worden toegepast en hier dus ook nog geen termijnen bij zijn gekoppeld.
Stel vast of beperkingen aan openbaarheid van de archiefbescheiden moeten worden gesteld. Er zijn gevallen waarbij het openbaren van archiefbescheiden is uitgesloten. Stem in het begin van het proces (pro-actief) met de opdrachtgever af wat de wenselijkheid is t.a.v. transparantie/openheid (uitgangspunt zou 'open, tenzij' moeten zijn).
Stel vast hoe de archiefbescheiden op een duurzame wijze toegankelijk kunnen worden gemaakt. Het moet mogelijk zijn dat de archiefbescheiden daadwerkelijk overhandigd kunnen worden aan betrokken partijen. Denk hierbij aan burgers, onderneming, toezichthouder of rechters. Duurzaam betekent hier met behoud van functie en kwaliteit voor langere tijd. Onderzoek welke voorziening hiervoor beschikbaar is binnen de organisatie.
Tip
Formeer hierbij een multi-discipinaire groep (bestaande uit bijvoorbeeld een inkoper, ontwikkelaar, data scientist, proceseigenaar en archiefdeskundige) om deze maatregel toe te passen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-09-model-verwerkersovereenkomst-onderdeel-aanbesteding/","title":"Een model-verwerkersovereenkomst is onderdeel van de aanbesteding als persoonsgegevens worden verwerkt","text":"
owp-09OntwerpMonitoring en beheerProjectleiderBeleid en adviesPublieke inkoopPrivacy en gegevensbescherming
Inventariseer of er mogelijk sprake is van een algoritme dat een hoog risico kan inhouden voor de rechten en vrijheden van natuurlijke personen of impactvol kan zijn voor hen en maak in voorkomend geval in de model-verwerkersovereenkomst een uitdrukkelijke verwijzing naar een concreet DPIA-document (met datum/kenmerk) of (indien op dat moment nog in bezit of bekend bij de steller) een expliciet invulveld voor het duiden van de betreffende DPIA, zodat die wordt genoemd ter completeren van de verwerkersovereenkomst vooraf het overeenkomen/ondertekenen van die verwerkersovereenkomst.
Een model-verwerkersoverenkomst is veelal een verplicht onderdeel bij het publiek inkopen van software waarbij persoonsgegevens worden verwerkt en bij de totstandkoming van de overeenkomst.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-09-multidisciplinair-inkoopteam/","title":"Stel een multidisciplinair team samen bij het ontwikkelen of inkopen van algoritmes.","text":"
owp-09OntwerpProjectleiderBeleid en adviesPublieke inkoop
Bij een project gericht op het ontwikkelen of inkopen van algoritmes is het belangrijk dat betrokkenen al in een vroeg stadium samenwerken. Dit betekent dat zowel een interne opdrachtgever als het ontwikkelingsteam of de afdeling inkoop tijdig worden aangehaakt om te zorgen voor een goed afgestemd proces.
Wanneer het gaat om het ontwikkelen of inkopen van algoritmes, is een multidisciplinair team wenselijk. Zo'n team brengt relevante kennis en ervaring samen om de behoeften en specificaties helder te krijgen. Afhankelijk van de aard en complexiteit van het algoritme kunnen de rollen binnen dit team vari\u00ebren.
Naast een interne opdrachtgever, materiedeskundige en gebruiker kun je voor het ontwikkelen van algoritmes denken aan een data-engineer, data scientist, IT-architect, ethicus, data- en privacy-officer. Bij een overheidsopdracht gericht op de inkoop van een algiritme, horen daar nog een (aanbestedings)jurist en inkoper bij. Afhankelijk van de complexiteit van de oplossing zijn meer of minder disciplines en dus te beleggen verantwoordelijkheden binnen het team wenselijk.
Een multidisciplinair team kan ondersteunen bij het formuleren van de probleemstelling of formuleren van de doelstellingen van een project, verkennen van de mogelijke oplossingsrichtingen en het vertalen van de gewenste oplossingsrichting naar de concrete behoefte.
Zonder een multidisciplinair team is het waarschijnlijk dat belangrijke aspecten voor een verantwoorde inzet van algoritmes niet worden geadresseerd en ongewenste algoritmes worden ontwikkeld of ingekocht.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-10-projectstartarchitectuur/","title":"Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmes","text":"
owp-10OntwerpOntwikkelenVerificatie en validatieImplementatieProjectleiderBeleid en adviesTechnische robuustheid en veiligheid
Een Project Startarchitectuur (PSA) is een hulpmiddel dat bij een project wordt ingezet om veranderingen van A naar Beter te faciliteren.
De PSA richt zich daarbij op de kaders die op een project van toepassing zijn en wat de oplossing bijdraagt aan het realiseren van de gewenste, toekomstige architectuur, wat de implicaties zullen zijn voor bestaande voorzieningen en waar het project zal afwijken van bestaande beelden.
Met de PSA wordt een concreet en doelgericht ICT-architectuurkader opgesteld, waarbinnen het project moet worden uitgevoerd.
De PSA maakt concreet wat architectuur voor een project betekent.
Door een PSA uit te voeren ontstaan inzichten hoe het betreffende algoritme zo optimaal mogelijk onderdeel kan worden gemaakt van het bestaande applicatielandschap, waarmee bijvoorbeeld kan worden voorkomen dat het algoritme of AI-systeem na verloop van tijd geen input meer kan ontvangen door onverwachte wijzigingen in systemen.
Onderwerpen als privacy, informatiebeheer en beheer worden hierin ook globaal meegenomen.
Het algoritme kan niet of na verloop van tijd niet meer functioneren, doordat onverwachte of ongewenst wijzigingen in het applicatielandschap plaatsvinden.
Gemeente Amsterdam - Onderzoekswaardigheid Algoritme \u2018Slimme check\u2019 (Een tool die de medewerkers helpt om te bepalen of een aanvraag levensonderhoud onderzoekswaardig is, niet meer in gebruik!): Start Architectuurnotitie van dit project
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-data-beschikbaarheid/","title":"Voer voorafgaand aan een project een data beschikbaarheid, kwaliteit- en toegankelijkheidsanalayse uit.","text":"
owp-11OntwerpProjectleiderBeleid en adviesPublieke inkoopData
Het is van belang om voorafgaand aan een project vast te stellen of de data die noodzakelijk is om een algoritme te ontwikkelen of te kunnen gebruiken beschikbaar is, gaat worden en of de data van voldoende kwaliteit is.
Er moet worden onderzocht of en hoe data vanuit de eigen organisatie, die van een eventuele externe aanbieder of elders beschikbaar kan worden gesteld, kan worden opgeslagen en of goedkeuring kan worden gegeven voor het verwerken van de data.
De infrastructuur van de eigen organisatie en/of die van een eventuele externe aanbieder moet van voldoende niveau zijn om de beoogde verwerkingen uit te kunnen voeren.
Een dergelijke analyse levert inzichten op welke problemen er eventueel op dit vlak kunnen ontstaan en geeft input voor de verdere ontwikkeling of (in geval van inkoop) de behoeftestelling.
Het zou kunnen voorkomen dat de data niet beschikbaar is en ook niet gaat worden. Dit betekent dat een algoritme ook niet goed gemaakt of gebruikt kan worden. Ook is het belangrijk om te checken of de data beschikbaar blijft als dat nodig is voor het functioneren van het algoritme (bijv. voor het bijleren). Ook bestaat er een risico dat als de data van onvoldoende kwaliteit is, het algoritme niet goed gaat werken. Wanneer niet vooraf bepaald is of de data beschikbaar is en van voldoende kwaliteit kan het gebeuren dat er wel een algoritme gemaakt wordt door een derde partij, maar deze vervolgens niet gebruikt kan worden binnen de organisatie.
Kies softwareoplossingen van aanbieders die duurzaamheid bevorderen, en stel heldere eisen aan energieverbruik, hernieuwbare energiebronnen en transparantie over de milieuprestaties van software.
Door software duurzaam in te kopen, kun je als organisatie al vroeg in het ontwikkelproces bijdragen aan de verduurzaming van je algoritmes. Kies daarom softwareoplossingen van aanbieders die maatschappelijk verantwoord ondernemen (MVI) en energie-effici\u00ebntie vooropstellen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-duurzaam-inkopen/#duurzaamheidscriteria-en-selectie-van-aanbieders","title":"Duurzaamheidscriteria en selectie van aanbieders","text":"
Om software duurzaam in te kopen, kun je aanbieders beoordelen op specifieke duurzaamheidscriteria. Enkele belangrijke criteria zijn:
het energieverbruik van de software
het gebruik van hernieuwbare energiebronnen in de benodigde datacenters
het beperken van CO\u2082-uitstoot tijdens de levenscyclus van de software
Vraag om inzicht in milieuprestaties en certificeringen, zoals ISO-14001, om de toewijding van aanbieders aan duurzaamheid te toetsen. De ISO-14001 is een internationaal geaccepteerde standaard met eisen voor een milieumanagementsysteem.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-duurzaam-inkopen/#inkoopvoorwaarden-en-contractuele-eisen","title":"Inkoopvoorwaarden en contractuele eisen","text":"
Stel bij het inkopen duidelijke eisen aan duurzaamheidscriteria, zoals het gebruik van \"groene technologie\u00ebn\", het aanbieden van Software-as-a-Service (SaaS) en open standaarden. Zo maak je duurzame keuzes die bijdragen aan een langere levensduur en energie-effici\u00ebntie van je algoritmes. Door KPI\u2019s op te nemen voor energie-effici\u00ebntie en CO\u2082-reductiedoelen kun je de voortgang van deze doelen concreet monitoren. Je kunt deze voorwaarden opnemen als standaard inkoopvoorwaarden.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-duurzaam-inkopen/#bonus-malusregeling-en-monitoring","title":"Bonus-malusregeling en monitoring","text":"
Om naleving van duurzame doelstellingen te stimuleren, kun je een bonus-malusregeling inzetten. Aanbieders ontvangen een bonus wanneer zij duurzame doelstellingen halen, en kunnen worden aangesproken als beloofde duurzaamheidsnormen niet worden behaald. Monitoring via jaarlijkse rapportages helpt om de voortgang van de duurzaamheidsdoelen te evalueren en, indien nodig, bij te sturen.
Extra overwegingen die je kunt maken bij het aankopen van algoritmes, zoals genoemd in de handreiking 'Hoe maak ik mijn inkoop van software duurzamer?' van PIANOo:
Ga na of je de software wel echt moet inkopen.
Probeer zoveel mogelijk uit te vragen in een SaaS-oplossing.
Vraag een oplossing in een Cloud-omgeving.
Ga na of \u2018serverless\u2019 ook een oplossing is.
Vraag om de broncode van de software.
Denk goed na over de technische levensduur van verschillende componenten.
Zonder duurzaamheidscriteria bij het inkopen van software loop je het risico op hogere energie- en kostenlasten, en beperk je de mogelijkheden om duurzaamheidsdoelstellingen te halen bij je algoritmes.
Handreiking: Hoe maak ik mijn inkoop van software duurzamer? (PIANOo)
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-duurzaam-inkopen/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-bespreek-vereisten-met-aanbieders/","title":"Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders.","text":"
Ga met een aanbieder in gesprek over in hoeverre zij invulling kunnen geven aan de vereisten die gelden voor een verantwoorde inzet van algoritmes. Dit kan worden gedaan bijvoorbeeld bij een informatiesessie met aanbieders voorafgaand aan een aanbesteding.
Op basis van nieuwe of gewijzigde wet- en regelgeving of de totstandkoming van nieuwe standaard, is het denkbaar dat aanbieders van algoritmes nog niet of niet meer voldoet aan deze vereisten. Het is van belang om deze inzichten bijvoorbeeld tijdens een aanbesteding worden verkregen. Indien van toepassing, laat de aanbieder inzichtelijk maken welke stappen deze gaat zetten om hieraan te gaan voldoen. Dit is ook relevant bij reeds afgesloten contracten.
Door de vereisten voor een verantwoorde inzet van algoritmes niet te bespreken met aanbieders, is het voor hen (deels) onduidelijk aan welke vereisten diens algoritmes moet voldoen om te kunnen contractueren met overheidsorganisaties.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-eenvoudigere-algoritmes/","title":"Ontwerp algoritmes zo eenvoudig mogelijk","text":"
Complexe algoritmes vereisen vaak aanzienlijke rekenkracht, wat energie-intensief kan zijn. Door algoritmes minder complex en rekenintensief te ontwerpen, verlaag je de benodigde middelen en energie bij het trainen en uiteindelijk toepassen van deze algoritmes. Een effici\u00ebnter ontwerp maakt de algoritmes energiezuiniger in de trainings- en gebruiksfase en draagt zo bij aan duurzaamheid in de gehele levenscyclus.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-eenvoudigere-algoritmes/#modellen-vereenvoudigen-en-focussen-op-kernfunctionaliteit","title":"Modellen vereenvoudigen en focussen op kernfunctionaliteit","text":"
Wanneer je een nieuw algoritme ontwikkelt, kun je de omvang en rekenbelasting beperken door alleen noodzakelijke functionaliteit op te nemen. Focus op de kernfunctionaliteit, zodat je gebruik maakt van een kleiner model dat beter te begrijpen en gemakkelijker te beheren is. Het vermijden van overbodige functionaliteiten maakt het algoritme minder zwaar en verlaagt de milieu-impact aanzienlijk.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-eenvoudigere-algoritmes/#minder-complexiteit-door-divide-and-conquer-en-dynamisch-programmeren","title":"Minder complexiteit door divide-and-conquer en dynamisch programmeren","text":"
Een populaire methode om complexiteit te verlagen is het divide-and-conquer principe, waarbij je een grote algoritmische berekening opsplitst in kleinere, overzichtelijke deelberekeningen en deze vervolgens oplost (je splitst hierbij het technische probleem in meerdere kleinere problemen). Dit vermindert de rekenlast aanzienlijk en verhoogt de effici\u00ebntie. Ook kun je met dynamisch programmeren optimalisaties toevoegen door eerder berekende resultaten op te slaan en te hergebruiken, wat herhaling van berekeningen voorkomt en de rekenkracht vermindert.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-eenvoudigere-algoritmes/#minder-complexiteit-door-modeloptimalisatie","title":"Minder complexiteit door modeloptimalisatie","text":"
Door gebruik te maken van pruning kunnen minder relevante verbindingen en nodes in een neuraal netwerk worden verwijderd, waardoor de rekenbelasting vermindert.
Quantization verlaagt de precisie van numerieke waarden in een model, wat opslag en rekenkracht verlaagt zonder de prestaties significant te be\u00efnvloeden.
Knowledge distillation kan verder helpen door de kennis van een groot model over te dragen naar een kleiner, minder complex model, dat vervolgens effici\u00ebnter werkt.
Ontwerpen zonder oog voor effici\u00ebntie kan leiden tot energie-intensieve algoritmes die hoge kosten en milieubelasting met zich meebrengen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-eenvoudigere-algoritmes/#bronnen","title":"Bronnen","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-eenvoudigere-algoritmes/#-what-is-knowledge-distillation-ibm","title":"- What is knowledge distillation? (IBM)","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-eenvoudigere-algoritmes/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-13-vereisten-onderdeel-algemene-inkoopvoorwaarden-en-contractovereenkomst/","title":"Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst.","text":"
owp-13OntwerpProjectleiderBeleid en adviesPublieke inkoopTransparantie
Door vereisten die gelden voor algoritmes onderdeel te maken van contractvoorwaarden, is voor een aanbieder vooraf duidelijk aan welke voorwaarden zij moeten voldoen als zijn algoritmes willen aanbieden aan overheidsorganisaties.
Het is van belang om een afweging te maken welke vereisten voor algoritmes als 'algemene contractvoorwaarden' kunnen gelden en welke aanvullend in een contractovereenkomst moeten worden opgenomen.
Door de vereisten voor een verantwoorde inzet van algoritmes niet te communiceren met aanbieders, is het voor hen (deels) onduidelijk aan welke vereisten diens algoritmes moet voldoen om te kunnen contractueren met overheidsorganisaties.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-14-verwerkersovereenkomst-onderdeel-aanbesteding/","title":"Maak het opstellen van een verwerkersovereenkomst onderdeel van de aanbesteding als persoonsgegevens worden verwerkt.","text":"
owp-14OntwerpMonitoring en beheerProjectleiderBeleid en adviesPublieke inkoopPrivacy en gegevensbescherming
Het opstellen van een verwerkersovereenkomst met aanbieder is onderdeel van de aanbesteding als persoonsgegevens worden verwerkt of noodzakelijk zijn voor het trainen of genereren van output door algoritmes van aanbieder.
Een verwerkersovereenkomst moet worden opgesteld als persoonsgegevens worden verwerkt voor het trainen of het genereren van output door algoritmes van aanbieder. Met een verwerkersovereenkomst worden een aantal afspraken schriftelijk vastgelegd het bij de verwerking van persoonsgegevens. Het gaat om de volgende zaken:
Algemene beschrijving. Een omschrijving van het onderwerp, de duur, de aard en het doel van de verwerking, het soort persoonsgegevens, de categorie\u00ebn van betrokkenen en uw rechten en verplichtingen als verwerkingsverantwoordelijke.
Instructies voor de verwerking. De verwerking vindt in principe uitsluitend plaats op basis van uw schriftelijke instructies. De verwerker mag de persoonsgegevens niet voor eigen doeleinden gebruiken. Geheimhoudingsplicht. Personen in dienst van of werkzaam voor de verwerker hebben een geheimhoudingsplicht. Beveiliging. De verwerker treft passende technische en organisatorische maatregelen om de verwerking te beveiligen. Bijvoorbeeld pseudonimisering en versleuteling van persoonsgegevens, permanente informatiebeveiliging, herstel van beschikbaarheid en toegang tot gegevens bij incidenten, regelmatige beveiligingstesten.
Subverwerkers. De verwerker schakelt geen subverwerker(s) in zonder uw voorafgaande schriftelijke toestemming. De verwerker legt aan een subverwerker in een subverwerkersovereenkomst dezelfde verplichtingen op als de verwerker richting u heeft. In de overeenkomst kunt u ook direct afspreken dat de verwerker subverwerkers mag inschakelen en onder welke voorwaarden. Komt de subverwerker de verplichtingen niet na? Dan blijft de verwerker volledig aansprakelijk richting u voor het nakomen van de verplichtingen van de subverwerker (artikel 28, vierde lid, van de AVG).
Privacyrechten. De verwerker helpt u om te voldoen aan uw plichten als betrokkenen hun privacyrechten uitoefenen (zoals het recht op inzage, correctie, verwijdering en dataportabiliteit).
Andere verplichtingen. De verwerker helpt u ook om andere verplichtingen na te komen. Zoals bij het melden van datalekken, het uitvoeren van een data protection impact assessment (DPIA) en bij een voorafgaande raadpleging.
Gegevens verwijderen. Na afloop van de verwerkingsdiensten verwijdert de verwerker de gegevens. Of bezorgt de verwerker de gegevens aan u terug, als u dat wilt. Ook verwijdert de verwerker kopie\u00ebn. Tenzij de verwerker wettelijk verplicht is de gegevens te bewaren.
Audits. De verwerker werkt mee aan uw audits of die van een derde partij. En stelt alle relevante informatie beschikbaar om te kunnen controleren of de verwerker zich houdt aan de hierboven genoemde verplichtingen (artikel 28 AVG).
Er is sprake van een onrechtmatige verwerking van persoonsgegevens als geen verwerkersovereenkomst is opgesteld tussen de verwerker en de verwerkingsverantwoordelijke.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-15-leveren-bewijs_voldoen-aan-vereisten-algoritme-aanbieder/","title":"Maak het leveren van bewijs voor het voldoen aan de vereisten voor algoritmes onderdeel van de beoordeling van een inschrijving.","text":"
owp-15OntwerpProjectleiderBeleid en adviesPublieke inkoop
Het leveren van bewijs door aanbieder dat de ontwikkelde algoritmes voldoen aan de vereisten, draagt bij aan het kunnen beoordelen of een aanbieder geschikt is om mee te contracteren. Bij het leveren van bewijs kan worden gedacht aan het overhandigen van bijvoorbeeld een certificaat of een EU-conformiteitsverklaring voor hoog risico AI-systemen.
Daarbij is het relevant om te beoordelen in hoeverre er is voldaan aan geharmoniseerde standaarden. Deze standaarden zijn momenteel in ontwikkeling. In de (nabije) toekomst zal dit naar verwachting op een vergelijkbare manier kunnen worden benaderd als bij het moeten leveren van een NEN-ISO 27001 certificaat (voldoen aan informatiebeveiligingsvereisten) door een leverancier.
Er wordt gecontracteerd met een aanbieder die niet voldoet aan de vereisten voor een verantwoorde inzet van algoritmes.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-15-leveren-bewijs_voldoen-aan-vereisten-algoritme-aanbieder/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-16-leveren-bewijs-door-aanbieder-niet-schenden-auteursrechten/","title":"Laat aanbieder(s) bewijs leveren dat de door hen ontwikkelde algoritmes geen inbreuk maken op de auteursrechten van derden met de trainingsdata en de output.","text":"
owp-16Dataverkenning en datapreparatieVerificatie en validatieProjectleiderBeleid en adviesPublieke inkoopData
Maak het al dan niet kunnen leveren van bewijs door een aanbieder dat auteursrechten niet worden geschonden met de trainingsdata en output van diens algoritme van bijvoorbeeld een aanbesteding.
Algoritmes worden veelal getraind aan de hand van een omvangrijke hoeveelheid data. Wanneer grote hoeveelheden data, bijvoorbeeld door deze te scrapen van internet, worden gebruikt is het zeer aannemelijk (of: nagenoeg zeker) dat zich onder de gescrapete inhoud (ook) veel auteursrechtelijk beschermde werken bevinden, zoals bijvoorbeeld e-books en afbeeldingen. De gebruikte auteursrechtelijke werken kunnen soms bijvoorbeeld uit illegale bron verkregen zijn, en ook los daarvan zijn rechthebbenden veelal niet op de hoogte van het feit dat hun auteursrechtelijke werken voor de ontwikkeling van een algoritme of AI gebruikt worden.
Onder auteursrechtjuristen wordt aangenomen dat het gebruik van auteursrechtelijk beschermde werken ter training van algoritmes (waarschijnlijk) als kopi\u00ebren geldt: een handeling die de rechthebbende kan verbieden. Dat betekent dat aanbieders van algoritmes het gebruik van auteursrechtelijk beschermd materiaal in de inputfase steeds moeten kunnen legitimeren op grond van (a) toestemming van de rechthebbende(n) of (b) een in de wet neergelegde exceptie op het auteursrechtelijke verveelvoudigingsrecht.
Laat de aanbieder(s) uitleggen en (aantoonbaar) onderbouwen op welke manier de trainingsdata is verkregen en of dit rechtmatig was. Laat de aanbieders(s) ook aantonen welke maatregelen er zijn getroffen om dit te voorkomen en ga hier eventueel over in gesprek. Maak een jurist onderdeel van de beoordeling hiervan. Overweeg om een bronvermelding te laten opnemen.
Laat de aanbieder(s) uitleggen en (aantoonbaar) onderbouwen op welke manier de trainingsdata is verkregen en of dit rechtmatig was. Laat de aanbieders(s) ook aantonen welke maatregelen er zijn getroffen om dit te voorkomen. Maak een jurist onderdeel van de beoordeling hiervan. Overweeg om een bronvermelding te laten opnemen.
Het is van belang dat de (rest)risico's inzichtelijk zijn gemaakt als er sprake is van een (potenti\u00eble) schending van auteursrechten. Laat een aanbieder deze risico's inzichtelijk maken, zodat aanbieder en gebruiksverantwoordelijke maatregelen kunnen treffen en handelen als dit nodig is. Beoordeel of deze rest(risico's) acceptabel zijn.
Neem in de conceptovereenkomst op dat de aanbieder garandeert dat auteursrechten niet worden geschonden met de trainingsdata of output van het algoritme en dat aanbieder dit gedurende de ontwikkeling en levensduur actief bewaakt.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-17-beoordeel-aansprakelijkheidsvoorwaarden-van-aanbieder/","title":"Aansprakelijkheidsvoorwaarden van een aanbieder worden beoordeeld in de aanbesteding","text":"
owp-17OntwerpImplementatieJuristBeleid en adviesPublieke inkoop
Eindgebruikers van algoritmes kunnen er niet altijd op vertrouwen, of (eenvoudig) nagaan, of datgene wat zij door middel van een algoritme laten genereren, inbreuk maakt op rechten van anderen. Het is onwenselijk dat een eindgebruiker aansprakelijk wordt gesteld voor het maken van een inbreuk op rechten van derden, als deze gebruik maakt van algoritmes die worden aangeboden door aanbieders. Organisatie moeten daarom afspraken hierover maken met aanbieders.
Hoe groot de kans is dat eindgebruikers vanwege het gebruik van algoritmes aansprakelijk worden gesteld, is nog onduidelijk. Er zijn wel voorbeelden waarbij eindgebruikers voor een eventuele inbreuk aansprakelijk kunnen worden gesteld.
Op dit moment zijn (nog) geen gevallen of rechtszaken bekend waarin eindgebruikers (of hun werkgevers) aansprakelijk zijn gesteld voor een inbreuk op het intellectuele-eigendomsrecht vanwege het gebruik van op basis van algoritme. Feit is echter wel dat een dergelijke aansprakelijkstelling in voorkomende gevallen dus mogelijk zullen zijn, te meer nu de aanbieders van algoritmes in hun algemene voorwaarden het risico voor aansprakelijkheid volledig of grotendeels uitsluiten, of zelfs verlangen dat gebruikers hen vrijwaren voor de gevolgen van eventuele aansprakelijkstellingen.
Het is daarom van belang om een beoordeling te maken in hoeverre de aansprakelijkheidsvoorwaarden van de aanbieder passend zijn. Maak een jurist onderdeel van de beoordeling.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-18-maak-vereisten-onderdeel-van-subgunningscriteria/","title":"Maak vereisten onderdeel van (sub)gunningscriteria bij een aanbesteding.","text":"
Door een vereiste onderdeel te maken van een (sub)gunningscriteria, ontstaat een mogelijkheid voor aanbieders om zich te onderscheiden van andere aanbieders.
Dit kan zorgen voor een extra stimulatie op kwaliteitsaspecten van algoritmes
In de context van algoritmes is dit in het bijzonder relevant, bijvoorbeeld in relatie tot vereisten als non-discriminatie, eerbiedigen fundamentele rechten of het verbod op schenden auteursrechten.
Door vereisten te vertalen naar een (sub)gunningscriteria, kan een inhoudelijke beoordeling worden gemaakt in hoeverre een aanbieder voldoet aan deze vereisten.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-19-ruimte-voor-samenwerking-met-aanbieder/","title":"Cre\u00eber ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren","text":"
Om op een betekenisvolle manier invulling te geven aan bepaalde vereisten, kan het noodzakelijk zijn dat opdrachtgever en aanbieder (innovatief) moeten gaan samenwerken. Op basis van nieuwe wet- en regelgeving (bv. AI-Verordening) of geharmoniseerde standaarden kunnen aanbieders mogelijk nog niet voldoen aan nieuwe vereisten. Het kan ook onduidelijk zijn hoe moet worden voldaan aan vereisten nu de technologie zich snel ontwikkelt of dat de specifieke omstandigheden van het beoogde gebruik vragen om een samenspel tussen opdrachtgever en aanbieder.
Bij een verantwoorde inzet van algoritmes kan het bij vereisten zoals non-discriminatie, transparantie, menselijke controle en grondrechten van belang zijn om samen te onderzoeken hoe hier invulling aan moet worden gegeven. Het is belangrijk om bij de behoeftestelling al te verkennen om welke onderwerpen dit mogelijk van toepassing is. Bij een marktverkenning of informatiesessie kan worden verkend hoe aanbieders ervoor staan. Op basis hiervan kan worden beoordeeld in hoeverre bijvoorbeeld in een aanbesteding contractuele ruimte moet worden gecre\u00eberd voor opdrachtgever en aanbieder om hieraan te werken.
Door niet te kunnen samenwerken aan vereisten, kan de situatie ontstaan dat uiteindelijk niet op een betekenisvolle manier wordt voldaan aan deze vereisten voor een verantwoorde inzet van algoritmes. Gebrek aan samenwerking kan leiden tot onvermogen om de benodigde vereisten voldoende in de praktijk te garanderen. Ook is het belangrijk dat de verantwoordelijke goed genoeg begrijpt hoe het algoritme werkt en welke keuzes er gemaakt zijn tijdens het ontwerp, omdat alleen dan goed beoordeeld kan worden welke vereisten zijn voldaan en welke risico\u2019s nog niet of minder goed zijn afgedekt.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-20-vaststellen-aanleveren-informatie-technische-documentatie/","title":"Vul technische documentatie van aanbieder aan met relevante informatie vanuit de gebruiksverantwoordelijke.","text":"
owp-20OntwerpProjectleiderBeleid en adviesOntwikkelaarPublieke inkoopTransparantie
Vul technische documentatie van aanbieder aan met relevante informatie vanuit de gebruiksverantwoordelijke, zodat het alle relevante onderdelen van het algoritme zijn beschreven.
Het is van belang dat duidelijke afspraken worden gemaakt over het opstellen, aanvullen en actueel houden van technische documentatie van algorites. Bij het inkopen van algoritmes moet hier rekening mee worden gehouden. De aanbieder zal een belangrijk deel van de technische documentatie moeten aanleveren, maar bij gebruik door de gebruiksverantwoordelijken zal deze informatie moeten worden aangevuld.
Bespreek met het projectteam welke onderdelen van de technische documentatie, als genoemd in de Bijlage 4 AI-verordening, van het AI-systeem door welke partij (aanbieder of gebruiksverantwoordelijke) moeten worden ingevuld of aangevuld.
Hierbij is het van belang dat de documentatie aansluit bij de verschillende gebruikers van het systeem, waarbij rekening wordt gehouden met verschillende toepassingen of versies. Bespreek met het projectteam welke onderdelen van de technische documentatie voor AI-systemen, als genoemd in de Bijlage 4 AI-verordening, door welke partij (aanbieder of gebruiksverantwoordelijke) moeten worden ingevuld of aangevuld.
Door de technische documentatie niet volledig op te stellen, is niet geheel transparant hoe het algoritme functioneert en kan daar geen verantwoording voor worden afgelegd.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-21-uitvoeren-audit-voor-naleving-vereisten/","title":"Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst","text":"
owp-21OntwerpProjectleiderBeleid en adviesPublieke inkoop
Het is van belang dat opdrachtgever mogelijkheden heeft om te controleren in hoeverre door aanbieder/opdrachtnemer wordt voldaan aan naleving van de contractvoorwaarden
Er kunnen geen controles of inspecties worden uitgevoerd om te beoordelen of de algoritmes van aanbieder nog voldoen aan de vereisten voor een verantwoorde inzet van algoritmes.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-22-invloed-besluitvorming-algoritmes-aanbieders/","title":"Bepaal in een aanbesteding of algoritmes van een aanbieder bepalende invloed hebben in een besluit richting personen","text":"
owp-22OntwerpProjectleiderBeleid en adviesOntwikkelaarPublieke inkoopTransparantie
Ga na of algoritmes van een aanbieder een bepalende invloed hebben in een besluit richting personen en laat de aanbieder onderbouwen in hoeverre dit wel of niet het geval is.
Als overheidsorganisaties algoritmes willen gebruiken van aanbieders, dan zal bijvoorbeeld tijdens een aanbestedingsproces moeten worden beoordeeld in hoeverre deze algoritmes invloed hebben op besluitvormingprocessen van deze organisaties. Algoritmes kunnen namelijk gebruikers ondersteunen bij de totstandkoming van besluiten, maar ook de besluitvorming van gebruikers overnemen. De mate van menselijke tussenkomst speelt daarbij een belangrijk rol.
Een opdrachtgever moet zelf bepalen welke algoritmes, gezien de specifieke context, wenselijk en toegestaan zijn. Vervolgens moet worden beoordeeld of de algoritmes die worden aangeboden door aanbieder daarbij aansluiten.
Tijdens het aanbestedingsproces moeten daarom inzichten worden verkregen hoe de algoritmes van aanbieders functioneren om tot een beoordeling te kunnen komen. Laat de aanbieder dit toelichten.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-23-kennisoverdracht-en-ondersteuning-aanbieder/","title":"Laat de aanbieder aangeven welke mate van opleiding en ondersteuning bij de implementatie nodig is om de beoogde algoritmes verantwoord te gebruiken.","text":"
owp-23OntwerpProjectleiderBeleid en adviesOntwikkelaarPublieke inkoop
Laat de aanbieder aangeven welke mate van kennisoverdracht (opleiding en training) en ondersteuning bij de organisatorische implementatie nodig is om de beoogde algoritmes verantwoord te kunnen gebruiken.
Beoordeel of de kennisoverdracht en ondersteuning van aanbieder voldoende is om voor een langere periode zelfstandig op een verantwoorde wijze gebruikt te kunnen maken van de algoritmes.
Laat de aanbieder aangeven op welk niveau de noodzakelijkerwijs te leveren trainingen passend is voor het beoogde gebruik, waarbij de opdrachtgever vooraf inzicht geeft in het bestaande niveau, zodat een aanbieder concreet kan zijn over eventuele verschillen tussen beiden.
Zonder kennisoverdracht aan de organisaties en gebruikers, ontstaat het risico's dat algoritmes onjuist worden toegepast of dat de output onjuist wordt ge\u00efnterpreteerd en zo fouten ontstaan bij het uitvoeren van overheidstaken.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-24-risico-analyse-informatiebeveiliging-leverancier/","title":"Voer een risico-analyse met de aanbieder uit op het gebied van informatiebeveiliging bij een uitbestedingstraject","text":"
owp-24OntwerpProjectleiderBeleid en adviesTechnische robuustheid en veiligheidPublieke inkoop
Stel vast of een aanbieder voldoet aan de Baseline Informatiebeveiliging Overheid.
Bespreek de informatiebeveiligingseisen met aanbieder die verband houden met de beschikbaarheid, integriteit en vertrouwelijkheid van de informatie en de informatiesystemen.
Bepaal of er, gezien de restrisico's, aanvullende beveiligingsmaatregelen (door de aanbieder of opdrachtgever) moeten worden getroffen om deze te beschermen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-25-maak-vereisten-onderdeel-van-programma-van-eisen/","title":"Maak vereisten onderdeel van het programma van eisen bij een aanbesteding","text":"
owp-25OntwerpProjectleiderBeleid en adviesOntwikkelaarPublieke inkoop
Door vereisten onderdeel te maken van het programma van eisen bij een aanbesteding, is het voor aanbieders duidelijk aan welke specifieke eisen een oplossing moet voldoen.
Op basis hiervan kan een aanbieder een zo goed mogelijke aanbieding doen.
Afhankelijk van de behoeftestelling kan het relevant zijn om bepaalde vereisten te verfijnen in het Programma van Eisen en aan te geven wanneer hieraan voldaan is, bijvoorbeeld met betrekking tot het transparantievereiste. Bepaal met het inkoopteam bij welke vereisten dit noodzakelijk is.
Er is niet gespecificeerd en daarmee achteraf niet afdwingbaar dat algoritmes aan bepaalde vereisten moeten voldoen die van de belangen voor de betreffende overheidsorganisatie.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-25-maak-vereisten-onderdeel-van-programma-van-eisen/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-26-maak-vereisten-onderdeel-van-service-level-agreement/","title":"Maak vereisten voor algoritmes onderdeel van de Service Level Agreement","text":"
owp-26OntwerpProjectleiderBeleid en adviesOntwikkelaarPublieke inkoop
Onderzoek met het inkoopteam het relevant is om vereiste voor een verantwoorde inzet van algoritmes onderdeel te maken van de Service Level Agreement.
Met een SLA kunnen specifieke afspraken worden gemaakt over de kwaliteit van de dienstverlening van aanbieder.
Hierbij kan worden gedacht aan onderwerpen als incidentmanagement, servicemanagement, verantwoordelijkheden matrix, hersteltijd, prestatiecriteria, reproduceerbaarheid, versiebeheer van de gebruikte algoritmes en informatiebeveiliging.
Laat de aanbieder aangeven welke vormen van onderhoud aan de betreffende algoritmes nodig zijn en de snelheid waarmee signalen vanuit gebruik, ongeacht de bron, kunnen worden verwerkt in het systeem en welke expertise hiervoor beschikbaar is.
Zonder concrete afspraken te maken in de SLA, ontstaat het risico dat aloritmes (tijdelijk) of te langdurig niet kunnen worden gebruikt, onjuist fuctioneren of dat er geen verantwoording over de output kan worden afgelegd.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-27-contractuele-afspraken-data-en-artefacten/","title":"Maak (contractuele) afspraken over data en artefacten met een aanbieder","text":"
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-28-pas-vastgestelde-beleidskaders-zijn-nageleefd/","title":"Pas vastgestelde interne beleidskaders toe en maak aantoonbaar dat deze zijn nageleefd bij het ontwikkelen, inkopen en gebruiken van algoritmes.","text":"
owp-28OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Interne vastgestelde beleidskaders moeten worden toegepast bij het ontwikkelen, inkopen of gebruiken van algoritmes.
Het is van belang dat tijdig, bijvoorbeeld in de probleemanalyse fase, inzichtelijk wordt gemaakt welke interne beleidskaders moeten worden toegepast.
Hierbij kan worden gedacht aan definities die moeten worden gehanteerd, het naleven van inkoopbeleid, strategisch beleid volgen met betrekking tot het mogen inzetten van algoritmes binnen de organisaties of het doorlopen van processen en protocollen die moeten worden toegepast.
Vraag de betrokken experts welke beleidskaders van toepassing zijn vanuit diens specifieke expertise.
Ten behoeve van controles en audits is het van belang dat aantoonbaar wordt gemaakt dat de vastgestelde beleidskaders zijn nageleefd.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-29-informeer_betrokkenen/","title":"Stel vast welke betrokkenen ge\u00efnformeerd moeten worden en welke informatie zij nodig hebben.","text":"
pba-04OntwerpOntwikkelProjectleiderBeleid en adviesTransparantie
Stel vast welke betrokkenen ge\u00efnformeerd moeten worden over de ontwikkeling en het gebruik van algoritmes en welke informatie zij hierover nodig hebben.
Welke informatie over algoritmes relevant is, verschilt per partij. Het is van belang om deze partijen in beeld te brengen en vast te stellen welke informatie voor hen relevant is. Raadpleeg hierbij vastgestelde beleidskaders, waarin is beschreven welke informatie in welke gevallen moet worden gecommuniceerd.
Stel bijvoorbeeld de volgende vragen:
Vragen Acties die je kan ondernemen Wie heeft informatie nodig over het ontwikkelen en gebruiken van algoritmes? Stel vast welke betrokken(en) binnen of buiten de organisatie iets over het algoritme wil of zou moeten weten. Wat voor informatie voor algoritmes heeft deze betrokken partij nodig? Toets dit ook bij vastgesteld beleid. Ga na wat de doelgroep moet weten over de werking of inzet van het algoritme. Bepaal om welk technisch niveau dit gaat. Op wat voor manier informeer je de betrokken partij? Pas de juiste methodes toe om de doelgroep te informeren. Wanneer wordt deze informatie gebruikt? Ga na in welke fase van de levenscyclus de gewenste informatie over de werking of inzet van het algoritme wordt gebruikt. Hoe verschilt de informatiebehoefte in elke fase van de levenscyclus? Wie is er verantwoordelijk voor de informatieverstrekking? Bepaal wie er informatie over het algoritme moet ophalen, en wie er voor die informatie kan zorgen.
Maak bij het vaststellen van de informatiebehoefte onderscheid tussen transparantie, uitlegbaarheid en interpreteerbaarheid. Houd daarbij ook rekening met zaken die moeten worden gecommuniceerd. Denk hierbij aan het kunnen uitleggen hoe een automatisch genomen besluit tot stand is gekomen.
Stel een communicatieplan op over de ontwikkeling en gebruik van het algoritme. Bepaal vervolgens aan de hand van de levenscyclus wanneer, welke informatie wanneer beschikbaar moet worden gesteld. Stel vast wie verantwoordelijk is voor het opstellen of het leveren van een bijdrage aan deze informatie. In het communicatieplan kunnen verder zaken worden opgenomen als:
Het doel van het algoritme.
Mogelijkheden van het algoritme.
Beperkingen van het algoritme.
Context waarin het algoritme wordt toegepast.
Wie heeft informatie nodig?
Wat voor informatie heeft deze betrokken partij nodig?
Op wat voor manier informeer je de betrokken partij?
Wanneer wordt deze informatie gebruikt?
Wie is er verantwoordelijk voor de informatieverstrekking?
Hoe en naar wie communiceer je in het geval van een incident?
Wat is de planning voor de communicatieactiviteiten?
Overleg regelmatig met betrokkenen en belanghebbenden in hoeverre de informatieverstrekking aansluit bij de (nieuwe) behoeften.
Het risico is dat partijen niet of onvolledig worden ge\u00efnformeerd over de ontwikkeling en gebruik van algoritmes, en hierdoor hun rechten niet kunnen effectueren of belangen kenbaar kunnen maken.
Slimme keuzehulp aangifte internetoplichting: Ik heb iets gekocht, maar niets ontvangen
Chatbot gemeente Hillegom
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-toepassen_uitlegbaarheidstechnieken/","title":"Pas uitlegbaarheidstechnieken toe en evalueer en valideer deze.","text":"
owp-07OntwerpProjectleiderBeleid en adviesOntwikkelaarTransparantie
Uitlegbaarheidstechnieken helpen om de werking van een algoritme transparant te maken. De keuze voor het type algoritme bepaalt hoe transparant je kunt zijn. Van rekenregels kun je namelijk precies uitleggen hoe deze tot een beslissing komen. Maar complexe AI-systemen kunnen een black box zijn. Het is dan onduidelijk hoe deze systemen beslissingen maken.
Afhankelijk van het type algoritme zijn er uitlegbaarheidstechnieken beschikbaar om de werking en keuzes van een algoritme bloot te leggen. Er moet eerst een keuze worden gemaakt welk type algoritme geschikt is gezien de informatiebehoefte. Het is belangrijk om samen met de betrokken partijen vast te leggen welke uitlegbaarheidstechnieken moeten worden toegepast. Bij bronnen kan informatie worden geraadpleegd die helpen bij het vinden van de juiste methodiek.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-toepassen_uitlegbaarheidstechnieken/#gebruik-uitlegbaarheid-bij-besluiten","title":"Gebruik uitlegbaarheid bij besluiten","text":"
Onderzoek hoe uitlegbaarheidstechnieken kunnen bijdragen aan het motiveren van besluiten. Dit kan bijvoorbeeld door:
- De output van het algoritme te koppelen aan het zaakdossier, met een toelichting op de interpretatie van die output.\n- De output of een samenvatting hiervan op te nemen in de beschikking.\n
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-toepassen_uitlegbaarheidstechnieken/#beperkingen-en-veiligheid","title":"Beperkingen en veiligheid","text":"
Vanuit veiligheidsoverwegingen kan bij specifieke algoritmes besloten worden om bepaalde informatie over de werking van een algoritme niet aan iedereen vrij te geven. Denk hierbij aan de beperkingen die de Wet Open Overheid oplegt. Houd ook rekening met mogelijke risico\u2019s op aanvallen die kunnen ontstaan door het gebruik van uitlegbaarheidstechnieken, zoals omschreven in: A Survey of Privacy-Preserving Model Explanations: Privacy Risks, Attacks, and Countermeasures.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-toepassen_uitlegbaarheidstechnieken/#evaluatie-en-validatie","title":"Evaluatie en validatie","text":"
Evalueer de uitlegbaarheid van het systeem op functionele, operationele, bruikbaarheids- en veiligheidsvereisten in samenwerking met betrokkenen zoals gebruikers. Valideer of de uitkomst van het algoritme begrijpelijk genoeg is voor gebruiker om hier op een verantwoorde wijze mee te werken.
Als er geen rekening wordt gehouden met de uitlegbaarheid van een algoritme binnen een bepaalde context, ontstaat het risico dat de output van het algoritme niet wordt begrepen of verkeerd wordt ge\u00efnterpreteerd, wat kan leiden tot onjuist gebruik.
Gemeente Amsterdam - Onderzoekswaardigheid Algoritme \u2018Slimme check\u2019. Een tool die de medewerkers helpt om te bepalen of een aanvraag levensonderhoud onderzoekswaardig is. (niet meer in gebruik!): Overzicht Verwerkte Data en Features
Vastgestelde (interne) beleidskaders moeten worden toegepast bij het ontwikkelen, inkopen of gebruiken van algoritmes. Denk aan specifiek beleid voor de inzet van algoritmes.
Het is van belang dat tijdig, bijvoorbeeld in de probleemanalyse fase, inzichtelijk wordt gemaakt welke interne beleidskaders moeten worden toegepast.
Hierbij kan worden gedacht aan definities die moet worden gehanteerd, het naleven van inkoopbeleid, strategisch beleid volgen met betrekking tot het mogen inzetten van algoritmes binnen de organisaties of het doorlopen van processen en protocollen die moeten worden toegepast.
Vraag de betrokken experts welke beleidskaders van toepassing zijn vanuit diens expertise.
Ten behoeve van controles en audits is het van belang dat aantoonbaar wordt gemaakt dat de vastgestelde beleidskaders zijn nageleefd.
Stel functionele eisen voor de datakwaliteit vast en analyseer structureel of er aan deze eisen wordt voldaan.
De kwaliteit van de data die als input voor het algoritme wordt gebruikt is bepalend voor de uitkomsten van het algoritme. Hier wordt soms ook naar gerefereerd als garbage in = garbage out.
Een vraag die gesteld dient te worden: beschrijft de data het fenomeen dat onderzocht dient te worden?
Het Raamwerk gegevenskwaliteit bevat een breed toepasbare set van kwaliteitsdimensies:
juistheid
compleetheid
validiteit
consistentie
actualiteit
precisie
plausibiliteit
traceerbaarheid
begrijpelijkheid
Deze dimensies zijn aangevuld met kwaliteitsattributen welke gebruikt kunnen worden om de verschillende dimensies meetbaar te maken.
De vraag of de data kwaliteit voldoende is, hangt sterk samen met de vraag of er bias in de onderliggende data zit. Analyseer daarom ook welke bias en aannames er besloten zijn in de onderliggende data. Denk hierbij onder andere aan de volgende vormen van bias:
historische bias
meetbias
representatie bias
Zorg dat je data vindbaar, toegankelijk, interoperabel en herbruikbaar (FAIR) is.
Let op!
Wanneer je een algoritme inkoopt en de ontwikkeling van het algoritme uitbesteedt aan een derde partij, houdt er dan dan rekening mee dat data traceerbaar en reproduceerbaar moet zijn. Maak hier heldere afspraken over met de aanbieder.
Door onjuiste beslissingen van gegevens kunnen verkeerde beslissingen genomen worden.
Het model cre\u00ebert onwenselijke systematische afwijking voor specifieke personen, groepen of andere eenheden. Dit kan leiden tot ongelijke behandeling en discriminerende effecten met eventuele schade voor betrokkenen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-02-fair-data/","title":"Maak waardevolle data vindbaar, toegankelijk, interoperabel en herbruikbaar (FAIR) binnen en buiten de eigen organisatie.","text":"
dat-02Dataverkenning en datapreparatieOntwikkelaarData
De internationale FAIR-principes zijn richtlijnen voor de manier van beschrijven, opslag en publicatie van data.
Findable (vindbaar): Metadata moet gemakkelijk te vinden zijn voor zowel mensen als computers.
Accessible (toegankelijk): Gebruikers moeten weten hoe toegang tot de data verkregen kan worden (autorisatie en authenticatie)
Interoperable (uitwisselbaar): Data moet meestal ge\u00efntegreerd worden met andere data en bijbehorden applicaties, opslag en processen.
Reusable (herbruikbaar): Het uiteindelijke doel van FAIR is om hergebruik van data te optimaliseren.
Wanneer je voldoet aan de 15 principes is je data 'machine actionable'. Dit maakt het mogelijk dat de data effectief gebruikt kan worden voor verschillende algoritmes.
FAIR data betekent niet per definitie dat data open data is. Juist ook voor (privacy) gevoelige data (gesloten data) kan het heel zinvol zijn om te voldoen aan de principes voor FAIR data, om juist daarmee specifieke geautoriseerde toegang tot gevoelige data mogelijk te kunnen maken.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-02-fair-data/#15-principes-voor-fair-data","title":"15 principes voor FAIR data","text":"
F1: Aan (meta)data wordt een wereldwijd unieke en permanente identifier toegevoegd
Voorbeeld
Met behulp van Persistent Identifiers (PID) zorg je ervoor dat jouw data (bijvoorbeeld onderzoeksdata) altijd vindbaar blijft. PID's kun je vergelijken met het ISBN-nummer bij boeken. Het idee is dat ook als de locatie of de onderliggende infrastructuur verandert, de verwijzing intact blijft.
F2: Data wordt beschreven met rijke metadata
Voorbeeld
Het team van data.overheid.nl heeft de metadata standaard DCAT-AP-DONL ontwikkeld die speciaal voor de uitwisseling van dataset informatie voor de Nederlandse situatie is ingericht. Dit is gebaseerd op de Data Catalog Vocabulary (DCAT) versie die de Europese Unie heeft opgesteld. Je kan hierover meer lezen op de site van data.overheid.nl.
F3: Metadata bevat duidelijk en expliciet de identificatie van de data die ze beschrijven
F4: (Meta)data worden geregistreerd of ge\u00efndexeerd in een doorzoekbare bron
I1: (Meta)data gebruikt een formele, toegankelijke, gedeelde en breed toepasbare taal voor kennisrepresentatie
I2: (Meta)data gebruikt gegevenswoordenboeken of vocabulaires die FAIR-principes volgen
Voorbeeld woordenboek
In het woordenboek Hitte staan ongeveer 230 definities van termen rond het thema hitte die gebruikt worden in het klimaatadaptatieveld. Dit woordenboek is ontwikkeld in opdracht van het ministerie van Infrastructuur en Waterstaat door overheidsstichting Geonovum.
I3: (Meta)data bevat gekwalificeerde verwijzingen naar andere (meta)data
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-03-persoonsgegevens-beschrijven/","title":"Beschrijf welke persoonsgegevens het algoritme gebruikt en waarom","text":"
dat-03Dataverkenning en datapreparatieOntwikkelenVerificatie en validatieProjectleiderOntwikkelaarPrivacy en gegevensbeschermingTransparantie
Er is een overzicht opgesteld welke persoonsgegevens mogen worden verwerkt en om welke categorie persoonsgegevens het gaat. Het principe van dataminimalisatie is toegepast, zodat het minimum aantal persoonsgegevens wordt verwerkt om het beoogde doel te bereiken.
Er is een overzicht opgesteld welke persoonsgegevens mogen worden verwerkt mogen worden verwerkt.
Bij de persoonsgegevens is aangegeven om wat voor categorie persoonsgegevens het gaat.
Per kenmerk is toegelicht waarom deze noodzakelijk is om te verwerken voor het ontwikkelen en gebruiken van het algoritme.
Het principe van dataminimalisatie is toegepast, wat betekent dat een keuze is gemaakt of een persoonsgegevens al dan niet strikt noodzakelijk is om het doel te bereiken of dat verwerking ervan achterwege kan blijven.
Voor het beschermen van deze persoonsgegevens wordt per kenmerk aangegeven op welke manier deze kan worden beschermd (anonimiseren, pseudonomiseren, aggregeren).
Een DPIA kan worden gebruikt om bovenstaande activiteiten uit te voeren.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-04-bewaartermijnen-persoonsgegevens/","title":"Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsprocedure","text":"
dat-04OntwikkelenMonitoring en beheerJuristProjectleiderTechnische robuustheid en veiligheidPrivacy en gegevensbescherming
(Persoons)gegevens die het algoritme verwerkt worden niet langer bewaard dan voor de verwezenlijking van de verwerkingsdoeleinden noodzakelijk is.
Beschrijf de bewaartermijnen voor de gegevens, bijvoorbeeld in een DPIA.
Beschrijf hoe de (persoons)gegeven moeten worden vernietigd.
Zorg ervoor dat de vereisten met betrekking tot bewaartermijnen correct zijn of worden vertaald naar het algoritme en de onderliggende (zaak)systemen.
Controleer of deze maatregelen voor de bewaartermijnen en vernietiging van de (persoons)gegevens (in de onderliggende systemen) zijn getroffen en zorg dat dit aantoonbaar is, bijvoorbeeld met logbestanden.
Maak aantoonbaar dat persoonsgegevens zijn vernietigd, bijvoorbeeld met logbestanden.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-05-pseudonimiseren-anonimiseren/","title":"Bescherm persoonsgegevens door data te anonimiseren, pseudonimiseren of te aggregeren","text":"
dat-05Dataverkenning en datapreparatieOntwikkelenOntwikkelaarJuristPrivacy en gegevensbescherming
Als is vastgesteld welke persoonsgegevens mogen worden verwerkt voor het ontwikkelen en gebruiken van algoritmes, moet worden nagegaan of er maatregelen kunnen worden getroffen om deze te beschermen.
Het algoritme verwerkt niet meer persoonsgegevens dan noodzakelijk; de verwerkte gegevens zijn proportioneel en substantieel.
Hierbij kan worden gedacht aan het pseudonomiseren, anonimiseren of aggregeren van persoonsgegevens.
Het bepalen of persoonsgegevens mogen worden verwerkt voor algoritmes moet worden bekeken in samenhang met maatregelen die kunnen worden getroffen om deze gegevens te beschermen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-06-schending-auteursrechten/","title":"Controleer de auteursrechten van eigen data","text":"
dat-06OntwerpDataverkenning en datapreparatieJuristData
Controleer of eventueel door de eigen organisatie verstrekte data binnen of buiten auteursrechten vallen. Bij voorkeur blijven de data eigendom van de (verstrekkende) overheidsorganisatie.
Het is van belang om te controleren of de te verwerken data waar overheidsorganisaties zelf over beschikken rechtmatig zijn verkregen en geen inbreuken maken op auteursrechten. Hier kan worden gedacht aan data die is gescraped van het internet en zou kunnen worden gebruikt voor de ontwikkeling van een algoritme.
Maak gebruik van datacenters die gebruikmaken van duurzame energiebronnen en energie-effici\u00ebnte technologie\u00ebn voor de opslag en verwerking van data.
Door data op te slaan en algoritmes te laten draaien in datacenters die hernieuwbare energiebronnen inzetten en bijvoorbeeld de ontstane restwarmte recyclen, kun je de ecologische voetafdruk van de algoritmes aanzienlijk verkleinen. Datacenters die zich op duurzaamheid richten, verlagen de CO\u2082-uitstoot van hun infrastructuur en bieden mogelijk duurzaamheidsrapportages. Let bij het kiezen van een aanbieder op mogelijke greenwashing; dit gebeurt wanneer bedrijven beweren groen te zijn zonder dit met concrete maatregelen te onderbouwen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-duurzame-datacenters/#technologieen-voor-energie-efficiente-datacenters","title":"Technologie\u00ebn voor energie-effici\u00ebnte datacenters","text":"
Om datacenters energie-effici\u00ebnt te maken, zijn er verschillende benaderingen:
Gebruik van groene energiebronnen: Kies voor datacenters/aanbieders die hernieuwbare energie gebruiken. Maak bijvoorbeeld afspraken over een doel, zoals een DCie-score van minimaal 50%, gewogen over een heel jaar. De DCie score van elk Overheids Datacenter (ODC) kun je hier bekijken. Je kunt ook kijken of naast duurzame stroom ook restwarmte van servers wordt benut om bijvoorbeeld nabijgelegen gebouwen te verwarmen.
Koeling en energiebeheer optimaliseren: Adiabatische koeling, waarbij water en lucht worden gebruikt in plaats van elektriciteit, verlaagt het energieverbruik. Effici\u00ebnte stroomverdeling en warmteterugwinning dragen verder bij aan een lagere ecologische voetafdruk.
Monitoren: Blijf controleren op duurzame prestaties door te letten op certificeringen, zoals ISO 14001, ISO 50001 en BREEAM, en vraag naar energierapportages en details over het energieverbruik en de herkomst van stroom. Dit helpt om claims van duurzaamheid te toetsen en te voorkomen dat je in greenwashing trapt.
Door geen gebruik te maken van duurzame datacenters, loop je het risico op een hogere CO\u2082-uitstoot, en wordt daardoor niet aangesloten bij Rijksbreed beleid. Ook loop je risico op hogere energiekosten.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-training-validatie-en-testdata/","title":"Gebruik bij machine learning technieken gescheiden train-, test- en validatiedata en houdt rekening met underfitting en overfitting.","text":"
dat-07Dataverkenning en datapreparatieOntwikkelenOntwikkelaarDataTechnische robuustheid en veiligheidBias en non discriminatie
Indien je gebruik maakt van machine learning technieken, maak een passende keuze voor gescheiden train-, test- en validatiedata en houd hierbij rekening met underfitting en overfitting.
Deze dataset wordt gebruikt om het model te trainen. Uit deze dataset worden de onderliggende patronen of relaties geleerd die later gebruikt kunnen worden om voorspellingen mee te doen.
De kwaliteit van deze dataset moet goed zijn en zo representatief mogelijk voor de doelpopulatie. Eventuele bias of vooroordelen in deze dataset kan door het trainen in het model sluipen.
Let bij het samenstellen van de traningsset op dat de data waarop het model gebaseerd is, niet beschikbaar zijn voordat de uitkomsten zijn geobserveerd. Met andere woorden, zorg ervoor de de voorspellingen geen onderdeel kunnen zijn van de inputvariabelen.
de validatieset
De validatieset fungeert als een onafhankelijke, onbevooroordeelde dataset voor het vergelijken van de prestaties van verschillende algoritmes die zijn getraind op onze trainingsset.
Verschillende modellen kunnen getraind worden op de trainingsdataset. Zo kan je bijvoorbeeld vari\u00ebren in de (hyper)parameters of de inputvariabelen. Dit leidt tot verschillende varianten van het model. Om de prestaties van de verschillende modellen te vergelijken, moeten we een nieuwe dataset gebruiken: de validatieset. Zou je hiervoor de trainingsdataset gebruiken, kan dat leiden tot overfitting, wanneer het model dan te specifiek afgestemd is op 1 dataset. Het model kan dan niet voldoende generaliseren voor nieuwe situaties.
de testset
Nadat er met behulp van de validatieset een keuze is gemaakt voor een passend model en bijbehorende (hyper)parameters, moet je het model nog testen op nieuwe data. Dit geeft een beeld van de werkelijke prestaties van het model in nieuwe omstandigheden.
Let op dat je pas naar deze resultaten kijkt als laatste stap. Inzichten uit deze testdataset mogen niet worden meegenomen in de ontwikkeling, omdat dit kan leiden tot overfitting. Het model zal dan in productie mogelijk minder goed presteren.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-training-validatie-en-testdata/#grootte-van-de-drie-datasets","title":"Grootte van de drie datasets","text":"
Er is geen optimale verdeling van de drie datsets. Veelvoorkomende verhoudingen om je data in te splitten zijn:
80% trainingsset, 10% validatieset, 10% testset
70% trainingsset, 15% validatieset, 15% testset
60% trainingsset, 20% validatieset, 20% testset
Afhankelijk van de hoeveelheid beschikbare data en de context maak je hierin een keuze. Houdt hierbij rekening met:
Hoe minder trainingdata, hoe groter de variantie van het model tijdens het trainen. De patronen en relaties die ontdekt zijn, bevatten dan een grotere onzekerheid.
Hoe minder validatie- en testdata je gebruikt, hoe grote de variantie en de onzekerheid in de verwachte prestaties van het algoritme.
Hoe complexer het model, en hoe meer (hyper)parameters er zijn om te optimaliserne, hoe groter de validatieset moet zijn om het model met optimale presetaties te vinden. Wanneer er weinig hyperparameters zijn, is een relatief kleine validatieset vaak voldoende.
Naast dat je de datasets willekeurig kan verdelen in drie delen (aselect), kan je ook meer geavanceerde technieken gebruiken. Een robuuste en veelgebruikte techniek is k-fold cross validation, waarbij het model k keer wordt getraind op verschillende delen van de data.
Door onjuiste training van het model presteert het model in de praktijk minder goed dan bij de tests. Als trainings-, validatie- en testdata door elkaar lopen (\"data leakage\"), kan dit leiden tot overfitting, waardoor het model beter lijkt te presteren dan in werkelijkheid het geval is.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-08-eigenaarschap-data/","title":"Zorg dat je controle of eigenaarschap hebt over de data","text":"
dat-08Dataverkenning en datapreparatieProjectleiderDataPublieke inkoop
De organisatie heeft volledige controle of eigenaarschap over de data. Wanneer dit niet mogelijk is, zijn afspraken gemaakt om de functionele eisen te waarborgen.
Wanneer een algoritme ontwikkeld of ingekocht wordt, is het belangrijk om toegang tot de gebruikte data goed te regelen. Maak bijvoorbeeld afspraken over wie ervoor zorgt dat de data:
op een centrale plek beschikbaar wordt gesteld
van voldoende kwaliteit is
goed beveiligd is
Wanneer een algoritme wordt ontwikkeld door een derde partij en dus niet wordt beheerd door de eigen organisatie, maak je duidelijke afspraken over eigenaarschap van de data. Dat geldt zowel voor de inputdata als de outputdata. Zorg dat de inputdata tot je beschikking blijft, zodat resultaten altijd reproduceerbaar zijn.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-09-dataminimalisatie/","title":"Beperk de omvang van datasets voor energie-effici\u00ebntie","text":"
dat-09Dataverkenning en datapreparatieOntwikkelenOntwikkelaarProjectleiderDataDuurzaamheid
Houd datasets beperkt tot het noodzakelijke en voldoende specifiek om onnodige energieconsumptie te voorkomen tijdens de verwerking en opslag van data voor algoritmes. We noemen dit ook wel dataminimalisatie.
Hoe meer je bewaart, hoe meer ruimte dat kost om op te slaan. Bovendien verbruikt elk apparaat dat nodig is om data op te slaan stroom. Dat heeft grote invloed op de CO\u2082-uitstoot van een datacentrum. Grote datasets brengen daarom hoge energie- en opslagkosten met zich mee. Door de dataset bewust te beperken tot relevante gegevens, kun je ook de energie-effici\u00ebntie van algoritmes aanzienlijk verbeteren. Vooral bij de ontwikkeling van AI-systemen kan het verminderen van data bijdragen aan lagere energiebehoeften en CO\u2082-uitstoot.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-09-dataminimalisatie/#technieken-voor-dataminimalisatie","title":"Technieken voor dataminimalisatie","text":"
Slimme selectie van trainingsdata: Gebruik methoden die irrelevante data uit de dataset filteren, zoals dataselectie-algoritmes en sampling-technieken. Door te focussen op relevante data, beperk je de omvang zonder de prestaties van het model te be\u00efnvloeden.
Verwijderen van redundante en dubbele data: Deduplicatie van data minimaliseert onnodige verwerkingskracht. Door alleen unieke en relevante gegevens op te slaan, wordt de opslagbehoefte verder beperkt.
Opschonen en archiveren van verouderde data: Regelmatige archivering of verwijdering van verouderde data in je dataset zorgt voor een verminderde voetafdruk en verhoogt ook de effici\u00ebntie.
Sustainable artificial intelligence \u2013 TU Delft
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-01-security-by-design/","title":"Ontwerp en ontwikkel het algoritme volgens de principes van \u2018security by design\u2019","text":"
owk-01OntwikkelenProjectleiderOntwikkelaarTechnische robuustheid en veiligheid
Hanteer principes van \u2018security by design\u2019 (informatiebeveiligingsmaatregelen) als uitgangspunten bij de ontwikkeling van het algoritme. Stel vast welke principes horen bij security by design en welke relevant zijn voor het ontwerp of de ontwikkeling van het algoritme. Mogelijke documenten waarin deze principes kunnen worden opgenomen, zijn het security beleid, of ontwikkelbeleid. Bij het bepalen en vaststellen van de juiste principes kunnen interviews met de ontwikkelaar en software-architecten helpen.
Security by design is gehanteerd en terug te zien als uitgangspunt. (BIO 14.2.1.1)
Security by design benadrukt het belang van het in een vroeg stadium integreren van securitymaatregelen. Op die manier kan worden voldaan aan regelgeving, maar wordt de weerbaarheid tegen bijvoorbeeld cyberaanvallen verhoogd. In een vroeg stadium nadenken over security betekent dat vroeg al de benodigde expertise wordt betrokken, zoals een security-officer.
Wanneer tijdens het ontwerp en de inrichting van het algoritmisch systeem niet voldoende rekening wordt gehouden met vastgestelde security-by-design principes kan dit leiden tot een onvoldoende veilige (software-)omgeving. Dit kan tot gevolg hebben: oneigenlijke toegang, wijzigingen of vernietigingen van het algoritme, de data of uitkomsten van het algoritme.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-02-stopzetten-gebruik/","title":"Maak een noodplan voor het stoppen van het algoritme","text":"
Er moet in een proces zijn beschreven wanneer en hoe het gebruik van algoritmes moet worden stopgezet.
Het is van belang dat bij het ontwerp van algoritmes er rekening wordt gehouden met dat het werkproces ook zonder het algoritme kan worden uitgevoerd.
In het geval van risicoselectie kan er bijvoorbeeld worden teruggevallen op het enkel uitvoeren van een aselecte steekproef als selectieinstrument.
Als blijkt dat het algoritme ongewenst functioneert, dan moeten (technische) maatregelen zijn getroffen waarmee het gebruik daadwerkelijk kan worden stopgezet. Denk hierbij aan een stopknop en werkinstructies hoe het gebruik kan worden be\u00ebindigd.
Maak aantoonbaar dat deze maatregelen zijn getroffen.
De proceseigenaar of een menselijk toezichthouder moet in staat zijn om het algoritme op elk moment te kunnen be\u00ebindigen.
Het stopzetten van het gebruik van een algoritme mag niet tot gevolg hebben dat betrokkenen niet meer kunnen achterhalen hoe besluiten tot stand zijn gekomen of dat gevolgen niet meer kunnen worden gecorrigeerd als dat noodzakelijk is.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-03-privacyrisico/","title":"Analyseer de privacy-risico\u2019s en neem maatregelen om deze risico\u2019s laag te houden","text":"
owk-03OntwerpOntwikkelenMonitoring en beheerProjectleiderJuristPrivacy en gegevensbescherming
Verifieer of een DPIA is uitgevoerd over het werkproces dat wordt of zal worden ondersteund met een algoritme. Zo nee, voer een risico analyse (DPIA) uit om de risico's voor de rechten en vrijheden van betrokkenen met de inzet van algoritmes in beeld te brengen.
Organisatorische en technische maatregelen moeten worden getroffen om persoonsgegevens bij de ontwikkeling en het gebruik van het algoritme te beschermen.
Beleg de mitigerende maatregelen bij betrokken actoren. Denk bijvoorbeeld aan het toekennen van de maatregelen als anonimiseren en pseudonimiseren van persoonsgegevens aan een data engineer, voordat deze kunnen worden gebruikt ten behoeve van het ontwikkelen of controleren van het algoritme.
Bepaal welke maatregelen moeten zijn gerealiseerd voordat mag worden gestart met de verwerking van de persoonsgegevens en welke moeten worden gemonitord.
Monitor de voortgang op het realiseren van de maatregelen en zorg voor bewijsstuken als deze zijn gerealiseerd. Deze bewijsstukken kunnen onderdeel worden van een audit.
Als er een noodzaak is om na verloop van tijd meer persoonsgegevens te verwerken of om andere verwerkingen uit te voeren, zal opnieuw een beoordeling moeten plaatsvinden of er privacyrisico's ontstaan en hoe deze kunnen worden gemitigeerd. Gedurende de levenscyclus van het algoritme moet aandacht blijven voor het uitvoeren van de risicoanalyse voor privacyrisico's.
Bij hoge risico's voor het verwerken van persoonsgegevens is een voorafgaande raadpleging bij de Autoriteit Persoonsgegevens onder artikel 36 AVG verplicht. Bepaal of raadpleging noodzakelijk is.
Besluit inzake lijst van verwerkingen van persoonsgegevens waarvoor een gegevensbeschermingseffectbeoordeling (DPIA) verplicht is, Autoriteit Persoonsgegevens
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-04-logging/","title":"Maak logbestanden waarin staat wie wanneer toegang had tot de data en de code","text":"
owk-04OntwikkelenMonitoring en beheerOntwikkelaarTechnische robuustheid en veiligheid
Zorg ervoor dat logbestanden worden gecre\u00eberd waarin informatie wordt geregistreerd over gebruikersactiviteiten, uitzonderingen en informatiebeveiligingsgebeurtenissen. Door goede logging is te achterhalen wanneer en door wie er toegang is geweest tot code en data (audit trail). Er kan loginformatie gegenereerd, bewaard, toegankelijk gemaakt en gemonitord worden. Logbestanden bevatten vaak gebeurtenissen die gebruikersactiviteiten, uitzonderingen en informatiebeveiligingsgebeurtenissen registreren. Bedenk wat deze informatie betekent in de context van de werking van het algoritme.
Met logbestanden is te achterhalen wanneer en door wie er (ongewenste) aanpassingen zijn gedaan (audit trail).
Loginformatie moet worden gegenereerd, bewaard, gemonitord en toegankelijk worden gemaakt.
Logbestanden bevatten vaak gebeurtenissen die gebruikersactiviteiten, uitzonderingen en informatiebeveiligingsgebeurtenissen registreren.
Bedenk wat deze informatie betekent in de context van de werking van het algoritme. loginformatie gegenereerd, bewaard, toegankelijk gemaakt en gemonitord worden. Logbestanden bevatten vaak gebeurtenissen die gebruikersactiviteiten, uitzonderingen en informatiebeveiligingsgebeurtenissen registreren.
Stel vast welke informatie bij het ontwikkelen en gebruiken van algoritmes relevant is om te loggen.
Log behalve het aanpassen van gegevens ook het uitlezen van gegevens waar dat relevant is. Bijvoorbeeld als persoonsgegevens worden opgevraagd.
Logs dienen periodiek (of doorlopend) gecontroleerd to worden op relevante incidenten. Dat betekent dat wat er gelogd wordt geschikt moet zijn om relevante beveiligingsincidenten op te merken.
Wanneer loginformatie ontbreekt, is niet te achterhalen wanneer er (eventueel ongewenste) aanpassingen zijn gedaan (audit trail) op (de code van) het algoritme, of door wie.
Energiezuinig programmeren maakt het mogelijk om de voetafdruk van algoritmes te verkleinen door minder energie en middelen te verbruiken. Door specifieke technieken toe te passen, zoals optimalisatie van processen en effici\u00ebnte geheugenbeheerstrategie\u00ebn, kun je als ontwikkelaar bijdragen aan het verduurzamen van algoritmes.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-05-energiezuinige-programmeermethoden/#technieken-voor-energiezuinige-softwareontwikkeling","title":"Technieken voor energiezuinige softwareontwikkeling","text":"
Lean coding en minimalisatie van code bloat Lean coding richt zich op het gebruik van alleen de benodigde code zonder overbodige complexiteit of libraries, wat resulteert in lagere energieconsumptie. Door \u201ccode bloat\u201d te vermijden, zorg je ervoor dat het algoritme minder verwerkingskracht en geheugen verbruikt.
Gebruik van energiezuinige programmeertalen en frameworks Programmeren in talen zoals Rust, Go en Elixir draagt bij aan energie-effici\u00ebntie doordat deze ontworpen zijn voor lage resource-omvang en hoge effici\u00ebntie. Ook frameworks die lichtgewicht en modulair zijn, ondersteunen energiezuinige processen.
Parallel processing en multi-core optimalisaties Door parallelle verwerking en multi-core optimalisaties toe te passen, wordt rekenwerk verdeeld over meerdere cores. Dit reduceert de totale verwerkingstijd, bespaart energie en verhoogt de prestaties van je code op het vlak van duurzaamheid.
Microservices en modulaire architecturen Een modulaire architectuur, zoals microservices, zorgt ervoor dat je onderdelen van de applicatie alleen activeert wanneer dat nodig is. Dit voorkomt onnodige belasting en beperkt energieverbruik behoorlijk.
Geoptimaliseerd geheugenbeheer Door effici\u00ebnt geheugenbeheer, zoals caching en lazy loading, voorkom je onnodige data-opslag en bewerkingen. Dit verlaagt de energievraag en verbetert de snelheid van het algoritme aanzienlijk.
Zonder energie-effici\u00ebnte methoden kan het algoritme onnodig veel energie verbruiken, wat leidt tot hogere operationele kosten en een grotere milieu-impact.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-05-energiezuinige-programmeermethoden/#bronnen","title":"Bronnen","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-05-energiezuinige-programmeermethoden/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-06-optimaliseer-AI-training/","title":"Optimaliseer AI-trainingsprocessen voor energie-effici\u00ebntie","text":"
Het trainen van AI, vooral generatieve AI-modellen, vergt aanzienlijke energie en heeft daardoor een grote ecologische voetafdruk. Een enkele trainingsronde kan al een enorme hoeveelheid CO\u2082 uitstoten. Door enkele concrete methoden toe te passen, kun je deze impact beperken.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-06-optimaliseer-AI-training/#energie-optimalisatie-door-hardwarekeuze-en-serverbeheer","title":"Energie-optimalisatie door hardwarekeuze en serverbeheer","text":"
Gebruik energie-effici\u00ebnte hardware zoals specifiek afgestemde GPU's, die geschikt zijn voor de trainingsbehoeften van het model. Door bijvoorbeeld te kiezen voor GPU\u2019s die optimaal bij je model passen in plaats van de krachtigste beschikbare hardware, kan het energieverbruik drastisch worden verminderd. Houd hiermee rekening in je keuze voor een trainingsomgeving.
Verder kan servergebruik geoptimaliseerd worden door onnodige trainingsomgevingen tijdig te stoppen of voor andere trainingsomgevingen of testomgevingen te kiezen. Ook kun je servers dynamisch schalen met tools zoals Kubernetes of autoscaling technologie.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-06-optimaliseer-AI-training/#slimme-data-en-trainingsoptimalisatie","title":"Slimme data- en trainingsoptimalisatie","text":"
Niet alle beschikbare data dragen bij aan de modelprestaties. Door een dataselectiestrategie toe te passen, gebruik je enkel relevante datasets (dataminimalisatie), wat zorgt voor minder intensieve rekenbelasting tijdens het trainingsproces. Daarnaast kan slimme caching helpen om repetitieve data-opvragingen te beperken, wat bijdraagt aan een lagere energievraag. Bovendien kun je hertrainingscycli van AI beperken door enkel updates te doen wanneer nieuwe data dit echt vereist. Dit voorkomt overbodige trainingscycli en bespaart energie.
Zonder energie-effici\u00ebnte methoden kan AI-training leiden tot hoge operationele kosten en een aanzienlijke ecologische impact, met name door overmatig gebruik van rekenkracht en energie-intensieve hardware.
How to Make Generative AI Greener - Harvard Business Review
GreenOps: 4 Tips om AI-training duurzamer te maken - AG Connect
Duurzame kunstmatige intelligentie - TU Delft
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-06-optimaliseer-AI-training/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/5-ver-01-functioneren-in-lijn-met-doeleinden/","title":"Controleer regelmatig of het algoritme werkt zoals het bedoeld is","text":"
ver-01OntwikkelenVerificatie en validatieMonitoring en beheerProjectleiderOntwikkelaarTechnische robuustheid en veiligheidBias en non discriminatie
Vertaal de vastgestelde doelstelling naar functionele eisen voor het algoritme. Werk het vastgestelde doel uit in een beschrijving in logische taal/pseudo code of documentatie die handvatten biedt aan de ontwikkelaar.
Monitor de mate waarin aan deze eisen wordt voldaan door het algoritme.
Bepaal en leg vast hoe eventuele parameters, business rules en indicatoren bepaald worden. Zorg dat dit breed wordt afgestemd in de organisatie (ontwikkelteam, opdrachtgevers en beheer).
Houd hier rekening met eventuele (statistische) bias: meten we daadwerkelijk wat we denken te meten?
Wanneer het algoritme meerdere doelen dient, is het belangrijk ook te evalueren op meerdere functionele eisen.
Wanneer er sprake is van een (handmatige) behandeling, bepaal dan wanneer deze behandeling als 'succesvol' gezien kan worden.
Analyseer of het gebruik van het algoritme of het proces daaromheen leidt tot onwenselijke of onrechtmatige verschillen in de behandeling van individuen en/of groepen.
Het uitvoeren van een analyse over onwenselijke of onrechtmatige verschillen bestaat grofweg uit 3 stappen:
Stap 1: Analyseer of er sprake is van bias: systematisch verschil in behandeling van bepaalde objecten, mensen of groepen in vergelijking met anderen.
Stap 2: Voer een rechtvaardigingstoets uit om te bepalen of het geconstateerde verschil uit stap 1 te rechtvaardigen is.
Stap 3: Voer een ethische wenselijkheidstoets uit om te bepalen of het geconstateerde verschil uit stap 1 ethisch wenselijk is.
Voor alle stappen geldt dat het belangrijk is om de gemaakte keuzes en afwegingen zorgvuldig te onderbouwen en te documenteren. De 3 stappen worden hieronder verder toegelicht.
Opmerking
Deze maatregel is in ieder geval van toepassing op natuurlijke personen. Voor andere rechtspersonen zoals bedrijven kan dit ook van toepassing zijn. Denk bijvoorbeeld aan een gelijke behandeling tussen eenmanszaken en grotere bedrijven.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/5-ver-02-biasanalyse/#stap-1-analyseer-of-er-sprake-is-van-bias","title":"Stap 1: Analyseer of er sprake is van bias","text":"
In deze stap is het doel om te bepalen in welke mate er sprake is van een systematisch verschil in behandeling van bepaalde objecten, mensen of groepen in vergelijking met anderen. Dit verschil kan zowel op een directe als een indirecte manier ontstaan.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/5-ver-02-biasanalyse/#toetsen-op-direct-onderscheid","title":"Toetsen op direct onderscheid","text":"
Toetsen op direct onderscheid is in vergelijking tot toetsen op indirect onderscheid relatief eenvoudig.
Bepaal of de inputvariabelen die gebruikt worden leiden tot een direct onderscheid op basis van godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, nationaliteit, hetero- of homoseksuele gerichtheid1 of burgelijke staat.
Het is niet mogelijk om een uitputtend overzicht te geven van alle selectiecriteria die mogelijk tot direct onderscheid op grond van ras of nationaliteit kunnen leiden. Wel zijn in de jurisprudentie verschillende voorbeelden en aanknopingspunten te vinden. Zo staat vast dat selectie op basis van fysieke etnische kenmerken, zoals huidskleur, direct onderscheid op grond van ras oplevert2. Een ander voorbeeld is dat onderscheid op grond van een niet-westers klinkende naam direct onderscheid op grond van afkomst (en dus ras) oplevert3.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/5-ver-02-biasanalyse/#toetsen-op-indirect-onderscheid","title":"Toetsen op indirect onderscheid","text":"
Ook selectiecriteria die op het eerste gezicht geen enkele link lijken te hebben met een discriminatiegrond kunnen leiden tot indirect onderscheid op grond van een discriminatiegrond. Enkele voorbeelden van zulke 'ogenschijnlijk neutrale' selectiecriteria die verband hebben met ras of nationaliteit zijn: postcode, hoogte van het inkomen, kenteken, familielid in het buitenland, laaggeletterdheid. Indirect onderscheid is in vergelijking met direct onderscheid lastiger op te signaleren en te voorkomen. Daarom is het belangrijk jouw algoritmische toepassing regelmatig te analyseren op eventueel indirect onderscheid. Het toetsen op indirect onderscheid bestaat uit 5 stappen:
Bepaal wat de kwetsbare groepen zijn. Eventueel kan dit aangevuld worden op basis van de discriminatiegronden uit non-discriminatie wetgeving. Of andere groepen waarvoor verschillen in behandeling ethisch onwenselijk zijn.
Bepaal wat \"verschillen in behandeling\" betekent in de context van het algoritme. In deze stap is het belangrijk om voorafgaand aan de daadwerkelijke analyse met een brede groep stakeholders te bepalen wat 'eerlijk' en 'rechtvaardig' wordt bevonden in de context van het betreffende algoritme. Er zijn veel verschillende manieren waarop je kan kijken naar onderscheid bij het gebruik van algoritmes. Voorbeelden van manieren waarop je naar onderscheid kan kijken zijn:
Onderscheid op basis van gelijke uitkomsten (representatie). De belangrijkste vraag die hier mee beantwoord wordt is: hebben personen uit verschillende groepen gelijke kans om geselecteerd te worden door het algoritme? Of is er sprake van een over- of ondervertegenwoording van bepaalde groepen in de selectie ten opzichte van de betreffende populatie?
Onderscheid op basis van gelijke prestaties (fouten). De belangrijkste vraag die hier mee beantwoord wordt is: presteert het algoritme gelijk voor personen uit verschillende groepen? Met andere woorden: maakt het algoritme vaker fouten bij bepaalde groepen? Dat kan er eventueel toe leiden dat bepaalde groepen vaker onterecht wel of niet geselecteerd worden door het algoritme.
Om te toetsen of er sprake is van onderscheid op basis van gelijke prestaties, is het noodzakelijk om de prestaties van het algoritme goed te analyseren. In het geval van classificatie is het daarvoor nodig om een zogeheten confusion matrix op te stellen. Een confusion matrix is een tabel waarin de voorspellingen van het algoritme worden vergeleken met de werkelijke waarden (de ground truth).
De verschillende maten/metrieken waarop gekeken kan worden naar onderscheid, worden in de (wetenschappelijke) literatuur ook wel fairness metrieken genoemd. Veel van deze metrieken kunnen op basis van de confusion matrix berekend worden. Een hulpmiddel om de meest passende metrieken te kiezen in jouw situatie is de Fairness tree.
Door te denken vanuit verschillende perspectieven, zullen er in de praktijk meerdere metrieken van belang zijn. Het kan echter voorkomen dat deze metrieken elkaar tegenspreken. Maak een duidelijke prioritering van de verschillende metrieken om afwegingen te maken tussen de verschillende opvattingen van eerlijkheid.
Verzamel de benodigde data die nodig is om bovenstaande groepen te bepalen. Bepaal welke data benodigd is om te analyseren of er verschillen zijn tussen bepaalde groepen. In veel gevallen zal data benodigd zijn die demografische en beschermde kenmerken van groepen omschrijft. Het verzamelen en verwerken van deze data kan in strijd zijn met privacy vereisten uit bijvoorbeeld de Algemene Verordening Gegevensbescherming. Het is daarom van belang om duidelijk afwegingen te maken tussen privacy en het analyseren van bias die rekening houdt met de juridische en ethische vereisten.
Uitzondering voor hoog risico AI-systemen
De AI-verordening biedt een uitzondering voor het verwerken van bijzondere categorie\u00ebn persoonsgegevens voor het monitoren, opsporen en corrigeren van bias bij AI-systemen met een hoog risico. Zie artikel 10.5, AI-verordening.
Om de data op een veilige en rechtmatige manier te gebruiken voor een biasanalyse dient de data van voldoende kwaliteit te zijn. Denk hier goed na of de data eventuele bias bevat die kan duiden op een bepaalde vooringenomenheid in de biasanalyse zelf (historische bias of representatie bias). De data dient bijvoorbeeld voldoende actueel en volledig te zijn.
Voor sommige groepen zal het onmogelijk zijn om te beschikken over data van voldoende kwaliteit om zorgvuldig te toetsen op bias. De laaggeletterdheid van burgers of personen is bijvoorbeeld lastig meetbaar en in veel gevallen niet beschikbaar. Bepaal in zo'n situatie of er andere mogelijkheden zijn deze groepen te helpen, of dat er andere mogelijkheden zijn om eventuele ongelijke behandeling bij deze groepen te constateren. Bijvoorbeeld door hierop te monitoren in de klacht- en bezwarenprocedure.
Bereken de verschillen in behandeling en/of uitkomsten van het algoritme. Er zijn verschillende open source softwarepakketten die je hierbij kunnen ondersteunen, zoals fairlearn, Aequitas, fairml, fairness of AI Fairness 360.
Probeer te verklaren hoe het geconstateerde onderscheid is ontstaan. Als er in de vorige stap een significant onderscheid is geconstateerd, is het belangrijk om na te gaan hoe dit onderscheid is ontstaan. Dit kan bijvoorbeeld ontstaan door:
een vorm van bias in de onderliggende inputdata. Je kan hierbij denken aan:
historische bias: in hoeverre beschrijft de data de huidige situatie?
representatie bias: is de data waarop getraind wordt representatief voor de bijbehorende populatie? Zijn trends uit de gebruikte data generaliseerbaar naar de totale populatie?
meetbias: beschrijven de inputvariabelen wel wat ze moeten beschrijven? In hoeverre zijn dit benaderingen waarbij eventuele factoren worden weggelaten?
een vorm van bias in het proces na afloop van het algoritme
is er sprake van automatiseringsbias of bevestigingsbias in de (handmatige) beoordeling?
Wanneer duidelijker is hoe de geconstateerde bias is ontstaan, is het goed om te verkennen of er mogelijkheden zijn om dit (in de toekomst) te voorkomen.
Het is belangrijk hier een brede groep aan belanghebbenden bij te betrekken. De oorzaken van bias komen uit de 'echte wereld', waarbij patronen in datasets historische, demografische en sociale verschillen weerspiegielen. Het verklaren en voorkomen van bias vraagt daarmee niet alleen om technische oplossingen, maar het is belangrijk de hele socio-technische omgeving waarin het algoritme wordt ingezet mee te nemen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/5-ver-02-biasanalyse/#stap-2-voer-een-rechtvaardigingstoets-uit","title":"Stap 2: Voer een rechtvaardigingstoets uit","text":"
Wanneer er in Stap 1 is geconstateerd dat er sprake is van een onderscheid, dient de volgende vraag beantwoord te worden:
Valt dit onderscheid te rechtvaardigen?
Een geconstateerd systematisch onderscheid is niet altijd fout en is niet altijd verboden, maar het vraagt wel altijd om aandacht en zorgvuldigheid. Het geconstateerde onderscheid kan in bepaalde situaties en onder bepaalde strikte voorwaarden gerechtvaardigd zijn:
Voor direct onderscheid kan er bijvoorbeeld sprake zijn van een wettelijke uitzondering die het gemaakte onderscheid toelaat.
Voor indirect onderscheid geldt dat behalve een wettelijke uitzondering er ook een objectieve rechtvaardiging kan bestaan, waarmee het geconstateerde onderscheid in bepaalde gevallen toelaatbaar kan zijn.
Twee subvragen die hierbij beantwoord moeten worden zijn:
streeft het in te zetten algoritme een legitiem doel na?
bestaat er een redelijke relatie van evenredigheid tussen het gebruikte algoritme en de nagestreefde doelstelling?
Wanneer er geen rechtvaardiging is voor het gemaakte onderscheid, spreken we van een verboden direct of indirect onderscheid, ofwel discriminatie. Het algoritme mag in dat geval niet gebruikt worden.
Voor meer toelichting over het uitvoeren van een rechtvaardigingstoets, verwijzen we naar het rapport Discriminatie door risicoprofielen - Een mensenrechtelijk toetsingskader van het College voor de Rechten van de Mens.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/5-ver-02-biasanalyse/#stap-3-voer-een-ethische-wenselijkheidstoets-uit","title":"Stap 3: Voer een ethische wenselijkheidstoets uit","text":"
Bepaal of het geconstateerde onderscheid uit Stap 1 ethisch wenselijk is. Dit hangt samen met de algemene wenselijkheid van de inzet van het algoritme.
In sommige gevallen kan het zo zijn dat ondanks dat er een objectieve rechtvaardiging bestaat voor het gemaakte onderscheid, dit vanuit ethisch perspectief toch onwenselijk is. Bepaal met een grote groep belanghebbenden wat eventuele (nadelige) effecten van het gemaakte onderscheid kunnen zijn, of jullie dit eerlijk vinden en of er eventuele alternatieven zijn.
Opmerking
De bepaling over wat eerlijk is en wat ethisch wenselijk is kan in sommige gevallen ook politiek bevonden worden. Houd hier rekening met de politiek-bestuurlijke verantwoordelijkheden en zorg indien nodig dat de politiek-bestuurlijke verantwoordelijkhden duidelijk zijn.
Wanneer er geen zorgvuldige analyse naar (onwenselijke) bias is uitgevoerd, bestaat het risico dat het gebruik van het algoritme discriminerende effecten met zich meebrengt. Dit kan leiden tot een ongelijke behandeling van burgers met eventuele schade voor betrokkenen.
Er is een wetsvoorstel om de term 'hetero- of homoseksuele gerichtheid' in de Algmemene wet gelijke behandeling (Awgb) te wijzigingen in 'seksuele gerichtheid'. Met deze wijziging sluit de Awgb aan bij een eerdere wijziging van artikel 1 van de Grondwet.\u00a0\u21a9
Zie Discriminatie door risicoprofielen, een mensenrechtelijk toetsingskader, College voor de Rechten van de Mens \u21a9
Zie Discriminatie door risicoprofielen, een mensenrechtelijk toetsingskader, College voor de Rechten van de Mens, College voor de Rechten van de Mens 7 juni 2021, oordeel 2021-70; College voor de Rechten van de Mens 23 april 2015, oordeel 2015-44; College voor de Rechten van de Mens 23 april 2015, oordeel 2014-0426.\u00a0\u21a9
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/5-ver-03-vertaling-wetgeving-naar-systeem/","title":"Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleid","text":"
ver-03Verificatie en validatieJuristGovernanceTransparantie
Stel regelmatig vast dat wetgeving en (lokaal) beleid correct is vertaald naar de uitvoering van het te ondersteunen werkproces en de onderliggende systemen.
Systemen die overheidsorganisaties inzetten voor bijvoorbeeld het verlenen van subsidies, vergunningen of bijstandsuitkeringen moeten de regels en processtappen volgen die in wetgeving zijn voorgeschreven.
Er is een vertaling nodig van deze regels en processtappen naar de uitvoering van het werkproces, het datagebruik en onderliggende systemen.
Algoritmes moeten ook voldoen aan deze regels en processtappen.
Als algoritmes worden ontwikkeld, moet worden onderzocht wat deze regels zijn en hoe deze moeten worden toegepast bij het ontwikkelen van algoritmes.
Het moeten voldoen aan wetgeving en beleid kan dus in zekere zin 'begrenzend' werken op wat mag worden gedaan met algoritmes. Dit is mede afhankelijk van de risico classificatie van de specifieke toepassing.
Voor algoritmes, bijvoorbeeld regelgebaseerde rekenregels, moet bijvoorbeeld nauwkeurig worden geprogrammeerd in welke gevallen welke bedragen moeten worden uitgekeerd voor een bijstandsuitkering.
Voor machine learning algoritmes moet bijvoorbeeld worden vastgesteld of de trainingsdata wel tot stand is gekomen in lijn met wetgeving en vastgesteld beleid (datakwaliteit) en welke verbanden en patronen (inputvariabelen) al dan niet passend zijn bij het ondersteunen van wettelijke taken.
Er is een multidisciplinaire samenwerking nodig tussen de proceseigenaar, gebruikers, juristen, informatieanalisten en ontwikkelaar om deze vertaling zorgvuldig en doorlopend te maken.
Voorafgaand aan het (laten) ontwikkelen van een algoritme moet dit zijn uitgevoerd.
De toegepaste 'business rules' en de verwerkte data voor de uitvoering van het te ondersteunen werkproces met algoritmes moeten worden onderzocht en beoordeeld.
Diepgaande procesanalyses (Bv. BPMN niveau Analytisch) en procesbeschrijvingen kunnen hierbij ondersteunen.
Als blijkt dat een werkproces niet (meer) conform (gewijzigde) wetgeving of beleid wordt uitgevoerd, dan moet worden beoordeeld of de verworven data of welke deel van de data geschikt is voor het ontwikkelen een algoritme.
Het is dan raadzaam om de uitvoering van het betreffende werkproces en de werking van onderliggende systemen eerst te 'herstellen' en om hiermee een nieuw datafundament te cre\u00eberen (eerst een groot aantal zaken behandelen) die later als trainingsdata kan worden gebruikt.
Een beslissing of besluit wordt niet conform wetgeving genomen en is daarmee onrechtmatig, als geen goede vertaling wordt gemaakt van wetgeving naar het algoritme.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-01-werkinstructies-gebruikers/","title":"Stel een werkinstructie op voor gebruikers.","text":"
Het is belangrijk dat gebruikers een werkinstructie ontvangen met informatie over hoe zij met het algoritme kunnen en moeten werken. Hierin worden zaken beschreven als:
Op wat voor manier het algoritme ondersteunt bij het uitvoeren van (wettelijke) taken.
Wat de mogelijkheden en beperkingen zijn bij het gebruik van het algoritme.
Wat de impact is van het gebruik van het algoritme op de samenleving en individuen (denk aan energieverbruik of dat een besluit met rechtsgevolgen wordt genomen).
Wat de risico's zijn die aan het gebruik verbonden zijn (bijv. (automation) bias, false positives/negatives).
Welke maatregelen zijn getroffen om deze risico's te beperken (bijv. bias analyse, 'stopknop' ingebouwd, transparantie over de output).
Hoe de output van het algoritme moet worden ge\u00efnterpreteerd.
Hoe het werkproces kan worden uitgevoerd, zonder ondersteuning van het algoritme.
Welke protocollen er zijn als incidenten zich voordoen.
Denk hierbij na over het eventueel bijscholen van medewerkers als het kennisniveau nog onvoldoende is om de werkinstructies goed te begrijpen.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-02-aselecte-steekproeven/","title":"Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie\u2019 te controleren","text":"
imp-02Dataverkenning en datapreparatieImplementatieMonitoring en beheerOntwikkelaarBias en non discriminatieTechnische robuustheid en veiligheid
Aselecte steekproeven kunnen een waardevolle toevoeging zijn bij risicogestuurde selectie.
Het toevoegen van aselecte steekproeven maakt het mogelijk om over tijd te beoordelen of het algoritme nog voldoende effectief is. Populaties veranderen immers over tijd. Een selectie die het meest effectief was bij ingebruikname, kan over tijd dat niet meer zijn. Door alleen risicogestuurd te selecteren, wordt dit niet inzichtelijk, omdat bepaalde groepen zelden tot nooit gecontroleerd worden. Door de aanvullende mogelijkheid van monitoring, kan over tijd beoordeeld worden of er nog steeds sprake is van de meest proportionele vorm. Als dat niet zo is, kan bijvoorbeeld gekozen worden voor aanpassing van de risicogestuurde selectie of overgaan op volledig aselect.
De maatregel gaat daarmee niet direct discriminatie tegen, omdat er sprake kan zijn van discriminatie ongeacht de effectiviteit van de risicogestuurde selectie. Een lagere effectiviteit maakt het echter lastiger het gemaakte onderscheid te rechtvaardigen.
Het gebruik van een aselecte steekproef is in veel gevallen essentieel om het systeem te kunnen toetsen op vooringenomenheid. Een aselecte steekproef geeft ook inzicht in heel deel van de populatie dat doorgaans niet geselecteerd en behandeld wordt door het betreffende risicogestuurde algoritme. Dit maakt het mogelijk om te toetsen of er sprake is van een over- of ondervertegenwoordiging van bepaalde groepen, of om te bepalen of bepaalde typen fouten vaker gemaakt worden in bepaalde groepen.
Bij AI-systemen die verder leren op basis van verkregen data kan daarnaast sprake zijn van een reinforcing feedbackloop, omdat zij geen representatieve data krijgen. Het toevoegen van aselecte steekproeven kan deze feedbackloop doorbreken.
Het is aan te bevelen om, waar mogelijk, behandelaars niet in te lichten of een casus toegewezen is op basis van een risicogestuurd of aselecte selectie. Daardoor wordt beperkt dat een behandelaar met tunnelvisie een zaak bekijkt. De behandelaar weet immers dat er tussen de selecties zaken zitten waar niet sprake is van verhoogd risico. Op die manier kan automation bias beperkt te worden. Niet in alle gevallen zal dit mogelijk zijn, omdat de behandelaar ook uit andere aangeleverde gegevens kan halen op basis waarvan een casus geselecteerd is. Het is dan belang om op andere wijze de tunnelvisie tegen te gaan.
De precieze inzet van aselecte steekproeven zal afhangen van de context. Zo verschilt het per context hoeveel zaken aselect geselecteerd moeten worden. Bepaal welke groepen er precies vergeleken dienen te worden en bepaal aan de hand daarvan een passende steekproefgrootte zodanig dat er gesproken kan worden over statistische significantie.
In sommige gevallen zal de impact van een selectie ook dusdanig zijn, dat het zich niet leent voor aselecte steekproef. Zo kan een aselecte steekproef wel de basis zijn voor bureauonderzoek, maar mogelijk niet als enige basis voor een huisbezoek. Deze belangenenafweging moet per context gemaakt worden.
In het onderzoek van zowel Algorithm Audit als PricewaterhouseCoopers naar de Controle Uitwonendenbeurs is het belang van de aselecte steekproef duidelijk geworden.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst/","title":"Richt de juiste menselijke controle in van het algoritme","text":"
imp-03OntwerpImplementatieMonitoring en beheerProjectleiderBeleid en adviesMenselijke controleGovernance
Richt (technische) controlemechanismen in voor menselijke tussenkomst (of: menselijke controle) waarmee de output van een algoritme kan worden gecontroleerd.
Algoritmes ondersteunen vaak beslissingen en besluitvorming van overheidsorganisaties. Deze beslissingen of besluiten kunnen betrokkenen in aanmerkelijke mate raken of zelfs rechtsgevolgen hebben. Omdat algoritmes niet foutloos zijn, is het belangrijk dat een mens controleert wat een algoritme doet en, waar nodig, corrigeert. Dit proces heet 'menselijke tussenkomst' en moet betekenisvol zijn, niet slechts symbolisch.
Het inrichten, monitoren en evalueren van menselijke controle is cruciaal om te voorkomen dat algoritmes negatieve effecten veroorzaken of de menselijke autonomie ondermijnen.
Betekenisvolle menselijke controle houdt in dat:
Het toezicht wordt uitgevoerd door iemand die bevoegd en bekwaam is om een beslissing of besluit te wijzigen.
Automatische aanbevelingen niet klakkeloos worden overgenomen. Bijvoorbeeld: een systeem dat standaard een suggestie accepteert door een enkele klik voldoet hier niet aan.
De vormen van menselijke tussenkomst al in een vroeg stadium, bijvoorbeeld in de ontwerpfase, worden vastgesteld op basis van risicoanalyses.
Gebruikers voldoende kennis, tijd en verantwoordelijkheid hebben om weloverwogen beslissingen te nemen over het functioneren van algoritmes. Dit betekent ook dat externe factoren, zoals tijdsdruk of onvoldoende informatie, de beoordeling van de output niet mogen be\u00efnvloeden. (zie ook het onderzoekskader van de ADR, SV.6)
Soms is menselijke tussenkomst minder relevant, zoals bij \u2018gebonden bevoegdheden\u2019. Hierbij is weinig tot geen ruimte om een beslissing of besluit aan te passen. Voorbeelden zijn:
Het opleggen van verkeersboetes onder de Wet administratiefrechtelijke handhaving verkeersvoorschriften (Wahv).
Het automatisch aanpassen van studiefinanciering op basis van inkomenswijzigingen.
Om menselijke tussenkomst goed te organiseren, zijn technische en organisatorische maatregelen nodig. Dit geldt ook wanneer een externe aanbieder de algoritmes levert. In dat geval moet de verantwoordelijke organisatie (gebruiksverantwoordelijke) samen met de aanbieder bepalen hoe menselijke tussenkomst zinvol kan worden ingericht.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst/#inrichten-van-menselijke-controle","title":"Inrichten van menselijke controle","text":"
Er zijn verschillende manieren om menselijke tussenkomst in te richten, afhankelijk van de specifieke toepassing van een algoritme. Hieronder worden vier mogelijkheden beschreven die kunnen worden ingezet, los of in combinatie:
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst/#1-human-in-the-loop","title":"1. Human in the loop","text":"
Bij dit model speelt de mens een actieve rol in elke fase van het algoritme. Deze variant geeft de meeste controle en invloed, maar kan leiden tot vertraagde of minder effici\u00ebnte besluitvorming, vooral bij real-time of zeer complexe taken waarbij snelheid cruciaal is. Een voorbeeld van toepassen van Human-in-the-loop is het nakijken en beoordelen van de output van een algoritme door een mens, telkens voordat een beslissing wordt genomen. Het verwerken van data gebeurt alleen in opdracht van de mens en verder neemt het algoritme of AI model geen autonome beslissingen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst/#2-human-on-the-loop","title":"2. Human on the loop","text":"
Hier behoudt de mens toezicht en kan ingrijpen wanneer dat nodig is, om te garanderen dat een model veilig en ethisch opereert. Dit model biedt daardoor een balans tussen autonome besluitvorming en menselijke controle. Het is vooral nuttig in situaties waarin afwijkende keuzes of acties van het algoritme grote gevolgen kunnen hebben. De menselijke operator houdt de werking van het algoritme in de gaten en staat klaar om in te grijpen of beslissingen terug te draaien wanneer nodig.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst/#3-human-above-the-loop","title":"3. Human above the loop","text":"
In dit model houdt de mens toezicht op een hoger niveau, met een focus op strategische en ethische keuzes, in plaats van dat de menselijke operator zich bezighoudt met directe operationele beslissingen. Dit stelt de mens in staat in te grijpen wanneer kritieke morele, juridische of sociale zorgen ontstaan om het model op de langere termijn bij te sturen. De menselijke tussenkomst is gericht op het bepalen van beleid en de richtlijnen voor algoritmes. Het gaat daarbij niet alleen over het defini\u00ebren van operationele procedures maar ook het maken van bepaalde ethische overwegingen, het zorgen voor naleving van regelgeving en het overwegen van de implicaties van de inzet van algoritmes op de lange termijn.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst/#4-human-before-the-loop","title":"4. Human before the loop","text":"
Hier maakt de mens vooraf ethische en morele afwegingen die in het algoritme zelf worden ingebouwd. Hoewel het model in productie autonoom opereert, zal de menselijke input gedurende de ontwikkeling ervoor zorgen dat het model ook in complexe situaties volgens de juiste (ethische) afwegingen keuzes en acties onderneemt.
Dit model is essentieel in situaties waar menselijk ingrijpen tijdens de uitvoering niet mogelijk is (wanneer er bijvoorbeeld weinig of helemaal geen tijd is om als mens te interveni\u00ebren), maar waar ethische keuzes cruciaal blijven. Denk aan bestrijding van zeemijnen of situaties met zelfrijdende auto\u2019s in onvoorspelbare verkeerssituaties (bron: TNO visiestuk 2022). Deze variant kan ook worden ingezet voor situaties waarin wel nog menselijk ingrijpen mogelijk is.
HvJEU december 2023, ECLI:EU:C:2023:957 (SCHUFA Scoring)
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-04-publiceren-algoritmeregister/","title":"Publiceer impactvolle algoritmes en hoog-risico-AI-systemen in het Algoritmeregister","text":"
imp-04ImplementatieMonitoring en beheerProjectleiderBeleid en adviesTransparantie
De regering wil dat de overheid algoritmes verantwoord gebruikt. Mensen moeten erop kunnen vertrouwen dat algoritmes voldoen aan de waarden en normen van de samenleving.
Wanneer de overheid open is over algoritmes en hun toepassing, kunnen burgers, organisaties en media haar kritisch volgen.
Impactvolle algoritmes en hoog risico AI-systemen moeten daarom worden gepubliceerd in het Algoritmeregister.
In het Algoritmeregister moet uitleg zijn over hoe algoritmes, of het proces wat hiermee wordt ondersteund werkt.
Er is een Handreiking Algoritmeregister opgesteld met informatie over het publiceren van algoritmes in het Algoritmeregister.
De Algoritmeregister Publicatiestandaard kan overheidsorganisaties ondersteunen bij het helpen invullen van het Algoritmeregister.
Sommige overheidsorganisaties publiceren hun algoritmes ook in een eigen Algoritmeregister, zodat burgers dit makkelijker kunnen vinden. Bijvoorbeeld het Algoritmeregister van de Gemeente Rotterdam, het Algoritmeregister van de Gemeente Amsterdam of het Algoritmeregister van het UWV.
Zorg na publicatie dat de informatie in het Algoritmeregister up-to-date blijft en indien nodig regelmatig wordt aangepast.
Gemeente Groningen, Algoritmeregister: Eerste Hulp bij Geldzaken
Gemeente Amsterdam, Algoritemregister: Blurring as a Service
Juryrapport Best Beschreven Algoritme
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-proces-privacyrechten/","title":"Spreek af hoe de organisatie omgaat met privacy-verzoeken","text":"
imp-06OrganisatieverantwoordelijkhedenOntwikkelenProjectleiderBeleid en adviesJuristPrivacy en gegevensbeschermingGovernanceData
Betrokkenen moeten hun persoonsgegevens kunnen inzien, rectificeren, laten verwijderen of het gebruik ervan beperken bij het toepassen van algorimtes.
Betrokkenen moeten hun verzoek kunnen indienen bij de betreffende organisatie. Denk hierbij aan het inrichten van een privacyloket.
Er zullen afspraken moeten worden gemaakt door servicemanagement in te richten hoe deze verzoeken effectief kunnen worden behandeld door bijvoorbeeld door het ontwikkel- of beheerteam (aanbieder).
Bij het inrichten van servicemanagement moet zijn nagedacht over hoe een verzoek tot het inzien, rectificeren, verwijderen of beperken van de verwerking van persoonsgegevens op een betekenisvolle manier kan of moet worden behandeld.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-werkinstructies-medewerkers/","title":"Spreek af hoe medewerkers omgaan met het algoritme.","text":"
imp-05ImplementatieProjectleiderBeleid en adviesGovernanceMenselijke controle
Maak keuzes rondom de rol van het systeem in de werkwijze van medewerkers.
Gebruik duidelijke werkinstructies en protocollen om te voorkomen dat beslissingen, gebaseerd op de output van het systeem, door (automation) bias worden be\u00efnvloed.
Stel een structuur op voor het melden van mogelijke problemen die medewerkers ervaren met het systeem.
Opleiding van medewerkers over:
Algoritmes, waaronder AI;
het systeem waarmee ze gaan werken;
de rol van het systeem in hun werkwijze;
de risico's die aan het gebruik van een systeem verbonden zijn (bijv. (automation) bias, false positives/negatives);
de maatregelen die genomen zijn om deze risico\u2019s te beperken (bijv. willekeurige of fictieve casussen, transparantie over de output).
Bespreek regelmatig de uitdagingen die medewerkers ondervinden bij het werken met het systeem (bijv. tijdsdruk).
Documenteer alle keuzes en de onderliggende redenen/afwegingen rondom menselijke tussenkomst en overzicht. Evalueer en pas gemaakte keuzes waar nodig aan.
Goede samenwerking tussen medewerkers en systemen helpt bij het voorkomen van (automation) bias en discriminatie, het signaleren van algoritmische problemen, en het vermijden van de facto automatische besluitvorming.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring/","title":"Vermeld het gebruik van persoonsgegevens in een privacyverklaring","text":"
imp-07ImplementatieProjectleiderJuristPrivacy en gegevensbeschermingTransparantie
Door in een privacyverklaring te vermelden welke persoonsgegevens worden verwerkt voor het gebruik van een algoritme, wordt een betrokkene ge\u00efnformeerd over de verwerking van diens persoonsgegevens.
Een privacyverklaring kan op organistieniveau worden opgesteld en ook voor specifieke verwerkingen.
In een privacyverklaring wordt in ieder geval het volgende opgenomen:
de identiteit en contactgegevens van uw organisatie. En ook die van vertegenwoordiger in de Europese Unie (EU), als deze er zijn.
de contactgegevens van de functionaris gegevensbescherming (FG), als een organistie deze heeft.
de doeleinden van de verwerking en de AVG-grondslag.
de (categorie\u00ebn van) ontvangers van de persoonsgegevens.
of de persoonsgegevens door worden geven buiten de EER of aan een internationale organisatie. En zo ja, op welke juridische grond.
de bewaartermijn van de gegevens.
de privacyrechten van de betrokkenen, zoals het recht op inzage, rectificatie en gegevens verwijderen.
het recht van de betrokkenen om de toestemming die zij voor een bepaalde verwerking hebben gegeven, altijd weer te mogen intrekken.
dat de betrokkenen een klacht kunnen indienen bij de privacytoezichthouder. In Nederland is dat de Autoriteit Persoonsgegevens (AP).
of de betrokkenen verplicht zijn de persoonsgegevens te verstrekken. En zo ja, waarom. Vermeld dan ook wat de gevolgen zijn als zij de gegevens niet verstrekken.
of er sprake is van geautomatiseerde besluitvorming, inclusief profilering. En zo ja, hoe deze beslissing wordt genomen.
als persoonsgegevens van een andere organisatie zijn ontvangen: de bron waar de persoonsgegevens vandaan komen. En of de gegevens afkomstig zijn van openbare bronnen.
Het is denkbaar dat in een specifieke privacyverklaring informatie over onderliggende logica van het algoritme, alsmede het belang en de verwachte gevolgen van die verwerking voor de betrokkene. Het is ook denkbaar dat deze informatie in het algoritmeregister wordt opgenomen.
Als ervoor wordt gekozen om het algoritme uit te faseren, dan moet informatie in het algoriteregister hierop worden aangepast.
Betrokkenen zijn niet op de hoogte dat hun persoonsgegevens worden verwerkt met een algoritme, waardoor zij hier geen controle over hebben en zich niet kunnen beroepen op hun privacyrechten.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-07-klacht-bezwaar-beroep/","title":"Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme en monitor dit proces.","text":"
imp-09ImplementatieMonitoring en beheerProjectleiderOntwikkelaarGovernance
Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme. Zorg voor goede monitoring van dit proces zodat het projectteam op de hoogte is van klachten, bezwaren en beroepen over het systeem.
Een goede datahuishouding van de binnengekomen bezwaren, klachten en beroepen is essentieel om de informatie rondom de klachten, bezwaren en beroepen vanuit datagedreven perspectief te kunnen monitoren.
Goede monitoring kan ervoor zorgen dat eventuele patronen in bezwaar, klacht en beroep snel gesignaleerd worden. Eventuele patronen in klacht, bezwaar en beroep kunnen duiden op problemen in het functioneren van het algoritme. Dit kan bijvoorbeeld duiden op discriminerende effecten van het algoritme, waardoor nader onderzoek wenselijk is.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-07-klacht-bezwaar-beroep/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-08-vermelding-in-verwerkingsregister/","title":"Vermeld het gebruik van persoonsgegevens in het verwerkingsregister","text":"
imp-08ImplementatieProjectleiderJuristTransparantiePrivacy en gegevensbescherming
Door in het verwerkingsregister te vermelden welke persoonsgegevens worden verwerkt voor het gebruik van een algoritme, wordt een betrokkene ge\u00efnformeerd over de verwerking van diens persoonsgegevens
Hiermee is ook voor de organisatie intern inzichtelijk welke persoonsgegevens voor welke toepassingen worden verwerkt;
Het is van belang dat vanaf het moment dat persoonsgegevens worden verwerkt, meteen een vermelding hiervan wordt gemaakt in het verwerkingsregister;
Dat betekent dat als persoonsgegevens worden verwerkt bij het ontwikkelen en trainen van het algoritme, en deze nog niet in gebruik zijn genomen, al een vermelding moet worden gedaan in het verwerkingsregister;
Bij be\u00ebindiging van het gebruik van het algoritme, moet het verwerkingsregister worden aangepast.
Betrokkenen en de interne organisatie zijn niet op de hoogte welke persoonsgegevens worden verwerkt met een algoritme, waardoor zij hier geen controle over hebben.
Blurring as a Service, Verwerkingsregister gemeente Amsterdam
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-09-politiek-bestuurlijk-besluit/","title":"Maak een openbaar besluit over de inzet van het algoritme","text":"
Door een politiek-bestuurlijk besluit te nemen over de inzet of be\u00ebindiging van een impactvol algoritme, wordt een afweging en keuze gemaakt over de wenselijkheid, haalbaarheid, transparantie, invulling van menselijke controle en eventueel de mate van onbewuste vooringenomenheid van het betreffende algoritme.
Impactvolle algoritmes bevatten aspecten die vragen om politieke afwegingen, en niet enkel door de ambtelijke organistie mogen worden beoordeeld.
Een voorbeeld van een politiek afweging is wanneer er wel of geen sprake is van een gerechtvaardigd onderscheid wat wordt gemaakt door een algoritme.
Het is van belang dat overheidsorganisaties een politiek-bestuurlijk kader opstellen waarin wordt beschreven hoe wordt omgegaan met dergelijke gevallen.
Een openbaar besluit draagt bij aan de legitimiteit van de inzet van het algoritme en de controleerbaarheid van de overheidsorganisatie.
De ambtelijke organisatie maakt politieke-bestuurlijke afwegingen en beslissingen bij de inzet of be\u00ebindiging van het gebruik van impactvolle algoritmes, terwijl deze daar niet toe bevoegd is.
Back-up kopie\u00ebn van informatie, software en systeemafbeeldingen dienen regelmatig te worden gemaakt en getest. Idealiter gebeurt dit in overeenstemming met een afgesproken back-up beleid. Maak back-ups van de omgeving van het algoritme en zorg ervoor dat het algoritme en de data hersteld kunnen worden.
Er is een back-up beleid waarin de eisen voor het bewaren en beschermen zijn gedefinieerd en vastgesteld. Dit beleid moet vervolgens worden vertaald naar (technische) maatregelen om het kunnen maken van back-ups te realiseren.
Als er geen regelmatige back-ups worden gemaakt en de restore-procedure niet regelmatig wordt getest, bestaat het risico dat er geen hersteloptie is en mogelijkheid van gegevensverlies.
Zorg voor een goede beveiliging van de verschillende softwarecomponenten van een algoritme. Bepaal of de data voldoende is beveiligd en maak hierin onderscheid tussen de inputdata en de outputdata.
Er zijn beheersmaatregelen die kunnen helpen bij het zorgen voor een goede beveiliging van verschillende (software-)componenten van een algoritme. Hierbij kan worden gedacht aan: Het toepassen van wachtwoordbeheer. Baseline Informatiebeveiliging Overheid, de NCSC Handreiking voor implementatie van detectieoplossingen en het Impact Assessment Mensenrechten en Algoritmes.
Inzicht cre\u00ebren in de beoogde opzet van de IT-infrastructuur (de architectuur) en de werkelijk geconfigureerde hard- en software. (CIS Control 1, BIO 8.1.1).
Inrichten van een formeel proces voor het beheer van technische kwetsbaarheden. Dit omvat minimaal periodieke (geautomatiseerde) controle op de aanwezigheid van kwetsbaarheden in de te toetsen systemen, een risicoafweging en navolgbare afwerking daarvan of risicoacceptatie (BIO 12.6).
Beoordelen, patchen en updaten van kwetsbaarheden in IT-systemen als deze bekend zijn. (BIO 12.6.1)
Verwijderen of deactiveren van softwarecomponenten en services die niet noodzakelijk zijn voor het functioneren van het algoritme om beveiligingsrisico\u2019s te beperken. (BIO 12.6.1)
Er vindt zonering plaats binnen de technische infrastructuur conform de uitgangspunten die zijn vastgelegd in een operationeel beleidsdocument, waarbij minimaal sprake is van scheiding tussen vertrouwde en onvertrouwde netwerken (BIO 9.4.2). Denk ook aan het scheiden in netwerken (BIO 13.1.3).
Actieve monitoring van de algoritme data vindt plaats zodat beveiligingsincidenten en -gebeurtenissen in een vroeg stadium worden gedetecteerd. (BIO 12.4.1, NCSC Handreiking voor implementatie van detectieoplossingen).
Netwerkverkeer en componenten worden actief gemonitord. (BIO 12.4.1).
Beoordeel of de data ten behoeve van het ontwikkelen en gebruiken van het algoritme voldoende is beveiligd. Maak hierin onderscheid tussen de trainingsdata, inputdata en de outputdata.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/7-mon-03-informatiebeveiligingsincidenten/","title":"Maak een noodplan voor beveiligingsincidenten","text":"
mon-03OrganisatieverantwoordelijkhedenMonitoring en beheerProjectleiderBeleid en adviesJuristTechnische robuustheid en veiligheidGovernance
Er zijn procedures aanwezig die borgen dat beveiligingsincidenten m.b.t. algoritmes en data zo spoedig mogelijk, afhankelijk van de kwalificatie van het incident, worden opgepakt.
Te late reactie op incidenten kan ervoor zorgen dat de BIV (beschikbaarheid, integriteit en vertrouwelijkheid) van het algoritme of data kan worden aangetast.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/7-mon-04-evalueer-bij-veranderingen-in-data/","title":"Monitor regelmatig op veranderingen in de data. Bij veranderingen evalueer je de prestaties en output van het algoritme.","text":"
mon-04Monitoring en beheerOntwikkelaarDataTechnische robuustheid en veiligheid
De inputdata kan voortdurend veranderen. Dat kan komen doordat de context waarin het algoritme wordt gebruikt verandert, of door een technische fout wanneer de data bijvoorbeeld niet goed is ingelezen of aangeleverd. Het te laat opmerken van zo'n verandering kan grote gevolgen hebben. Daarom is het belangrijk om regelmatig te controleren en evalueren of:
de data van voldoende kwaliteit is voor de beoogde toepassing
of het algoritme nog presteert in lijn met de vastgestelde doelen
de gegevens op de juiste en volledige manier worden verwerkt.
Zeker wanneer er gebruikt wordt gemaakt van informatie van derden, is het belangrijk om regelmatig te controleren of er veranderingen in de data zijn. Goede monitoring op datakwaliteit zorgt ervoor dat je voldoende controle hebt over de kwaliteit van de data, zelfs als je hiervoor afhankelijk bent van andere partijen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/7-mon-05-meten-milieu-impact/","title":"Meten, monitoren en rapporteren van milieu-impact van algoritmes","text":"
mon-05OntwerpMonitoring en beheerOntwikkelaarBeleid en adviesProjectleiderDuurzaamheid
Inventariseer en monitor de milieu-impact van algoritmes (bijvoorbeeld door het doen van een impact-assessment), zowel tijdens ontwerp als bij het gebruik, en rapporteer deze om duurzame keuzes mogelijk te maken.
De milieu-impact van algoritmes kan worden gemeten en geoptimaliseerd door een Digital Product Passport (DPP) te overwegen. DPP's bieden een platform voor duurzame rapportage door middel van real-time informatie over onder andere CO\u2082-uitstoot, herkomst en energiegebruik, wat kan helpen om de ecologische voetafdruk van een algoritme transparant te maken. Door deze gegevens structureel te verzamelen en te delen, kunnen gebruikers en bedrijven inzicht krijgen in de duurzaamheidsprestaties. De milieu-impact van verschillende algoritmes/modellen kan een rol spelen bij het kiezen van een model in de ontwerpfase. Ook kan het ervoor zorgen dat je later kiest om een ander model te gebruiken, of het gebruik van een model of systeem zelfs te be\u00ebindigen.
Wanneer de milieu-impact (in bepaalde mate) inzichtelijk is, kan er een milieu-impact assessment worden gedaan. Ga na of je organisatie die een heeft of overweeg deze te ontwikkelen.
Probeer ook periodieke monitoringsrapporten op te stellen waarin de milieu-impact van algoritmes wordt bijgehouden. Hiermee vergroot je de duurzaamheid door tijdig verbeteringen te signaleren en door te voeren. Hierbij kan ook een onderscheid worden gemaakt in de impact tijdens de trainingsfase van het algoritme en de gebruiksfase.
Wanneer in de ontwerpfase niet wordt nagedacht over milieu-impact kan onbewust voor een algoritme of model worden gekozen dat meer energie verbruikt (en wellicht hogere kosten met zich mee brengt) dan een model dat misschien even goed presteert voor het gekozen doel. Zonder structurele monitoring van de milieu-impact kan de organisatie onbewust bijdragen aan een hoge CO\u2082-uitstoot en hoge energieverbruikskosten.
Overzicht van de belangrijkste vereisten voor overheden die algoritmes of AI-systemen ontwikkelen of gebruiken.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/#wetten-en-regels","title":"Wetten en regels","text":"
De vereisten zijn gebaseerd op de wetten en regels voor het uitvoeren van wettelijke taken, zoals de:
AI-verordening
Algemene verordening gegevensbescherming (AVG)
Algemene wet bestuursrecht (Awb)
Algemene wet gelijke behandeling (Awgb)
Auteurswet
Baseline Informatiebeveiliging Overheid (BIO)
Grondwet
Bij elke vereiste staat de bron er duidelijk bij.
Let op!
Het Algoritmekader biedt een overzicht van de belangrijkste vereisten. Dit is niet volledig. Sectorspecifieke wetgeving is bijvoorbeeld niet meegenomen. Hierdoor kan het zijn dat er meer regelgeving van geldt voor jouw toepassing.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/#aantal-vereisten-verschilt-per-situatie","title":"Aantal vereisten verschilt per situatie","text":"
Welke vereisten gelden voor jouw organisatie, hangt af van:
de technologie die je gebruikt: rekenregels, machinelearning of generatieve AI
de risicoclassificatie van het algoritme dat je gebruikt
je rol: ben je ontwikkelaar of alleen gebruiker van het algoritme?
Impactvolle algoritmes en AI-systemen worden gepubliceerd in het Nederlandse algoritmeregister.
Deze vereiste geldt alleen voor impactvolle algoritmes en hoog-risico-AI-systemen. Een niet-impactvolle rekenregel hoef je niet te registreren.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-01-ai-geletterdheid/","title":"Personeel en gebruikers zijn voldoende AI-geletterd","text":"
Aanbieders en gebruiksverantwoordelijken van AI-systemen nemen maatregelen om, zoveel als mogelijk, te zorgen voor een toereikend niveau van AI-geletterdheid bij hun personeel en andere personen die namens hen AI-systemen exploiteren en gebruiken, en houden daarbij rekening met hun technische kennis, ervaring, onderwijs en opleiding en de context waarin de AI-systemen zullen worden gebruikt, evenals met de personen of groepen personen ten aanzien van wie de AI-systemen zullen worden gebruikt.
Aanbieders en gebruiksverantwoordelijken van AI-systemen nemen maatregelen om ervoor te zorgen dat hun personeel en andere betrokkenen voldoende kennis hebben van AI. Dit omvat het bevorderen van kennis over de techniek, evenals kennis over de context waarin de AI-systemen worden gebruikt en de gebruikers van deze systemen. Daarnaast moet er worden ingezet op het delen van ervaringen, passend onderwijs en opleiding van inidividuen. Het doel is om een adequaat niveau van begrip en vaardigheden te waarborgen, wat bijdraagt aan een verantwoord gebruik van AI en het minimaliseren van risico's.
Onvoldoende AI-geletterdheid kan leiden tot misbruik of onjuist gebruik van AI-systemen en tot situaties waarin AI-systemen verkeerd worden ingezet, onbedoeld gebruikt worden voor taken waar ze niet geschikt voor zijn, of dat de veiligheid en effectiviteit van de systemen in het gedrang komt. Dit kan leiden tot ineffici\u00ebntie, fouten, en mogelijk schade aan organisaties, gebruikers of betrokkenen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-02-documentatie-beoordeling-niet-hoog-risico-ai/","title":"Beoordeling als niet 'hoog-risico-AI-systeem' is gedocumenteerd","text":"
Een aanbieder die van mening is dat een in bijlage III bedoeld AI-systeem geen hoog risico inhoudt, documenteert zijn beoordeling voordat dat systeem in de handel wordt gebracht of in gebruik wordt gesteld. Die aanbieder is onderworpen aan de registratieverplichting van artikel 49, lid 2 AI-verordening. Op verzoek van de nationale bevoegde autoriteiten verstrekt de aanbieder de documentatie van de beoordeling.
Een aanbieder die oordeelt dat een AI-systeem niet valt onder hoog-risico zoals gefedinieerd in bijlage III van de AI-verordening, documenteert deze beoordeling voorafgaand aan het in de handel brengen of in gebruik nemen van het systeem. Op verzoek van de nationale autoriteiten verstrekt de aanbieder de documentatie van de beoordeling. De aanbieder of in voorkomend geval de gemachtigd registreert zichzelf en het betreffende AI-systeem in de EU-databank (artikel 71 AI-verordening). AI-systemen met een hoog risico als bedoeld in punt 2 van bijlage III (kritieke infrastructuur) worden op nationaal niveau geregistreerd.
Bijlage III Verordening Artifici\u00eble Intelligentie
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-02-documentatie-beoordeling-niet-hoog-risico-ai/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Gebrek aan transparantie en verantwoording bij risicobeoordeling kan leiden tot onrechtmatig in de markt brengen en onrechtmatig gebruik van risicovolle AI-systemen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-03-risicobeheersysteem/","title":"Hoog-risico-AI-systemen zijn voorzien van een risicobeheersysteem","text":"
Het systeem voor risicobeheer moet bestaan uit een tijdens de gehele levensduur van een AI-systeem met een hoog risico doorlopend en gepland iteratief proces. Dit proces moet gericht zijn op het vaststellen en beperken van de relevante risico\u2019s van AI-systemen voor de gezondheid, veiligheid en grondrechten. Het systeem voor risicobeheer moet periodiek worden ge\u00ebvalueerd en geactualiseerd om de blijvende doeltreffendheid ervan te waarborgen, alsook de motivering en de documentatie van eventuele significante besluiten en maatregelen die op grond van de AI-verordening zijn genomen.
Dit proces moet ervoor zorgen dat de aanbieder de risico\u2019s of negatieve effecten vaststelt en risicobeperkende maatregelen uitvoert voor de bekende en de redelijkerwijs te voorziene risico\u2019s van AI-systemen voor de gezondheid, veiligheid en grondrechten. Hierin moeten ook maatregelen zitten voor redelijkerwijs te voorzien misbruik, met inbegrip van de mogelijke risico\u2019s die voortvloeien uit de wisselwerking tussen het AI-systeem en de omgeving waarin het werkt. Het systeem voor risicobeheer moet de passendste risicobeheersmaatregelen vaststellen. Bij het vaststellen van de passendste risicobeheersmaatregelen moet de aanbieder de gemaakte keuzes documenteren en toelichten en, in voorkomend geval, deskundigen en externe belanghebbenden betrekken. Bij het vaststellen van het redelijkerwijs te voorzien misbruik van AI-systemen met een hoog risico moet de aanbieder aandacht hebben voor het gebruik van AI-systemen waarvan, hoewel zij niet rechtstreeks onder het beoogde doel vallen en niet in de gebruiksinstructies worden vermeld, mag worden verwacht dat zij kunnen voortvloeien uit gemakkelijk voorspelbaar menselijk gedrag.
Het ontbreken van risicobeheer kan leiden tot schade aan gebruikers of derden en wettelijke aansprakelijkheid voor de aanbieder.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-04-risicobeoordeling-voor-jongeren-en-kwetsbaren/","title":"Hoog-risico-AI-systemen vormen geen risico voor kwetsbare groepen zoals kinderen","text":"
aia-04OntwerpMonitoring en beheerProjectleiderBeleid en adviesFundamentele rechtenBias en non discriminatie
Bij het doorlopen, periodieke systematische toetsing en actualisatie van het risicosysteem nemen aanbieders in overweging of het beoogde doel van het AI-systeem negatieve effecten zal hebben op personen jonger dan 18 jaar of andere kwetsbare groepen.
Bij de uitvoering van het in de leden 1 tot en met 7 van art. 9 AI-Verordening bedoelde systeem voor risicobeheer houden aanbieders rekening met de vraag of het beoogde doel van het AI-systeem met een hoog risico waarschijnlijk negatieve gevolgen zal hebben voor personen jonger dan 18 jaar en, in voorkomend geval, voor andere groepen kwetsbare personen. Er moet een grondige risicoanalyse plaatsvinden en worden vertaald naar mitigerende maatregelen om het risico te elimineren of te mitigeren.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-04-risicobeoordeling-voor-jongeren-en-kwetsbaren/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Niet adequaat adresseren van risico's voor jongeren en kwetsbare groepen kan leiden tot ernstige ethische en maatschappelijke schade.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria/","title":"Datasets voor hoog-risico-AI-systemen voldoen aan kwaliteitscriteria","text":"
aia-05Dataverkenning en datapreparatieVerificatie en validatieProjectleiderOntwikkelaarData
AI-systemen met een hoog risico die technieken gebruiken die het trainen van AI-modellen met data omvatten, worden ontwikkeld op basis van datasets voor training, validatie en tests die voldoen aan de kwaliteitscriteria telkens wanneer dergelijke datasets worden gebruikt.
AI-systemen met een hoog risico die data gebruiken voor het trainen van AI-modellen, moeten gebaseerd zijn op datasets die voldoen aan specifieke kwaliteitscriteria. Deze criteria zorgen ervoor dat de data geschikt zijn voor training, validatie en tests, wat de betrouwbaarheid en nauwkeurigheid van het AI-systeem waarborgt.
Deze vereiste houdt in dat de gebruikte datasets onder meer moeten voldoen aan:
datasets voor training, validatie en tests worden onderworpen aan praktijken op het gebied van databeheer die stroken met het beoogde doel van het AI-systeem met een hoog risico. Dit heeft in het bijzonder betrekking op relevante ontwerpkeuzes, processen voor dataverzameling, verwerkingsactiviteiten voor datavoorbereiding, het opstellen van aannames met name betrekking tot de informatie die de data moeten meten en vertegenwoordigen, beschikbaarheid, kwantiteit en geschiktheid van de datasets en een beoordeling op mogelijke vooringenomenheid en passende maatregelen om deze vooringenomenheid op te sporen, te voorkomen en te beperken.
datasets voor training, validatie en tests zijn relevant, voldoende representatief en zoveel mogelijk foutenvrij en volledig met het oog op het beoogde doel.
Er wordt rekening gehouden met de eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, contextuele, functionele of gedragsomgeving waarin het AI-systeem wordt gebruikt.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Gebruik van laagkwalitatieve of bevooroordeelde datasets kan leiden tot onbetrouwbare en oneerlijke AI-besluitvorming. Onvoldoende kwaliteitsborging van testdata kan leiden tot vertekende resultaten en gebrekkige prestaties van het AI-systeem bij gebruik in de praktijk.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-06-technische-documentatie/","title":"Hoog-risico-AI-systemen zijn voorzien van voldoende technische documentatie","text":"
aia-06Dataverkenning en datapreparatieOntwikkelenVerificatie en validatieProjectleiderOntwikkelaarTransparantieTechnische robuustheid en veiligheid
De technische documentatie van een AI-systeem met een hoog risico wordt opgesteld voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld, en wordt geactualiseerd. De technische documentatie wordt op zodanige wijze opgesteld dat wordt aangetoond dat het AI-systeem met een hoog risico in overeenstemming is met de eisen van Afdeling 2 van de AI-verordening en dat nationale bevoegde autoriteiten en aangemelde instanties over de noodzakelijke, op heldere en begrijpelijke wijze gestelde informatie beschikken om de overeenstemming van het AI-systeem met deze voorschriften te kunnen beoordelen.
De technische documentatie van een AI-systeem met een hoog risico wordt voorafgaand aan het in de handel brengen of in gebruik nemen opgesteld en regelmatig bijgewerkt. Deze documentatie moet duidelijk aantonen dat het systeem voldoet aan de vereisten van de verordening, zodat nationale autoriteiten en aangemelde instanties de naleving kunnen beoordelen.
De documentatie bevat ten minste de elementen zoals uiteengezet in bijlage IV:
Een algemene beschrijving van het AI-syseem.
Een gedetailleerde beschrijving van de elementen van het AI-systeem en het proces voor de ontwikkeling ervan.
Gedetailleerde informatie over de monitoring, werking en controle van het AI-systeem.
Een beschrijving van de geschiktheid van de prestatiestatistieken.
Een gedetailleerde beschrijving van het systeem voor risicobeheer overeenkomstig artikel 9 van de AI verordening.
Een beschrijving van de wijzigingen die tijdens de levensduur worden aangebracht.
Een lijst van normen die worden toegepast.
Een exemplaar van de EU-conformiteitsverklaring.
Een gedetailleerde beschrijving voor evaluatie van prestaties nadat het systeem in handel is gebracht, in overeenstemming met artikel 72 van de AI-verordening.
De documentatie kan opgevraagd worden door een bevoegde autoriteit met een met redenen omkleed verzoek, zoals toegelicht in artikel 21 van de AI-verordening.
Bijlage IV Verordening Artifici\u00eble Intelligentie
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-06-technische-documentatie/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Het ontbreken van de benodigde informatie over de algoritmische toepassing of AI-systeem kan ertoe leiden dat de technische functionering onduidelijk is. Dat kan tot problemen leiden bij de verantwoording, controle en het beheer. Onvolledige of ontoereikende technische documentatie kan leiden tot onduidelijkheid over de conformiteit van het AI-systeem met de regelgeving, wat de veiligheid en naleving in gevaar kan brengen.
Gemeente Amsterdam - Onderzoekswaardigheid Algoritme \u2018Slimme check\u2019. (Een tool die de medewerkers helpt om te bepalen of een aanvraag levensonderhoud onderzoekswaardig is, niet meer in gebruik!): Technische documentatie.
Algoritmes en AI-systemen zijn dusdanig technisch vormgegeven dat gebeurtenissen gedurende hun levenscyclus automatisch worden geregistreerd (\u201clogs\u201d).
AI-systemen met een hoog risico zijn ontworpen met functionaliteiten die gebeurtenissen gedurende hun levenscyclus automatisch registreren. Dit wordt vaak aangeduid als \"logs\". Deze logs bieden een traceerbaarheidsmechanisme waarmee gebruiksverantwoordelijken en autoriteiten incidenten en fouten kunnen analyseren, naleving kunnen controleren en mogelijke risico's kunnen identificeren en aanpakken. Het doel van deze registratie is om de transparantie en verantwoordingsplicht van AI-systemen te vergroten, waardoor het beheer van risico's en incidenten verbetert.
Voor AI-systemen met een hoog-risico voorziet de loggingcapaciteit ten minste in:
de registratie van de duur van elk gebruik van het systeem;
de referentiedatabank aan de hand waarvan de inputdata zijn gecontroleerd door het systeem;
de inputdata ten aanzien waarvan de zoekopdracht een match heeft opgeleverd;
de identificatie van natuurlijke personen die betrokken zijn bij de verificatie van de resultaten. Specifiek voor gebruiksverantwoordelijken
Voor AI-systemen die door bestuursorganen worden gebruikt of AI-systmen die persoonsgegevens verwerken leveren de BIO en AVG vergelijkbare verplichingen op die ook van toepassing zijn op AI-systmen die niet gezien worden als een AI-systeem met hoog risico. Daarbij komen nog verplichtingen om de logs doorlopend of periodiek te monitoren op incidenten.
Artikel 5 en 32 Algemene Verordening Gegevensbescherming
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-07-automatische-logregistratie/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenhoog risico AI-systeemAanbieder
Ontbreken van automatische logregistratie kan leiden tot een gebrek aan transparantie en traceerbaarheid van het AI-systeem, wat het vermogen om verantwoordelijkheid te nemen en eventuele problemen aan te pakken belemmert en betrokkenen wiens persoonsgegevens worden verwerkt of geraakt worden door beslissingen van het AI-systeem in hun rechten kunnen worden beperkt.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-08-transparantie-aan-gebruiksverantwoordelijken/","title":"Hoog-risico-AI-systemen zijn op een transparante manier ontwikkeld en ontworpen","text":"
aia-08OntwerpOntwikkelenMonitoring en beheerProjectleiderOntwikkelaarBeleid en adviesTransparantie
AI-systemen met een hoog risico worden op zodanige wijze ontworpen en ontwikkeld dat de werking ervan voldoende transparant is om gebruiksverantwoordelijken in staat te stellen de output van een systeem te interpreteren en op passende wijze te gebruiken. Een passende soort en mate van transparantie wordt gewaarborgd met het oog op de naleving van de relevante verplichtingen van de aanbieder en de gebruiksverantwoordelijke zoals uiteengezet in afdeling 3 van Artikel 13 van de AI verordening.
AI-systemen met een hoog risico worden ontworpen en ontwikkeld met een hoge mate van transparantie, zodat gebruikers de output van het systeem kunnen begrijpen en correct kunnen gebruiken. Dit zorgt ervoor dat de aanbieders en gebruikers kunnen voldoen aan de verplichtingen zoals uiteengezet in de relevante regelgeving, waardoor de betrouwbaarheid en verantwoordelijkheid van het gebruik van deze systemen worden verzekerd. In artikel 13 lid 3 is een overzicht gegeven van de informatie die gebruikersinstructies tenminste moeten bevatten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-08-transparantie-aan-gebruiksverantwoordelijken/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Onvoldoende transparantie kan leiden tot een gebrek aan begrip over hoe het AI-systeem functioneert, wat de effectiviteit van de inzet ervan kan belemmeren en de naleving van wettelijke verplichtingen in gevaar kan brengen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-09-menselijk-toezicht/","title":"Hoog-risico-AI-systemen staan onder menselijk toezicht","text":"
aia-09OntwerpOntwikkelenMonitoring en beheerProjectleiderMenselijke controle
AI-systemen met een hoog risico worden zodanig ontworpen en ontwikkeld, met inbegrip van passende mens-machine-interface-hulpmiddelen, dat hierop tijdens de periode dat zij worden gebruikt, op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen.
Het menselijk toezicht is gericht op het voorkomen of beperken van de risico\u2019s voor de gezondheid, veiligheid of grondrechten die zich kunnen voordoen wanneer een AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik, met name wanneer dergelijke risico\u2019s blijven bestaan ondanks de toepassing van andere eisen van deze afdeling.
De toezichtmaatregelen staan in verhouding met de risico's, de mate van autonomie en de gebruikscontext van het AI-systeem met een hoog risico. Hierbij kan het gaan om:
door de aanbieder bepaalde maatregelen die waar technisch haalbaar in het AI-systeem met een hoog risico worden ingebouwd voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld;
door de aanbieder bepaalde maatregelen voordat het AI-systeem met een hoog risico in de handel wordt gebracht of in gebruik wordt gesteld en die passend zijn om door de gebruiksverantwoordelijke te worden uitgevoerd.
De natuurlijke personen die verantwoordelijk zijn voor het menselijk toezicht, moeten in staat worden gesteld om waar passend en in verhouding tot de omstandigheden het volgende te kunnen doen:
Goed kunnen begrijpen van de relevante capaciteiten en beperkingen van het AI-systeem met een hoog risico. Met het oog op het opsporen en aanpakken van onregelmatigheden, storingen en onverwachte prestaties moet de werking van het AI-systeem goed kunnen worden begrepen;
Bewust blijven van de mogelijke neiging om automatisch of te veel te vertrouwen op de output van een AI-systeem met hoog risico (automation bias). Dit geldt in het bijzonder voor het gebruik van een hoog risico AI-systeem dat wordt gebruikt om informatie of aanbevelingen te versterkken voor beslisisngen die door natuurlijke personen moeten worden genomen;
De output juist kunnen interpreteren, bijvoorbeeld met behulp van de juiste hulpmiddelen en methoden voor interpretatie;
In alle specifieke situaties kunnen besluiten om het hoog risico AI-systeem niet te gebruiken of de output op een andere wijze te negeren, door een andere beslissing te vervangen of terug te draaien;
ingrijpen in de werking van het hoog risico AI-systeem of het systeem onderbreken door middel van een stopknop of een vergelijkbare procedure waarmee het systeem op een veilige wijze kan worden stopgezet.
In het geval van een hoog risico systeem als bedoeld in bijlage III, punt 1, a (systemen voor biometrische identificatie op afstand) geldt het vereiste dat twee natuurlijke personen met de nodige bekwaamheid, opleiding en bevoegdheid apart de indentificatie van het systeem verifici\u00ebren en bevestigen, tenzij het wordt gebruikt voor rechtshandhaving, migratie, grenstoezicht of asiel, in gevallen waarin het Unierecht of het nationale recht de toepassing van dit vereiste onevenredig acht.
Ontbreken van betekenisvol menselijk toezicht kan leiden tot gebrek aan controle en begrip over het functioneren van het AI-systeem, wat kan resulteren in ongewenste of onvoorspelbare uitkomsten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-10-nauwkeurigheid-robuustheid-cyberbeveiliging/","title":"Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveilig","text":"
aia-10OntwerpOntwikkelenVerificatie en validatieMonitoring en beheerProjectleiderBeleid en adviesOntwikkelaarTechnische robuustheid en veiligheid
AI-systemen met een hoog risico worden op zodanige wijze ontworpen en ontwikkeld dat deze een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging bieden, alsook consistente prestaties gedurende de levensduur met betrekking tot deze aspecten.
AI-systemen met een hoog risico worden zorgvuldig ontworpen en ontwikkeld om een hoog niveau van nauwkeurigheid, robuustheid en cyberbeveiliging te bieden. Dit garandeert consistente prestaties gedurende hun levensduur en minimaliseert risico's met betrekking tot deze aspecten, waardoor de betrouwbaarheid en veiligheid van het systeem worden gewaarborgd.
Technische robuustheid is een essenti\u00eble eis voor AI-systemen met een hoog risico. Deze systemen moeten bestand zijn tegen schadelijk of anderszins ongewenst gedrag dat kan voortvloeien uit de beperkingen binnen de systemen of de omgeving waarin de systemen opereren (bijvoorbeeld fouten, onregelmatigheden, onverwachte situaties). Daarom moeten technische en organisatorische maatregelen worden getroffen om de robuustheid van AI-systemen met een hoog risico te waarborgen. Een technische oplossing kan bijvoorbeeld bestaan uit mechanismen die het systeem in staat stellen zijn werking veilig te onderbreken (storingsbeveiligingsplannen) wanneer zich bepaalde anomalie\u00ebn voordoen of wanneer de werking buiten bepaalde vooraf bepaalde grenzen plaatsvindt.
Cyberbeveiliging is cruciaal om te waarborgen dat AI-systemen bestand zijn tegen pogingen van kwaadwillige derden die gebruikmaken van de kwetsbaarheden van het systeem om het gebruik, het gedrag of de prestaties ervan te wijzigen of de veiligheidskenmerken ervan in gevaar te brengen. Bij cyberaanvallen tegen AI-systemen kunnen AI-specifieke activa worden gebruikt, zoals trainingsdatasets (bv. datavervuiling) of getrainde modellen (bv. vijandige aanvallen of membership inference), of kwetsbaarheden in de digitale activa van het AI-systeem of de onderliggende ICT-infrastructuur worden benut. Om te zorgen voor een niveau van cyberbeveiliging dat aansluit op de risico\u2019s, moeten aanbieders van AI-systemen met een hoog risico passende maatregelen zoals veiligheidscontroles nemen, waarbij ook rekening wordt gehouden met de onderliggende ICT infrastructuur.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-10-nauwkeurigheid-robuustheid-cyberbeveiliging/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Gebrek aan nauwkeurigheid, robuustheid of cyberbeveiliging kan leiden tot onbetrouwbare prestaties, kwetsbaarheid voor storingen en blootstelling aan beveiligingsrisico's, wat de effectiviteit en veiligheid van het AI-systeem in gevaar kan brengen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-11-systeem-voor-kwaliteitsbeheer/","title":"Hoog-risico-AI-systemen zijn voorzien van een kwaliteitsbeheersysteem","text":"
aia-11OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Aanbieders van AI-systemen met een hoog risico voorzien in een systeem voor kwaliteitsbeheer dat de naleving van deze verordening waarborgt. Dit systeem wordt op systematische en ordelijke wijze gedocumenteerd in de vorm van schriftelijke beleidslijnen, procedures en instructies en omvat ten minste de aspecten vermeld in artikel 17 AI-verordening.
Aanbieders van AI-systemen met een hoog risico moeten een kwaliteitsbeheersysteem implementeren om te garanderen dat ze voldoen aan de AI-verordening. Dit systeem omvat gedocumenteerde beleidslijnen, procedures en instructies, en behandelt beknopt de volgende aspecten:
een strategie voor de naleving van de regelgeving, inclusief de naleving van de conformiteitsbeoordelingsprocedures en de procedures voor het beheer van de wijzigingen van het AI-systeem met een hoog risico;
technieken, procedures en systematische maatregelen die moeten worden toegepast voor het ontwerp, de controle van het ontwerp en de verificatie van het ontwerp van het AI-systeem met een hoog risico;
technieken, procedures en systematische maatregelen die moeten worden toegepast voor de ontwikkeling, de kwaliteitscontrole en de kwaliteitsborging van het AI-systeem met een hoog risico;
procedures voor het inspecteren, testen en valideren die v\u00f3\u00f3r, tijdens en na de ontwikkeling van het AI-systeem met een hoog risico moeten worden uitgevoerd en de regelmaat waarmee zij moeten worden uitgevoerd;
technische specificaties, met inbegrip van normen, die moeten worden toegepast en, wanneer de relevante geharmoniseerde normen niet volledig worden toegepast of geen betrekking hebben op alle relevante eisen van afdeling 2, de middelen die worden gebruikt om ervoor te zorgen dat het AI-systeem met een hoog risico in overeenstemming is met deze eisen;
systemen en procedures voor databeheer, met inbegrip van dataverwerving, - verzameling, -analyse, -labeling, -opslag, -zuivering, -aggregatie en -behoud en datamining en eventuele andere operaties met betrekking tot de data die worden uitgevoerd voorafgaand aan en met het oog op het in de handel brengen of in gebruik stellen van AI-systemen met een hoog risico;
het systeem voor risicobeheer zoals bedoeld in artikel 9 van de AI-verordening;
het opzetten, toepassen en onderhouden van een systeem voor monitoring na het in de handel brengen, overeenkomstig artikel 72 AI-verordening;
procedures in verband met het melden van een ernstig incident in overeenstemming met artikel 73 van de AI-verordening;
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-11-systeem-voor-kwaliteitsbeheer/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Zonder toepassing van een kwaliteitsbeheersysteem kunnen risico's ontstaan voor de veiligheid, betrouwbaarheid en naleving van het AI-systeem en conformiteit met wet- en regelgeving.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-12-bewaartermijn-voor-documentatie/","title":"Documentatie over hoog-risico-AI-systemen wordt tien jaar bewaard door de aanbieder","text":"
aia-12OntwerpMonitoring en beheerUitfaserenProjectleiderTechnische robuustheid en veiligheid
De aanbieder houdt gedurende een periode van tien jaar nadat het AI-systeem met een hoog risico in de handel is gebracht of in gebruik is gesteld de volgende elementen ter beschikking van de nationale bevoegde autoriteiten:
de technische documentatie als bedoeld in artikel 11 van de AI-verordening;
de documentatie betreffende het in artikel 17 bedoelde systeem voor kwaliteitsbeheer;
in voorkomend geval de documentatie betreffende de door aangemelde instanties goedgekeurde wijzigingen;
in voorkomend geval de besluiten en andere documenten die door de aangemelde instanties zijn afgegeven;
de EU-conformiteitsverklaring als bedoeld in artikel 47.
De aanbieder moet gedurende tien jaar na het op de markt brengen of in gebruik nemen van het AI-systeem met een hoog risico de vereiste documentatie beschikbaar houden voor de nationale autoriteiten. Dit houdt in dat technische documentatie, documentatie over het kwaliteitsbeheersysteem, eventuele documentatie over besluiten en goedgekeurde wijzigingen door aangemelde instanties en de EU-conformiteitsverklaring beschikbaar moet zijn. Dit waarborgt dat de autoriteiten toegang hebben tot relevante informatie voor controle en naleving van de voorschriften gedurende deze periode.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-12-bewaartermijn-voor-documentatie/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Niet voldoen aan de bewaartermijn kan leiden tot juridische consequenties en kan het vermogen van de autoriteiten om toezicht te houden op de naleving van de regelgeving belemmeren.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-13-bewaartermijn-voor-gegenereerde-logs/","title":"Logs van hoog-risico-AI-systemen worden zes maanden bewaard door de aanbieder","text":"
aia-13OntwerpMonitoring en beheerUitfaserenProjectleiderTechnische robuustheid en veiligheid
Aanbieders van AI-systemen met een hoog risico bewaren de in artikel 12, lid 1, bedoelde logs die automatisch worden gegenereerd door hun AI-systemen met een hoog risico voor zover dergelijke logs onder hun controle vallen. Onverminderd het toepasselijke Unie- of nationale recht worden deze logs bewaard gedurende een periode, die passend is voor het beoogde doel van het AI-systeem met een hoog risico, van ten minste zes maanden, tenzij anders is bepaald in het Unie- of nationaal recht, met name de Uniewetgeving inzake de bescherming van persoonsgegevens.
Aanbieders van AI-systemen met een hoog risico moeten de automatisch gegenereerde logs bewaren volgens de voorschriften van artikel 12, lid 1, zolang deze logs onder hun controle vallen. Deze logs moeten ten minste zes maanden worden bewaard, tenzij anders bepaald door Unie- of nationale wetgeving met betrekking tot gegevensbescherming, om te voldoen aan de relevante voorschriften en verantwoordingsplicht.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-13-bewaartermijn-voor-gegenereerde-logs/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Het niet of onvoldoende bewaren van logs kan het vermogen belemmeren om incidenten te analyseren, naleving te controleren en verantwoordelijkheid vast te stellen bij mogelijke problemen met het AI-systeem.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-14-conformiteitsbeoordeling/","title":"Hoog-risico-AI-systemen worden pas geleverd of gebruikt na een conformiteitsbeoordelingsprocedure","text":"
aia-14Verificatie en validatieImplementatieJuristProjectleiderGovernance
Aanbieders van AI-systemen met een hoog risico zorgen ervoor dat voor het AI-systeem met een hoog risico een conformiteitsbeoordelingsprocedure wordt uitgevoerd voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld
Aanbieders van AI-systemen met een hoog risico moeten ervoor zorgen dat de conformiteitsbeoordelingsprocedure wordt uitgevoerd voor het systeem op de markt wordt gebracht of in gebruik wordt genomen. Dit is mogelijk door middel van een interne controle (als bedoeld in bijlage VI van de AI-verordening) of met betrokkenheid van een aangemelde instantie voor de beoordeling van het systeem voor kwaliteitsbeheer en de technische documentatie (als bedoeld in bijlage VII van de AI-verordening).
AI-systemen met een hoog risico die reeds aan een conformiteitsbeoordelingsprocedure zijn onderworpen, ondergaan een nieuwe conformiteitsbeoordelingsprocedure telkens wanneer zij substantieel zijn gewijzigd, ongeacht of het gewijzigde systeem bedoeld is om verder te worden gedistribueerd of door de huidige gebruiksverantwoordelijke gebruikt blijft worden.
Bijlage VI Verordening Artifici\u00eble Intelligentie
Bijlage VII Verordening Artifici\u00eble Intelligentie
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-14-conformiteitsbeoordeling/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Niet naleven van deze verplichtingen kan leiden tot juridische en operationele problemen, en kan de veiligheid en betrouwbaarheid van het AI-systeem in gevaar brengen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-15-eu-conformiteitsverklaring/","title":"Hoog-risico-AI-systemen zijn voorzien van een EU-conformiteitsverklaring","text":"
aia-15Verificatie en validatieImplementatieJuristProjectleiderGovernance
Een EU-conformiteitsverklaring is een verplicht document dat een fabrikant of gemachtigde vertegenwoordiger moet ondertekenen, waarmee wordt verklaard dat het product aan de EU-eisen voldoet. De aanbieder stelt voor elk AI-systeem met een hoog risico een schriftelijke machineleesbare, fysieke of elektronisch ondertekende EU-conformiteitsverklaring op en houdt deze verklaring tot tien jaar na het in de handel brengen of het in gebruik stellen van het AI-systeem met een hoog risico ter beschikking van de nationale bevoegde autoriteiten. De conformiteitsverklaring bevat de informatie zoals genoemd in bijlage V AI-verordening. Voorbeelden hiervan zijn de naam en type van het AI-systeem, naam en adres van de aanbieder, dat de EU-conformiteitsverklaring wordt versterkt onder verantwoordelijkheid van de aanbieder en de vermelding van eventuele toegepaste relevante geharmoniseerde normen of van andere gemeenschappelijke specificaties waarop de conformiteitsverklaring betrekking heeft.
Bijlage V Verordening Artifici\u00eble Intelligentie
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-15-eu-conformiteitsverklaring/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Niet naleven van deze verplichtingen kan leiden tot juridische en operationele problemen, en kan de veiligheid en betrouwbaarheid van het AI-systeem in gevaar brengen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-16-ce-markering/","title":"Hoog-risico-AI-systemen zijn voorzien van een CE-markering","text":"
Aanbieders van AI-systemen met een hoog risico moeten een CE-markering toevoegen aan het AI-systeem met een hoog risico of, wanneer dit niet mogelijk is, op de verpakking of in de bij het product gevoegde documentatie, om aan te geven dat aan de AI-verordening is voldaan.
Op AI-systemen met een hoog risico moet de CE-markering worden aangebracht om aan te geven dat zij in overeenstemming zijn met de AI-verordening, zodat het vrije verkeer ervan op de interne markt mogelijk is. Op AI-systemen met een hoog risico die in een product zijn ge\u00efntegreerd moet een fysieke CE-markering worden aangebracht, die kan worden aangevuld met een digitale CE-markering. Voor AI-systemen met een hoog risico die alleen digitaal worden verstrekt, moet een digitale CE-markering worden gebruikt. De lidstaten mogen het in de handel brengen en het in gebruik stellen van AI-systemen met een hoog risico die aan de in de AI-verordening vastgelegde eisen voldoen en waarop de CE-markering is aangebracht, niet op ongerechtvaardigde wijze belemmeren.
Niet naleven van deze verplichtingen kan leiden tot juridische en operationele problemen, en kan de veiligheid en betrouwbaarheid van het AI-systeem in gevaar brengen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-17-registratieverplichtingen/","title":"Hoog-risico-AI-systemen zijn geregistreerd in de EU-databank","text":"
Aanbieders van AI-systemen met een hoog risico leven de registratieverplichtingen als bedoeld in artikel 49 na, wat betekent dat voor het in de handel brengen of in bedrijf te stellen van het hoog risico AI-systeem, de aanbieder of in voorkomende gevallen de gemachtigde het systeem registreert in de EU-databank.
V\u00f3\u00f3r de distributie of inbedrijfstelling van een AI-systeem met een hoog risico van bijlage III, met uitzondering van specifieke gevallen zoals beschreven in punt 2 van bijlage III, is het vereist dat de aanbieder of gemachtigde zichzelf en het systeem registreert in de EU-databank zoals genoemd in art. 71 AI-verordening.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-17-registratieverplichtingen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Niet naleven van deze verplichtingen kan leiden tot juridische en operationele problemen, en kan de veiligheid en betrouwbaarheid van het AI-systeem in gevaar brengen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-18-corrigerende-maatregelen-voor-non-conforme-ai/","title":"Als een hoog-risico AI-systeem niet voldoet aan de AI-verordening, grijpt de aanbieder in","text":"
aia-18OrganisatieverantwoordelijkhedenMonitoring en beheerProjectleiderMenselijke controleTechnische robuustheid en veiligheid
Aanbieders van AI-systemen met een hoog risico die van mening zijn of redenen hebben om aan te nemen dat een door hen in de handel gebracht of in gebruik gesteld AI systeem met een hoog risico niet in overeenstemming is met de AI-verordening, nemen onmiddellijk de nodige corrigerende maatregelen om dat systeem naargelang het geval in overeenstemming te brengen, uit de handel te nemen, te deactiveren of terug te roepen. Zij stellen de distributeurs van het betrokken AI-systeem met een hoog risico en, indien van toepassing, de gebruiksverantwoordelijken, de gemachtigden en importeurs dienovereenkomstig in kennis.
Aanbieders van AI-systemen met een hoog risico die constateren dat hun systeem niet aan de verordening voldoet, moeten onmiddellijk corrigerende acties ondernemen, zoals het terugroepen of uit de handel nemen van het systeem. Ze moeten ook alle relevante partijen, zoals distributeurs, gebruiksverantwoordelijken en importeurs, op de hoogte stellen van deze maatregelen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-18-corrigerende-maatregelen-voor-non-conforme-ai/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Niet reageren op non-conformiteit kan leiden tot risico's voor gebruikers en derden. Het kan leiden tot juridische procedures en reputatieschade voor organisaties.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-19-toegankelijkheidseisen/","title":"Hoog-risico-AI-systemen voldoen aan de toegankelijkheidseisen","text":"
aia-19OntwerpProjectleiderOntwikkelaarMenselijke controleTechnische robuustheid en veiligheid
Aanbieders van AI-systemen met een hoog risico zorgen ervoor dat het AI-systeem met een hoog risico voldoet aan de toegankelijkheidseisen overeenkomstig de Richtlijnen (EU) 2016/2102 en (EU) 2019/882
Aanbieders van AI-systemen met een hoog risico moeten ervoor zorgen dat hun systeem toegankelijk is volgens de EU-richtlijnen 2016/2102 en 2019/882. In het kader van Richtlijn 2016/2102 moet onder toegankelijkheid worden verstaan het geheel van principes en technieken die in acht moeten worden genomen bij het ontwerpen, bouwen, beheren en bijwerken van websites en mobiele applicaties om hen voor gebruikers toegankelijker te maken, met name voor personen met een beperking. Bijlage 1 bevat de toegankelijkheidsvoorschriften voor producten en diensten die moeten worden toegepast op hoog-risico-AI-systemen.
Richtlijn 2019/882 strekt ertoe een bijdrage te leveren tot het goed functioneren van de interne markt middels onderlinge aanpassing van de wettelijke en bestuursrechtelijke bepalingen van de lidstaten inzake de toegankelijkheidsvoorschriften voor bepaalde producten en diensten, in het bijzonder door het wegwerken en voorkomen van belemmeringen voor het vrije verkeer van onder deze richtlijn vallende producten en diensten ten gevolge van uiteenlopende toegankelijkheidsvoorschriften in de lidstaten
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-19-toegankelijkheidseisen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Niet naleven van deze verplichtingen kan leiden tot juridische en operationele problemen, en kan de veiligheid en betrouwbaarheid van het AI-systeem in gevaar brengen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-20-gebruiksverantwoordelijken-maatregelen/","title":"Hoog-risico-AI-systemen worden gebruikt volgens de gebruiksaanwijzing","text":"
Gebruiksverantwoordelijken van AI-systemen met een hoog risico nemen passende technische en organisatorische maatregelen om te waarborgen dat zij dergelijke systemen gebruiken in overeenstemming met de gebruiksaanwijzingen die bij de systemen zijn gevoegd, in overeenstemming met de leden 3 en 6 van artikel 26 van de AI-verordening.
Gebruiksverantwoordelijken van AI-systemen met een hoog risico moeten geschikte maatregelen nemen om ervoor te zorgen dat zij deze systemen gebruiken volgens de bijgevoegde instructies. De gebruiksverantwoordelijke zorgt ervoor dat de inputdata relevant en voldoende representatief zijn voor het beoogde doel van het AI-systeem met een hoog risico, voor zover hij daar controle over heeft.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-20-gebruiksverantwoordelijken-maatregelen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Het niet naleven van deze maatregelen kan leiden tot onjuist gebruik van de AI-systemen, wat de effectiviteit en veiligheid ervan kan verminderen, en kan resulteren in risico's voor gebruikers en derden.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-21-gebruiksverantwoordelijken-menselijk-toezicht/","title":"Menselijke controle van hoog-risico-AI-systemen wordt uitgevoerd door mensen met voldoende kennis en mogelijkheden","text":"
Gebruiksverantwoordelijken dragen het menselijk toezicht over een hoog risico AI-systeem op aan natuurlijke personen die over de nodige bekwaamheid, opleiding en autoriteit beschikken en de nodige ondersteuning krijgen.
Het is van belang dat natuurlijke personen die het menselijk toezicht moeten uitvoeren over het AI-systeem met een hoog risico, daarvoor over de nodige bekwaamheid, opleiding en autoriteit beschikt. Daarbij kan het van belang zijn dat deze natuurlijke personen ondersteuning krijgen bij het uitvoeren van deze taak.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-21-gebruiksverantwoordelijken-menselijk-toezicht/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Als de natuurlijke toezichthouder geen effectief toezicht kan houden op het hoog risico AI-systeem, kunnen ongewenste, negatieve effecten onstaan voor betrokkenen en de organisatie.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-22-gebruiksverantwoordelijken-monitoren-werking/","title":"De werking van hoog-risico-AI-systemen wordt gemonitord","text":"
aia-22Monitoring en beheerProjectleiderMenselijke controle
Gebruiksverantwoordelijken monitoren de werking van het AI-systeem met een hoog risico op basis van de gebruiksaanwijzingen en stellen in voorkomend geval de aanbieders in kennis overeenkomstig artikel 72 AI Verordening
Gebruiksverantwoordelijken moeten de werking van hoog risico AI-systemen monitoren. Dit is van belang om passende maatregelen te kunnen treffen als het systeem onbedoeld anders gaat functioneren.
Wanneer gebruiksverantwoordelijken redenen hebben om aan te nemen dat het gebruik overeenkomstig de gebruiksaanwijzingen ertoe kan leiden dat dat AI-systeem een risico vormt in de zin van artikel 79, lid 1, stellen zij de aanbieder of distributeur en de betreffende markttoezichtautoriteit hiervan zonder onnodige vertraging in kennis en onderbreken zij het gebruik van dat systeem. Wanneer gebruiksverantwoordelijke een ernstig incident vaststellen, stellen zij ook onmiddellijk eerst de aanbieder hiervan in kennis, en vervolgens de importeur of distributeur en de betreffende markttoezichtautoriteiten van dat incident. Wanneer de gebruiksverantwoordelijke de aanbieder niet kan bereiken, is artikel 73 mutatis mutandis van toepassing. Deze verplichting geldt niet voor gevoelige operationele gegevens van gebruiksverantwoordelijke van AI-systemen die de hoedanigheid van rechtshandhavingsinstanties hebben.
Voor gebruiksverantwoordelijke die in de hoedanigheid van financi\u00eble instellingen onderworpen zijn aan eisen met betrekking tot hun interne governance, regelingen of processen uit hoofde van het Unierecht inzake financi\u00eble diensten, wordt de monitoringsverplichting overeenkomstig de eerste alinea geacht te zijn vervuld door te voldoen aan de regels inzake interne governance, regelingen of processen en -mechanismen uit hoofde van het desbetreffende recht inzake financi\u00eble diensten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-22-gebruiksverantwoordelijken-monitoren-werking/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Zonder monitoring door gebruiksverantwoordelijken en (waar nodig) het informeren van aanbieder, distributeur of markttoezichtautoriteit, kan de foutieve werking van een hoog risico AI-systeem niet worden gesignaleerd en hersteld.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-23-gebruiksverantwoordelijken-bewaren-logs/","title":"Logs voor hoog-risico-AI-systemen worden bewaard door de gebruiksverantwoordelijke","text":"
aia-23OntwikkelenMonitoring en beheerProjectleiderTechnische robuustheid en veiligheid
Gebruiksverantwoordelijken van AI-systemen met een hoog risico bewaren de logs die automatisch worden gegenereerd door dat AI-systeem met een hoog risico voor zover dergelijke logs onder hun controle vallen gedurende een periode die passend is voor het beoogde doel van het AI-systeem met een hoog risico, of ten minste zes maanden, tenzij anders is bepaald in het toepasselijke Unie- of nationaal recht, meer in het bijzonder het Unierecht over de bescherming van persoonsgegevens
Anders dan in artikel 16(e) AI-verordening, waar een vergelijkbare vereiste geldt voor aanbieders, gaat het hier om een vereiste specifiek voor de gebruiksverantwoordelijken. Het is van belang dat de gebruiksverantwoordelijken een zelfstandige beoordeling maakt wat moet worden gelogd en voor welke periode gezien de doelstelling van de inzet van het AI-systeem. Daarbij is het van belang om te beoordelen in hoeverre een gebruiksverantwoordelijke hier 'controle' over heeft. De gebruiksverantwoordelijke zal, al dan niet samen met de aanbieder, (technische) maatregelen moeten treffen om dit te realiseren.
Gebruiksverantwoordelijken die in de hoedanigheid van financi\u00eble instellingen onderworpen zijn aan eisen met betrekking tot hun interne governance, regelingen of processen uit hoofde van het Unierecht inzake financi\u00eble diensten bewaren de logs als onderdeel van de documentatie die bewaard wordt krachtens het desbetreffende Unierecht inzake financi\u00eble diensten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-23-gebruiksverantwoordelijken-bewaren-logs/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Het niet of onvoldoende bewaren van logs kan het vermogen belemmeren om incidenten te analyseren, naleving te controleren en verantwoordelijkheid vast te stellen bij mogelijke problemen met het AI-systeem.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-24-informeren-werknemers/","title":"Werknemers weten dat hun organisatie een hoog-risico AI-systeem gebruikt","text":"
Voordat een AI-systeem met een hoog risico op de werkplek in gebruik wordt gesteld of wordt gebruikt, delen gebruiksverantwoordelijken die werkgever zijn werknemersvertegenwoordigers en de betrokken werknemers mee dat zij zullen worden onderworpen aan het gebruik van het AI-systeem met een hoog risico. Deze informatie wordt, indien van toepassing, verstrekt in overeenstemming met de in het Unie- en nationaal recht vastgelegde regels en procedures en de praktijk inzake informatie van werknemers en hun vertegenwoordigers.
Dit vereiste benadrukt het belang van het informeren van werknemersvertegenwoordigers en betrokken werknemers over de inzet van een hoog risico AI-systeem op de werkplaats. Dit dient voorafgaand aan de inzet van het systeem plaats te vinden. De gebruiksverantwoordelijke als werknemer dient hier zorg voor te dragen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-24-informeren-werknemers/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Als werknemersvertegenwoordigers en werknemers niet worden ge\u00efnformeerd over de inzet van een hoog risico AI-systeem, kunnen zij zich niet weren tegen mogelijk ongewenste en negatieve effecten van de inzet van het hoog risico AI-systeem.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-25-gebruiksverantwoordelijken-registratieverplichtingen/","title":"Gebruiksverantwoordelijken controleren de registratie van het hoog-risico AI-systeem in de EU-databank","text":"
aia-25OrganisatieverantwoordelijkhedenImplementatieMonitoring en beheerProjectleiderTransparantieGovernance
Gebruiksverantwoordelijken van AI-systemen met een hoog risico die de hoedanigheid van overheidsinstanties of instellingen, organen of instanties van de Unie hebben, leven de in artikel 49 bedoelde registratieverplichtingen na. Wanneer deze gebruiksverantwoordelijke vaststellen dat het AI-systeem met een hoog risico dat zij voornemens zijn te gebruiken niet in de in artikel 71 bedoelde EU-databank is geregistreerd, gebruiken zij dat systeem niet en stellen zij de aanbieder of de distributeur daarvan in kennis.
Het is van belang dat gebruiksverantwoordelijken nagaan of het betreffende hoog risico AI-systeem door aanbieder is geregistreerd in de EU-databank (zoals omschreven in artikel 71 AI-verordening). Voordat het betreffende AI-systeem (bijlage III vermeld AI-systeem met een hoog risico) in gebruik te stellen of te gebruiken (met uitzondering van de in punt 2 van bijlage III vermelde AI-systemen met een hoog risico) registreren gebruiksverantwoordelijken die overheidsinstanties, instellingen, organen of instanties van de Unie, of personen die namens hen optreden, zichzelf en selecteren zij het systeem en registreren zij het gebruik ervan in de in artikel 71 bedoelde EU-databank.
Heeft de aanbieder het betreffende hoog risico AI-systeem niet geregistreerd in de EU-Databank, dan mag het hoog risico AI-systeem niet worden gebruikt. De aanbieder of distributeur wordt door de gebruiksverantwoordelijke ge\u00efnformeerd dat het systeem niet is geregistreerd in de EU-databank.
AI-systemen met een hoog risico als bedoeld in punt 2 van bijlage III (kritieke infrastructuur) worden op nationaal niveau geregistreerd.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-25-gebruiksverantwoordelijken-registratieverplichtingen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Zonder registratie van het hoog risico AI-systeem en het registreren welke organisaties of personen hier gebruik van maken, is het negatieve negatieve van het mogelijk onjuist of ongewenst functioneren van het AI-systeem niet te overzien en onduidelijk welke betrokken dit raakt.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-26-recht-op-uitleg-ai-besluiten/","title":"Mensen over wie besluiten worden genomen door een hoog-risico-AI-systemen, krijgen op verzoek informatie over deze besluiten","text":"
aia-28OrganisatieverantwoordelijkhedenOntwerpMonitoring en beheerProjectleiderGovernanceFundamentele rechtenTransparantie
Elke getroffen persoon op wie een besluit van toepassing is dat door de gebruiksverantwoordelijke wordt genomen op basis van de output van een in bijlage III vermeld AI-systeem met een hoog risico, met uitzondering van systemen die in punt 2 van die bijlage zijn vermeld, en dat rechtsgevolgen heeft voor die persoon, of op deze op vergelijkbare wijze aanzienlijke invloed heeft die hij of zij als nadelige gevolgen voor zijn of haar gezondheid, veiligheid of grondrechten beschouwt, heeft het recht om van de gebruiksverantwoordelijke duidelijke, inhoudelijke toelichting te verkrijgen bij de rol van het AI-systeem in de besluitvormingsprocedure en de voornaamste elementen van het genomen besluit.
Getroffen personen moeten het recht hebben om uitleg te krijgen indien het besluit van een gebruiksverantwoordelijke voornamelijk is gebaseerd op de output van bepaalde AI-systemen met een hoog risico die binnen het toepassingsgebied van de AI-verordening vallen en indien dat besluit rechtsgevolgen of gelijkaardige aanzienlijke gevolgen heeft voor de gezondheid, veiligheid of grondrechten van die personen. Die uitleg moet duidelijk en zinvol zijn en moet de grondslag zijn waarop de getroffen personen zich kunnen baseren om hun rechten uit te oefenen. Het recht om uitleg te krijgen mag niet van toepassing zijn op het gebruik van AI-systemen waarvoor uitzonderingen of beperkingen voortvloeien uit het Unierecht of het nationale recht en moet alleen van toepassing zijn voor zover het Unierecht niet reeds in dit recht voorziet. Dit vereiste geldt bijvoorbeeld niet als het gaat om AI-systemen die bedoeld zijn om te worden gebruikt als veiligheidscomponent bij het beheer of de exploitatie van kritieke digitale infrastructuur, wegverkeer of bij de levering van water, gas, verwerking en electriciteit (punt 2 bij Bijlage III van AI-verordening).
Bijlage III Verordening Artifici\u00eble Intelligentie
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-26-recht-op-uitleg-ai-besluiten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Als gebruiksverantwoordelijke geen duidelijke, inhoudelijke toelichting geeft over de rol van het AI-systeem in de besluitvormingsprocedure en de voornaamste elementen bij het genomen besluit, is het voor getroffen personen niet mogelijk zich te verdedigen tegen de rechtsgevolgen die hieruit voortkomen of de nadelige gevolgen voor gezondheid, veiligheid of diens grondrechten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-27-beoordelen-gevolgen-grondrechten/","title":"Hoog-risico-AI-systemen voor publieke taken worden beoordeeld op gevolgen voor grondrechten","text":"
aia-29OntwerpVerificatie en validatieProjectleiderBeleid en adviesFundamentele rechten
Voordat een AI-systeem met een hoog risico als bedoeld in artikel 6, lid 2 AI-verordening, in gebruik wordt genomen, met uitzondering van AI-systemen met een hoog risico die bedoeld zijn om te worden gebruikt op het in punt 2 van bijlage III vermelde gebied, voeren operatoren die publiekrechtelijke instellingen zijn of particuliere entiteiten zijn die openbare diensten verlenen, en operatoren van AI-systemen met een hoog risico als bedoeld in bijlage III, punt 5, onder b) en c), een beoordeling uit van de gevolgen voor de grondrechten die het gebruik van een dergelijk systeem kan opleveren.
Voordat een AI-systeem met een hoog risico in gebruik wordt genomen, moeten publieke instellingen of particuliere entiteiten die openbare diensten leveren, en operators van bepaalde AI-systemen, een beoordeling uitvoeren van de impact op de grondrechten die het gebruik ervan kan hebben. Deze evaluatie is bedoeld om potenti\u00eble risico's te identificeren die kunnen voortvloeien uit het gebruik van dergelijke systemen en om passende maatregelen te nemen om deze risico's te beheersen. Het doel is om de bescherming van grondrechten te waarborgen bij het gebruik van AI-systemen met een hoog risico, met name in sectoren waar deze systemen cruciale diensten leveren aan het publiek.
Bijlage III.2 en III.5 Verordening Artifici\u00eble Intelligentie
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-27-beoordelen-gevolgen-grondrechten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Het niet uitvoeren van deze beoordeling kan leiden tot schendingen van de grondrechten, juridische complicaties en verlies van vertrouwen van het publiek in het gebruik van AI-systemen door overheids- en openbare dienstverlenende entiteiten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-27-beoordelen-gevolgen-grondrechten/#hulpmiddelen","title":"Hulpmiddelen","text":"HulpmiddelenImpact Assessment Mensenrechten en Algoritmes"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-28-transparantieverplichtingen/","title":"AI-systemen worden zo ontworpen en gebruikt, dat mensen begrijpen wanneer zij met een AI-systeem communiceren en welke content gemaakt is door een AI-systeem","text":"
Aanbieders van AI-systemen zorgen dat AI-sytemen zodanig worden ontworpen en ontwikkeld dat de betrokken natuurlijke personen worden ge\u00efnformeerd dat zij interacteren met een AI-systeem. Gebruiksverantwoordelijken moeten betrokkenen informeren over de werking van het systeem en in het geval van een AI-systeem dat content gegenereert duidelijk kenbaar maken dat de content kunstmatig is gegenereerd of gemanipuleerd.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-28-transparantieverplichtingen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenhoog risico AI-systeemgeen hoog risico AI-systeemAanbieder
Bepaalde AI-systemen die bedoeld zijn om met natuurlijke personen te interageren of om content te genereren, kunnen specifieke risico\u2019s op imitatie of misleiding met zich meebrengen, ongeacht of zij als systeem met een hoog risico gelden.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-29-ai-modellen-algemene-doeleinden/","title":"AI-modellen voor algemene doeleinden zijn voorzien van voldoende technische documentatie en informatie","text":"
aia-29OntwerpOntwikkelenMonitoring en beheerProjectleiderTransparantie
Aanbieders van AI-modellen voor algemene doeleinden moeten (technische) informatie en documentatie opstellen, up-to-date houden en beschikbaar stellen voor aanbieders van AI-systemen die het AI-model voor algemene doeleinden in hun AI-systemen willen integreren.
Aanbieders van AI-modellen voor algemene doeleinden hebben een bijzondere rol en verantwoordelijkheid. Zij leveren modellen die de basis kunnen vormen voor weer andere systemen en algoritmen, die vaak weer door andere partijen worden aangeboden dan de ontwikkelaar van het algemene systeem. Dit vraagt om een goed inzicht in de modellen en hun capaciteiten, zowel qua integratie van de modellen in producten als qua naleving van verplichtingen.
Er zijn daarom evenredige transparantiemaatregelen nodig, zoals het opstellen en bijwerken van documentatie en verstrekken van informatie over het AI-model voor algemeen gebruik door de aanbieders van systemen die de algemene modellen gebruiken in hun product. De aanbieder van het AI-model voor algemene doeleinden dient technische documentatie op te stellen en bij te werken om deze op verzoek te kunnen overleggen aan het AI-bureau en de nationale bevoegde autoriteiten. De minimaal in de documentatie op te nemen elementen moeten worden vastgelegd volgens bijlage XII van de AI-Verordening. Hierbij is het ook van belang dat de aanbieder van AI-modellen voor algemene doelstelling beleid opstellen voor naleving van auteursrechten en naburige rechten (artikel 4, lid 3 Richtlijn (EU) 2019/790).
In art. 53 lid 2 wordt een uitzondering gemaakt op deze vereisten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-29-ai-modellen-algemene-doeleinden/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
Het niet voldoen aan deze verplichtingen kan leiden tot juridische en ethische complicaties, inclusief schendingen van auteursrechten en gebrek aan transparantie in het gebruik van AI-modellen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-30-ai-modellen-algemene-doeleinden-systeemrisico/","title":"Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico treffen extra maatregelen","text":"
aia-30OntwikkelenVerificatie en validatieMonitoring en beheerProjectleiderOntwikkelaarTransparantie
Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico moeten modelevaluatie uitvoeren overeenkomstig gestandaardiseerde protocollen en instrumenten die de stand van de techniek weerspiegelen, met inbegrip van het uitvoeren en documenteren van tests gericht op het ontdekken van kwetsbaarheden van het model om systeemrisico\u2019s in kaart te brengen en te beperken.
De aanbieders van AI-modellen voor algemene doeleinden die systeemrisico\u2019s inhouden, moeten, naast de verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden, onderworpen worden aan verplichtingen die gericht zijn op het identificeren en beperken van die risico\u2019s en op waarborging van een passend niveau van cyberbeveiliging, ongeacht of het model een op zichzelf staand model is of ingebed in een AI-systeem of in een product. Aanbieders van AI-modellen voor algemene doeleinden met een potentieel systeemrisico moeten modelevaluaties uitvoeren. Dit omvat het testen en documenteren van het model volgens de stand van de techniek, met specifieke aandacht voor het identificeren en beperken van kwetsbaarheden. Deze maatregelen zijn bedoeld om systematische risico's te adresseren en te verminderen. Deze vereiste is een aanvulling op de genoemde verplichtingen in artikel 53 van de AI-verordening.
Systeemrisico betekent: een risico dat specifiek is voor de capaciteiten met een grote impact van AI-modellen voor algemene doeleienden, die aanzienlijke gevolgen hebben voor de markt van de Uniek vanwege hun bereik, of vanwege feitelijke of redelijkerwijs te voorziene negatieve gevolgen voor de gezondheid, de veiligheid, de openbare veiligheid, de grondrechten of de samenleving als geheel, en dat op grote schaal in de hele waardeketen kan worden verspreid.
Systeemrisico\u2019s nemen logischerwijs toe naargelang de capaciteiten en het bereik van een model groter zijn, kunnen zich voordoen gedurende de gehele levenscyclus van het model en worden be\u00efnvloed door elementen als misbruik van het model, de betrouwbaarheid, billijkheid, beveiliging en mate van autonomie ervan. Ook worden ze be\u00efnvloed door de toegang van het model tot instrumenten, nieuwe of gecombineerde modaliteiten, introductie- en distributiestrategie\u00ebn, en door het potentieel om waarborgen te omzeilen en andere factoren.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-30-ai-modellen-algemene-doeleinden-systeemrisico/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
Niet voldoen aan deze verplichtingen kan leiden tot negatieve gevolgen voor de gezondheid, veiligheid, de openbare veiligheid, de grondrechten of de samenleving als geheel.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-31-ai-modellen-algemene-doeleinden-systeemrisico-ernstige-incidenten/","title":"Als AI-modellen voor algemene doeleinden met systeemrisico\u2019s ernstige incidenten veroorzaken, wordt dit gedocumenteerd en gerapporteerd","text":"
aia-31Monitoring en beheerProjectleiderGovernanceTransparantie
Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico moeten relevante informatie over ernstige incidenten en mogelijke corrigerende maatregelen bijhouden, documenteren en onverwijld rapporteren aan het AI bureau en, in voorkomend geval, aan de nationale bevoegde autoriteiten.
Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico moeten ernstige incidenten documenteren en rapporteren. Deze informatie moet onmiddellijk worden gemeld aan het AI-bureau en eventueel aan nationale autoriteiten. Dit proces is cruciaal voor het waarborgen van de veiligheid en het nemen van passende corrigerende maatregelen. Dit vereiste is een aanvulling op de in artikel 53 AI-verordening genoemde verplichtingen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-31-ai-modellen-algemene-doeleinden-systeemrisico-ernstige-incidenten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
Niet voldoen aan deze verplichtingen kan leiden tot risico's op veiligheidsincidenten, datalekken en schade aan de betrokken partijen en het publiek.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-32-ai-modellen-algemene-doeleinden-systeemrisico-cyberbeveiliging/","title":"AI-modellen voor algemene doeleinden met systeemrisico\u2019s zijn voldoende beveiligd tegen cyberaanvallen","text":"
aia-32OntwikkelenMonitoring en beheerOntwikkelaarGovernanceTechnische robuustheid en veiligheid
Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico zorgen voor een passend niveau van cyberbeveiligingsbescherming voor het AI-model voor algemene doeleinden met een systeemrisico en de fysieke infrastructuur van het model.
Aanbieders van AI-modellen met systeemrisico moeten zorgen voor passende cyberbeveiligingsmaatregelen. Dit omvat het beschermen van zowel het AI-model als de fysieke infrastructuur tegen potenti\u00eble cyberdreigingen. Het doel is om de integriteit en veiligheid van het model en de infrastructuur te waarborgen. Dit vereiste is een aanvulling op de in artikel 53 AI-verordening genoemde verplichtingen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-32-ai-modellen-algemene-doeleinden-systeemrisico-cyberbeveiliging/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
Niet voldoen aan deze verplichtingen kan leiden tot risico's op veiligheidsincidenten, datalekken en schade aan de betrokken partijen en het publiek.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-33-verwerking-in-testomgeving/","title":"AI-testomgevingen die persoonsgegevens verwerken, voldoen aan strenge voorwaarden","text":"
aia-33OrganisatieverantwoordelijkhedenOntwikkelenDataverkenning en datapreparatieJuristOntwikkelaarProjectleiderPrivacy en gegevensbeschermingData
Rechtmatig voor andere doeleinden verzamelde persoonsgegevens mogen uitsluitend in de AI-testomgeving voor regelgeving worden verwerkt ten behoeve van het ontwikkelen, trainen en testen van bepaalde AI-systemen en indien aan alle voorwaarden van art. 57 is voldaan.
De verwerking van persoonsgegevens voor AI-testdoeleinden is mogelijk maar het moet voldoen aan strikte voorwaarden die zijn opgenomen in artikel 57 AI-Verordening. Hierbij kan worden gedacht aan voorwaarden als het beschermen van persoonsgevens met passende technische en organisatorische maatregelen, persoonsgegevens die in de testomgeving worden aangemaakt mogen niet buiten de testomgeving worden gedeeld en logbestanden worden bijgehouden voor de duur van de deelname aan de testomgeving. Voor toepassingen voor het verder verwerken van gegevens kan worden gedacht aan het ontwikkelen van een AI-systeem zodat een overheidsinstantie of een andere natuurlijke of rechtspersoon een aanzienlijk openbaar belang kan waarborgen, bijvoorbeeld op het gebied van kwaliteit van milieu, duurzaamheid, openbare veiligheid en gezondheid.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-33-verwerking-in-testomgeving/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-model voor algemene doeleindenAI-systeemAI-systeem voor algemene doeleindenAanbiederGebruiksverantwoordelijke
Verdere verwerking van persoonsgegevens buiten een AI-testomgeving vergroot de kans op bijvoorbeeld het lekken van de persoonsgegevens, wat kan leiden tot een inbreuk op de privacyrechten van betrokken.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-34-monitoring-na-het-in-de-handel-brengen/","title":"Hoog-risico-AI-systemen zijn voorzien van een monitoringsysteem","text":"
aia-34Monitoring en beheerProjectleiderTechnische robuustheid en veiligheid
Aanbieders moeten een systeem voor monitoring na het in de handel brengen vaststellen en documenteren op een manier die evenredig is aan de aard van de AI-technologie\u00ebn en de risico\u2019s van het AI-systeem met een hoog risico.
Aanbieders moeten een monitoringssysteem opzetten voor het monitoren na het in de handel brengen. Dit systeem moet documenteren op een wijze die passend is bij de aard van de AI-technologie\u00ebn en de risico's van het betreffende AI-systeem met een hoog risico. Dit monitoringssysteem moet proportioneel zijn aan de complexiteit en potenti\u00eble impact van het AI-systeem.
Het systeem voor monitoring na het in de handel brengen verzamelt, documenteert en analyseert actief en systematisch relevante data die door gebruiksverantwoordelijken kunnen zijn verstrekt of via andere bronnen kunnen zijn verzameld, over de prestaties van AI-systemen met een hoog risico gedurende hun hele levensduur. Dit stelt de aanbieder in staat na te gaan of AI-systemen blijvend voldoen aan de in hoofdstuk III, afdeling 2, van de AI-verordening vermelde voorschriften. In voorkomend geval omvat de monitoring na het in de handel brengen een analyse van de interactie met andere AI-systemen. Deze verplichting geldt niet voor gevoelige operationele gegevens van gebruiksverantwoordelijken die rechtshandhavingsinstanties zijn.
Het systeem voor monitoring na het in de handel brengen is gebaseerd op een plan voor monitoring na het in de handel brengen. Het plan voor monitoring na het in de handel brengen maakt deel uit van de in bijlage IV bedoelde technische documentatie.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-34-monitoring-na-het-in-de-handel-brengen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Zonder monitoringssysteem voor na het in handel brengen is er een risico dat verminderde pestaties van een AI-systeem met hoog risico ongedeteceerd blijven. Een aanbieder kan niet nagaan of een AI-systeem blijvend voldoet aan voorschriften.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-35-melding-ernstige-incidenten/","title":"Ernstige incidenten door hoog-risico-AI-systemen worden gemeld aan de toezichthouder","text":"
aia-35OrganisatieverantwoordelijkhedenMonitoring en beheerProjectleiderGovernance
Aanbieders van in de Europese Unie in de handel gebrachte AI-systemen met een hoog risico melden ernstige incidenten bij de markttoezichtautoriteiten van de lidstaten waarin dat incident heeft plaatsgevonden.
Aanbieders van AI-systemen met een hoog risico die binnen de EU worden verhandeld, moeten ernstige incidenten melden bij de markttoezichtautoriteiten van de lidstaten waar het incident heeft plaatsgevonden. Een 'ernstig incident' wordt in artikel 3 van de AI-verordening gedefinieerd als: een incident of gebrekkig functioneren van een AI-systeem dat direct of indirect leidt tot:
het overlijden van een persoon of ernstige schade voor de gezondheid van een persoon;
een ernstige en onomkeerbare verstoring van het beheer of de exploitatie van kritieke infrastructuur;
een schending van de uit het recht van de Unie voortvloeiende verplichtingen ter bescherming van de grondrechten;
ernstige schade aan eigendommen of het milieu.
Dit meldingsproces is bedoeld om snel en adequaat te reageren op ernstige incidenten die zich voordoen bij het gebruik van deze AI-systemen, en om passende maatregelen te nemen ter bescherming van de consumenten en het publiek. Het doel is om de veiligheid en betrouwbaarheid van AI-systemen te waarborgen en mogelijke risico's voor gebruikers te minimaliseren.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-35-melding-ernstige-incidenten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Het niet melden van ernstige incidenten kan leiden tot vertraagde reactie op potenti\u00eble gevaren voor gebruikers en kan het vertrouwen in AI-systemen ondermijnen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-36-melding-inbreuk-op-ai-verordening/","title":"Klokkenluiders kunnen veilig melden dat een organisatie zich niet houdt aan de AI-verordening","text":"
aia-36OrganisatieverantwoordelijkhedenMonitoring en beheerProjectleiderGovernanceMenselijke controle
Inbreuken op de AI verordening moeten gemeld kunnen worden en melders moeten dit op een veilige en vertrouwelijke manier kunnen doen, zoals beschreven in Richtlijn (EU) 2019/1937.
Personen die optreden als klokkenluiders bij inbreuken op de AI-verordening, moeten worden beschermd uit hoofde van het Unierecht. Richtlijn (EU) 2019/1937 (https://eur-lex.europa.eu/legal-content/NL/LSU/?uri=CELEX:32019L1937) van het Europees Parlement en de Raad moet daarom van toepassing zijn. De richtlijn biedt een kader voor het veilig en vertrouwelijk melden van schendingen van de verordening, terwijl het de melders (\"klokkenluiders\") beschermt tegen represailles of vervolging. Deze richtlijn bevordert transparantie en verantwoording binnen organisaties en draagt bij aan een cultuur van naleving en integriteit.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-36-melding-inbreuk-op-ai-verordening/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAI-model voor algemene doeleindenAanbiederGebruiksverantwoordelijke
Gebrek aan een veilige omgeving kan ertoe leiden dat klokkenluiders geen melding maken van inbreuk op de AI-verordening. Dit schaadt het rapportagesysteem en heeft negatief effect op het maatschappelijk welzijn.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-37-recht-klacht-indienen-bij-ai-bureau/","title":"Klachtrecht aanbieders verder in AI-waardeketen","text":"
Aanbieders verder in de AI-waardeketen hebben het recht om een klacht in te dienen bij het AI-bureau in het geval van een inbreuk op de AI-verordening. Dit biedt hen een mechanisme om actie te ondernemen bij schendingen van de regels met betrekking tot AI-modellen voor algemene doeleinden die zij ge\u00efntrigeerd hebben in AI-systemen. Het AI-bureau kan dan passende maatregelen nemen om de naleving van de verordening te handhaven en eventuele geschillen tussen aanbieders op te lossen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-37-recht-klacht-indienen-bij-ai-bureau/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-37-recht-klacht-indienen-bij-ai-bureau/#risico","title":"Risico","text":"
Gebrek aan klachtrecht verhindert het AI-bureau om tijdig en zorgvuldig te kunnen ingrijpen bij overtreding van de AI-verordening.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/arc-01-archiefwet/","title":"Informatie over algoritmes wordt gedocumenteerd volgens de Archiefwet","text":"
arc-01UitfaserenMonitoring en beheerOntwikkelenProjectleiderOntwikkelaarTransparantieData
Overheidsorganen zijn verplicht de onder hen berustende archiefbescheiden in goede, geordende en toegankelijke staat te brengen en te bewaren, alsmede zorg te dragen voor de vernietiging van de daarvoor in aanmerking komende archiefbescheiden.
Volgens de Archiefwet moeten overheden informatie bewaren. Op basis van deze informatie moet gereconstrueerd kunnen worden hoe besluiten, ook in de context van algoritmes, tot stand zijn gekomen. Informatie over en van algoritmes moet daarom op basis van de selectielijst bewaard en vernietigd worden.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/arc-01-archiefwet/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/arc-01-archiefwet/#risico","title":"Risico","text":"
Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te reconstrueren en te controleren hoe besluiten, waar algoritmes aan hebben bijgedragen, tot stand zijn gekomen. Het nalaten om archiefbescheiden na verloop van tijd te verwijderen brengt risico's met zich mee op het gebied van privacy en informatiebeveiliging.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aut-01-auteursrechten/","title":"Auteursrechten zijn beschermd","text":"
aut-01Dataverkenning en datapreparatieOntwerpJuristDataGovernance
Bepaalde type algoritmes worden ontwikkeld op basis van grote hoeveelheden data. Deze data wordt gebruikt voor het trainen en testen van algoritmes. Het gebruiken van deze data mag geen inbreuk maken op auteursrechten van diegene die deze rechten heeft. Ook de gegenereerde output van algoritmes mag geen inbreuk maken op deze rechten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aut-01-auteursrechten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/aut-01-auteursrechten/#risico","title":"Risico","text":"
Het niet voldoen aan het auteursrecht kan leiden tot onrechtmatig gebruik van auteursrechtelijk beschermde inhoud, wat kan resulteren in mogelijke juridische geschillen, boetes en schadevergoedingen voor inbreuk op het auteursrecht. Bovendien kan het niet naleven van het auteursrecht het vertrouwen van gebruikers en belanghebbenden ondermijnen, wat kan leiden tot reputatieschade en gebrek aan vertrouwen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-01-persoonsgegevens-worden-rechtmatig-verwerkt/","title":"Persoonsgegevens worden op een rechtmatige manier verwerkt","text":"
avg-01ProbleemanalyseOntwerpDataverkenning en datapreparatieProjectleiderJuristPrivacy en gegevensbescherming
De verwerking van persoonsgegevens moet rechtmatig plaatsvinden, wat betekent dat de verwerking gebaseerd moet zijn op \u00e9\u00e9n van de wettelijke grondslagen die zijn geformuleerd in artikel 6 Algemene Verordening Gegevensbescherming. Persoonsgegevens mogen alleen worden verzameld voor specifieke, duidelijk omschreven en gerechtvaardigde doeleinden. Het is niet toegestaan om deze gegevens verder te verwerken op een manier die niet verenigbaar is met deze oorspronkelijke doeleinden.
Bij het verwerken van persoonsgegevens ten behoeve van de ontwikkeling en gebruik van algoritmes moet worden onderzocht of dit kan worden gebaseerd op \u00e9\u00e9n van de verwerkingsgrondslagen. Het is van belang dat wordt uitgewerkt welke persoonsgegevens waarvoor worden verwerkt en op basis van welke grondslag. Hierbij kan worden gedacht aan persoonsgegevens ten behoeve van trainingsdata, voor het genereren van output of, indien (juridisch) mogelijk, voor het uitvoeren van een onderzoek naar onbewuste vooringenomenheid.
Overweging 39 en 45 Algemene Verordening Gegevensbescherming
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-01-persoonsgegevens-worden-rechtmatig-verwerkt/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-01-persoonsgegevens-worden-rechtmatig-verwerkt/#risico","title":"Risico","text":"
Het risico wanneer persoonsgegevens niet op een rechtmatige manier worden verwerkt (verzamelen van gegevens valt hier ook onder), is dat er niet aan de AVG wordt voldaan. Er worden dan onrechtmatig persoonsgegevens verwerkt, waarmee privacy van personen in het geding komt. Ook kan het leiden tot hoge boetes voor organisaties, en kan een datalek plaatsvinden.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-02-beperkte-bewaartermijn-van-persoonsgegevens/","title":"Persoonsgegevens worden zo kort mogelijk bewaard","text":"
avg-02OntwerpDataverkenning en datapreparatieOntwikkelenUitfaserenOntwikkelaarBeleid en adviesPrivacy en gegevensbescherming
Persoonsgegevens moeten worden bewaard in een vorm die het mogelijk maakt om de betrokkenen niet langer te identificeren dan nodig is voor de realisering van de doeleinden waarvoor de persoonsgegevens initieel worden verwerkt.
Persoonsgegevens dienen toereikend en ter zake dienend te zijn en beperkt te blijven tot wat noodzakelijk is voor de doeleinden waarvoor zij worden verwerkt. Dit vereist dat ervoor wordt gezorgd dat de opslagperiode van de persoonsgegevens tot een strikt minimum wordt beperkt. Het beginsel van opslagbeperking betekent dat persoonsgegevens moeten worden bewaard in een vorm die het mogelijk maakt om de betrokkenen niet langer te identificeren dan voor de realisering van de doeleinden waarvoor de persoonsgegevens worden verwerkt.
In de context van algoritmes is het belangrijk dat, wanneer persoonsgegevens worden verwerkt, er onderzocht wordt op welke manieren identificatie van betrokkenen tegen kan worden gegaan. Hierbij kan worden gedacht aan maatregelen als pseudonomisering en anonimisering.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-02-beperkte-bewaartermijn-van-persoonsgegevens/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-02-beperkte-bewaartermijn-van-persoonsgegevens/#risico","title":"Risico","text":"
Het onnodig lang bewaren van persoonsgegevens levert een onrechtmatige situatie op. De privacyrechten van betrokken worden hierdoor aangetast. Er ontstaan aanvullende risico's bij bijvoorbeeld een datalek.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-03-minimale-verwerking-van-persoonsgegevens/","title":"Persoonsgegevens worden zo min mogelijk verwerkt","text":"
avg-03OntwerpDataverkenning en datapreparatieOntwikkelenJuristOntwikkelaarPrivacy en gegevensbescherming
De verwerking van persoonsgegevens moet minimaal worden gehouden, dat wil zeggen dat die verwerking toereikend moet zijn, ter zake dienend en beperkt tot wat noodzakelijk is voor de doeleinden waarvoor zij worden verwerkt.
Het is van belang dat \u00e9nkel persoonsgegevens worden verwerkt die noodzakelijk zijn gezien de doeleinden van die vewerking. Er moet een beoordeling worden gemaakt welke persoonsgegevens dit wel en eventueel niet zijn. Voor het ontwikkelen en gebruiken van algoritmes is het van belang om te beoordelen welke persoonsgegevens noodzakelijk zijn om het beoogde doel te bereiken. Afhankelijk van de toepassing vraagt dit om een intensieve toets. Er moet voor worden gezorgd dat persoonsgegevens die niet als noodzakelijk worden beschouwd, buiten de verwerking blijven.
Artikel 5 lid 1 onder c Algemene Verordening Gegevensbescherming
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-03-minimale-verwerking-van-persoonsgegevens/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-03-minimale-verwerking-van-persoonsgegevens/#risico","title":"Risico","text":"
Het onnodig verwerken van persoonsgegevens kan een inbreuk maken op rechten van betrokkenen, en zou kunnen leiden tot een datalek.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-04-proportionaliteit-en-subsidiariteit/","title":"Persoonsgegevens en andere data verwerken gebeurt proportioneel en subsidiair","text":"
avg-04OntwerpDataverkenning en datapreparatieJuristOntwikkelaarFundamentele rechtenPrivacy en gegevensbescherming
Gegevensverwerking moet in verhouding staan tot het beoogde doel en persoonsgegevens mogen alleen verwerkt worden als er geen minder ingrijpende manier is om het doel te bereiken. Voor zover het gaat om de verwerking van persoonsgegevens moet dit vereiste aantoonbaar zijn.
Proportionaliteit vereist dat de impact van gegevensverwerking op de persoonlijke levenssfeer voor de toepassing van een algoritme en voor het genereren van de benodigde output in balans is met het beoogde doel. Subsidiariteit vereist dat persoonsgegevens alleen moeten worden verwerkt als dit de minst inbreukmakende manier is om het doel te bereiken. Deze principes waarborgen dat de privacy van individuen wordt gerespecteerd en dat gegevensverwerking niet verder gaat dan noodzakelijk is voor legitieme doeleinden. Het is van belang om deze principes te hanteren om te bepalen of en in welke vorm een algoritmes moet worden toegepast en om tot een passende mate van gegevensverwerking te komen om het doel te bereiken.
Artikel 5(4) Verdrag betreffende de Europese Unie, Maastricht, 07-02-1992 |
Artikel 52 Handvest van de Grondrechten van de Europese Unie
Protocol betreffende de toepassing van de beginselen van subsidiariteit en evenredigheid Verdrag betreffende de Europese Unie, Maastricht, 07-02-1992
Artikel 1.10, 1.13 en 1.16 Aanbestedingswet 2012
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-04-proportionaliteit-en-subsidiariteit/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-04-proportionaliteit-en-subsidiariteit/#risico","title":"Risico","text":"
Zonder toetsing aan het proportinaliteits- en subsidiariteitsbeginsel ontstaat het risico dat er een onnodig zware en daardoor onrechtmatige inbreuk wordt gemaakt op de privacyrechten van betrokkenen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-05-juistheid-en-actualiteit-van-persoonsgegevens/","title":"Persoonsgegevens zijn juist en actueel","text":"
avg-05Dataverkenning en datapreparatieOntwikkelaarProjectleiderPrivacy en gegevensbescherming
De te verwerken persoonsgegevens moeten nauwkeurig, juist en zo nodig actueel zijn. Dit betekent dat alle maatregelen moeten worden genomen om ervoor te zorgen dat onjuiste persoonsgegevens worden gerectificeerd of gewist. Dat kan betekenen dat persoonsgegevens moeten worden geactualiseerd of verbeterd. In de context van algoritmes is het van belang dat ook daar wordt onderzocht welke maatregelen nodig zijn om die juistheid toe te passen.
Artikel 5 lid 1 sub d Algemene Verordening Gegevensbescherming
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-05-juistheid-en-actualiteit-van-persoonsgegevens/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-05-juistheid-en-actualiteit-van-persoonsgegevens/#risico","title":"Risico","text":"
Als er geen rekening wordt gehouden met de juistheid, nauwkeurigheid en volledigheid van persoonsgegevens, kunnen kwaliteit en integriteit van data niet voldoende worden gewaarborgd.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-06-verantwoordingsplicht-rechtmatigheid/","title":"Organisaties kunnen bewijzen dat zij persoonsgegevens op de juiste manier verwerken","text":"
avg-06OntwerpDataverkenning en datapreparatieJuristGovernancePrivacy en gegevensbescherming
De verantwoordelijken moeten bij de verwerking van persoonsgegevens door algoritmes kunnen aantonen dat de verwerkingen rechtmatig plaatsvinden. Dit betekent concreet dat de volgende punten aangetoond kunnen worden:
Rechtmatigheid, behoorlijkheid en transparantie
Doelbinding
Minimale gegevensverwerking
Juistheid
Opslagbeperking
Integriteit en vertrouwelijkheid
Een aandachtpunt daarbij is dat de rechtmatigheid van de verwerking ten opzichte van andere gerelateerde wetgeving zoals de AI Act en de Algemene wet gelijke behandeling ook moeten kunnen worden aangetoond voor zover de rechtmatigheid van de verwerking onder de AVG daarvan afhankelijk is.
Bij het verwerken van persoonsgegevens voor algoritmes moeten de verantwoordelijkheden duidelijk beschreven en toegewezen zijn. De verwerkingsverantwoordelijke is degene die ervoor zorgt dat deze verantwoordelijkheden worden nageleefd en kan dit aantonen, wat bekend staat als de verantwoordingsplicht. Deze maatregelen zijn essentieel om de naleving van regelgeving met betrekking tot gegevensbescherming te waarborgen en het vertrouwen van gebruikers in de verwerking van hun gegevens te vergroten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-06-verantwoordingsplicht-rechtmatigheid/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-06-verantwoordingsplicht-rechtmatigheid/#risico","title":"Risico","text":"
Het niet naleven van deze norm moet worden gekwalificeerd als een onrechtmatigheid, niet als een risico voor de rechten en vrijheden van betrokkenen onder de AVG. Maar het niet voldoen aan artikel 5 betekent in de praktijk vaak wel dat er onvoldoende zicht is op risico's voor de rechten en vrijheden van betrokkenen of dat er te grote risico's worden genomen. Deze gevolgen zijn echter indirect een gevolg van het niet naleven van artikel 5 AVG. Het moeten voldoen aan het aantoonbaarheidsvereiste kan wel risico's hebben voor de organisatie die een algortime inzet. Enkele risico's zijn:
Aantoonbaarheidsvereisten vragen in de praktijk veel documentatie. Deze documentatie kan via de Woo opgevraagd worden. Het ontbreken van documentatie kan door externen vaak relatief makkelijk in verband worden gebracht met een overtreding van deze vereisten.
Algoritmes die van nature slecht inzichtelijk en uitlegbaar zijn (zoals deep-learning) hebben een zeer hoge drempel om aan deze vereiste te voldoen. Aantonen van rechtmatigheid is voor een belangrijk deel afhankelijk van inzicht in de werking van het algoritme. De inzet van een algortime kan dus mogelijk tegengehouden worden door deze vereisten.
Bij leveranciers die niet of gedeeltelijke transparant zijn over hun product of dienstverlening ontstaat een vergelijkbaar risico. Waar de Woo uitzonderingen heeft voor bedrijfsgeheimen heeft de AVG daar maar beperkte ruimte voor. Het is dus mogelijk dat leveranciers terughoudend zullen zijn met het delen van informatie die onder de AVG ook aan betrokkenen gecommuniceerd moeten worden.
Samenwerkingsverbanden en externe leveranciers kunnen niet als argumenten worden gebruikt om de aantoonbaarheidsvereisten op af te schuiven. Onafhankelijk van de onderlinge afspraken daarover hebben alle verwerkingsverantwoordelijken de verplichting om aan deze vereisten te kunnen voldoen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-07-transparantie-bij-verwerken-persoonsgegevens/","title":"Organisaties zijn transparant over het verwerken van persoonsgegevens","text":"
avg-07ImplementatieMonitoring en beheerOntwikkelaarProjectleiderPrivacy en gegevensbeschermingTransparantie
Een betrokkene moet op de hoogte worden gesteld van het feit dat er verwerking plaatsvindt van diens persoonsgegevens en van de doeleinden daarvan (zoals ook is verwoord in het beginsel van transparante verwerking, artikel 5 AVG). Hierbij moeten de specifieke omstandigheden en de context waarin de persoonsgegevens worden verwerkt, worden meegenomen. In artikel 13 en 14 AVG wordt toegelicht welke informatie in welke gevallen moet worden verstrekt door de verwerkersverantwoordelijke. Als persoonsgegevens worden verwerkt ten behoeve van het ontwikkelen of gebruiken van algoritmes, zal deze informatie moeten worden verstrekt.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-07-transparantie-bij-verwerken-persoonsgegevens/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-07-transparantie-bij-verwerken-persoonsgegevens/#risico","title":"Risico","text":"
Rechten van betrokken worden geschonden als er geen sprake is van transparantie over de verwerkingen van de persoonsgegevens.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-08-wettelijke-verwerking-van-gevoelige-gegevens/","title":"Gevoelige persoonsgegevens worden alleen gebruikt als hiervoor een wettelijke uitzondering geldt","text":"
avg-08OntwerpDataverkenning en datapreparatieProjectleiderJuristBeleid en adviesPrivacy en gegevensbeschermingBias en non discriminatie
Persoonsgegevens die door hun aard bijzonder gevoelig zijn wat betreft de grondrechten en fundamentele vrijheden, verdienen specifieke bescherming. Dit komt doordat de context van de verwerking ervan significante risico's kan meebrengen voor de grondrechten en de fundamentele vrijheden. Denk hierbij aan persoonsgegevens als ras, ethnische afkomst, politieke opvattingen of religieuze of levenschouwelijke overtuigingen.
Bijzondere categorie\u00ebn persoonsgegevens mogen alleen worden verwerkt als er hier een wettelijke uitzondering voor is (artikel 9 AVG en artikel 30 UAVG). Deze vereiste is ook van toepassing bij het ontwikkelen en gebruiken van algoritmes en stelt daarmee beperkingen aan het mogen verwerken van deze categorie\u00ebn persoonsgegevens, bv. ten behoeve van trainingsdata of het genereren van de beoogde output.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-08-wettelijke-verwerking-van-gevoelige-gegevens/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-08-wettelijke-verwerking-van-gevoelige-gegevens/#risico","title":"Risico","text":"
Het (onrechtmatige) verwerken van bijzondere categorie\u00ebn persoonsgegevens brengt risico's met zich mee op het gebied van respecteren van de persoonlijke levenssfeer en discriminatie.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-09-inroepen-privacyrecht-bij-verwerking-persoonsgegevens/","title":"Betrokkenen kunnen een beroep doen op hun privacyrechten","text":"
avg-09OrganisatieverantwoordelijkhedenOntwikkelenOntwikkelaarPrivacy en gegevensbeschermingData
Mensen hebben het recht om hun privacyrechten uit te oefenen door een beroep te doen op verschillende wettelijke bepalingen, zoals het recht op inzage, correctie, verwijdering en bezwaar tegen de verwerking van hun persoonsgegevens. Dit betekent dat individuen controle hebben over hoe hun gegevens worden gebruikt en kunnen verzoeken om toegang te krijgen tot hun gegevens of om wijzigingen aan te brengen indien nodig.
Het kunnen uitoefenen van privacyrechten is essentieel voor het beschermen van de privacy van individuen, het waarborgen van transparantie en controle uitvoeren over persoonsgegevens. Als persoonsgegevens worden verwerkt voor het ontwikkelen en gebruiken van algoritmes, is het van belang dat maatregelen worden getroffen om deze rechten te eerbiedigen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-09-inroepen-privacyrecht-bij-verwerking-persoonsgegevens/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-09-inroepen-privacyrecht-bij-verwerking-persoonsgegevens/#risico","title":"Risico","text":"
Betrokkenen hebben geen controle over hun persoonsgegevens wanneer ze geen beroep kunnen doen op hun privacyrechten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-10-recht-op-niet-geautomatiseerde-besluitvorming/","title":"Besluiten die levens kunnen be\u00efnvloeden, zijn niet volledig geautomatiseerd","text":"
avg-10OntwerpImplementatieProjectleiderBeleid en adviesPrivacy en gegevensbescherming
Betrokkenen hebben het recht om niet onderworpen te worden aan een enkel op geautomatiseerde verwerking, waaronder proflering, gebaseerd besluit, wanneer dit rechtsgevolgen heeft voor hen of het hen anderszins in aanzienlijke mate treft. Dit verbod geldt niet indien de geautomatiseerde individuele besluitvorming, anders dan op basis van profilering, noodzakelijk is om te voldoen aan een wettelijke verplichting die op de verwerkingsverantwoordelijke rust of noodzakelijk is voor de vervulling van een taak van algemeen belang.
Mensen hebben het recht om niet onderworpen te worden aan beslissingen die uitsluitend gebaseerd zijn op geautomatiseerde verwerking, zoals profilering, als dit aanzienlijke gevolgen voor hen heeft of hen op een andere manier aanzienlijk be\u00efnvloedt. Dit recht biedt bescherming tegen mogelijke negatieve effecten van volledig geautomatiseerde besluitvormingssystemen, en waarborgt dat individuen kunnen rekenen op menselijke tussenkomst en beoordeling bij belangrijke beslissingen die hen kunnen treffen. Uitgangspunt is dat voor elk individueel geval een zorgvuldige beoordeling van de kenmerken en omstandigheden plaatsvindt voordat een besluit wordt genomen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-10-recht-op-niet-geautomatiseerde-besluitvorming/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-10-recht-op-niet-geautomatiseerde-besluitvorming/#risico","title":"Risico","text":"
Bij geautomatiseerde besluitvorming kan het risico ontstaan dat kenmerken van een bepaalde groep ten onrechte worden tegengeworpen aan een individu die deze kenmerken niet hoeft te bezitten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-11-privacy-bij-ontwerp-bij-verwerking-van-persoonsgegevens/","title":"Ontwerp en standaardinstellingen (defaults) zijn zo gunstig mogelijk voor de privacy van betrokkenen","text":"
avg-11OntwerpDataverkenning en datapreparatieBeleid en adviesProjectleiderJuristOntwikkelaarPrivacy en gegevensbescherming
Gegevensbescherming door ontwerp en standaardinstellingen houdt in dat privacy- en gegevensbescherming vanaf het begin worden ge\u00efntegreerd in de ontwikkeling van systemen en processen (ook wel privacy-by-design genoemd). Door al bij het ontwerp rekening te houden met privacyaspecten en door standaardinstellingen die privacy bevorderen, wordt de bescherming van persoonsgegevens versterkt. Hierbij kan worden gedacht een het pseudonimiseren van persoonsgegevens of dataminimalisatie.
Deze aanpak zorgt ervoor dat privacy-overwegingen een integraal onderdeel zijn van alle aspecten van gegevensverwerking en draagt bij aan het vertrouwen van individuen in de veilige omgang met hun gegevens. Dit is eveneens van toepassing als persoonsgegevens worden verwerkt bij het ontwikkelen en gebruiken van algoritmes.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-11-privacy-bij-ontwerp-bij-verwerking-van-persoonsgegevens/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-11-privacy-bij-ontwerp-bij-verwerking-van-persoonsgegevens/#risico","title":"Risico","text":"
Door privacy en gegevensbescherming door ontwerp en standaardinstellingen niet toe te passen, kan een inbreuk op rechten van betrokkenen ontstaan.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-12-beveiliging-van-verwerking/","title":"Data zoals persoonsgegevens zijn voldoende beveiligd tegen ongelukken en cyberaanvallen","text":"
avg-12OrganisatieverantwoordelijkhedenJuristOntwikkelaarPrivacy en gegevensbeschermingTechnische robuustheid en veiligheid
Rekening houdend met de stand van de techniek, de uitvoeringskosten, alsook met de aard, de omvang, de context en de verwerkingsdoeleinden en de qua waarschijnlijkheid en ernst uiteenlopende risico's voor de rechten en vrijheden van personen, treffen de verwerkingsverantwoordelijke en de verwerker passende technische en organisatorische maatregelen om een op het risico afgestemd beveiligingsniveau te waarborgen.
Voor de ontwikkeling en gebruik van algoritmes is data nodig. Deze data kan persoonsgegevens bevatten die moeten worden beschermd. De organisatie zal technische en organisatorische maatregelen moeten treffen om de data en het algoritme voldoende te beschermen. Hierbij kan worden gedacht aan dataminimalisatie, het pseudonimiseren of aggregeren van persoonsgegevens. Per toepassing moet worden onderzocht welke maatregelen hiervoor geschikt zijn.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-12-beveiliging-van-verwerking/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-12-beveiliging-van-verwerking/#risico","title":"Risico","text":"
Er kunnen risico's ontstaan zoals potenti\u00eble cyberaanvallen en datalekken. Dit kan leiden bijvoorbeeld tot verlies of diefstal van gevoelige gegevens, verstoring van organisatieprocessen,ongeautoriseerde toegang, vernietiging en onrechtmatige verwerking.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-13-dpia-verplicht/","title":"Een Data Protection Impact Assessment (DPIA) wordt uitgevoerd wanneer de verwerking van persoonsgegevens waarschijnlijk een hoog risico met zich meebrengt voor de rechten en vrijheden van natuurlijke personen","text":"
avg-13OntwerpDataverkenning en datapreparatieVerificatie en validatieJuristProjectleiderPrivacy en gegevensbescherming
Een gegevensbeschermingseffectbeoordeling (DPIA) is verplicht, indien een verwerking van persoonsgegevens waarschijnlijk een hoog risico inhoudt voor de rechten en vrijheden van natuurlijke personen.
Een Gegevensbeschermingseffectbeoordeling (GEB) of Data Protection Impact Assessment (DPIA) is verplicht wanneer de verwerking van persoonsgegevens waarschijnlijk een hoog risico met zich meebrengt voor de rechten en vrijheden van natuurlijke personen. Deze beoordeling identificeert en beperkt potenti\u00eble risico's en zorgt ervoor dat passende maatregelen worden genomen om de privacy van individuen te beschermen. Deze verplichting draagt bij aan een zorgvuldige en verantwoorde omgang met persoonsgegevens in algoritmes, waardoor de privacy van individuen wordt gewaarborgd.
Let op: de DPIA verplichting is niet gebaseerd op de hoog-risico criteria uit de AI-act. Volgens Besluit lijst verwerkingen persoonsgegevens waarvoor een gegevensbeschermingseffectbeoordeling (DPIA) verplicht is, Autoriteit Persoonsgegevens moet voor het uitvoeren van een DPIA in ieder geval uitgegaan worden van een hoog risico als er sprake is van \u00e9\u00e9n van de volgende voorwaarden:
Evaluatie of scoretoekenning
Geautomatiseerde besluitvorming met rechtsgevolg of vergelijkbaar wezenlijk gevolg
Stelselmatige monitoring
Gevoelige gegevens of gegevens van zeer persoonlijke aard
Op grote schaal verwerkte gegevens
Matching of samenvoeging van datasets
Gegevens met betrekking tot kwetsbare betrokkenen
Innovatief gebruik of innovatieve toepassing van nieuwe technologische of organisatorische oplossingen
de situatie waarin als gevolg van de verwerking zelf \"betrokkenen [...] een recht niet kunnen uitoefenen of geen beroep kunnen doen op een dienst of een overeenkomst\";
Het is mogelijk dat algoritmes die niet aan \u00e9\u00e9n of meer van deze eigenschappen voldoen toch voor een potentieel hoog risico zorgen.
Gebruiksverantwoordelijken van AI-systemen met een hoog risico gebruiken die informatie op grond van artikel 13 AI Verordening om hun verplichting na te komen om een gegevensbeschermingseffectbeoordeling uit te voeren.
Besluit lijst verwerkingen persoonsgegevens waarvoor een gegevensbeschermingseffectbeoordeling (DPIA) verplicht is, Autoriteit Persoonsgegevens
Data protection impact assessment (DPIA) Autoriteit Persoonsgegevens
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-13-dpia-verplicht/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-13-dpia-verplicht/#risico","title":"Risico","text":"
Het niet evalueren van de impact van het verwerking van persoonsgegevens in algoritmes kan resulteren in het niet onderkennen van de bijbehorende risico's en het niet op tijd te mitigieren van deze risico's. Dit kan leiden tot potenti\u00eble schendingen van de rechten en vrijheden van betrokkenen en een onrechtmatige verwerking.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-13-dpia-verplicht/#hulpmiddelen","title":"Hulpmiddelen","text":"HulpmiddelenData Protection Impact AssessmentToetsingskader Algoritmes Algemene Rekenkamer"},{"location":"voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel/","title":"Organisaties die algoritmes gebruiken voor publieke taken gaan zorgvuldig te werk","text":"
awb-01OntwerpOntwikkelenVerificatie en validatieProjectleiderBeleid en adviesFundamentele rechten
Dit beginsel vereist dat een besluit met de nodige zorgvuldigheid wordt voorbereid en genomen. Dit vraagt onder meer om een zorgvuldig onderzoek naar feiten, een zorgvuldige beslissingsprocedure en een deugdelijke besluitvorming. Dit betekent dat algoritmes zodanig moet worden ontwikkeld en gebruikt, dat dit passend is ter ondersteuning van de wettelijke taak en de bijbehorende beslissing of besluitvorming.
Het doel en eventuele subdoelen van het algoritme of AI-systeem moet helder zijn gedefinieerd, ook in relatie tot het maatschappelijke resultaat (outcome), en wordt gedeeld door de eigenaar, ontwikkelaar en gebruiker van het algoritme. Een bewuste afweging of het algoritme het juiste middel is om het probleem op doelmatige en doeltreffende wijze op te lossen is gemaakt en vastgelegd.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel/#risico","title":"Risico","text":"
De werking van het algoritmes sluit niet of onvoldoende aan bij de juridische en ethische grenzen van de te ondersteunen wettelijke taak. Hierdoor kunnen ongewenste gevolgen ontstaan zoals een onjuist of onzorgvuldig genomen besluit op een aanvraag.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/awb-02-motiveringsbeginsel/","title":"Organisaties kunnen duidelijk uitleggen waarom en hoe algoritmes leiden tot een besluit","text":"
awb-02OntwerpImplementatieMonitoring en beheerJuristBeleid en adviesTransparantie
dat een besluit tot stand is gekomen met behulp van een algoritme;
van welke feiten het is uitgegaan en welke gegevens van de burger gebruikt c.q. verwerkt zijn;
welke relevante belangen tegen elkaar zijn afgewogen en hoe die afweging is verlopen (bijvoorbeeld het gewicht dat wordt toegekend aan elk afgewogen kenmerk; welke analytische technieken gebruikt zijn; welke specifieke voorspellende data; wat de belangrijkste policy-keuzes waren; een uitleg van het voorspellende algoritme);
hoe het algoritme werkt (niet de techniek, maar hoe de uitkomsten van het algoritme tot stand komen).
De keuzes en aannames die zijn gemaakt en gedaan moeten worden beschreven en toegelicht.
Jurisprudentie over AERIUS (ABRvS 18 juli 2018, ECLI:NL:RVS:2018:2454), Hof van Justitie C-274/18
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/awb-02-motiveringsbeginsel/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/awb-02-motiveringsbeginsel/#risico","title":"Risico","text":"
Het is onduidelijk op wat voor manier het algoritmes heeft bijgedragen aan de totstandkoming van een besluit.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/bio-01-beveiliging-informatie-en-informatiesystemen/","title":"Computersystemen zijn voldoende beveiligd tegen ongelukken en cyberaanvallen","text":"
bio-01OrganisatieverantwoordelijkhedenBeleid en adviesOntwikkelaarTechnische robuustheid en veiligheid
Informatiebeveiliging is het proces van vaststellen van de vereiste beveiliging van informatiesystemen in termen van vertrouwelijkheid, beschikbaarheid en integriteit alsmede het treffen, onderhouden en controleren van een samenhangend pakket van bijbehorende maatregelen. In Nederland is besloten dat overheidsinstellingen de Baseline Informatiebeveiliging Overheid (BIO) dienen toe te passen over hun informatie en informatiesystemen. De BIO beoogt de beveiliging van informatie(systemen) bij alle bestuurslagen en bestuursorganen van de overheid te bevorderen, zodat alle onderdelen erop kunnen vertrouwen dat onderling uitgewisselde gegevens, in lijn met wet- en regelgeving, passend beveiligd zijn.
Algoritmes en hun output kunnen onderdeel worden van de informatie en informatiesystemen waar de BIO op van toepassing is. Het is van belang om algoritmische toepassingen en AI-systemen op de juiste manier te beveiligen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/bio-01-beveiliging-informatie-en-informatiesystemen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/bio-01-beveiliging-informatie-en-informatiesystemen/#risico","title":"Risico","text":"
Er kunnen risico's ontstaan zoals ongeautoriseerde toegang, vernietiging, verlies, wijziging of niet-toegestane verwerking van gegevens als de informatie en informatiesystemen onvoldoende zijn beveiligd.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/bzk-01-algoritmeregister/","title":"Impactvolle algoritmes en hoog-risico-AI-systemen staan in het Nederlandse Algoritmeregister","text":"
bzk-01ImplementatieMonitoring en beheerProjectleiderTransparantie
Het publiceren van algoritmes draagt bij aan transparantie voor belanghebbenden en derden over welke algoritmes worden gebruikt door de overheid. Het is vastgesteld beleid dat overheidsinstellingen, tenzij er uitsluitingsgronden zijn, de door hen gebruikte impactvolle algoritmes en hoogrisico AI-systemen publiceren in het algoritmeregister. Er wordt gewerkt aan wetgeving om het bij wet verplicht te stellen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/bzk-01-algoritmeregister/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/bzk-01-algoritmeregister/#risico","title":"Risico","text":"
Door het niet publiceren van impactvolle algoritmes of hoog risico AI -systemen in het Algoritmeregister, is het voor betrokkenen of belanghebbenden minder goed mogelijk om de overheid kritisch te volgen, te bevragen en te controleren op de inzet van deze technologie\u00ebn die hen kunnen raken. Bij het onjuist of onvolledig publiceren in het Algortimeregister ontstaat er een risico dat betrokkenen en belanghebbenden onjuiste inschattingen maken over het gebruik van het algoritmes en daardoor in hun rechten worden beperkt.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/bzk-01-algoritmeregister/#hulpmiddelen","title":"hulpmiddelen","text":"HulpmiddelenAlgoritmeregister"},{"location":"voldoen-aan-wetten-en-regels/vereisten/dat-01-databankenwet/","title":"Databanken worden alleen gebruikt met toestemming van de databank-producent","text":"
De Databankrichtlijn en Databankenwet beschermt de producten/fabrikanten van databanken tegen onrechtmatige toe-eigening van een databank. Degene die een substanti\u00eble financi\u00eble en professionele investering heeft verricht om de inhoud van de databank te verkijgen en te verzamelen, krijgt een verbodsrecht en kan zo anderen verbieden de databank te gebruiken. Bij verkrijgen gaat het om \"het verzamelen van de werken, gegevens of andere zelfstandige elementen die tezamen de inhoud van de databank vormen\". Dit recht bestaat naast het recht op bescherming van de originele keuze of rangschikking van de inhoud van databanken (auteurswet).
Voor het ontwikkelen van algoritme is data nodig. De data die hiervoor wordt gebruikt mag niet ongeoorloofd zijn verkregen uit een databank.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/dat-01-databankenwet/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/dat-01-databankenwet/#risico","title":"Risico","text":"
Als een ontwikkelaar onbevoegd gebruik heeft gemaakt van data uit een databank bij de ontwikkeling van algoritmes, wordt het databankenrecht geschonden van de eigenaar. De eigenaar van de databank kan bijvoorbeeld ontrekking van de data uit het handelsverkeer, vernietiging en onbruikbaarmaking eisen, wat vergaande gevolgen kan hebben voor het gebruik kunnen maken van de algoritmische toepassing of AI-systeem.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/grw-01-fundamentele-rechten/","title":"Algoritmes schenden geen grondrechten of mensenrechten","text":"
grw-01ProbleemanalyseOntwerpVerificatie en validatieMonitoring en beheerProjectleiderJuristFundamentele rechten
Mensenrechten gelden voor alle mensen op de wereld. De mensenrechten in Nederland zijn beschermd door nationale wetten en internationale verdragen. In Nederland staan veel mensenrechten in hoofdstuk 1 van de Grondwet. Deze rechten heten ook wel \u2019grondrechten\u2019. Een bekend voorbeeld is artikel 1 van de Grondwet. Om mensenrechten te beschermen zijn ze op Europees en internationaal niveau in verschillende verklaringen en verdragen vastgelegd.
Mensenrechten kunnen soms onder druk komen te staan. De inzet van algoritmes kan bijvoorbeeld een bedreiging vormen voor de privacy van burgers, voor het recht op gelijke behandeling en voor het recht op behoorlijk bestuur. Het is daarom belangrijk om tijdig te onderzoeken of er sprake is of kan zijn van een eventuele inbreuk op fundamentele rechten en vrijheden van burgers. Het is van belang dat maatregelen worden getroffen om een eventuele inbreuk te voorkomen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/grw-01-fundamentele-rechten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/grw-01-fundamentele-rechten/#risico","title":"Risico","text":"
Grondrechten kunnen worden geraakt door de inzet van algoritmes met eventuele schadelijke gevolgen voor betrokkenen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/grw-01-fundamentele-rechten/#hulpmiddelen","title":"hulpmiddelen","text":"HulpmiddelenImpact Assessment Mensenrechten en AlgoritmesThe Fairness HandbookHandreiking non-discriminatie by designDiscriminatie door risicoprofielen - Een mensenrechtelijk toetsingskader"},{"location":"voldoen-aan-wetten-en-regels/vereisten/grw-02-non-discriminatie/","title":"Algoritmes discrimineren niet","text":"
grw-02Dataverkenning en datapreparatieVerificatie en validatieMonitoring en beheerProjectleiderBias en non discriminatie
Allen die zich in Nederland bevinden, worden in gelijke gevallen gelijk behandeld. Directe en indirecte discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, handicap, seksuele gerichtheid of op welke grond dan ook, is niet toegestaan.
Overheidsinstanties moeten zich bij het uitvoeren van hun taken onthouden van discriminatie, ook wanneer er gebruik wordt gemaakt van algoritmes. Wanneer er algoritmes worden gebruikt om selecties te maken van burgers, dienen we te streven naar een gelijke behandeling van personen of groepen ten opzichte van andere personen in een vergelijkbare situatie. Hierbij is het belangrijk te beseffen dat discriminatie ook op indirecte wijze kan ontstaan. Hiervan is sprake wanneer een ogenschijnlijk neutrale bepaling, maatstaf of handelwijze personen met een beschermd persoonskenmerk in vergelijking met andere personen in het bijzonder benadeelt, tenzij hiervoor een objectieve rechtvaardiging bestaat.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/grw-02-non-discriminatie/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/grw-02-non-discriminatie/#risico","title":"Risico","text":"
Het risico bestaat dat het model onwenselijke systematische afwijkingen cre\u00ebert voor specifieke personen, groepen of andere eenheden, wat kan duiden op directe of indirecte discriminerende effecten van het algoritme.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/woo-01-recht-op-toegang-tot-publieke-informatie/","title":"Iedereen kan openbare informatie over algoritmes vinden of aanvragen","text":"
Een bestuursorgaan draagt er zorg voor dat de documenten die het ontvangt, vervaardigt of anderszins onder zich heeft, zich in goede, geordende en toegankelijke staat bevinden. Een bestuursorgaan draagt er zoveel mogelijk zorg voor dat de informatie die het overeenkomstig deze wet verstrekt, actueel, nauwkeurig en vergelijkbaar is.
Bij het ontwikkelen en gebruiken van algoritmes kunnen documenten en publieke informatie ontstaan die (op verzoek) in aanmerking komen voor openbaarmaking. Het kunnen openbaren van publieke informatie is in het belang van een democratische rechtstaat. De Wet open overheid gaat uit van een recht op openbaarheid van publieke informatie. Iedereenkan een verzoek tot openbaarmaking van publieke informatie doen bij een bestuursorgaan zonder daarbij een belang te stellen (artikel 4.1 Woo). De aan een verzoeker verstrekte informatie wordt openbaar voor iedereen. De Woo is niet van toepassing op informatie die al openbaar is (uitspraken van de Afdeling bestuursrechtspraak van de Raad van State van 1 december 2010 (ECLI:NL:RVS:2010:BNS6990) en 20 oktober 2010 (ECLI:NL:RVS:2010:BO1165)). Er kunnen uitsluitingsgronden bestaan voor het openbaarmaken van documenten (artikel 5.1 Woo).
In de context van het ontwikkelen en gebruiken van algoritmes is het van belang dat tijdig wordt vastgesteld welke documenten in aanmerking komen voor openbaarmaking. Dit moet worden bekeken in het licht van wat 'actief' moet worden geopenbaard, dus proactief vanuit overheidsinstanties zelf, of wat op 'verzoek' van iemand moet worden geopenbaard.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/woo-01-recht-op-toegang-tot-publieke-informatie/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/woo-01-recht-op-toegang-tot-publieke-informatie/#risico","title":"Risico","text":"
Zonder het openbaren van overheidsinformatie kan de overheid niet effectief worden gecontroleerd bij het uitvoeren van wettelijke taken.
"}]}
\ No newline at end of file
+{"config":{"lang":["nl"],"separator":"[\\s\\-]+","pipeline":["stopWordFilter"],"fields":{"title":{"boost":1000.0},"text":{"boost":1.0},"tags":{"boost":1000000.0}}},"docs":[{"location":"","title":"Het algoritmekader","text":"Wetten en regels, tips en hulpmiddelen voor verantwoord gebruik van algoritmes. b\u00e8taversie
Deze website is in ontwikkeling. Alle versies ontstaan op een open manier. Iedereen mag opmerkingen of suggesties geven.
Onderwerpen
Bias en non-discriminatie
Governance
Transparantie
Privacy & gegevensbescherming
Publieke inkoop
Bekijk alle onderwerpen Informatie per rol
Beleid en advies
Jurist
Ontwikkelaar
Projectleider
Bekijk alle rollen Levenscyclus
Probleemanalyse
Ontwerpen
Dataverkenning & datapreparatie
Ontwikkelen
Monitoring & beheer
Bekijk de hele levenscyclus Voldoen aan wetten en regels
"},{"location":"levenscyclus/","title":"Levenscyclus algoritmes en AI","text":"
Fase 0: Organisatieverantwoordelijkheden
Voordat je start met de ontwikkeling of het gebruik van een algoritme, zul je moeten zorgen dat je organisatie voldoende ingericht is om algoritmes te gebruiken of te ontwikkelen.
Fase 1: Probleemanalyse
In deze fase wordt het probleem en de doelstellingen van een opdrachtgever geanalyseerd en beschreven.
Fase 2: Ontwerp
In de ontwerpfase wordt het conceptuele ontwerp van het AI-systeem uitgedacht.
Fase 3: Dataverkenning en datapreparatie
Dit is de fase waarin het algoritme of AI-systeem wordt ontwikkeld door het ontwikkelteam.
Fase 4: Ontwikkelen
Dit is de fase waarin het algoritme of AI-systeem wordt ontwikkeld door het ontwikkelteam.
Fase 5: Verificatie en validatie
Bij de verificatie en validatie van het algoritme of AI-systeem dient bepaald te worden of het algoritme of AI-systeem gebouwd is volgens de (technische) specificaties en voldoet aan de beoogde doelstellingen.
Fase 6: Implementatie
In deze fase wordt het algoritme of AI-systeem in de praktijk gebracht en duurzaam ge\u00efntegreerd in het bedrijfsproces.
Fase 7: Monitoring en beheer
Het algoritme of AI-systeem wordt in deze fase voortdurend gemonitord om ervoor te zorgen dat het blijft presteren zoals verwacht en kan worden gebruikt door gebruikers.
Fase 8: Uitfaseren
Als wordt besloten dat het algoritme of AI-systeem niet langer nodig is of wordt vervangen door een wezenlijk andere versie, wordt het gearchiveerd en uitgefaseerd.
"},{"location":"levenscyclus/dataverkenning-en-datapreparatie/","title":"Dataverkenning en datapreparatie","text":"
In deze fase worden relevante datasets ge\u00efdentificeerd en wanneer nodig wordt nieuwe data verzameld. In deze fase zal ook de ontwikkelomgeving (verder) worden ingericht indien nodig. Het is van belang dat voorafgaand aan verzameling is vastgesteld dat de benodigde data mag worden verwerkt en dat de juiste maatregelen worden getroffen, zodra de data kan worden verwerkt. Denk hierbij aan het anonimiseren, pseudonimiseren of aggregeren van persoonsgegevens. De data zullen vervolgens worden opgeschoond, geanalyseerd en voorbereid voor verdere verwerking.
Het is van belang dat dataverzameling op de juiste manier gebeurt, en dat datasets die gebruikt gaan worden van goede kwaliteit zijn. In deze fase is het van belang om de datakwaliteit en eventuele bias in de dataset te onderzoeken. Indien er risico's optreden door bijvoorbeeld missende data of niet representatieve data, is het belangrijk om te kijken wat voor effecten dit heeft op het oorspronkelijke ontwerp van het algoritme. Dit kan betekenen dat nieuwe keuzes moeten worden gemaakt in het ontwerp en eventueel eerste deze fase van ontwerp (deels) opnieuw moet worden doorlopen.
Met voorgaande handelingen wordt het fundament gelegd om het algoritme te kunnen ontwikkelen. In de praktijk zal bijvoorbeeld het analyseren van de data niet stoppen na deze fase, maar terugkerend zijn in alle fasen die volgen. Als de verzamelde data van voldoende kwaliteit is en de vereiste maatregelen zijn getroffen, dan kan worden gestart met het ontwikkelen van het algoritme.
In deze fase wordt het algoritme in de praktijk gebracht en duurzaam ge\u00efntegreerd in het bedrijfsproces. In de praktijk worden veelal eerst een pilot uitgevoerd voor een afgebakende periode of over een beperkt aan zaken. In deze situatie, een pilot, wordt tijdelijk productiedata verwerkt. Dit vraagt om een goede samenwerking tussen het ontwikkelteam en de gebruikers van het algoritme. Niet alleen de prestaties van het algoritme worden nogmaals gevalideerd, maar bijvoorbeeld ook of de output zodanig wordt gepresenteerd dat gebruikers hiermee kunnen werken. Na deze pilot wordt onderzocht in hoeverre het algoritme presteert conform wens en verwachting. Er kan worden gekozen om het algoritme eerst nog door te ontwikkelen op basis van de bevindingen, uit te faseren of om de oplossing structureel onderdeel te maken van de bedrijfsvoering door het te implementeren.
Als een besluit wordt genomen om de oplossing te implementeren, dan is het van belang dat gebruikers goed begrijpen hoe de resultaten van het algoritme moeten worden ge\u00efnterpreteerd, dat de rest-risico's bekend zijn, de verantwoordelijkheden belegd zijn en dat er duidelijke werkinstructies zijn over het gebruik van het algoritme. Service- en incidentmanagement moet volledig worden geoperationaliseerd, zodat gebruikers kunnen worden geholpen bij vragen of incidenten. Een kenmerkend element van deze fase is dat vanaf nu betrokkenen onderhevig zijn aan de werking van het algoritme. Beslissingen en besluiten komen nu bijvoorbeeld mede of geheel door de werking van het algoritme tot stand. Waar passend, bijvoorbeeld bij impactvolle of hoog risico AI-systemen wordt dit duidelijk gecommuniceerd naar betrokken, voordat de oplossing volledig is ge\u00efmplementeerd.
"},{"location":"levenscyclus/monitoring-en-beheer/","title":"Monitoring en beheer","text":"
Het algoritme wordt in deze fase voortdurend gemonitord om ervoor te zorgen dat het blijft presteren zoals verwacht en kan worden gebruikt door gebruikers. Eventuele afwijkingen of degradatie van prestaties worden gesignaleerd en er worden maatregelen getroffen om dit te herstellen. Dit is van belang vanuit een technisch perspectief (presteert het model nog wel waar het voor ontworpen is), maar ook vanuit een juridische en ethische blik (functioneert het model nog wel rechtmatig en zijn er geen onvoorziene nadelige effecten op mens en maatschappij). Hierbij dient ook voortdurend gemonitord te worden of de omstandigheden waarin het algoritme wordt gebruikt veranderlijk zijn, en of daar op geanticipeerd moet worden. Dit kan bijvoorbeeld spelen bij veranderende data of bij het uitvoeren van nieuw beleid of wet- en regelgeving in het werkproces dat wordt ondersteund met het algoritme.
Het is van belang dat beheer wordt uitgevoerd over het algoritme, zodat de (gehele) oplossing operationeel blijft. Een wijziging in onderliggende systemen kan er bijvoorbeeld voor zorgen dat het algoritme niet meer wordt voorzien van de noodzakelijk data om de benodigde output te genereren. Het beheerteam zorgt ervoor dat dergelijke situaties worden voorkomen of opgelost. Er kunnen ook incidenten worden gemeld door gebruikers die worden opgelost door het beheerteam.
In de ontwerpfase wordt het conceptuele ontwerp van het algoritme uitgedacht. Het is van belang om belangrijke uitgangspunten en beleid, zoals doelarchitectuur en de datastrategie, van de betreffende organisatie meteen te verwerken in het ontwerp en dat het applicatielandschap en de databronnen in beeld wordt gebracht. In deze fase worden doorgaans veel werkzaamheden verzet, zoals business- en informatieanalyse, om een goed beeld te krijgen hoe aan de beoogde doelstellingen kan worden voldaan met een passende oplossing.
Het is goed denkbaar dat meerdere ontwerpen in deze fase tot stand komen voor het te ontwikkelen algoritme. Het is van belang om deze ontwerpen te toetsen bij bijvoorbeeld de proceseigenaar, opdrachtgever en gebruiker, maar ook bij informatiebeveiligingsadviseurs, privacy officers, informatiebeheerders, architecten of een ethicus. Deze experts kunnen vanuit hun vakgebied een eerste toets doen in hoeverre het ontwerp haalbaar of gewenst is, aansluit bij de gebruikersbehoefte, aan welke vereisten moet worden voldaan of dat er risicoanalyses moeten worden uitgevoerd en een onafhankelijke commissies moet worden betrokken.
Met deze input kan het ontwerp worden verbeterd en vraagstukken over bijvoorbeeld governance en risicomanagement verder worden uitgewerkt. In deze fase kan ook een eerste stap worden gezet om de vereisten te vertalen naar concrete maatregelen, te structureren en te beleggen bij de betrokken experts. Als bijvoorbeeld is vastgesteld dat persoonsgegevens noodzakelijkerwijs moeten worden verwerkt en hier een grondslag voor is, dan is het van belang dat voorafgaand aan de dataverkenning en datapreparatie fase voldoende (technische) maatregelen zijn getroffen om de data veilig te verwerken in de beoogde (ontwikkel)omgeving.
Daarnaast dient er in de ontwerpfase ook aandacht besteed te worden aan de succesfactoren van een algoritme. Het is belangrijk om in een multidisciplinaire setting te bepalen hoe het algoritme in de praktijk ge\u00ebvalueerd kan worden en wanneer we kunnen spreken van een rechtvaardig succes. Hierbij dient er ook te worden nagedacht over evaluatiemethoden om na te gaan of het algoritme voldoet aan bijvoorbeeld het vereiste van non-discriminatie.
Nadat een besluit is genomen over het definitieve ontwerp van het algoritme, kan worden gestart met het inrichten van de ontwikkelomgeving (indien nodig), de dataverkenning, datapreparatie. Dit besluit betekent dat een akkoord wordt gegeven voor het type algoritme en de beoogde werking.
Dit is de fase waarin het algoritme wordt ontwikkeld door het ontwikkelteam. Als het gaat om AI-systemen, omvat deze fase het trainen van modellen met behulp van de voorbereide gegevens. Als het gaat om algoritmes op basis van rekenregels, betreft dit het implementeren van deze rekenregels in de (ontwikkelomgeving van de) systemen.
Het algoritme technisch correct ontwikkelen, inclusief het kunnen begrijpen van de beperkingen ervan, vraagt om een samenspel van expertise vanuit verschillende disciplines. Denk hierbij aan de proceseigenaar, domeinexperts van het te ondersteunen werkproces, data scientists, data engineer, (privacy)juristen, beleidsmedewerkers en een ethicus. Een voorbeeld hiervan is het beoordelen van de zogenaamde inputvariabelen of rekenregels (die voor een groot deel bepalen hoe een algoritme functioneert) van een machine learning model of algoritme. Deze rollen zijn bijzonder waardevol bij het beoordelen of deze variabelen of rekenregels juridisch zijn toegestaan, ethisch wenselijk zijn, technisch gezien- voldoende significant zijn en of deze van toegevoegde waarde zijn voor gebruikers. Dit multidisciplinaire team kan tijdens de ontwikkeling continu bijsturen, zodat het algoritme op een verantwoorde wijze functioneert en aansluit bij de beoogde doelstellingen.
In deze fase is niet alleen het ontwikkelen van een algoritme, maar ook het documenteren van belangrijke afwegingen en het opstellen van technische documentatie van groot belang. Daarnaast zullen tal van (technische) maatregelen moeten worden getroffen zoals de verdere beveiliging van het informatiesysteem of bij de ontsluiting van de output naar gebruikers, het automatische genereren van logs en het inrichten van service en incidentmanagementprocedures.
Voordat je start met de ontwikkeling of het gebruik van een algoritme, zul je moeten zorgen dat je organisatie voldoende ingericht is om algoritmes te gebruiken of te ontwikkelen. In deze fase beschrijven we de randvoorwaarden die je als organisatie moet hebben om aan de slag te gaan. Dit zijn aspecten die je in het ideale geval al regelt voordat je begint aan het gebruik van algoritmes. Het zijn ook taken die je voortdurend aandacht zal moeten geven, maar die je niet voor ieder algorite opnieuw hoeft te organiseren.
In deze fase wordt het probleem en de doelstellingen van een opdrachtgever geanalyseerd en beschreven. Er wordt bijvoorbeeld onderzocht welke publieke taak moet worden ondersteund en welke publieke waarden daarbij moeten worden beschermd of juist gerealiseerd. In deze fase wordt onderzocht of het ontwikkelen van een algoritme een geschikt middel is om het doel te realiseren en het probleem op te lossen. Dat hangt van verschillende zaken af.
Hierbij kan worden gedacht aan de middelen (capaciteit en financi\u00eble middelen) die nodig zijn om algoritmen op een verantwoorde wijze te ontwikkelen, de complexiteit van de oplossing, het in beeld brengen van de verwachte risico's (hoog over), een eerste beeld krijgen bij wat voor data nodig zijn en het in kaart brengen en beleggen van de verschillende verantwoordelijkheden. Daarnaast is het van belang om het beleid met betrekking tot de inzet van algoritme een organisatie te raadplegen.
Er zal een conclusie moeten volgen of de ontwikkeling van een algoritme passend is. Deze fase wordt doorgaans afgerond met een akkoord van de (gemandateerd) verantwoordelijk(en)/opdrachtgever om een algoritme te ontwikkelen. Een vastgestelde business case of plan van aanpak vormen veelal de basis om de ontwerpfase te starten met de benodigde experts.
Als wordt besloten dat het algoritme niet langer nodig is of wordt vervangen door een wezenlijk andere versie, wordt het gearchiveerd en uitgefaseerd. Hiermee wordt ervoor gezocht dat later kan worden gereconstrueerd hoe het algoritme heeft gefunctioneerd en dat gebruikers er geen gebruik meer van kunnen maken.
Archiveren betekent dat documentatie en eventuele relevante artefacten (zoals logbestanden en de parameters van het model) worden bewaard voor een bepaalde periode. Het gaat daarbij ook om informatie over het algoritme, bijvoorbeeld het besluit en onderbouwing waarom het niet meer wordt gebruikt en waarom het in het verleden wel gebruikt werd. Archiveren is niet enkel relevant aan het einde van de levenscyclus, maar is ook gedurende het gebruik van het algoritme van belang. Er moet tijdig worden vastgesteld welke versies van een model moeten worden gearchiveerd, bijvoorbeeld al tijdens de ontwerpfase.
Bij AI-systemen is er in praktijk vaak sprake van hertrainen op nieuwe data, wat het model anders maakt en andere voorspellingen kan doen geven. Ook meer eenvoudige algoritmes kunnen gedurende de tijd veranderen en andere voorspellingen geven, bijvoorbeeld door veranderende data of veranderende rekenregels. Er moet worden vastgesteld welke versies van een model moet gearchiveerd.
Bij uitfaseren wordt het algoritme verwijderd uit de productieomgeving en, na archivering, wordt de trainingsdata uit de ontwikkelomgeving verwijderd. Het algoritme is hiermee niet meer te gebruiken door gebruikers. Gebruikers moeten hier vooraf over worden ge\u00efnformeerd en waar passend, bijvoorbeeld bij impactvolle of hoog risico AI-systemen, worden betrokkenen ge\u00efnformeerd over het be\u00ebindigen van het gebruik.
"},{"location":"levenscyclus/verificatie-en-validatie/","title":"Verificatie en validatie","text":"
Bij de verificatie en validatie van het algoritme dient bepaald te worden of het algoritme gebouwd is volgens de (technische) specificaties en voldoet aan de beoogde doelstellingen. Hiervoor moeten technische, maar ook organisatorische maatregelen worden getroffen.
Bij verificatie kan worden gedacht aan het (laten) controleren of het algoritme voldoet aan de (technische) specificaties, bijvoorbeeld door een interne of externe audit of in de toekomst een conformiteitsbeoordeling voor hoog risico AI-systemen. Hiermee kan (onafhankelijk) worden vastgesteld of het systeem voldoet aan de vereisten die organisaties daaraan stellen. Op basis van bevindingen uit een audit of conformiteitsbeoordeling, is het denkbaar dat het ontwikkelteam nog bepaalde maatregelen moet treffen om te voldoen aan de specificaties.
Bij het valideren van een algoritme moet worden bepaald of het goed genoeg presteert en of het geschikt is voor het beoogde doel van het systeem. Wanneer het een AI-systeem betreft, is het belangrijk dat dit gevalideerd wordt op nieuwe, niet eerder geziene data. Het valideren betreft het iteratief evalueren van de nauwkeurigheid en prestaties van het systeem. Daarnaast is het ook belangrijk om te valideren of het algoritme gelijke prestaties toont voor verschillende groepen en om te testen hoe het algoritme presteert in uitzonderlijke gevallen. Het is net als in de ontwerpfase belangrijk dat een multidisciplinair team beoordeelt of de werking passend en bijvoorbeeld non-discriminatoir is. In het geval van impactvolle algoritmen of hoog risico AI-systemen, is het raadzaam om een onafhankelijke commissie of partij te betrekken die een advies geeft over de werking van het algoritme of AI-systeem.
In praktijk zal vaak na validatie weer worden teruggegaan naar de ontwikkelfase om prestaties van het model te verbeteren voorafgaand aan implementatie van de oplossing. Het is ook denkbaar dat het algoritme onvoldoende aansluit bij de doelstellingen en het gebruik ervan moet wordt be\u00ebindigd. Een andere conclusie kan zijn dat het presteert conform verwachting en naar de implementatiefase kan worden gegaan.
Hulp bij het voorkomen van bias en discriminatie in algoritmes. Met aanbevelingen en hulpmiddelen zoals het toetsingskader van het College voor de Rechten van de Mens.
Data
Hulp bij het verantwoord selecteren en verwerken van data voor je algoritmes. Gebruik bijvoorbeeld de toolbox verantwoord datagebruik.
Duurzaamheid
Hulp bij het maken van duurzame keuzes voor hardware en software. Bijvoorbeeld voor de aanschaf van apparaten of het energieverbruik van trainen en data-opslag.
Governance
Hulp bij het verantwoordelijk omgaan met algoritmes. Bijvoorbeeld het vastleggen van rollen en verantwoordelijkheden.
Grondrechten
Hulp bij het beschermen van grondrechten en mensenrechten in algoritmes. Bijvoorbeeld het beoordelen van de gevolgen per grondrecht.
Menselijke controle
Hulp bij de controle als mens over algoritmes. Bijvoorbeeld kunnen ingrijpen bij onbetrouwbare resultaten.
Privacy en gegevensbescherming
Hulp bij verantwoord gebruik van gegevens voor algoritmes, zoals persoonsgegevens en privacygevoelige gegevens.
Publieke inkoop
Hulp bij het publiek inkopen van software met algoritmen en AI. Met hulpmiddelen zoals modelcontracten en de PIANOo-handreiking Inkoop van algoritmes.
Technische robuustheid en veiligheid
Hulp bij het bewaken van de prestaties van algoritmes. En beveiliging van de systemen tegen bijvoorbeeld cyberaanvallen.
Transparantie
Hulp bij transparant zijn over algoritmes, zoals gebruikers informeren en publiceren in het algoritmeregister.
"},{"location":"onderwerpen/bias-en-non-discriminatie/","title":"Discriminerende effecten van algoritmes","text":"
Wie algoritmes ontwikkelt of gebruikt, moet discriminerende effecten hiervan voorkomen. Want met algoritmes kun je makkelijk discrimineren, ook al is dat niet de bedoeling. Let daarom steeds op \u2018bias\u2019. Dit zijn vooroordelen of fouten in je algoritme of aanpak.
"},{"location":"onderwerpen/bias-en-non-discriminatie/#wat-zijn-discriminerende-effecten-van-algoritmes","title":"Wat zijn discriminerende effecten van algoritmes?","text":"
Algoritmes hebben een discriminerend effect als je mensen ongelijk behandelt in gelijke situaties. En dit mag niet volgens de wet of de rechter.
Een camera met gezichtsherkenning herkent bijvoorbeeld geen vrouwen van kleur. Of een computerprogramma selecteert vooral mensen met een laag inkomen als risicogroep voor fraude.
Zo\u2019n discriminerend effect ontstaat doordat het algoritme een verboden onderscheid maakt:
Direct onderscheid: Het algoritme gebruikt een discriminatiegrond als variabele, zoals geloof, politieke voorkeur, ras, nationaliteit, geslacht, handicap, burgerlijke staat, vermogen of leeftijd.
Indirect onderscheid: Het algoritme lijkt neutraal of eerlijk. Maar later blijkt dat bepaalde mensen op een andere manier worden behandeld door hun geloof, politieke of seksuele voorkeur, ras, geslacht, of burgerlijke staat.
[!TIP] Heeft je algoritme een discriminerend effect, dan moet je zo snel mogelijk stoppen met het algoritme. Gebruik bijvoorbeeld het discriminatieprotocol van het ministerie van Binnenlandse Zaken.
Een direct of indirect onderscheid is niet altijd verboden volgens Artikel 2 Algemene wet gelijke behandeling. In bepaalde situaties en onder bepaalde strenge voorwaarden mag je zo\u2019n onderscheid wel maken.
Direct onderscheid maken mag bijvoorbeeld als hiervoor een uitzondering staat in de wet. Zo mag je bijvoorbeeld in situaties waar het gaat om moederschap of zwangerschap onderscheid maken op basis van geslacht.
Indirect onderscheid maken mag niet, tenzij hiervoor een wettelijke uitzondering geldt. Of je hebt een goede reden (objectieve rechtvaardiging). Selecteert je algoritme bijvoorbeeld alleen vrouwen voor een vacature, dan moet je hier een goede reden voor hebben. En het algoritme moet passend en noodzakelijk zijn om een doel te bereiken dat wettelijk is toegestaan. Anders is het discriminatie.
"},{"location":"onderwerpen/bias-en-non-discriminatie/#belang-van-discriminerende-effecten-voorkomen","title":"Belang van discriminerende effecten voorkomen","text":"
Discriminatie is verboden volgens Artikel 1 van de Nederlandse Grondwet. En algoritmes kunnen snel een discriminerend effect hebben op grote groepen mensen. Vooral impactvolle algoritmes kunnen veel schade veroorzaken in de maatschappij door discriminatie.
Het is erg moeilijk om discriminerende effecten te voorkomen. Discriminatiegronden weglaten als variabele in je algoritme is niet genoeg. Want discriminatie ontstaat ook indirect, door bias.
Bias herkennen is een belangrijke stap in het voorkomen van discriminerende effecten van algoritmes.
'Bias' is een Engels woord voor vooroordeel of vooringenomenheid. Volgens de norm ISO/IEC TR 24027 maken algoritmes met een bias steeds een bepaald soort fout. Hierdoor behandelen ze bepaalde mensen, groepen of producten steeds (systematisch) op een verschillende manier. Dit verhoogt de kans op discriminatie.
Alle algoritmes hebben vooroordelen en maken fouten, net als de mens. Wil je dit aanpakken, zoek dan naar bias in het algoritme zelf en in de mensen en processen om het algoritme heen. Een bias-vrij algoritme is niet mogelijk.
Bias ontstaat bijvoorbeeld in:
statistiek en berekeningen (statistische bias)
systemen en processen in bijvoorbeeld de samenleving of je organisatie (systemische bias)
het menselijk denken (menselijke bias)
"},{"location":"onderwerpen/bias-en-non-discriminatie/#bias-in-statistiek-en-berekeningen","title":"Bias in statistiek en berekeningen","text":"
Dit zijn fouten in de:
kwaliteit van de data
manier waarop algoritmes data verwerken
Voorbeelden:
Meet-bias (measurement bias) Je algoritme maakt een verkeerde schatting of benadering van kenmerken of labels. Dit komt doordat het de ene variabele gebruikt om een andere variabele te voorspellen of te benaderen (proxy). En hierbij laat het belangrijke informatie weg, of het voegt onbelangrijke informatie (ruis) toe. Een algoritme maakt bijvoorbeeld een verkeerde schatting van het risico op overlijden aan longontsteking in het ziekenhuis. Het algoritme leert namelijk uit de data dat dit risico lager is voor astmapati\u00ebnten. Maar dit komt niet door hun astma. Het algoritme laat weg dat astmapati\u00ebnten met longontsteking direct naar de intensive care gaan. En mensen zonder astma niet. Versterkingsbias (amplification bias) Je algoritme versterkt een patroon uit de trainingsdata. Een algoritme dat mensen en hun acties herkent, voorspelt bijvoorbeeld 5 keer zo vaak de combinatie \u2018vrouw\u2019 en \u2018koken\u2019. Terwijl deze combinatie in de trainingsdata maar 2 keer zo vaak voorkomt. Evaluatie-bias (evaluation bias) Je algoritme trekt verkeerde conclusies omdat de evaluatiedata niet kloppen, of niet compleet zijn. Een algoritme voor gezichtsherkenning herkent bijvoorbeeld vrouwen van kleur niet goed, omdat deze vrouwen te weinig voorkomen in de dataset voor evaluatie. Representatie-bias (representation bias) Je algoritme doet voorspellingen over een grote groep, op basis van resultaten uit subgroepen met te weinig verschillende proefpersonen. Een algoritme beoordeelt bijvoorbeeld de populariteit van treinstations onder reizigers op basis van hun smartphone-gebruik. Maar deze groep is niet representatief, omdat oudere reizigers vaak minder gebruik maken van smartphones."},{"location":"onderwerpen/bias-en-non-discriminatie/#bias-in-systemen-en-processen","title":"Bias in systemen en processen","text":"
Dit is vooringenomenheid die vaak in de loop der tijd is ontstaan in de samenleving of je organisatie. Deze vooringenomenheid werkt door in processen of systemen, of wordt soms versterkt door algoritmes. Dit gebeurt vaak niet bewust.
Systemische bias heet ook wel: institutionele vooringenomenheid. Dit betekent dat vooroordelen vaak horen bij de cultuur en samenleving. Die vooroordelen zitten daardoor ook in veel datasets, en kunnen zo versterkt worden door je algoritme.
Voorbeelden:
Historische bias Je algoritme heeft vooroordelen die in de loop der tijd ontstonden in de samenleving. Een algoritme gebruikt bijvoorbeeld data die gebaseerd is op oude belastingregels, terwijl er nieuwe wetten en regels zijn. Dan zit er een historische bias in je data. Of een algoritme voorspelt bijvoorbeeld de koopkracht van mensen, maar gebruikt hiervoor data uit een tijd waarin mannen meer verdienden dan vrouwen. Activiteitenbias (activity bias) Je algoritme geeft een verkeerd beeld over gebruikers van interactieve producten, zoals websites of apps. Dit komt omdat alleen de meest actieve gebruikers trainingsdata aanleveren. Een algoritme onderzoekt bijvoorbeeld wat burgers van een bepaalde brief vinden op basis van kliks in een digitale vragenlijst. Het algoritme kan niet zeggen wat burgers \u00e9cht vinden, omdat de meest actieve internetgebruikers vaker klikken en vaker de vragenlijst invullen. Samenlevingsbias (societal bias) Je algoritme maakt een fout op basis van stereotypes die voorkomen in de samenleving. Dit gebeurt vooral in AI-systemen die taal verwerken via Natural Language Processing (NLP). Een algoritme dat teksten maakt, geeft bijvoorbeeld \u2018verpleegster\u2019 als vrouwelijke vorm van \u2018dokter\u2019. Dit komt omdat het stereotype dokter in die samenleving een man is."},{"location":"onderwerpen/bias-en-non-discriminatie/#bias-in-menselijk-denken","title":"Bias in menselijk denken","text":"
Dit zijn vooroordelen in het menselijk denken die steeds (systematisch) invloed hebben op de manier waarop iemand iets ziet, hoort, ruikt, proeft of voelt.
Menselijke bias kan invloed hebben op de:
verzamelde data
manier waarop je het algoritme optimaliseert
besluiten die je neemt op basis van het algoritme
Voorbeelden:
Automatiseringsbias Mensen maken een denkfout omdat zij de voorkeur geven aan adviezen van automatische besluitvormingssystemen. Zelfs als uit andere informatie blijkt dat deze adviezen niet kloppen. Wanneer behandelaren handmatig controleren of een uitkering van een burger klopt, hebben zij vaak de neiging om de beslissing te volgen van het algoritme. Cognitieve bias Mensen maken een denkfout omdat zij volgens een vast patroon afwijken van logisch nadenken. Vaak gebeurt dit om complexe denktaken te versimpelen of versnellen. Administratief medewerkers weigeren bijvoorbeeld een AI-systeem te gebruiken, omdat ze slechte ervaringen hebben met een ander AI-systeem. Zij willen het nieuwe AI-systeem dus niet gebruiken, terwijl ze dit nooit gebruikt hebben. Bevestigingsbias Mensen maken een denkfout omdat zij de voorkeur geven aan voorspellingen van algoritmes die hun eigen overtuigingen of gedachtes bevestigen. Rechercheurs zoeken bijvoorbeeld direct naar bewijs om verdachte X te veroordelen, nadat een algoritme X voorspelt als dader. Terwijl de rechercheurs ook ander bewijs moeten zoeken. Implementatie-bias Een algoritme wordt op een andere manier gebruikt dan hoe het bedoeld is en waarvoor het ontwikkeld is. Dit komt vaak voor wanneer een algoritme wordt gebruikt als beslishulp voor mensen. erkt niet goed door de menselijke denkfout dat gebruikers op dezelfde manier omgaan met adviezen. Terwijl gebruikers verschillend omgaan met adviezen. Hierdoor is het algoritme niet goed getest tijdens de implementatiefase. Een wet over bijvoorbeeld immigratie wordt ingevoerd en er wordt een algoritme ontwikkeld om te onderzoeken wat de gevolgen hiervan zijn. Dit algoritme is dan ook bedoeld om voor bepaalde groepen mensen te kijken wat de gevolgen zijn. Het algoritme wordt ook gebruikt bij het toekennen van staatsburgerschap aan de hand van de gevolgen. Dit is niet zoals het systeem bedoeld is en dus kunnen er incomplete antwoorden of resultaten uitkomen. Overlevingsbias (survivorship bias) Mensen hebben de neiging om voorkeur te geven aan dingen, mensen of observaties die door een bepaalde selectie zijn gekomen. Naar de gevallen die buiten de selecties vallen wordt vaak niet of minder gekeken. Dit kan leiden tot een zichzelf versterkend proces. Zo worden bijvoorbeeld modellen die werken verbeterd, maar wordt niet gekeken waarom de andere modellen niet werken. Om fraudeherkenning te vergemakkelijken wordt bijvoorbeeld een model getraind op data van personen/huishoudens die eerder zijn gecontroleerd op mogelijke fraude. Hiermee wordt een groot gedeelte personen/huishoudens niet meegenomen in de trainingsdata, omdat deze groep niet eerder gecontroleerd is."},{"location":"onderwerpen/bias-en-non-discriminatie/#bepaal-wat-eerlijk-en-rechtvaardig-is","title":"Bepaal wat eerlijk en rechtvaardig is","text":"
Ontdek je bias, dan wil je je algoritme of je aanpak verbeteren. Hoe je dat doet, hangt af van wat je organisatie zelf eerlijk en rechtvaardig vindt. Dit heet ook wel het bepalen van \u2018algoritmische fairness\u2019.
"},{"location":"onderwerpen/bias-en-non-discriminatie/#let-altijd-op-discriminerende-effecten","title":"Let altijd op discriminerende effecten","text":"
Het risico op bias en discriminatie blijft altijd bestaan. Je kunt dit niet in 1 keer wegnemen.
Houd daarom rekening met bias tijdens het ontwikkelen, inkopen en gebruiken van algoritmes. En controleer voortdurend of je algoritmes en je aanpak nog eerlijk en rechtvaardig zijn. Let hierop in alle fasen van de levenscyclus van het algoritme.
"},{"location":"onderwerpen/bias-en-non-discriminatie/#aanbevolen-hulpmiddelen","title":"Aanbevolen hulpmiddelen","text":"HulpmiddelenThe Fairness HandbookHandreiking non-discriminatie by designDiscriminatie door risicoprofielen - Een mensenrechtelijk toetsingskader"},{"location":"onderwerpen/bias-en-non-discriminatie/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
Overheden moeten verantwoord omgaan met de data die hun algoritmes gebruiken. De data moet voldoen aan regels voor bijvoorbeeld privacy. De kwaliteit van de data moet goed zijn. En overheden moeten deze gegevens goed beheren. Anders is het algoritme niet betrouwbaar.
"},{"location":"onderwerpen/data/#wat-is-verantwoord-datagebruik","title":"Wat is verantwoord datagebruik?","text":"
Verantwoord datagebruik betekent:
Rechtmatig gebruik van gegevens
Goede datakwaliteit
Goed databeheer
"},{"location":"onderwerpen/data/#rechtmatig-gebruik-van-data","title":"Rechtmatig gebruik van data","text":"
Net als organisaties mogen algoritmes niet zomaar gegevens verzamelen en gebruiken. Dit moet rechtmatig gebeuren: volgens de wettelijke regels. Zo moet je rekening houden met auteursrechten. Ook v\u00f3\u00f3rdat het algoritme in gebruik is, moet je rechtmatig omgaan met data. Dus tijdens het trainen, valideren en testen.
Andere belangrijke regels gaan over privacy. Zo mag je algoritme alleen de minimale persoonsgegevens gebruiken die nodig zijn om het doel te bereiken. Technieken om dit te doen zijn:
Anonimiseren: data zoveel mogelijk anoniem maken
Pseudonimiseren: data moeilijker herleidbaar maken naar personen
Aggregeren: data zoveel mogelijk combineren of samenvoegen tot 1 waarde, zoals een totaal of gemiddelde
Hoe slechter de datakwaliteit, hoe onbetrouwbaarder de uitkomsten van je algoritme.
Je bepaalt en controleert zelf de kwaliteit van je dataset. Check bijvoorbeeld of alle gegevens juist, compleet en actueel zijn. En herken bias in je data.
"},{"location":"onderwerpen/data/#goed-databeheer-datagovernance-en-datamanagement","title":"Goed databeheer: datagovernance en datamanagement","text":"
Goed databeheer betekent dat je organisatie duidelijke afspraken maakt over het:
opslaan en verwerken van data
gebruik van data: welke data mag je waarvoor gebruiken?
beveiligen van data
bewaken van de datakwaliteit, zoals het actueel houden van de gegevens
eigenaarschap van data, bijvoorbeeld de partij die het algoritme ontwikkelt
documenteren en labelen van data (metadata)
Leg de processen en afspraken hierover vast in de datagovernance van je organisatie. In een datamanagementstrategie beschrijf je hoe je organisatie data verzamelt, ordent en gebruikt. Zo kan je organisatie optimaal gebruikmaken van data.
Hoe goed je organisatie data beheert, check je met datavolwassenheidsmodellen uit de Toolbox verantwoord datagebruik van de Interbestuurlijke Datastrategie (IBDS). Of gebruik de beslishulp datavolwassenheid.
"},{"location":"onderwerpen/data/#belang-van-verantwoord-datagebruik","title":"Belang van verantwoord datagebruik","text":"
Algoritmes kunnen veel schade veroorzaken in de maatschappij als ze de verkeerde gegevens gebruiken.
Met verantwoord datagebruik voorkom je:
verkeerde beslissingen doordat je algoritme resultaten baseert op data van slechte kwaliteit
discriminerende effecten van algoritmes doordat je data bias bevat
lekken van privacygevoelige informatie, zoals persoonsgegevens
gebruik van data die niet rechtenvrij zijn, zoals teksten met auteursrechten
dat resultaten niet te reproduceren zijn, doordat de data niet goed is opgeslagen
Richtlijnen voor \u2018FAIR\u2019 data, GO FAIR Foundation
"},{"location":"onderwerpen/duurzaamheid/","title":"Duurzaam werken met algoritmes","text":"
Overheden moeten duurzaam werken met hun ICT, zoals algoritmes. Dit betekent dat je algoritmes inkoopt, ontwikkelt en gebruikt op een manier die vriendelijk is voor mens en milieu.
"},{"location":"onderwerpen/duurzaamheid/#wat-is-duurzaam-werken-met-algoritmes","title":"Wat is duurzaam werken met algoritmes?","text":"
Je werkt duurzaam met algoritmes als je tijdens de hele levenscyclus keuzes maakt die passen bij de duurzame en sociale doelen van de overheid:
klimaatneutraal werken in 2030
50% minder gebruik van grondstoffen direct uit de natuur (zoals olie, gas en lithium) in 2030
circulair werken in 2050: zonder afval, met alleen hergebruikte grondstoffen
meer banen voor mensen met een arbeidsbeperking
geen sociale misstanden in internationale productieketens, zoals slechte arbeidsomstandigheden of schending van mensenrechten
Om bij te dragen aan deze doelen, kies je bijvoorbeeld voor:
energiezuinig programmeren
energiezuinig trainen van AI-systemen
dataopslag in een duurzaam of \u2018groen\u2019 datacenter
"},{"location":"onderwerpen/duurzaamheid/#belang-van-duurzaam-werken","title":"Belang van duurzaam werken","text":"
Algoritmes kunnen veel impact hebben op het milieu. De rekenkracht die algoritmes nodig hebben op computers kost elektriciteit. En de datacenters die nodig zijn voor het opslaan van data, verbruiken veel energie, water en grondstoffen. Vooral complexe AI-systemen zoals Large Language Models (LLM\u2019s) verbruiken veel energie door training en gebruik en door opslag van grote datasets in datacenters.
"},{"location":"onderwerpen/duurzaamheid/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
"},{"location":"onderwerpen/fundamentele-rechten/","title":"Grondrechten beschermen in algoritmes","text":"
Als overheid moet je de grondrechten van burgers beschermen. Dit geldt ook als je algoritmes gebruikt voor publieke taken.
"},{"location":"onderwerpen/fundamentele-rechten/#wat-is-het-beschermen-van-grondrechten-in-algoritmes","title":"Wat is het beschermen van grondrechten in algoritmes?","text":"
Dit betekent dat je tijdens het ontwikkelen en gebruiken van algoritmes rekening houdt met de fundamentele rechten van de mens:
grondrechten uit de Grondwet
mensenrechtenverdragen zoals het Europees Verdrag tot bescherming van de rechten van de mens en de fundamentele vrijheden (EVRM).
"},{"location":"onderwerpen/fundamentele-rechten/#belang-van-grondrechten-beschermen","title":"Belang van grondrechten beschermen","text":"
Algoritmes kunnen grondrechten schenden. Een bekend probleem is bias in algoritmes. Hierdoor worden resultaten onbetrouwbaar en kun je mensen ongelijk behandelen.
Belangrijke grondrechten die vaak worden geraakt door algoritmen zijn bijvoorbeeld:
recht op persoonsgegevensbescherming
verbod op ongelijke behandeling
recht op eerbiediging van de persoonlijke levenssfeer
Als overheid moet je hier goed op letten. Doe dit zo vroeg mogelijk in de levenscyclus. De maatregelen die we adviseren, beginnen al bij het ontwerpen en trainen van algoritmes.
"},{"location":"onderwerpen/fundamentele-rechten/#aanbevolen-maatregelen","title":"Aanbevolen maatregelen","text":"idMaatregelenpba-04Overleg regelmatig met belanghebbendenowp-06Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafwegingowp-07Maak een lijst van de meest kwetsbare groepen en bescherm hen extra"},{"location":"onderwerpen/fundamentele-rechten/#hulpmiddelen","title":"Hulpmiddelen","text":"HulpmiddelenAssessment List for Trustworthy Artificial Intelligence (ALTAI)De Ethische Data AssistentImpact Assessment Mensenrechten en AlgoritmesThe Fairness HandbookFramework for Meaningful EngagementHandreiking non-discriminatie by designDiscriminatie door risicoprofielen - Een mensenrechtelijk toetsingskader"},{"location":"onderwerpen/fundamentele-rechten/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
"},{"location":"onderwerpen/governance/","title":"Governance","text":""},{"location":"onderwerpen/governance/#wat-is-governance","title":"Wat is governance","text":"
Governance gaat over de inrichting van een organisatie en de daarbij horende processen, regels, gebruiken en bijbehorende verantwoordelijkheden. In het Algoritmekader gaat governance over de governance algoritmes ingezet door een overheidsorganisatie.
Let op!
Omdat het Algoritmekader uitgaat van de brede definitie van een algoritme, hanteren we voor het gemak de term \u201calgoritmegovernance\u201d als we het hebben over governance over algoritmes, waaronder AI.
De noodzaak van algoritmegovernance is om grip te hebben (of krijgen) op algoritmes binnen een organisatie en nadelige gevolgen ervan, zoals (onbedoelde) discriminatie, te voorkomen. Een algoritmegovernance is een belangrijke randvoorwaarde om de vereisten die gelden voor een verantwoorde inzet van algoritmes gestructureerd toe te passen.
Er bestaan verschillende niveaus van algoritmegovernance: het (inter)nationaal niveau, het organisatieniveau en het niveau van het algoritme zelf, het systeemniveau (zie figuur hieronder). Het Algoritmekader focust op de onderste twee niveaus, waar een organisatie invloed op heeft. Dit zijn organisatieniveau en systeemniveau.
Als je deze sectie leest ben je waarschijnlijk ge\u00efnteresseerd in het opzetten of verbeteren van algoritmegovernance bij jouw organisatie. Dit vindt plaats op het organisatieniveau en in de levenscyclus bij \"organisatieverantwoordelijkheden\". Het gaat over het inrichten van processen zoals (die rondom) de levenscyclus van een algoritme Alles op deze pagina gaat dus over het inrichten van governance.
Er worden maatregelen gegeven waar concreet mee aan de slag kan worden gegaan. Deze maatregelen zijn nog onder te verdelen in twee stappen:
Randvoorwaarden algoritmegovernance: Dit speelt zich af op organisatieniveau. Bijvoorbeeld een duidelijke visie op de ontwikkeling en gebruik van algoritmes is hier onderdeel van.
Inrichten van algoritmegovernance: Dit speelt zich af op organisatieniveau, maar heeft betrekking op het systeemniveau. Er worden bijvoorbeeld keuzes gemaakt hoe de levenscyclus, rollen en verantwoordelijkheden specifiek voor jouw organisatie wordt ingericht.
Het Algoritmekader schrijft niet voor hoe je algoritmegovernance moet inrichten. Organisaties zullen dit zelf moeten bepalen. (In latere versies komt mogelijk tooling om vereisten en maatregelen te koppelen aan rollen binnen een eigen organisatie.)
"},{"location":"onderwerpen/governance/#waar-te-starten","title":"Waar te starten","text":"
Is er al een visie of beleid over hoe om te gaan algoritmes binnen de organisatie? Is er al iemand verantwoordelijk voor de ontwikkeling en gebruik van algoritmes? Wie gaat over de naleving van bijvoorbeeld de AI-verordening? Stap 1 kan ondersteunen bij deze vragen.
"},{"location":"onderwerpen/governance/#voorbeelden-bij-stap-1-randvoorwaarden-algoritmegovernance","title":"Voorbeelden bij stap 1: Randvoorwaarden algoritmegovernance","text":"
Deze maatregelen gaan over de basis leggen om algortimegovernance mogelijk te maken. Kijk eens naar maatregelen zoals:
Stel een visie met betrekking tot AI en algoritmes op en zorg voor bestuurlijk bewustzijn en draagvlak.
Onderzoek wat er al is qua bestaande governancestructuren en samenwerking.
Breng het AI-volwassenheidsniveau in kaart om focus aan te brengen waar het nodig is.
"},{"location":"onderwerpen/governance/#voorbeelden-bij-stap-2-inrichten-van-algoritmegovernance","title":"Voorbeelden bij stap 2: Inrichten van algoritmegovernance","text":"
We geven bij deze maatregelen meer voorbeelden en best practices voor het inrichten van algoritmegovernance. Kijk eens naar maatregelen (onderaan deze pagina) zoals:
Rollen en verantwoordelijkheden in algoritmegovernance
De AI-levenscyclus en go/no-go 'gates'.
Intern toezicht zoals met three lines of defence
Let op!
Voorbeelden bieden in hoofdlijnen een \u2018blauwdruk\u2019 voor hoe algoritmegovernance kan worden ingericht. Overheidsorganisaties verschillen, onder andere in grootte. Er moet altijd moet worden gekeken hoe dit in de eigen organisatie is in te passen.
"},{"location":"onderwerpen/governance/#aandachts-en-actiepunten-algoritmegovernance-algemeen","title":"Aandachts- en actiepunten algoritmegovernance algemeen","text":"
Maak iemand verantwoordelijk voor het opstellen van de algoritmegovernance.
Zorg voor (bestuurlijk) bewustzijn als je ziet dat algoritmegovernance ontbreekt maar nog niet belegd is.
Zorg voor overlegstructuren met keuzemandaat met belangrijke partijen/stakeholders.
"},{"location":"onderwerpen/governance/#aanbevolen-maatregelen","title":"Aanbevolen maatregelen","text":"idMaatregelenorg-01Bepaal of er genoeg experts beschikbaar zijnorg-04Stel beleid op voor een verantwoorde inzet van algoritmes binnen de organisatie.org-03Maak een plan voor het omgaan met risico\u2019sorg-04Zorg voor politiek-bestuurlijk bewustzijn, betrokkenheid, en verantwoordelijkheid.org-05Sluit algoritmegovernance aan op bestaande governancestructuren binnen de organisatie.org-06Gebruik een algoritme volwassenheidsmodel om te weten waar de organisatie staatorg-07Richt een algoritmegovernance in met three lines of defenceorg-08Maak gebruik van beslismomenten in de algoritmelevenscyclusorg-09Richt algoritmegovernance op basis van de risicoclassificatie van algoritmes.org-10Taken en verantwoordelijkheden zijn toebedeeld in de algoritmegovernanceorg-11Maak afspraken over het beheer van gebruikersorg-12Controleer en verbeter regelmatig de kwaliteit van het algoritmeorg-13Maak afspraken over het beheer van wachtwoordenorg-14Maak afspraken over het wijzigen van de codepba-01Beschrijf het probleem dat het algoritme moet oplossenpba-02Beschrijf het doel van het algoritmepba-03Beschrijf waarom een algoritme het probleem moet oplossenpba-04Overleg regelmatig met belanghebbendenpba-05Beschrijf de wettelijke grondslag voor de inzet van het algoritmeowp-01Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmesowp-05Bepaal het soort algoritme en de risicogroep en vereisten die hierbij horenowp-28Pas vastgestelde interne beleidskaders toe en maak aantoonbaar dat deze zijn nageleefd bij het ontwikkelen, inkopen en gebruiken van algoritmes.org-02Pas vastgestelde beleidskaders toeowk-02Maak een noodplan voor het stoppen van het algoritmever-03Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleidimp-03Richt de juiste menselijke controle in van het algoritmeimp-06Spreek af hoe de organisatie omgaat met privacy-verzoekenimp-05Spreek af hoe medewerkers omgaan met het algoritme.imp-09Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme en monitor dit proces.imp-01Maak een openbaar besluit over de inzet van het algoritmemon-03Maak een noodplan voor beveiligingsincidenten"},{"location":"onderwerpen/governance/#aanbevolen-hulpmiddelen","title":"Aanbevolen hulpmiddelen","text":"HulpmiddelenOnderzoekskader algoritmes Auditdienst Rijk 2023Toetsingskader Algoritmes Algemene Rekenkamer"},{"location":"onderwerpen/menselijke-controle/","title":"Menselijke controle over algoritmes","text":"
Algoritmes van de overheid moeten onder controle blijven van mensen. Presteert het algoritme niet goed, dan moet een mens dit kunnen aanpassen of stoppen.
"},{"location":"onderwerpen/menselijke-controle/#wat-is-menselijke-controle","title":"Wat is menselijke controle?","text":"
Menselijke controle over een algoritme of AI-systeem betekent dat mensen invloed hebben op de uitkomsten. Mensen moeten het ontwerp van het algoritme kunnen aanpassen. En mensen moeten het algoritme kunnen stoppen. Zo kun je op tijd ingrijpen als er iets fout gaat.
"},{"location":"onderwerpen/menselijke-controle/#belang-van-menselijke-controle","title":"Belang van menselijke controle","text":"
Algoritmes kunnen schade veroorzaken in de maatschappij. Gebruik je een algoritme voor een publieke taak, dan moet je dit continu op een of andere manier controleren.
Tijdens het ontwerp van een algoritme of AI-systeem controleer je bijvoorbeeld of het algoritme op de juiste manier \u2018getraind\u2019 wordt. Maakt het bijvoorbeeld gebruik van een goede dataset, zonder bias, die representatief is voor de samenleving? En je controleert of het algoritme bepaalde groepen niet benadeelt.
Voordat je een algoritme gaat gebruiken, is het belangrijk om het doel te bepalen.
Tijdens het gebruik van een algoritme is menselijke controle belangrijk omdat de werking verandert in de loop der tijd:
Situaties kunnen veranderen. Het algoritme kan daarvan niet op de hoogte zijn. Een routeplanner kent bijvoorbeeld niet alle werkzaamheden of veranderingen aan de wegen.
AI-systemen leren soms nog bij. En soms is het niet duidelijk op welke data de uitkomsten gebaseerd zijn. Een beeldherkenningssysteem herkent bijvoorbeeld honden op foto\u2019s op basis van de achtergrond in plaats van de hond zelf.
Nieuwe mogelijkheden ontstaan door technologische ontwikkelingen. Zo maken leerlingen en studenten massaal gebruik van large language modellen (LLM\u2019s) zoals ChatGPT.
Er is maatschappelijke consensus dat alleen natuurlijke personen in staat zijn om een goede (ethische) afweging te maken over wanneer en welke controle nodig is. Menselijke controle kan je dus niet automatiseren. Mensen mogen zich hierbij wel laten helpen door computers of andere technologie.
Je kunt op verschillende manieren controle houden over de prestaties van een algoritme:
Technische controle: Controle uitoefenen op het algoritme zelf. Je bepaalt bijvoorbeeld dat een AI-systeem alleen mag 'bijleren\u2019 wanneer de data voldoet aan bepaalde voorwaarden voor sociale representativiteit.
Contextuele controle: Controle van de omgeving van het algoritme. Je verbiedt bijvoorbeeld dat je organisatie het algoritme gebruikt in situaties met een hoog risico op schade.
Controle door kennis: Je probeert de werking en risico\u2019s van je algoritmes zo goed mogelijk te begrijpen. Gaat het om een AI-systeem, dan heb je ook voldoende kennis over AI nodig.
Wanneer en hoe je controle uitoefent, hangt af van het soort algoritme en risico, de levenscyclusfase van je project en je expertise.
Bepaal in elk geval zo vroeg mogelijk wie in welke levenscyclusfase verantwoordelijk is voor menselijke controle. En beschrijf dit in een RACI-matrix of VERI-matrix. Want menselijke controle is nodig in verschillende fases, door verschillende mensen. Er is nooit 1 persoon verantwoordelijk voor de totale controle.
Tijdens het gebruik kun je menselijke controle op de volgende manieren uitoefenen:
Human in the loop: Een mens moet de acties starten van het algoritme. Het werkt niet uit zichzelf.
Human on the loop: Mensen kunnen acties stoppen van het algoritme.
Human above the loop: Mensen houden overzicht en kunnen ingrijpen bij strategische en ethische beslissingen.
Human before the loop: Het algoritme interpreteert morele modellen die mensen vooraf bedenken. Deze oplossing is bedoeld voor volledig autonome algoritmes. Dit zijn algoritmes die zelf beslissingen moeten nemen, bijvoorbeeld door tijdsdruk.
Na het bepalen van de manier van controleren, bepaal je de manier waarop je feedback krijgt over het algoritme: Wat voor soort informatie moet bij wie terechtkomen? Aan wie moet een gebruiker bijvoorbeeld rapporteren dat het AI-systeem niet meer goed werkt?
"},{"location":"onderwerpen/menselijke-controle/#aanbevolen-maatregelen","title":"Aanbevolen maatregelen","text":"idMaatregelenorg-12Controleer en verbeter regelmatig de kwaliteit van het algoritmepba-03Beschrijf waarom een algoritme het probleem moet oplossenowk-02Maak een noodplan voor het stoppen van het algoritmeimp-01Stel een werkinstructie op voor gebruikers.imp-03Richt de juiste menselijke controle in van het algoritmeimp-05Spreek af hoe medewerkers omgaan met het algoritme."},{"location":"onderwerpen/menselijke-controle/#hulpmiddelen","title":"Hulpmiddelen","text":"HulpmiddelenAssessment List for Trustworthy Artificial Intelligence (ALTAI)Framework for Meaningful Engagement"},{"location":"onderwerpen/menselijke-controle/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
"},{"location":"onderwerpen/privacy-en-gegevensbescherming/","title":"Privacy en gegevensbescherming","text":"
Overheidsinstanties verwerken vaak persoonsgegevens om hun taken uit te voeren en maatschappelijke waarden te cre\u00ebren. Met de opkomst van algoritmes en kunstmatige intelligentie (AI) worden deze gegevens steeds vaker gebruikt om processen te optimaliseren, zoals bij het beoordelen van subsidieaanvragen of het verlenen van vergunningen.
Bij het gebruik van algoritmes is van groot belang om aandacht te besteden aan privacy en gegevensbescherming. Deze technologie\u00ebn vari\u00ebren van eenvoudige rekenregels tot complexe machine learning-modellen en generatieve AI, elk met hun eigen specifieke risico\u2019s. Bijvoorbeeld, eenvoudige AI kan basisberekeningen uitvoeren, terwijl complexere AI-voorspellingen kan doen of informatie kan genereren. Ongeacht de complexiteit is het identificeren van risico\u2019s en het implementeren van passende beheersmaatregelen essentieel om de privacy van burgers te waarborgen en gevoelige gegevens te beschermen.
Bij de inzet van AI in de publieke sector moeten overheidsinstanties rekening houden met de vereisten uit privacywetgeving, zoals de Algemene Verordening Gegevensbescherming (AVG). Dit omvat onder andere het minimaliseren van gegevensgebruik, implementeren van een privacy by design werkwijze waar mogelijk, en het transparant zijn over hoe en waarom (persoons)gegevens worden verwerkt. Het toewijzen van verantwoordelijkheden en het opstellen van duidelijke richtlijnen voor gegevensverwerking zijn belangrijke stappen in dit proces.
Het bouwblok privacy en gegevensbescherming van algoritmes wordt ook ge\u00efntegreerd in de algoritmelevenscyclus. Dit biedt inzicht in wanneer specifieke vereisten en maatregelen tijdens de ontwikkeling van algoritmes moeten worden toegepast. Door deze vereisten in de levenscyclus te integreren, kunnen de gebruikers inzichten opdoen wanneer deze maatregelen kunnen worden ge\u00efmplementeerd.
"},{"location":"onderwerpen/privacy-en-gegevensbescherming/#hulpmiddelen","title":"Hulpmiddelen","text":"HulpmiddelenAssessment List for Trustworthy Artificial Intelligence (ALTAI)Data Protection Impact Assessment"},{"location":"onderwerpen/publieke-inkoop/","title":"Publieke inkoop","text":"
Door middel van publieke inkoop wordt door overheidsinstellingen software ingekocht. Deze software wordt ingekocht om ambtenaren te ondersteunen met hun werkzaamheden om zo maatschappelijk waarden te cre\u00ebren. Het kan bijvoorbeeld gaan om het inkopen van een systeem waarmee een aanvraag voor een subsidie of vergunning kan worden behandeld. Het virtueel vergaderen of het digitaal samenwerken aan documenten zijn hier ook voorbeelden van.
Disclaimer
Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.
Software wordt vaak ontwikkeld door gespecialiseerde aanbieders en bevat steeds meer algoritmes. Het komt ook voor dat de overheid deze technologie zelf ontwikkelt. Deze algoritmes kunnen eenvoudig van aard zijn, zoals het maken van een eenvoudige berekening. Zij kunnen complexer van aard zijn, zoals een voorspelling geven of het genereren van informatie. In het laatste geval kan worden gedacht aan ChatGPT, Google Bard of Co-Pilot. Er zijn verschillende type technologie\u00ebn die vallen onder het bereik van algoritmes. In dit kader drukken we deze uit als \u2018rekenregel\u2019, \u2018machine learning\u2019 en \u2018generatieve AI\u2019. Elke technologie heeft eigen bijzondere aandachtspunten. Ook de bijbehorende risico\u2019s kunnen per type verschillen. Het identificeren van deze risico\u2019s en het treffen van beheersmaatregelen is daarbij van belang. Dat geldt in het bijzonder als algoritmes bijdragen aan de totstandkoming van overheidsbesluitvorming en impactvolle beslissingen die burgers en ondernemingen raken.
Door bij publieke inkoop van software met algoritmes rekening te houden met vereisten die voorkomen uit wet- en regelgeving, toepassen van publieke waarden, het type algoritme of AI en de potenti\u00eble risico\u2019s die ontstaan bij het gebruiken ervan, kunnen negatieve gevolgen worden voorkomen. Publieke inkoop speelt daarom een belangrijke rol bij de totstandkoming van verantwoord ontwikkelde algoritmes en het gebruik daarvan door ambtenaren. In dit deel van het Algoritmekader wordt nader ingegaan op deze vereisten. Er worden suggesties gedaan hoe deze vereisten kunnen worden nageleefd en welke rollen daarbij betrokken kunnen zijn. Waar mogelijk worden concrete voorbeelden uit de praktijk gegeven en zal worden aangegeven bij welk type algoritmes dit relevant is.
Het publiek inkopen van algoritmes wordt ook gekoppeld aan de algoritme levenscyclus. Dit geeft een beeld van wanneer bepaalde vereisten en maatregelen, bij het ontwikkelen van algoritmes, moeten worden geadresseerd. Door deze vereisten ook te vertalen naar het inkoopproces, zullen de rollen binnen het inkoopproces beter in staat zijn om te duiden wanneer en hoe dit kan worden geadresseerd. Dit moet bijdragen aan een goed samenspel met aanbieders, zodat de kansen van algoritmes worden benut en de negatieve gevolgen worden voorkomen.
Algoritmes kunnen een grote impact hebben op onze maatschappij. Daarom is het van belang dat deze op een verantwoorde manier worden ontwikkeld en gebruikt. Het toepassen van de algoritme levenscyclus is hierover een bruikbare leidraad. De algoritme levenscyclus bestaat uit meerdere fasen. De werkzaamheden die noodzakelijk zijn om een verantwoord algoritme of AI te ontwikkelen, kunnen logisch worden gekoppeld aan deze fasen. Deze levenscyclus kan worden gebruikt voor alle typen algoritmes. Het verschilt uiteraard wel per type wat moet worden gedaan en dit is mede afhankelijk van de risico classificatie. Bij hoog risico toepassing zal meer moeten worden gedaan om risico\u2019s te mitigeren dan als er sprake is van lage risico toepassingen. De levenscyclus geeft een bruikbaar overzicht voor leveranciers en opdrachtgevers wanneer welke werkzaamheden moeten worden uitgevoerd. Het laat ook zien welke werkzaamheden moeten zijn afgerond als algoritmes in de markt mogen worden gezet en klaar zijn voor gebruik.
Bij het publiek inkopen van software met bijbehorende algoritmes zijn de wensen van de behoeftesteller en de doelstellingen van de organisatie van groot belang. Dit kan tot verschillende situaties leiden:
\u2022 Een al ontwikkelde kant-en-klare oplossing voldoet direct aan deze wensen en doelstellingen;
\u2022 Een al ontwikkelde oplossing moet eerst worden aangepast voordat deze kan worden gebruikt;
\u2022 Er moet een nieuwe oplossing worden ontwikkeld om te voldoen aan de wensen.
Deze inschatting is dus bepalend wat wel en niet van een product mag worden verwacht. Dit is relevant voor zowel de leverancier als de opdrachtgever. Het is aannemelijk dat als het om risicovolle (nog te ontwikkelen) algoritmes gaat, de opdrachtgever een intensieve bijdrage moet leveren aan de samenwerking om het product te kunnen gebruiken. De opdrachtgever zal bijvoorbeeld moeten aangeven wat de juridische en ethische grenzen zijn van de uiteindelijk werking van het algoritme of AI. Als een kant-en-klare oplossing wordt afgenomen, dan zal de leverancier moeten laten zien dat de ontwikkelde algoritmes voldoen aan alle vereisten en moet dit kunnen aantonen.
De inzichten uit de algoritme levenscyclus kunnen ondersteunen bij bijvoorbeeld de behoeftestelling, het maken van make-or-buy beslissingen, de te hanteren aanbestedingsvorm, de totstandkoming van de selectie- en gunningseisen, contractspecificaties en de uitvoering en management van het contract. De algoritme levenscyclus kan worden geraadpleegd via het tabblad boven aan deze pagina. Per fase en per type algoritme of AI kan worden bekeken aan welke vereisten moet worden voldaan en welke beheersmaatregelen kunnen worden getroffen.
Hieronder volgt een overzicht van instrumenten die kunnen worden gebruikt om invulling te geven aan de vereisten en maatregelen.
HulpmiddelenInkoopvoorwaarden"},{"location":"onderwerpen/publieke-inkoop/#bruikbare-informatie-en-bronnen","title":"Bruikbare informatie en bronnen","text":"
Europese modelcontractbepalingen AI-systemen (hoog risico)
Europese modelcontractbepalingen AI-systemen (niet hoog risico)
Contractvoorwaarden voor algoritmes gemeente Amsterdam
Inkoopproces
Community of Practise Digitale Innovatie
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/","title":"Technische robuustheid en veiligheid","text":"
Algoritmes van de overheid moeten robuust en veilig zijn. Dit betekent dat je algoritmes in elke situatie goed presteren, ook als er iets onverwachts gebeurt. Gaat er toch iets mis, dan is er een noodplan.
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#wat-is-technisch-robuust-en-veilig","title":"Wat is technisch robuust en veilig?","text":"
Een technisch robuust en veilig algoritme presteert onder elke omstandigheid zoals het bedoeld is.
Een robuust algoritme is:
Nauwkeurig: Het algoritme geeft de juiste uitkomst voor het gewenste doel, of meldt dat de uitkomst onzeker is.
Betrouwbaar: Ook in nieuwe of onverwachte situaties geeft het algoritme de juiste uitkomst.
Reproduceerbaar: In dezelfde situaties vertoont het algoritme hetzelfde gedrag.
Een algoritme is veilig onder deze omstandigheden:
Geautoriseerde toegang: Alleen personen en systemen met toestemming kunnen het algoritme gebruiken of beheren.
Confidentieel: Het algoritme kan geen vertrouwelijke of gevoelige informatie lekken door aanvallen.
Integer: Kwaadwillenden kunnen nergens in de levenscyclus van het algoritme onbedoeld de controle van het model overnemen.
Beschikbaar: Je kunt op elk moment het algoritme gebruiken waarvoor het bedoeld is. Gaat dit toch fout, dan ontstaat er geen grote schade.
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#belang-van-robuuste-veilige-algoritmes","title":"Belang van robuuste, veilige algoritmes","text":"
Algoritmes kunnen grote schade veroorzaken aan de maatschappij. Met een technisch robuust en goed beveiligd algoritme voorkom je:
onverwachte schadelijke uitkomsten, zoals verkeerde beslissingen of discriminatie door onvoldoende nauwkeurigheid
uitval van het systeem
lekken van informatie, zoals persoonsgegevens
gebruik van het algoritme voor verkeerde doelen
schade door misbruik of aanvallen van buitenaf
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#gebruik-algoritmes-op-de-juiste-manier","title":"Gebruik algoritmes op de juiste manier","text":"
Gebruik een algoritme alleen voor het juiste doel en op de juiste manier. Dit is de manier die is getest en gecontroleerd. Wanneer je het algoritme gebruikt voor een ander doel of in een verkeerde context, zijn de resultaten niet meer betrouwbaar.
Voorkom dat medewerkers op de verkeerde manier werken met het algoritme. Zij moeten weten wat het algoritme wel en niet kan. En wat ze moeten doen als het algoritme fouten maakt of niet goed werkt. Denk aan technische en organisatorische ondersteuning:
Leid medewerkers op.
Maak duidelijke afspraken over werkprocessen (governance).
Stuur gebruikers in het juiste gebruik via interactie en technische verbeteringen in het ontwerp.
Begin zo vroeg mogelijk met regelmatige controles van de uitkomst en werking van het algoritme. In de praktijk verandert de omgeving en de situatie waarin het algoritme wordt gebruikt. Controleer daarom regelmatig of het algoritme nog werkt zoals het is bedoeld.
Een algoritme leest kentekens tijdens parkeercontroles. Het herkent de juiste letters en cijfers op elk kenteken. Ook als het bord een andere kleur heeft, op een andere plek zit of vies is. Het algoritme is nauwkeurig en dus robuust.
Een algoritme berekent het risico op fraude door mensen. Maar bij personen uit dezelfde groep geeft het algoritme de ene keer als uitkomst \u2018hoog risico\u2019 en de andere keer \u2018geen risico\u2019. De uitkomst is niet reproduceerbaar. Hierdoor is het algoritme niet robuust.
Bereid de controles voor tijdens de levenscyclusfases probleemanalyse, ontwerp en dataverkenning en datapreparatie. Onderzoek de situatie waarin je organisatie het algoritme gaat gebruiken: Wat zijn de risico\u2019s? Welke onderdelen van het algoritme moet je evalueren? Analyseer de kwaliteit en variatie van de data. Bedenk maatregelen waarmee je de risico\u2019s zoveel mogelijk voorkomt. En bedenk met welke methode je de controles gaat evalueren.
Ontwikkel je het algoritme zelf, controleer dan tijdens de ontwikkeling al wat er gebeurt in de verschillende situaties die je verwacht. Experimenteer met nieuwe combinaties van de inputdata en gebruik verschillende representatieve test-sets.
Voer de controles uit tijdens de ontwikkelfase en de verificatie- en validatiefase. Test het algoritme goed. Evalueer hoe robuust en veilig het algoritme is. Verbeter het algoritme waar nodig. En monitor goed welke data het algoritme gebruikt, zodat je veranderingen in die data snel signaleert. Maak een noodplan voor als blijkt dat het algoritme niet meer werkt zoals het bedoeld was.
Blijf regelmatig controleren tijdens de fases implementatie en monitoring en beheer. Dit zijn de fases waarin je het algoritme gebruikt. Presteert het algoritme niet goed, los het probleem dan op of stop het gebruik.
[!TIP] Houd rekening met concept drift. Dit betekent dat de eigenschappen van je data in de loop van de tijd kunnen veranderen. Hierdoor trekt je algoritme mogelijk verkeerde conclusies. Zo was er v\u00f3\u00f3r 2020 een verband tussen thuiswerken en ziek zijn. Maar sinds de coronacrisis in 2020 is dit verband minder sterk, omdat gezonde mensen vaker thuiswerken.
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#bescherm-algoritmes-tegen-aanvallen-en-bedreigingen","title":"Bescherm algoritmes tegen aanvallen en bedreigingen","text":"
Beveilig het ICT-systeem waarin het algoritme wordt gebruikt. Dit zijn bijvoorbeeld maatregelen uit de Baseline Informatiebeveiliging Overheid (BIO) die je standaard neemt voor beveiliging van ICT-systemen tegen cyberaanvallen.
Beveilig de algoritmes zelf tegen cybercriminelen. Belangrijke bedreigingen voor algoritmes zijn:
Trainingsdata van een AI-model aanpassen, waardoor het later fouten gaat maken tijdens het gebruik.
Input van een algoritme aanpassen om het normale gedrag te omzeilen, of om het algoritme specifieke, ongewenste output te laten geven.
Een \u2018achterdeurtje\u2019 inbouwen met toegang tot het algoritme, waardoor aanvallers het algoritme kunnen misbruiken.
Intellectueel eigendom of kwetsbaarheden afleiden uit de details van een AI-model.
Gevoelige informatie afleiden uit de eigenschappen van trainingsdata.
Lees meer in het TNO-rapport Verkenning van het raakvlak cybersecurity en AI.
Aandachtspunten voor het beschermen van algoritmes tegen specifieke dreigingen:
Controleer of de trainingsdata geschikt, correct en betrouwbaar is.
Controleer of de inputdata geschikt, correct en betrouwbaar is.
Houd bij complexe algoritmes rekening met verborgen en onwenselijke functionaliteiten.
Train je algoritme om bestand te zijn tegen aanvallen.
Stimuleer veilig gebruik van het algoritme door gebruikers.
Maak afspraken met leveranciers en controleer de geleverde algoritmes voor gebruik.
Test periodiek of het algoritme weerbaar is tegen bekende aanvallen.
Hiermee voorkom je:
misleiding, doordat het algoritme niet werkt op de bedoelde manier
verkeerde implementatie en daardoor een verkeerde werking
Begin zo vroeg mogelijk met beveiligen. Beveilig in elk geval in de fases ontwikkelen, verificatie en validatie, implementatie, monitoring en beheer en uitfaseren.
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#verklein-de-kans-op-schade","title":"Verklein de kans op schade","text":"
Veroorzaak zo min mogelijk schade als het toch fout gaat. En maak een noodplan voor incidenten. Het doel van dit plan is ervoor zorgen dat de fout zo min mogelijk gevolgen heeft voor de organisatie en de maatschappij. In het plan staat bijvoorbeeld wie wat moet doen als het systeem uitvalt.
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#aanbevolen-maatregelen","title":"Aanbevolen maatregelen","text":"idMaatregelenorg-11Maak afspraken over het beheer van gebruikersorg-13Maak afspraken over het beheer van wachtwoordenorg-14Maak afspraken over het wijzigen van de codeowp-04Beschrijf welke techniek gebruikt wordt voor de beoogde toepassingowp-10Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmesowp-24Voer een risico-analyse met de aanbieder uit op het gebied van informatiebeveiliging bij een uitbestedingstrajectdat-04Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsproceduredat-07Gebruik bij machine learning technieken gescheiden train-, test- en validatiedata en houdt rekening met underfitting en overfitting.owk-01Ontwerp en ontwikkel het algoritme volgens de principes van \u2018security by design\u2019owk-04Maak logbestanden waarin staat wie wanneer toegang had tot de data en de codever-01Controleer regelmatig of het algoritme werkt zoals het bedoeld isimp-02Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie\u2019 te controlerenmon-01Maak back-ups van algoritmesmon-02Beveilig de softwaremon-03Maak een noodplan voor beveiligingsincidentenmon-04Monitor regelmatig op veranderingen in de data. Bij veranderingen evalueer je de prestaties en output van het algoritme."},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#hulpmiddelen","title":"Hulpmiddelen","text":"HulpmiddelenAssessment List for Trustworthy Artificial Intelligence (ALTAI)Baseline Informatiebeveiliging Overheid (BIO)"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#bronnen","title":"Bronnen","text":"
Natalia D\u00edaz-Rodr\u00edguez et al, 2023, Connecting the dots in trustworthy Artificial Intelligence: From AI principles, ethics, and key requirements to responsible AI systems and regulation, Information Fusion 99.
Andrea Tocchetti, Lorenzo Corti, Agathe Balayn, Mireia Yurrita, Philip Lippmann, Marco Brambilla, and Jie Yang. 2022. A.I. Robustness: a Human-Centered Perspective on Technological Challenges and Opportunities. In ACM, New York, NY, USA
Ronan Hamon, Henrik Junklewitz, Ignacio Sanchez, 2020, Robustness and Explainability of Artificial Intelligence: from technical to policy solutions, JRC Technical Report, EUR 30040 EN
Bhanu Chander, Chinju John, Lekha Warrier, Gopalakrishnan Kumaravelan, 2024, Toward Trustworthy AI in the Context of Explainability and Robustness, ACM Computing Surveys
Niels Brink, Yori Kamphuis, Yuri Maas, Gwen Jansen-Ferdinandus, Jip van Stijn, Bram Poppink, Puck de Haan, Irina Chiscop, 2023, Adversarial AI in de cyber domain, TNO-2023-R10292-EN
"},{"location":"onderwerpen/technische-robuustheid-en-veiligheid/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
"},{"location":"onderwerpen/transparantie/","title":"Transparant zijn over algoritmes","text":"
Overheden moeten transparant zijn over hun algoritmes. Dit betekent dat je duidelijke informatie geeft over de algoritmes die je ontwikkelt of gebruikt.
"},{"location":"onderwerpen/transparantie/#wanneer-ben-je-transparant","title":"Wanneer ben je transparant?","text":"
Je draagt bij aan transparantie over algoritmes als je duidelijk uitlegt:
dat je algoritmes ontwikkelt of gebruikt
voor welk doel je deze algoritmes ontwikkelt of gebruikt
wat voor soort algoritmes dit zijn
welke code of programmeertaal je hiervoor gebruikt
welke data je hiervoor gebruikt
hoe uitkomsten tot stand komen
hoe belanghebbenden bezwaar kunnen maken tegen gevolgen van het algoritme
"},{"location":"onderwerpen/transparantie/#belang-van-transparantie","title":"Belang van transparantie","text":"
Als je open bent over de algoritmes die je ontwikkelt of gebruikt, kunnen burgers en bedrijven zich beter verdedigen tegen mogelijke nadelige gevolgen. Verkeerd gebruik van algoritmes kan iemands leven namelijk ernstig be\u00efnvloeden. Bijvoorbeeld door discriminatie of een besluit dat niet klopt.
Door uit te leggen hoe het algoritme werkt, kun je de beslissingen van het algoritme makkelijker controleren. Je leert sneller waarom het bepaalde keuzes maakt en waar de zwakke plekken zitten.
Ook je organisatie is makkelijker te controleren. Omdat je transparant bent over algoritmes, kunnen burgers feedback geven. Journalisten zien wat je doet. En andere overheden kunnen hiervan leren.
wie de gebruikers zijn van het algoritme, bijvoorbeeld medewerkers of burgers
de vereisten waar je aan moet voldoen
de maatregelen die je neemt
de doelgroep die je wil bereiken
de levenscyclus-fase van je algoritme
Onderzoek goed welk soort algoritme je gebruikt of wil gebruiken. Hoe groter de impact en het risico, hoe strenger de vereisten.
De keuze voor het soort algoritme bepaalt ook hoe transparant je kunt zijn. Van rekenregels kun je namelijk precies uitleggen hoe deze tot een beslissing komen. Maar complexe AI-systemen zijn vaak een black box: niemand weet precies hoe deze systemen beslissingen maken. Volledige transparantie is dan niet mogelijk. In dat geval moet je de werking zo goed mogelijk onderzoeken. Probeer bijvoorbeeld in elk geval ernstige gevolgen zoals discriminatie te voorkomen.
Tip
Rekenregels zijn makkelijker uit te leggen dan AI-systemen. Als een rekenregel voldoende is voor het bereiken van je doel, dan is het ook makkelijker om transparant te zijn.
Stem je informatie af op de betrokken partij. Zo moeten gebruikers de uitkomst van het algoritme voldoende begrijpen voor het nemen van onderbouwde beslissingen. En belanghebbenden zoals burgers moeten weten dat zij te maken hebben met een algoritme. Zij moeten snel en makkelijk kunnen vinden wat hun rechten zijn en hoe zij in beroep kunnen gaan.
Doelgroep Informeer bijvoorbeeld over Geef de informatie bijvoorbeeld via: Ontwikkelaar de werking, keuzes van het ontwikkelteam technische documentatie Gebruiker hoe uitkomsten tot stand komen, gebruikte data, wat het algoritme wel en niet kan gebruiksinstructies, trainingen Medewerker contactpersonen, algoritmegebruik binnen de organisatie, afspraken over algoritmemanagement (ook wel: algoritmegovernance) intern algoritmeregister, trainingen Belanghebbende (iemand voor wie het algoritme gevolgen heeft) hoe een besluit tot stand kwam, mogelijkheden om bezwaar te maken, contactmogelijkheden brief over het besluit, webpagina over het algoritme Ge\u00efnteresseerde burger algoritmegebruik binnen de organisatie webpagina over het algoritme, algoritmeregister Auditor werking, ontwikkelproces, keuzes van het ontwikkelteam, hoe uitkomsten tot stand komen algoritmeregister, technische documentatie, programmeercode Onderzoeker of journalist algoritmegebruik binnen de organisatie algoritmeregister, technische documentatie, code"},{"location":"onderwerpen/transparantie/#aanbevolen-maatregelen","title":"Aanbevolen maatregelen","text":"idMaatregelenorg-04Stel beleid op voor een verantwoorde inzet van algoritmes binnen de organisatie.org-04Zorg voor politiek-bestuurlijk bewustzijn, betrokkenheid, en verantwoordelijkheid.pba-01Beschrijf het probleem dat het algoritme moet oplossenpba-02Beschrijf het doel van het algoritmepba-05Beschrijf de wettelijke grondslag voor de inzet van het algoritmeowp-08Bepaal welke documenten voor hoe lang gearchiveerd moeten wordenowp-13Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst.owp-20Vul technische documentatie van aanbieder aan met relevante informatie vanuit de gebruiksverantwoordelijke.owp-22Bepaal in een aanbesteding of algoritmes van een aanbieder bepalende invloed hebben in een besluit richting personenpba-04Stel vast welke betrokkenen ge\u00efnformeerd moeten worden en welke informatie zij nodig hebben.owp-07Pas uitlegbaarheidstechnieken toe en evalueer en valideer deze.org-02Pas vastgestelde beleidskaders toever-03Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleidimp-01Stel een werkinstructie op voor gebruikers.imp-04Publiceer impactvolle algoritmes en hoog-risico-AI-systemen in het Algoritmeregisterimp-07Vermeld het gebruik van persoonsgegevens in een privacyverklaringimp-08Vermeld het gebruik van persoonsgegevens in het verwerkingsregisterimp-01Maak een openbaar besluit over de inzet van het algoritme"},{"location":"onderwerpen/transparantie/#hulpmiddelen","title":"Hulpmiddelen","text":"HulpmiddelenAssessment List for Trustworthy Artificial Intelligence (ALTAI)Impact Assessment Mensenrechten en AlgoritmesAlgoritmeregisterFramework for Meaningful Engagement"},{"location":"onderwerpen/transparantie/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
Overzicht van de belangrijkste vereisten voor overheden die algoritmes of AI-systemen ontwikkelen of gebruiken.
Soorten algoritmes
Om te voldoen aan de vereisten, moet je weten met welk soort algoritme je werkt. Gaat het om simpele rekenregels of een AI-systeem?
Risico en impact van algoritmes
AI-systemen vallen mogelijk onder een risicogroep uit de AI-verordening. En wat voor impact hebben je algoritmes?
Woordenlijst
Uitleg van begrippen die je vaak tegenkomt op deze website.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/","title":"Bijdragen aan het Algoritmekader","text":"
Allereerst, bedankt dat je de tijd hebt genomen om een bijdrage te leveren! \u2764\ufe0f
We waarderen alle soorten bijdragen enorm. Zie die Inhoudsopgave voor verschillende manieren waarop je kan bijdragen aan het Algoritmekader. Zorg ervoor dat je de relevante hoofdstukken even leest voordat je een bijdrage levert. Het zal het voor het team van het Algoritmekader een stuk makkelijker maken en de ervaring voor alle betrokkenen soepeler laten verlopen. We kijken uit naar alle bijdragen! \ud83c\udf89
Werken in Github is voor het team Algoritmekader nieuw en experimenteel. Dit vraagt voor ons om een aangepaste werkwijze en hier is bepaalde expertise voor nodig. Het begin is gemaakt en het team Algoritmekader is nog lerende om hier optimaal invulling aan te geven. Hierdoor kan het iets langer duren voordat er wordt gereageerd op suggesties of toevoegingen. We werken aan een duidelijk proces om hier goed mee om te gaan (deze guidelines zijn daar een voorbeeld van). Daarnaast werken we niet aan alle bouwblokken tegelijk. Deze worden \u00e9\u00e9n voor \u00e9\u00e9n opgepakt. Aanbevelingen over onderwerpen die later op de planning staan kunnen daardoor ook iets langer duren om te verwerken, en worden mogelijk pas verwerkt wanneer dit bouwblok wordt uitgewerkt.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#code-of-conduct","title":"Code of Conduct","text":"
Dit project en iedereen die eraan deelneemt, valt onder de Code of Conduct. Door deel te nemen, wordt van je verwacht dat je je aan deze code houdt. Meld onacceptabel gedrag aan algoritmes@minbzk.nl.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#ik-heb-een-vraag","title":"Ik heb een vraag","text":""},{"location":"overhetalgoritmekader/CONTRIBUTING/#maak-een-issue-aan","title":"Maak een issue aan","text":"
Voordat je een Issues gaat aanmaken, kan je bekijken of jouw vraag al tussen de bestaande Issues staat. Wellicht staat er al een issue tussen die jou vraag kan beantwoorden.
Als je jouw vraag nog steeds wilt stellen, kan je een Issue aanmaken.
Gebruik daarvoor de knop new issue.
Schrijf je vraag of opmerking is en geef een heldere toelichting.
Anderen kunnen nu opmerkingen toevoegen aan jouw issue.
Het team van het Algoritmekader zal deze issue labelen als question en pakt jouw issue zo snel mogelijk op. Mogelijk neemt het team van het Algoritmekader contact op voor een verduidelijking of een oplossing.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#stel-een-vraag-via-mail","title":"Stel een vraag via mail","text":"
Je kan je vragen ook altijd stellen door een mail te sturen naar algoritmes@minbzk.nl.
Wanneer je bijdraagt aan dit project, moet je ermee akkoord gaan dat je 100% van de inhoud hebt geschreven, dat je de benodigde rechten op de inhoud hebt en dat de inhoud die je bijdraagt mag worden geleverd onder de Code of Conduct.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#sluit-je-aan-bij-een-werkgroep","title":"Sluit je aan bij een werkgroep","text":"
Voor sommige bouwblokken wordt er gewerkt met werkgroepen, om de informatie verder uit te werken. Deelname aan een werkgroep kost tijd. Werkgroepen komen regelmatig bij elkaar, en tussendoor worden bepaalde zaken uitgewerkt door werkgroepleden. Wil je op \u00e9\u00e9n van de onderwerpen meewerken? Stuur dan een bericht naar algoritmes@minbzk.nl.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#neem-deel-aan-een-sprint-review-klankbord-demo","title":"Neem deel aan een sprint review / klankbord / demo","text":"
Het team van het algoritmekader werkt in sprints van ongeveer 3 weken. Daarin werken we toe naar de volgende release van het Algoritmekader. Ongeveer eens in de 6 weken vindt er een nieuwe release plaats. Wanneer er een release is, wordt deze altijd toegelicht en gepresenteerd in een open online review / demo. Deze kan je vrijblijvend volgen. Zo blijf je op de hoogte en kun je een bijdrage leveren. Bekijk de agenda op Algoritmes Pleio voor de komende bijeenkomsten.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#ik-wil-een-fout-of-bug-melden","title":"Ik wil een fout of bug melden","text":"
Heb je een foutje gevonden in het Algoritmekader? Dan kan je deze melden door een Issue aan te maken.
Voordat je een Issues gaat aanmaken, kan je bekijken of jouw gevonden fout al tussen de bestaande Issues staat.
Als je de gevonden fout nog steeds wilt melden, kan je een Issue aanmaken.
Gebruik daarvoor de knop new issue.
Beschrijf de fout duidelijk en geef een heldere toelichting. Voeg waar mogelijk een screenshot toe.
Het team van het Algoritmekader zal deze issue labelen als bug en pakt jouw issue zo snel mogelijk op. Mogelijk neemt het team van het Algoritmekader contact op voor een verduidelijking of een oplossing.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#ik-wil-een-verbetering-voorstellen","title":"Ik wil een verbetering voorstellen","text":"
Heb je een suggestie of wil je een verbetering voorstellen? Dat kan gaan om een compleet nieuwe functionaliteit van de site of om kleine verbeteringen. Het volgen van onderstaande instructie helpt het team van het algoritmekader om je suggestie te begrijpen en gerelateerde suggesties te vinden.
Je kan een suggestie doen door een Issue aan te maken of door een Pull Request te maken.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#voordat-je-een-suggestie-gaat-maken","title":"Voordat je een suggestie gaat maken","text":"
Voordat je een suggestie gaat maken, kan je bekijken of jouw suggestie al tussen de bestaande Issues staat. Wellicht bestaat er al een issue die jouw suggestie beschrijft, en zijn we er al mee bezig.
Zoek uit of jouw idee past binnen het doel en de scope van het project. Wat zijn de voordelen van deze functionaliteit of toevoeging? Het is aan jou om het team van het Algoritmekader en de community te overtuigen dat dit een nuttige toevoeging is aan het Algoritmekader. Houd in gedachten dat we functioanliteiten willen die nuttig zijn voor de meerderheid van onze gebruikers en niet slechts voor een kleine groep.
Als je jouw suggestie nog steeds wilt doen, kan je een Issue aanmaken.
Gebruik daarvoor de knop new issue.
Beschrijf duidelijk jouw suggestie en geef een heldere toelichting en onderbouwing waarom dit een goede toevoeging zal zijn aan het Algoritmekader
Het team van het Algoritmekader zal deze issue labelen als enhancement en pakt jouw issue zo snel mogelijk op. Mogelijk neemt het team van het Algoritmekader contact op voor een verduidelijking of een oplossing.
Afhankelijk van de complexiteit en het onderwerp van jouw suggestie kan het even duren voordat deze wordt opgepakt door het team van het Algoritmekader.
Kun je niet uit de voeten met de issues? Bijvoorbeeld omdat je verschillende wijzigingsvoorstellen wilt doen? Je kan ook gebruik maken van een Fork en een Pull Request.
Het team van Algoritmekader bekijkt daarna jouw aanpassingen en kan bij akkoord jouw aanpassingen mergen. Er zijn ook andere manieren om een pull request te doen. Meer daarover.
Afhankelijk van de complexiteit en het onderwerp van jouw suggestie kan het even duren voordat deze wordt opgepakt door het team van het Algoritmekader.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#preview-van-een-pull-request","title":"Preview van een pull-request","text":"
We maken gebruik van de tool pr-preview-action om automatisch previews te maken van een pull-request. Dit maakt het mogelijk om de wijzigingen die zijn gedaan in een pull-request al te bekijken in de uiteindelijke omgeving. Wanneer er een pull-request gedaan wordt via een fork, leidt dit helaas tot een error, zie Issue #79. Dit blokkeert de pull-request niet.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#hoe-we-werken-op-github","title":"Hoe we werken op Github","text":"
We werken met Markdown bestanden. Dit is bestandsformaat voor platte tekstbestanden en wordt door veel verschillende tools ondersteund. Dit maakt het eenvoudig om versiebeheer op het Algoritmekader toe te passen.
Daarnaast maken gebruik van mkdocs en material for mkdocs om de informatie op een interactieve wijze inzichtelijk te maken op de website van het Algoritmekader.
"},{"location":"overhetalgoritmekader/CONTRIBUTING/#wil-je-een-nieuwe-pagina-aanmaken","title":"Wil je een nieuwe pagina aanmaken?","text":"
In het mkdocs.yml bestand staan de settings voor deze website. In principe hoef je hier niets aan aan te passen, maar als je een nieuwe pagina wilt aanmaken kan het nodig zijn om hier een aanpassing in te doen. Onderdeel van deze settings is namelijk de navigatie voor de site (welke pagina's zijn zichtbaar, en welke pagina's vallen daaronder). Dit staat in de nav: sectie. Indien je een nieuwe pagina wilt toevoegen, is het vaak nodig deze wijziging ook door te voeren in het mkdocs.yml bestand.
"},{"location":"overhetalgoritmekader/over-het-algoritmekader/","title":"Over het Algoritmekader","text":"
Het Algoritmekader is een hulpmiddel voor overheden die algoritmes, waaronder AI (artifici\u00eble intelligentie), gebruiken. Hierin vind je de wetten en regels, hulpmiddelen en adviezen per situatie. De informatie in het Algoritmekader is nog niet betrouwbaar. Het is een b\u00e8taversie. De definitieve versie verschijnt eind 2024.
"},{"location":"overhetalgoritmekader/over-het-algoritmekader/#verantwoord-gebruik-van-algoritmes","title":"Verantwoord gebruik van algoritmes","text":"
In het Algoritmekader vind je informatie over verantwoord gebruik van algoritmes. Bijvoorbeeld:
Wie is waarvoor verantwoordelijk?
Hoe voorkom je discriminatie (bias) in een algoritme?
Hoe verwerk je gegevens op een veilige manier?
Hoe voorkom je mensenrechtenschendingen?
Welke inkoopvoorwaarden spreek je af voor algoritmes van een externe partij?
De informatie is bedoeld voor medewerkers van de rijksoverheid, provincies, gemeentes en waterschappen.
"},{"location":"overhetalgoritmekader/over-het-algoritmekader/#informatie-van-de-overheid","title":"Informatie van de overheid","text":"
Het Algoritmekader is een website van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Het team Data, AI en Algoritmes stelt de informatie samen, op basis van:
alle wetten en regels, zoals de AI-verordening en de Algemene wet bestuursrecht
belangrijke hulpmiddelen, zoals de IAMA (Impact Assessment Mensenrechten en Algoritmes)
adviezen en ervaringen van experts, zoals wetenschappers
Algoritmekader is de nieuwe naam van het Implementatiekader 'Verantwoorde inzet van algoritmen'. Dit rapport is de eerste versie. Door het verder ontwikkelen van dit rapport ontstond de website Algoritmekader.
Sindsdien verschijnt elke maand een nieuwe b\u00e8taversie van het Algoritmekader. Deze b\u00e8taversies zijn nog niet betrouwbaar. De informatie is onvolledig. Er kunnen fouten in staan.
Versie 2.0 is de definitieve, betrouwbare versie van het Algoritmekader. Deze versie verschijnt eind 2024.
De informatie in het Algoritmekader komt open source tot stand. Dat betekent dat iedereen kan meekijken en zijn mening mag geven, of een voorstel mag doen:
Geef je vraag of wijziging door.
Sluit je aan bij een werkgroep.
Doe mee aan een (online) vergadering zoals onze demo na een nieuwe release van het Algoritmekader.
Om te voldoen aan de vereisten, moet je weten met welk soort algoritme je werkt. Gaat het om simpele rekenregels of een AI-systeem? En wat voor impact hebben je algoritmes?
"},{"location":"overhetalgoritmekader/soorten-algoritmes/#wanneer-is-het-een-algoritme","title":"Wanneer is het een algoritme?","text":"
Met een algoritme bedoelen we een set regels en instructies die een computer uitvoert, met 1 of meer van deze doelen:
Rekenregels (ook wel: regelgebaseerde algoritmes) zijn de meest eenvoudige algoritmes. Dit zijn door mensen bedachte regels die het computersysteem precies moet opvolgen: als x gebeurt, dan doe je y.
Rekenregels:
zijn expliciet geprogrammeerd en bedacht door mensen
bestaan uit vaste stappen om een taak uit te voeren
Rekenregels zijn niet kunstmatig intelligent (AI). Rekenregels kunnen wel onderdeel zijn van een AI-systeem.
Zelflerende algoritmes zijn algoritmes die zichzelf trainen. Dit proces heet machinelearning. Hierdoor worden computers intelligent zonder dat mensen dit precies zo programmeren. Dit is een veel voorkomende vorm van AI.
Zelflerende technieken zijn in elk geval:
Supervised learning (gecontroleerd leren): Je algoritme leert van gegevens die je labelt met informatie. Je biedt bijvoorbeeld foto\u2019s aan met de labels: dit is wel een kat, dit is geen kat. Voorbeeld: Virtuele assistent Gem.
Unsupervised learning (ongecontroleerd leren): Je laat het algoritme zelf patronen en structuren ontdekken in ongestructureerde gegevens zonder labels. Je biedt bijvoorbeeld foto\u2019s aan van dieren die het algoritme zelf moet groeperen. Voorbeeld: Polis voor participatieplatformen.
Reinforcement learning (bekrachtiginsleren): Het algoritme leert door straf en beloning. Het doel is zo hoog mogelijk scoren in zo min mogelijk tijd. Je geeft bijvoorbeeld punten als het algoritme foto\u2019s sorteert die op katten lijken. Voorbeeld: I-VRI voor verkeerslichten.
Deep learning: Supervised, unsupervised of reinforcement learning gecombineerd met diepe neurale netwerken. Dit zijn kunstmatige neurale netwerken met veel verschillende lagen. Hierdoor kun je nog ingewikkeldere problemen oplossen. Voorbeeld: Geautomatiseerde gezichtsvergelijking bij het RNI-inschrijfproces.
Met een AI-systeem bedoelen we een systeem dat kunstmatig intelligent is volgens de Europese AI-verordening. Dit zijn in elk geval systemen die gebruik maken van:
supervised learning
unsupervised learning
reinforcement learning
deep learning
Tip
Twijfel je of je algoritme onderdeel is van een AI-systeem? Raadpleeg een expert. Of beschouw het systeem voor de zekerheid als een AI-systeem.
AI-systemen vallen mogelijk onder een van de risicogroepen uit de AI-verordening:
Risico op misleiding
Hoog-risico-AI-systemen
Verboden AI-systemen
Het hangt ervan af waarvoor je dit AI-systeem gebruikt.
"},{"location":"overhetalgoritmekader/soorten-algoritmes/#impact-van-algoritmes","title":"Impact van algoritmes","text":"
Impactvolle algoritmes moet je publiceren in het Algoritmeregister. Dat moet in elk geval in deze situaties:
Je algoritme is onderdeel van een hoog-risico-AI-systeem.
Je algoritme heeft invloed op een proces met rechtsgevolgen voor burgers of organisaties. Bijvoorbeeld het wel of niet krijgen van boetes of subsidies.
Je algoritme heeft invloed op de manier waarop de overheid burgers of organisaties indeelt, of contact met hen zoekt. Bijvoorbeeld bij het inschatten van risico\u2019s of het signaleren van fraude.
Je overheidsorganisatie vindt zelf dat het algoritme impact heeft op de maatschappij. Bijvoorbeeld omdat het algoritme ingewikkeld is, veel data gebruikt, vaak in de media komt of onderzocht wordt door een toezichthouder.
Een impactvol algoritme kan schade veroorzaken aan de maatschappij. Daarom zijn de regels strenger voor impactvolle dan voor niet-impactvolle algoritmes.
Tip
Twijfel je of je algoritme impactvol is of niet? Beschouw het algoritme dan als impactvol.
Meer uitleg en voorbeelden vind je in de Handreiking Algoritmeregister.
Dit is degene die gaat over wat wenselijk is en adviseert bij de ontwikkeling en/of inzet van een algoritme. Hierbij horen rollen zoals de beleidsmedewerker, ethicus, CIO-adviseur, architect.
Jurist
Hier komt een tekstje.
Ontwikkelaar
De Ontwikkelaar omvat alle technische expertise.
Projectleider
De projectleider richt zich op het co\u00f6rdineren en aansturen van alle betrokken partijen en processen bij de ontwikkeling van algoritmes.
"},{"location":"rollen/beleid-en-advies/","title":"Beleid en advies","text":"
Dit is degene die gaat over wat wenselijk is en adviseert bij de ontwikkeling en/of inzet van een algoritme. Hierbij horen rollen zoals de beleidsmedewerker, ethicus, CIO-adviseur, architect.
De Ontwikkelaar omvat alle technische expertise. Dit zijn professionals die zich bezighouden met het analyseren, ontwikkelen, en implementeren van algoritmes en modellen. Dit zijn de specialisten die zorgen voor de technische kant van de algoritmeontwikkeling, inclusief programmeren, opschonen van data, data-analyse en het ontwerpen van informatieprocessen.
Mensen met technische expertise spelen een cruciale rol bij het verantwoord ontwerpen en ontwikkelen van algoritmes. Zij zorgen ervoor dat algoritmes voldoen aan technische en ethische standaarden, en passen methodes toe om de duurzaamheid, eerlijkheid en transparantie van modellen te waarborgen. Technische experts zijn vaak ook verantwoordelijk voor het testen en optimaliseren van de algoritmes, en voor het implementeren van maatregelen om privacy en gegevensbescherming te waarborgen. In het Algoritmekader zijn er tal van vereisten, maatregelen en hulpmiddelen die specifiek relevant zijn voor technische experts.
De projectleider richt zich op het co\u00f6rdineren en aansturen van alle betrokken partijen en processen bij de ontwikkeling van algoritmes. Projectleiders zorgen ervoor dat projecten door de verschillende fasen van de levenscyclus van algoritmes worden geleid, van probleemanalyse tot monitoring & beheer, of zelfs uitfasering.
Projectmanagement binnen het Algoritmekader betekent het verbinden van benodigde expertises en het waarborgen dat alle stappen van het ontwikkelproces verantwoord en volgens de gestelde kaders worden uitgevoerd. Projectmanagers maken afspraken over de te navolgen vereisten en stellen prioriteiten in uit te voeren maatregelen. Zij houden contact met opdrachtgevers en verantwoordelijken om te zorgen dat de projectdoelen worden behaald en risico\u2019s worden gemitigeerd. Zij spelen een hoofdrol bij het realiseren van een verantwoorde en effectieve inzet van algoritmes binnen een organisatie.
"},{"location":"voldoen-aan-wetten-en-regels/","title":"Voldoen aan wetten en regels","text":"
Vereisten
Overzicht van de belangrijkste vereisten voor overheden die algoritmes of AI-systemen ontwikkelen of gebruiken.
Maatregelen
Overzicht van aanbevolen maatregelen voor verantwoord gebruik van algoritmes en AI-systemen. Het zijn adviezen om te voldoen aan de vereisten voor overheden. Andere maatregelen zijn ook mogelijk.
Hulpmiddelen
Overzicht van aanbevolen hulpmiddelen voor het verantwoord ontwikkelen, gebruiken, beoordelen en monitoren van algoritmes en AI-systemen.
AI-verordening in het kort
In de AI-verordening staan de Europese regels voor het verantwoord ontwikkelen en gebruiken van AI. Ongewenste AI is verboden vanaf 2 februari 2025. Andere AI-systemen moeten vanaf 2026 of v\u00f3\u00f3r 2030 voldoen aan bepaalde vereisten.
Beslishulp AI-verordening
Stel snel en gemakkelijk vast of de AI-verordening geldt voor jouw overheidsorganisatie. En aan welke vereisten je dan moet voldoen.
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/","title":"AI-verordening in het kort","text":"
In de AI-verordening staan de Europese regels voor het verantwoord ontwikkelen en gebruiken van AI. Ongewenste AI is verboden vanaf 2 februari 2025. Andere AI-systemen moeten vanaf 2026 of v\u00f3\u00f3r 2030 voldoen aan bepaalde vereisten.
Verordening (EU) 2024/1689 (AI-verordening)
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/#over-de-ai-verordening","title":"Over de AI-verordening","text":"
De AI-verordening is de eerste uitgebreide wet over artifici\u00eble intelligentie (AI) ter wereld. De regels gelden voor alle Europese lidstaten.
De AI-verordening trad in werking op 1 augustus 2024 en gaat stap voor stap gelden. De eerste regels gaan in op 2 februari 2025. Vanaf 2 augustus 2025 geldt de volgende set regels. Op 2 augustus 2027 gaan de laatste regels in. Dan is de hele AI-verordening van kracht.
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/#europese-regels-voor-het-ontwikkelen-en-gebruiken-van-ai","title":"Europese regels voor het ontwikkelen en gebruiken van AI","text":"
De AI-verordening geldt in deze 3 situaties samen:
Je ontwikkelt of gebruikt AI.
Dit doe je namens een overheid, bedrijf of andere organisatie.
Je organisatie is gevestigd in een EU-land.
Het maakt niet uit waar je AI-producten ontwikkelt. Ontwikkel je buiten de EU, maar is je organisatie gevestigd in een EU-land? Dan geldt de EU-verordening.
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/#verantwoord-gebruik-van-ai","title":"Verantwoord gebruik van AI","text":"
Het doel van de AI-verordening is om verantwoord gebruik van AI te stimuleren in de hele EU. Daarom gelden in alle EU-landen dezelfde regels voor het:
Verkleinen van risico\u2019s voor de gezondheid, veiligheid en grondrechten van mensen
Beschermen van de democratie, de rechtsstaat en het milieu
Het gaat dan om nieuwe risico\u2019s, zoals misleiding en discriminatie door AI-systemen. Bestaande regels zoals de Algemene verordening gegevensbescherming (AVG) en de Algemene wet bestuursrecht (Awb) beschermen voor een deel tegen de risico\u2019s van AI. De AI-verordening vult deze regels aan.
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/#definitie-van-een-ai-systeem","title":"Definitie van een AI-systeem","text":"
De AI-verordening geldt voor AI-systemen. Volgens de verordening is dit:
'(\u2026) een op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na de uitrol aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen.'
Hieronder vallen systemen die kunstmatig intelligent zijn door zelflerende technieken zoals:
supervised learning
unsupervised learning
reinforcement learning (bekrachtiginsleren)
deep learning
Onder AI-systemen vallen ook systemen die gebruik maken van op logica en kennis gebaseerde benaderingen (knowledge and logic-based approaches) die leren, redeneren of modelleren mogelijk maken.
De AI-verordening deelt AI op in risicogroepen. Hoe groter het risico van AI voor de samenleving, hoe strenger de regels uit de AI-verordening. Het hangt ervan af waarvoor je dit AI-systeem gebruikt.
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/#risico-op-misleiding","title":"Risico op misleiding","text":"
Dit zijn AI-systemen die je gebruikt voor:
interactie met mensen, zoals AI-chatbots
genereren van content, zoals afbeeldingen laten maken door Dall-E en of audio en tekst
Over deze systemen moet je transparant zijn. Gebruikers mogen niet denken dat zij te maken hebben met echte mensen of originele content.
Dit zijn AI-systemen die je gebruikt als veiligheidsonderdeel van bepaalde producten of AI-systemen die je gebruikt voor bepaalde diensten of processen.
'Gebruiken als veiligheidsonderdeel' betekent dat je AI-systeem een belangrijke rol speelt in de veiligheid van een product. En dit product valt onder de harmonisatiewetgeving van de EU, zoals:
machines
speelgoed
liften
uitrusting en beveiligingssystemen voor plaatsen met ontploffingsgevaar
radioapparatuur
drukapparatuur
pleziervaartuigen
kabelbaaninstallaties
gastoestellen
medische hulpmiddelen
hulpmiddelen voor het testen van menselijk materiaal (in-vitrodiagnostiek)
auto-industrie
luchtvaartindustrie
Zie AI-verordening, bijlage I.
'Gebruik voor bepaalde diensten of processen' zijn:
Biometrie, zoals het herkennen of indelen van mensen op basis van hun vingerafdruk, gezicht of andere lichamelijke kenmerken.
Kritieke infrastructuur, zoals het veilig houden van digitale netwerken en verkeersnetwerken en het leveren van elektriciteit, water, gas en warmte.
Onderwijs en beroepsopleiding, zoals het bepalen welke studenten je toelaat en het beoordelen van hun prestaties of gedrag.
Werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, zoals het werven en selecteren van mensen, besluiten nemen die invloed hebben op hun contract en het beoordelen van hun prestaties of gedrag.
Essenti\u00eble particuliere en openbare diensten, zoals bepalen wie recht heeft op uitkeringen, gezondheidszorg en andere belangrijke diensten en wie noodhulp krijgt van politie, brandweer en ambulance, het beoordelen van iemands financi\u00eble situatie, fraude opsporen en het bepalen van risico\u2019s en prijzen voor levensverzekeringen en ziektekostenverzekeringen.
Rechtshandhaving, zoals iemands kans inschatten om slachtoffer of dader te worden, het gebruik van een leugendetector, het beoordelen van bewijsmateriaal en het opsporen van verdachten.
Migratie, asiel en grenzen, zoals inschatten wat de kans is dat iemand gevaarlijk of illegaal is, het behandelen van aanvragen en klachten en het herkennen of opsporen van mensen.
Rechtsbedeling en democratische processen, zoals het uitleggen van de wet aan een rechtbank, gerechtshof of de Hoge Raad, advies geven bij een geschil of het be\u00efnvloeden van de uitslag van een verkiezing.
misbruik maken van kwetsbaarheden of gevoelige situaties, zoals het overhalen van mensen met schulden om iets te kopen
sociale scores bijhouden voor gedrag van mensen en hen hiervoor straffen
beoordelen hoe groot het risico is dat iemand een strafbaar feit pleegt
afbeeldingen van gezichten \u2018scrapen\u2019 (verzamelen) via internet of bewakingscamera\u2019s en deze opslaan in een databank
emoties herkennen van mensen op hun werkplek of op school
biometrisch categoriseren: mensen indelen in gevoelige categorie\u00ebn zoals ras en geloof, op basis van lichamelijke kenmerken zoals huidskleur
biometrisch identificeren op afstand voor rechtshandhaving, zoals gezichten herkennen via camera\u2019s op een openbaar plein (hiervoor gelden uitzonderingen in ernstige situaties zoals ontvoeringen en terrorisme)
Zie AI-verordening, artikel 5.
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/#2-februari-2025-stoppen-met-verboden-ai","title":"2 februari 2025: stoppen met verboden AI","text":"
Organisaties die verboden AI ontwikkelen of gebruiken, moeten deze producten v\u00f3\u00f3r 2 februari 2025 uitfaseren.
"},{"location":"voldoen-aan-wetten-en-regels/ai-verordening/#2-augustus-2026-ai-ontwikkelen-volgens-vereisten","title":"2 augustus 2026: AI ontwikkelen volgens vereisten","text":"
Organisaties die AI-systemen ontwikkelen, moeten ervoor zorgen dat deze producten v\u00f3\u00f3r 2026 voldoen aan bepaalde vereisten, zoals:
Personen die toezicht houden op het systeem beschikken over de juiste kennis, kunde en autoriteit.
Inputdata is voldoende relevant en representatief, voor zover dat mogelijk is.
Als een gebruiksverantwoordelijke aanneemt dat het systeem niet meer voldoet aan de eisen uit de AI-verordening, stelt deze de aanbieder op de hoogte en onderbreekt het gebruik.
Organisaties die beslissingen nemen over mensen met behulp van een hoog-risico-AI-systeem, informeren deze mensen hierover.
Organisaties die AI gebruiken voor emotieherkenning of biometrische categorisatie van mensen, informeren deze mensen hierover.
Overzicht van aanbevolen hulpmiddelen voor het verantwoord ontwikkelen, gebruiken, beoordelen en monitoren van algoritmes en AI-systemen.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/#richtlijnen-en-andere-hulpmiddelen","title":"Richtlijnen en andere hulpmiddelen","text":"
Met hulpmiddelen bedoelen we hulpmiddelen voor verantwoord en effectief gebruik van algoritmes en AI-systemen, zoals:
richtlijnen
standaarden
leidraden
handboeken
Deze hulpmiddelen helpen je bij het op een rij zetten, beoordelen en verbeteren van de kenmerken, prestaties, effecten en risico\u2019s van algoritmes en AI.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/#hoe-we-hulpmiddelen-selecteren","title":"Hoe we hulpmiddelen selecteren","text":"
Hulpmiddelen die we aanbevelen, zijn:
relatief bekend onder ambtenaren
in gebruik door overheid, wetenschap of industrie
positief beoordeeld door gebruikers
geschikt voor algoritmes of AI-systemen van overheden
Staat een instrument niet in onze selectie, dan kan het nog steeds een goed instrument zijn voor jouw organisatie. Er zijn dus meer hulpmiddelen mogelijk. We maken een selectie om 2 redenen:
Een selectie is duidelijker. Als we alle hulpmiddelen aanbieden, is het voor gebruikers moeilijker te bepalen welk instrument of welke combinatie het meest geschikt is. Daarvoor lijken de hulpmiddelen te veel op elkaar.
Een selectie kunnen we controleren op kwaliteit. We kunnen niet alle hulpmiddelen controleren.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/#sommige-hulpmiddelen-zijn-verplicht","title":"Sommige hulpmiddelen zijn verplicht","text":"
Als een instrument verplicht is, staat dit er duidelijk bij. Een verplicht hulpmiddel is bijvoorbeeld de Data protection impact assessment (DPIA).
De meeste hulpmiddelen zijn niet verplicht. Bepaal zelf of je er gebruik van maakt.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/#overzicht-hulpmiddelen","title":"Overzicht hulpmiddelen","text":"HulpmiddelenAssessment List for Trustworthy Artificial Intelligence (ALTAI)Baseline Informatiebeveiliging Overheid (BIO)De Ethische Data AssistentData Protection Impact AssessmentImpact Assessment Mensenrechten en AlgoritmesAlgoritmeregisterThe Fairness HandbookFramework for Meaningful EngagementHandreiking non-discriminatie by designInkoopvoorwaardenDiscriminatie door risicoprofielen - Een mensenrechtelijk toetsingskaderOnderzoekskader algoritmes Auditdienst Rijk 2023Toetsingskader Algoritmes Algemene Rekenkamer"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/ALTAI/","title":"Assessment List for Trustworthy Artificial Intelligence (ALTAI)","text":"
OntwerpOntwikkelenJuristOntwikkelaarProjectleiderBeleid en adviesPrivacy en gegevensbeschermingDuurzaamheidFundamentele rechtenTechnische robuustheid en veiligheidTransparantieMenselijke controleData
In 2019 publiceerde de High-Level Expert Group on Artificial Intelligence (AI HLEG), opgericht door de Europese Commissie, de Ethics Guidelines for Trustworthy Artificial Intelligence. De ALTAI is een hulpmiddel dat ontwikkelaars en organisaties helpt hun AI-systemen te beoordelen, gebaseerd op deze Ethics Guidelines for Trustworthy Artificial Intelligence. Het helpt te bepalen of het AI-systeem dat wordt ontwikkeld, ingezet, aangeschaft of gebruikt, voldoet aan zeven vereisten van betrouwbare AI:
Menselijke tussenkomst en toezicht;
Technische robuustheid en veiligheid;
Privacy en gegevensbeheer;
Transparantie;
Diversiteit, non-discriminatie en eerlijkheid;
Maatschappelijk en ecologisch welzijn;
Verantwoordelijkheid
De ALTAI is bedoeld voor zelfevaluatie. Het hulpmiddel is verankerd in de bescherming van de fundamentele rechten van mensen, de term die in de Europese Unie wordt gebruikt om te verwijzen naar de mensenrechten die zijn vastgelegd in de EU-verdragen, het Handvest van de Grondrechten, en het internationale mensenrechtenrecht.
De ALTAI is bedoeld voor flexibele inzet: organisaties kunnen gebruikmaken van de relevante onderdelen van dit hulpmiddel voor een specifiek AI-systeem of er elementen aan toevoegen die zij passend achten, rekening houdend met de sector waarin zij opereren. Het helpt organisaties te begrijpen wat betrouwbare AI inhoudt, in het bijzonder welke risico's een AI-systeem zou kunnen meebrengen en hoe deze risico's kunnen worden geminimaliseerd terwijl de kansen van AI worden gemaximaliseerd. Organisaties halen het meeste waarde uit de ALTAI door de gestelde vragen uitgebreid te beantwoorden, die zijn bedoeld om zorgvuldige reflectie te stimuleren en passende vervolgacties aan te formuleren, en een organisatiecultuur te bevorderen die zich inzet voor de ontwikkeling van betrouwbare AI-systemen. Het vergroot het bewustzijn van de mogelijke impact van AI op de samenleving, het milieu, consumenten, werknemers en burgers (in het bijzonder kinderen en mensen die tot gemarginaliseerde groepen behoren).
De ALTAI biedt houvast bij het evalueren van in hoeverre een betreffend AI-systeem voldoet aan de zeven vereisten van betrouwbare AI, zoals geformuleerd door de EU. Deze zeven vereisten en de ALTAI hebben samen de basis gevormd voor de AI-verordening.
De ALTAI is ontwikkeld door de High-Level Expert Group on Artificial Intelligence van de Europese Commissie.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/ALTAI/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregelpba-03 - Beschrijf waarom een algoritme het probleem moet oplossenowp-06 - Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafwegingimp-03 - Richt de juiste menselijke controle in van het algoritme6-imp-06-proces-privacyrechtenmon-02 - Beveilig de softwarepba-05 - Beschrijf de wettelijke grondslag voor de inzet van het algoritmeowp-03 - Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit mag3-dat-03-persoonsgegevens-beschrijvendat-04 - Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsprocedureowp-07 - Maak een lijst van de meest kwetsbare groepen en bescherm hen extraimp-04 - Publiceer impactvolle algoritmes en hoog-risico-AI-systemen in het Algoritmeregisterver-01 - Toets het algoritme op biasver-01 - Controleer regelmatig of het algoritme werkt zoals het bedoeld isowk-03 - Analyseer de privacy-risico\u2019s en neem maatregelen om deze risico\u2019s laag te houdenowk-01 - Ontwerp en ontwikkel het algoritme volgens de principes van \u2018security by design\u2019"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/BIO/","title":"Baseline Informatiebeveiliging Overheid (BIO)","text":"
OntwerpImplementatieMonitoring en beheerJuristOntwikkelaarProjectleiderTechnische robuustheid en veiligheid
De BIO is het basisnormenkader voor informatiebeveiliging voor alle overheidslagen, waardoor een gezamenlijke norm voor informatiebeveiliging is ontstaan. Het gebruik van 1 normenkader voor de gehele overheid biedt een aantal voordelen:
Het versterken van de informatieveiligheid door betere afstemming binnen ketens van overheden en andere partijen;
Administratieve lastenverlichting bij overheid en bedrijven, zowel afnemers als leveranciers, door uniforme beveiligingsnormen bij de overheid;
Aansluiting bij internationale regelgeving en standaarden;
Vermindering van onderhoudskosten.
Op dit moment wordt er gewerkt aan de BIO2.0. Omdat de BIO2.0 pas eind 2024 van kracht zal worden, is op 1 juni 2023 de handreiking BIO2.0-opmaat opgeleverd. In deze handreiking is de indeling van de controls, doelstellingen en overheidsmaatregelen in deel 2 van de BIO in lijn gebracht met de 2022-versie van de ISO-27002. Naast tekstuele wijzigingen, zijn ook een aantal overheidsmaatregelen geactualiseerd, vanwege nieuwe dreigingen, zoals ransomware. Naast de verhoging van de feitelijke veiligheid, wordt ook geanticipeerd op aanpassingen die in de BIO2.0 zullen worden doorgevoerd. Overheidsorganisaties doen er goed aan deze actualisatie in hun beveiliging door te voeren.
Iedere overheidsorganisatie is verplicht de BIO in te voeren. De BIO is in december 2018 vastgesteld door de ministerraad voor de Rijksoverheid. Daarvoor was door de gemeenten, waterschappen en provincie reeds besloten tot invoering van de BIO. De overheidslagen zijn per 1 januari 2019 gestart met de implementatie van de BIO. Iedere overheidslaag heeft daarvoor zelf een implementatiepad opgesteld. De minister van BZK heeft bepaald dat in het digitale verkeer met het Rijk de BIO wordt gehanteerd.
De interbestuurlijke werkgroep-BIO draagt zorg voor het onderhoud op de BIO. Onder het voorzitterschap van BZK zijn in de werkgroep de 4 overheidskoepels vertegenwoordigd: CIO Rijk, Vereniging Nederlandse Gemeenten, InterProvinciaal Overleg en Unie van Waterschappen. Verder bestaat de werkgroep uit een aantal grote uitvoeringsorganisaties, het Forum Standaardisatie, het Nationaal Cybersecurity Centrum en het Centrum voor Informatiebeveiliging & Privacybescherming. Besluitvorming over de BIO vindt plaats in het kern-IBO, waarin onder voorzitterschap van BZK vertegenwoordigers van de 4 overheidskoepels zitting hebben.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/BIO/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"MaatregelNone"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/DEDA/","title":"De Ethische Data Assistent","text":"
ProbleemanalyseOntwerpBeleid en adviesJuristOntwikkelaarProjectleiderDataFundamentele rechten
DEDA is ontwikkeld door de Data School van de Universiteit Utrecht en bestaat uit een toolkit die helpt bij het in kaart brengen van ethische kwesties bij dataprojecten, bij het documenteren van het beraadslagingsproces en bij de bevordering van de verantwoording aan de diverse stakeholders en het publiek.
DEDA bestaat uit een poster voor brainstormsessies, een interactieve vragenlijst en een handleiding. Alle tools zijn gepubliceerd door de Data School van de Universiteit Utrecht.
DEDA bevordert verantwoordingsplicht, onderwijst gebruikers, communiceert problemen en ondersteunt projectmanagement.
DEDA is een belangrijk hulpmiddel omdat het helpt bij de vroege identificatie en bespreking van ethische kwesties in dataprojecten. Net als de IAMA, biedt DEDA een gestructureerde aanpak om de implicaties van datagebruik en algoritmische besluitvorming te beoordelen. Het ondersteunt overheden bij het naleven van het zorgvuldigheidsbeginsel en maakt ethische afwegingen inzichtelijk als onderdeel van de besluitvorming. Door een interactieve vragenlijst en documentatie bevordert DEDA verantwoordingsplicht en transparantie.
DEDA stimuleert interdisciplinaire samenwerking en helpt beleidsmakers, juristen en ontwikkelaars de ethische dimensies van data-analyse beter te begrijpen. Dit draagt bij aan zorgvuldige en rechtvaardige datagedreven oplossingen binnen de publieke sector. DEDA draagt bij aan transparantie en uitlegbaarheid van datagebruik, essentieel voor publiek vertrouwen.
DEDA is ontwikkeld door de Data School van de Universiteit Utrecht. DEDA is in nauwe samenwerking met data-analisten ontwikkeld. Inmiddels is DEDA een wijdverspreid instrument, waar de Utrecht Data School ook trainingen en begeleiding bij geeft. Via deze link is meer informatie te vinden.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/DEDA/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregelpba-03 - Beschrijf waarom een algoritme het probleem moet oplossen2-owp-02-gebruikte-data"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/DPIA/","title":"Data Protection Impact Assessment","text":"
ProbleemanalyseOntwerpDataverkenning en datapreparatieBeleid en adviesJuristProjectleiderPrivacy en gegevensbescherming
Is je organisatie van plan persoonsgegevens te verwerken, maar levert dat waarschijnlijk een hoog privacyrisico op? Dan is je organisatie verplicht eerst een 'data protection impact assessment' (DPIA) uit te voeren. Als organisatie moet je zelf bepalen of de gegevensverwerking een hoog privacyrisico oplevert. En je dus een DPIA moet uitvoeren. De volgende criteria kunnen hierbij helpen:
Wat er in de Algemene verordening gegevensbescherming (AVG) staat over wanneer je een DPIA moet uitvoeren.
De lijst van de Autoriteit Persoonsgegevens (AP) met soorten verwerkingen waarvoor je een DPIA moet uitvoeren.
De 9 criteria voor een DPIA van de Europese privacytoezichthouders.
De AVG geeft aan dat je in ieder geval een DPIA moet uitvoeren als je als organisatie:
Systematisch en uitgebreid persoonlijke aspecten van mensen beoordeelt en dit gebeurt op basis van geautomatiseerde verwerking van persoonsgegevens, waaronder profiling. En hierop besluiten baseert die gevolgen hebben voor mensen. Bijvoorbeeld dat zij geen lening kunnen afsluiten. Een voorbeeld hiervan is creditscoring.
Op grote schaal bijzondere persoonsgegevens verwerkt.
Strafrechtelijke gegevens verwerkt.
Op grote schaal en systematisch mensen volgt in een publiek toegankelijk gebied. Bijvoorbeeld met cameratoezicht.
Een DPIA moet in een vroeg stadium van de beleids- of projectontwikkeling worden uitgevoerd. Op dat moment kan namelijk nog zonder vooroordelen worden nagedacht over de gevolgen en kan het voorstel nog makkelijker worden herzien. Dit voorkomt ook latere, kostbare aanpassingen in processen, herontwerp van systemen of zelfs stopzetten van een project. Behalve aan het begin van een project kan een DPIA ook op andere momenten en meermaals worden uitgevoerd en geactualiseerd. Als het voorstel wijzigt, wordt een DPIA opnieuw uitgevoerd. Als de gegevensverwerkingen of de gevolgen ervan veranderen, moet de DPIA worden geactualiseerd. Volgens de European Data Protection Board (EDPB) moet een DPIA iedere drie jaar worden ge\u00ebvalueerd.
Een organisatie is bij wet verplicht een DPIA uit te voeren wanneer de verwerking van persoonsgegevens een hoog privacyrisico oplevert. Wanneer hier sprake van is binnen jouw organisatie, dan is de DPIA per definitie relevant voor jou.
De DPIA is ontwikkeld door de Europese Unie in het kader van de AVG.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/DPIA/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregelowk-03 - Analyseer de privacy-risico\u2019s en neem maatregelen om deze risico\u2019s laag te houden"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/IAMA/","title":"Impact Assessment Mensenrechten en Algoritmes","text":"
ProbleemanalyseOntwerpVerificatie en validatieMonitoring en beheerProjectleiderOntwikkelaarJuristBeleid en adviesFundamentele rechtenTransparantie
Het Impact Assessment voor Mensenrechten bij de inzet van Algoritmes (IAMA) is een instrument voor overheidsorganen om een interdisciplinaire dialoog en besluitvorming te faciliteren bij de ontwikkeling en inzet van algoritmische systemen. Het IAMA stelt een reeks vragen die moeten worden besproken en beantwoord om een zorgvuldige afweging van de inzet van algoritmen te waarborgen. Dit proces is onderverdeeld in drie fasen: voorbereiding, input en throughput, en output en toezicht, waarbij steeds aandacht wordt besteed aan het vierde onderdeel van het IAMA: de impact op mensenrechten. Het IAMA fungeert als naslagwerk voor de besluitvorming en is gekoppeld aan andere relevante richtlijnen en instrumenten, zoals de gegevensbeschermingseffectbeoordeling (ook wel DPIA). Hierdoor biedt het een overkoepelend kader dat helpt om algoritmen verantwoord te implementeren en mogelijke risico\u2019s, zoals inbreuken op grondrechten, te identificeren en te mitigeren.
Het IAMA kan op dit moment op veel politieke en internationale belangstelling rekenen. In zowel de Eerste als Tweede Kamer zijn hierover moties ingediend en vragen gesteld. Daarbij is het IAMA een van de weinige instrumenten in de EU die een interdisciplinaire discussie rondom (de ontwikkeling, inzet en monitoring van) algoritmes, AI en grondrechten initieert en bevordert.
Het IAMA is ontwikkeld door de Utrecht Data School. De auteurs van het IAMA zijn prof. mr. Janneke Gerards, dr. Mirko Tobias Sch\u00e4fer, Arthur Vankan en Iris Muis, allen werkzaam aan de Universiteit Utrecht. Opdrachtgever voor de ontwikkeling is het Ministerie van Binnenlandse Zaken.
Benieuwd naar ervaringen in de praktijk? Bekijk het rapport IAMA in Actie voor de lessons learned van 15 IAMA-trajecten bij Nederlandse overheidsorganisaties.
De regering wil dat de overheid algoritmes verantwoord gebruikt. Mensen moeten erop kunnen vertrouwen dat algoritmes voldoen aan de waarden en normen van de samenleving. En er moet uitleg zijn over hoe algoritmes werken. Het Algoritmeregister helpt hierbij. Wanneer overheidsorganisaties open zijn over algoritmes en hun toepassing, kunnen burgers, organisaties en media de overheid kritisch volgen.
Je kunt hier meer lezen over de doelen van het Algoritmeregister.
In de Handreiking Algoritmeregister staan bruikbare handvatten voor overheidsorganisaties om met publicatie van hun algoritmes aan de slag te gaan. Hierin wordt bijvoorbeeld duidelijkheid gegeven over welke doelen we ermee bereiken, welke algoritmes erin thuishoren en welke organisaties erin kunnen publiceren.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/algoritmeregister/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregelimp-04 - Publiceer impactvolle algoritmes en hoog-risico-AI-systemen in het Algoritmeregister"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/algoritmeregister/#bronnen","title":"Bronnen","text":"
Het Fairness Handbook biedt overheidsorganisaties een gedetailleerde richtlijn om eerlijkheid in algoritmen te waarborgen en schadelijke vooroordelen binnen AI-systemen te verminderen. Het handboek, dat origineel is ontwikkeld voor de Gemeente Amsterdam, richt zich op het voorkomen en mitigeren van vooroordelen en oneerlijke uitkomsten (bias) door middel van een gestructureerde Fairness Pipeline. Deze pipeline behandelt alle fasen van het ontwikkelproces, van het formuleren van het probleem tot de uiteindelijke implementatie en monitoring. Dit hulpmiddel biedt inzicht in de soorten schadelijke effecten van AI (zoals representatiebias en denigratieschade) en introduceert specifieke technieken, zoals het uitvoeren van een bias-analyse en het gebruik van contra-feitelijke scenario's (counterfactual fairness), om te controleren of de algoritmen rechtvaardige resultaten opleveren.
Naast praktische technieken voor het meten en mitigeren van vooroordelen, definieert het Fairness Handbook verschillende eerlijkheidsprincipes en bijbehorende statistische metrics. Deze metrics helpen ontwikkelaars en beleidsmakers om de prestaties van modellen te analyseren en verschillen in modelprestaties tussen verschillende groepen te detecteren. Door de nadruk te leggen op transparantie, zowel in de keuze van datasets als in de manier waarop het model beslissingen neemt, helpt het handboek om het vertrouwen in AI-systemen te vergroten en discriminerend gedrag in algoritmen te verminderen.
Het Fairness Handbook biedt ondersteuning voor overheden die streven naar verantwoorde, niet-discriminerende algoritmische besluitvorming. Het handboek ondersteunt overheidsinstanties bij het identificeren en corrigeren van vooroordelen in datasets en algoritmes, waardoor het risico op schadelijke effecten, zoals ongelijke verdeling van kansen of kwaliteit van dienstverlening, wordt geminimaliseerd. Het hulpmiddel sluit nauw aan bij andere hulpmiddelen, zoals de IAMA, door richtlijnen te geven voor het beoordelen van specifieke eerlijkheidsaspecten in de context van datagebruik en algoritmeontwikkeling.
Door de combinatie van technische en niet-technische benaderingen bevordert het Fairness Handbook een holistische benadering van algoritmische eerlijkheid. Er wordt rekening gehouden met zowel de technische als de sociale en ethische dimensies. Dit maakt het een bruikbaar hulpmiddel voor diverse overheidsprojecten, waaronder de ontwikkeling van AI-toepassingen in het sociaal domein en besluitvormingsprocessen waarbij kansengelijkheid van groot belang is.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/fairness-handbook/#auteurs-en-ontwikkeling","title":"Auteurs en Ontwikkeling","text":"
Het Fairness Handbook is ontwikkeld in 2022 door de Gemeente Amsterdam, met als doel de eerlijkheid en transparantie van haar AI-systemen te verbeteren. Het project is tot stand gekomen in samenwerking met diverse stakeholders, waaronder datawetenschappers, ethici en beleidsmakers, om ervoor te zorgen dat het handboek aansluit bij de bredere maatschappelijke behoeften en regelgeving. Door deze samenwerking biedt het Fairness Handbook een gebalanceerd perspectief, met aandacht voor zowel technische oplossingen als ethische en juridische overwegingen die nodig zijn voor verantwoorde AI-toepassingen.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/fairness-handbook/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregeldat-01 - Controleer de datakwaliteitver-01 - Toets het algoritme op biasimp-02 - Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie\u2019 te controleren"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/fairness-handbook/#bronnen","title":"Bronnen","text":"
Het Framework for Meaningful Engagement biedt organisaties een praktische aanpak om verschillende stakeholders effectief te betrekken in processen rondom AI en algoritmes. Het beschrijft stapsgewijs hoe men betrokkenheid kan ontwerpen en uitvoeren, met de nadruk op drie pijlers:
een gedeelde doelstelling
een betrouwbaar proces
een zichtbare impact
Het framework helpt organisaties om input van belanghebbenden daadwerkelijk te integreren, wat leidt tot duurzamere, inclusievere besluitvorming.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/framework-meaningful-engagement/#relevantie-voor-het-algoritmekader","title":"Relevantie voor het Algoritmekader","text":"
Betekenisvolle betrokkenheid van stakeholders is cruciaal voor verantwoord algoritmegebruik. Voor overheden biedt dit framework handvatten om transparanter te zijn over de ontwikkeling en impact van algoritmes en om een goed proces in te richten bij het gebruik van een algoritme. Dit sluit aan bij eisen rond menselijke controle.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/framework-meaningful-engagement/#auteurs-en-ontwikkeling","title":"Auteurs en ontwikkeling","text":"
Het framework is ontwikkeld door de European Center for Not-for-Profit Law Stichting (ECNL) en SocietyInside, als onderdeel van de Deense Tech for Democracy Initiative. De totstandkoming vond plaats via een consultatieproces met bijdragen van meer dan 150 individuen en organisaties wereldwijd, waaronder belanghebbenden uit het maatschappelijk middenveld, bedrijfsleven en overheden. Het framework bouwt voort op de VN-richtlijnen voor bedrijfs- en mensenrechten.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/framework-meaningful-engagement/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregelimp-03 - Richt de juiste menselijke controle in van het algoritmever-03 - Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleidver-01 - Controleer regelmatig of het algoritme werkt zoals het bedoeld isowp-06 - Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafwegingowp-07 - Maak een lijst van de meest kwetsbare groepen en bescherm hen extrapba-01 - Beschrijf het probleem dat het algoritme moet oplossenpba-02 - Beschrijf het doel van het algoritmepba-03 - Beschrijf waarom een algoritme het probleem moet oplossenpba-04 - Overleg regelmatig met belanghebbendenorg-01 - Bepaal of er genoeg experts beschikbaar zijn"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/framework-meaningful-engagement/#bronnen","title":"Bronnen","text":"
ECNL - Framework for Meaningful Engagement
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/handreiking-non-discriminatie/","title":"Handreiking non-discriminatie by design","text":"
OntwikkelenImplementatieProjectleiderOntwikkelaarBias en non discriminatieFundamentele rechten
Direct naar de Handreiking non-discriminatie by design
Deze handreiking legt uit welke vragen en principes leidend zijn bij het ontwikkelen en implementeren van een AI-systeem met het oog op het discriminatieverbod, vanuit zowel juridisch, technisch, als organisatorisch perspectief. De handreiking is een praktisch toepasbaar ontwerpkader dat ontwikkelaars helpt om al in de ontwikkelfase van een AI-systeem discriminerende patronen zoveel mogelijk te identificeren, te voorkomen en te bestrijden.
Er zijn 4 uitgangspunten die leidend zijn in de handreiking:
Stuk over relevantie voor het AK volgt nog. Net als bij het IAMA, is dit document een manier om een multidisciplinaire discussie te faciliteren en stimuleren. Hierbij kunnen verschillende rollen betrokken worden door de projectleider: data-scientists, juristen, de functionaris gegevensbescherming (FG), aangevuld met domeinspecialisten.
De handreiking is primair geschreven voor teams die zelf AI-systemen bouwen. Het gaat in op verschillende fases van ontwikkeling: probleemanalyse, dataverkenning en datapreparatie, ontwikkeling, implementatie en evaluatie. Daarnaast kan deze handreiking dienen voor opdrachtgevers van AI-systemen, ofwel om vooraf offrerende partijen te vragen aan te geven hoe zij rekening zullen houden met de diverse punten uit de handreiking, ofwel om tijdens het proces mee te kijken en op relevante punten aanwijzingen te geven, ofwel om achteraf te controleren of een opgeleverd product aan alle relevante voorwaarden voldoet.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/handreiking-non-discriminatie/#relatie-tot-iama","title":"Relatie tot IAMA","text":"
Gebruikers van zowel de Handreiking non-discriminatie by design als het IAMA geven enkele verschillen tussen de twee instrumenten. Deze bevindingen zijn te vinden in het rapport 'Bekendheid, toepasbaarheid en toegevoegde waarde handreiking \u201cnon-discriminatie by design\"' van de Auditdienst Rijk.
Zij geven aan dat het IAMA wordt gezien als instrument voor het nagaan van de impact van grondrechten in algemenere zin, waar de Handreiking zich specifiek richt op discriminatie. De handreiking bevat dan weer meer praktische voorbeelden die kunnen helpen bij begrip en afwegingen, waar de IAMA wat abstracter is.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/handreiking-non-discriminatie/#relatie-tot-het-fairness-handbook","title":"Relatie tot het Fairness Handbook","text":"
Over het Fairness Handbook werd in het rapport aangegeven dat het een technischere uitwerking bevat dan de Handreiking. Het Handbook biedt wellicht meer houvast voor iemand die analyses maakt om inzicht te geven in de prestaties van het algoritme met het oog op \u2018fairness\u2019 en \u2018bias\u2019. Dit komt doordat het Handbook meer details geeft over de technische stappen die nodig zijn om te komen tot bepaalde analyses.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/handreiking-non-discriminatie/#relatie-tot-toetsingskader-risicoprofielen-van-college-voor-de-rechten-van-de-mens","title":"Relatie tot Toetsingskader Risicoprofielen van College voor de Rechten van de Mens","text":"
Ook het toetsingskader voor discriminatie door risicoprofielen van het College voor de Rechten van de Mens kan worden gebruikt om te bepalen of er discriminatie plaatsvindt. Dit kader is afkomstig uit 2021 en er wordt gewerkt aan een nieuwe versie, die waarschijnlijk eind 2024 zal verschijnen. De verschillende stappen die daarin gebruikt worden om te bepalen of een risicoprofiel tot discriminatie leidt op grond van ras of nationaliteit, zijn zeer relevant. Daarvoor hebben zij een beslisboom ontwikkeld.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/handreiking-non-discriminatie/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregeldat-01 - Controleer de datakwaliteitver-01 - Toets het algoritme op biasimp-02 - Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie\u2019 te controleren"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/handreiking-non-discriminatie/#bronnen","title":"Bronnen","text":"
Handreiking non-discriminatie by design
Onderzoeksrapport Bekendheid, toepasbaarheid en toegevoegde waarde handreiking 'non-discriminatie by design'
Toetsingskader voor discriminatie door risicoprofielen van het College voor de Rechten van de Mens (2021)
Voorbeelden of templates van inkoopvoorwaarden kunnen helpen om een contract op te stellen dat een organisatie in staat stelt veilige en verantwoorde algoritmen of AI-systemen in te kopen. Deze worden ook wel eens modelcontractbepalingen genoemd. Deze voorwaarden of bepalingen kunnen opgenomen worden wanneer er een contract wordt afgesloten met een leverancier van een algoritme of algoritmisch systeem. Er kunnen dan bijvoorbeeld beperkingen gelden om onaanvaardbare risico's van AI te vermijden, of bepaalde voorwaarden gesteld worden waaraan een algoritme juist moet voldoen. Ook kunnen bepaalde voorwaarden worden opgenomen op basis van de vereisten in het Algoritmekader.
De Europese contractvoorwaarden voor AI bieden aanbestedende organisaties de mogelijkheid om specifieke clausules op te nemen in de overeenkomst. Op deze manier worden afspraken gemaakt over onderwerpen die in lijn zijn met de aankomende AI-Act. Er zijn 2 versies van de AI-inkoopvoorwaarden opgesteld: een set voorwaarden voor AI-toepassingen met een hoog-risicoprofiel en een set voorwaarden voor AI-toepassingen met een laag-risicoprofiel.
De Europese contractvoorwaarden voor AI zijn gebaseerd op onder andere de modelbepalingen die de Gemeente Amsterdam al eerder opstelde. Deze dienen als voorbeeld voor andere gemeenten die algoritmische toepassingen willen inkopen.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/inkoopvoorwaarden/#ai-module-bij-arbit-2022","title":"AI-module bij ARBIT-2022","text":"
De AI-module bij de ARBIT is gebaseerd op het gepubliceerd model van de Europese Commissie dat hierboven beschreven wordt. Via een verwijzing in de gebruikte modelovereenkomst kan de AI-module onderdeel gaan uitmaken van een onder de ARBIT te sluiten overeenkomst.
De ARBIT zijn de Algemene Rijksinkoopvoorwaarden bij IT\u2011overeenkomsten (ARBIT) en zijn bedoeld voor kleine en middelgrote IT-inkopen door de overheid. Lees meer hierover op de website van PIANOo.
Steeds meer organisaties kopen algoritmische toepassingen in die veel impact hebben op gebruikers of beslissingen. Het is daarom van belang dat aanbestedende overheidsorganisaties afspraken maken met leveranciers, zodat de werking van de algoritmische toepassing transparant is en op een veilige en verantwoorde manier gebruikt wordt. Verschillende organisaties hebben daarom (voorbeeld-)contractvoorwaarden voor het inkopen van AI-systemen beschikbaar gesteld. Denk aan de Europese Commissie en de Gemeente Amsterdam.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/inkoopvoorwaarden/#bijbehorende-maatregelen","title":"Bijbehorende maatregelen","text":"Maatregeldat-08 - Zorg dat je controle of eigenaarschap hebt over de dataowp-16 - Laat aanbieder(s) bewijs leveren dat de door hen ontwikkelde algoritmes geen inbreuk maken op de auteursrechten van derden met de trainingsdata en de output.owp-15 - Maak het leveren van bewijs voor het voldoen aan de vereisten voor algoritmes onderdeel van de beoordeling van een inschrijving.owp-13 - Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst.owp-23 - Laat de aanbieder aangeven welke mate van opleiding en ondersteuning bij de implementatie nodig is om de beoogde algoritmes verantwoord te gebruiken.2-owp-11-data-beschikbaarheid"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/inkoopvoorwaarden/#bronnen","title":"Bronnen","text":"
Modelbepalingen voor gemeenten voor verantwoord gebruik van Algoritmische toepassingen
Contractvoorwaarden voor het inkopen van artifici\u00eble intelligentie (AI)
Heb jij een goed voorbeeld van het gebruik van modelbepalingen of contractvoorwaarden op het gebied van algoritmen? Laat het ons weten!
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/mensenrechtelijktoetsingskader/","title":"Discriminatie door risicoprofielen - Een mensenrechtelijk toetsingskader","text":"
ProbleemanalyseOntwerpBeleid en adviesJuristBias en non discriminatieFundamentele rechten
Direct naar het Mensenrechtelijk Toetsingskader
Let op!
Dit toetsingskader wordt momenteel vernieuwd. Een nieuwe versie wordt hier gepubliceerd zodra beschikbaar.
Dit toetsingskader helpt overheidsfunctionarissen om te bepalen wanneer risicoprofielen leiden tot discriminatie op grond van ras of nationaliteit. Het presenteert de (denk)stappen die doorlopen moeten worden om te toetsen of een risicoprofiel binnen de grenzen van het discriminatieverbod blijft. Het is belangrijk om te benadrukken dat het hierbij gaat om de juridische ondergrens van het discriminatieverbod, zoals geformuleerd door internationale en nationale rechters. Aan de regels uit dit toetsingskader moet de overheid zich dus ten minste houden. Dit laat onverlet dat de overheid kan beslissen om strengere regels te hanteren.
"},{"location":"voldoen-aan-wetten-en-regels/hulpmiddelen/mensenrechtelijktoetsingskader/#noot-voor-de-lezer","title":"Noot voor de lezer","text":"
Dit toetsingskader is gebaseerd op geldende verdragen, wetten en jurisprudentie tot aan november 2021. De normen en jurisprudentie op dit terrein zijn echter continu in ontwikkeling. Zo heeft het gerechtshof Den Haag in 2023 in een belangrijke uitspraak vastgesteld dat het gebruik van etnische kenmerken als een van de selectiecriteria voor controle, zoals dat plaatsvond binnen het \u2018Mobiel Toezicht Veiligheid\u2019 door de Koninklijke Marechaussee, in strijd is met het discriminatieverbod.
Ook op Europees niveau is er nieuwe relevante jurisprudentie verschenen. Dit alles biedt een verdere aanscherping en concretisering van de geldende normen. Het College werkt daarom op dit moment aan een aangepast en doorontwikkeld toetsingskader waarin alle nieuwe ontwikkelingen worden verwerkt.
Het spreekt voor zich dat overheidsinstanties zich bij het uitvoeren van hun taken moeten onthouden van discriminatie. Recente voorbeelden zoals de Kinderopvangtoeslagaffaire laten echter zien dat het in de praktijk toch mis kan gaan. Duidelijk is dat discriminerende elementen toch in risicoprofielen voorkomen. Dat heeft er mede mee te maken dat het voor medewerkers van uitvoeringsinstanties niet altijd duidelijk is wat in welke context wel en niet mag.
Er komt daarbij veel kijken bij de beoordeling of een risicoprofiel binnen de grenzen van het discriminatieverbod blijft, zeker wanneer afkomst-gerelateerde kenmerken als selectiecriteria binnen dit risicoprofiel een rol spelen. In alle gevallen zal nauwkeurig afgewogen moeten worden welke kenmerken voor welke doeleinden worden gebruikt en hoe zich dat verhoudt tot het toepasselijke wettelijke kader. Dit toetsings- kader biedt handvatten voor het maken van deze afweging.
Dit onderzoekskader is een instrument om de beheersing van algoritmes in kaart te brengen. Het geeft inzicht in de risico\u2019s die algoritmes met zich meebrengen en met welke maatregelen deze risico\u2019s beheerst (kunnen) worden.
Het onderzoekskader is in eerste instantie bedoeld als instrument voor auditors om de beheersing en werking van algoritmes binnen overheidsorganisaties te onderzoeken, maar is ook bruikbaar voor andere partijen om inzicht te krijgen in de huidige en/of gewenste beheersing van algoritme(s).
Het kader richt zich op algoritmes die binnen overheidsorganisaties gebruikt worden. Het is ingericht op algoritmes die zelf van voorbeelden leren, zoals machine learning, maar is ook toepasbaar op regelgebaseerde algoritmes. Het kader is ook bruikbaar voor andere organisaties en kan bij verschillende fases van de levenscyclus van een algoritme worden ingezet. Mogelijk zijn niet alle thema\u2019s relevant gezien de context van het algoritme. De opdrachtgever en auditor(s) dienen daarom voorafgaand aan een onderzoek te analyseren en te bepalen welke thema\u2019s en onderwerpen worden onderzocht. Het onderzoekskader is ingedeeld in 4 thema\u2019s:
Sturing en Verantwoording
Privacy
Data en Model
Informatiebeveiliging
Ethiek raakt alle thema\u2019s en komt daarom bij elk thema in het kader terug. Elk thema bevat deelgebieden en de risico\u2019s en beheersmaatregelen die daarbij horen (inclusief de bron). Ook deze kunnen weer gerelateerd zijn aan een ander thema. Een apart werkbestand voor auditors is opgesteld wat kan worden gebruikt bij het uitvoeren van een onderzoek. Dit bestand heeft dezelfde opbouw, maar bevat ook invulvelden om als auditor het risico (kans x impact) in te schatten en de bevindingen op te nemen. Daarnaast zijn toelichtingen en voorbeelden van checks en evidence opgenomen per beheersmaatregel.
Het onderzoekskader is ontwikkeld met behulp van nationale en internationale richtlijnen en kaders, rapporten en instrumenten, zoals de Ethics guidelines for trustworthy AI van de Europese Commissie (EC), Impact Assessment voor Mensenrechten bij de inzet van Algoritmes (IAMA), de richtlijnen van het ministerie van JenV, het DPIA model Rijksoverheid (gebaseerd op o.a. AVG) en de Guiding Principles Trustworthy AI Investigations van NOREA (beroepsvereniging IT-auditors Nederland). De bron van de betreffende risico\u2019s en beheersmaatregelen is tevens opgenomen.
Dit onderzoekskader is erg overkoepelend (net als het toetsingskader van de Algemene Rekenkamer). Er zijn dan ook veel maatregelen in het Algoritmekader gebaseerd op maatregelen die in het kader van de ADR staan. Bekijk alle maatregelen van het Algoritmekader hier.
Het toetsingskader omvat 5 perspectieven op algoritmes, elk met hun belangrijkste risico's geformuleerd. Het gaat om Sturing en Verantwoordelijkheid, Model en Data, Privacy, IT-beheer en Ethiek. Voor elk risico is er een specifieke onderzoeksvraag opgesteld. Door deze vragen te beantwoorden en een score toe te kennen, krijgt de gebruiker inzicht in hoe goed het gekozen algoritme de risico's beheerst.
De mate van risico voor een specifiek algoritme wordt bepaald door twee factoren: de gebruikte geavanceerde technieken en de impact van het algoritme op de burger.
Het toetsingskader is in eerste instantie bedoeld als toetsinstrument voor auditors (controleurs en toezichthouders). Zij kunnen dit kader gebruiken om de risico's van het beoordeelde algoritme in beeld te krijgen.
Het digitale toetsingskader 'Aandacht voor algoritmes' is ontwikkeld vanwege de toenemende maatschappelijke aandacht voor algoritmes en de behoefte aan een integraal instrument voor toetsing en analyse. Het is gebaseerd op bestaande informatie en raamwerken, zowel binnen het Rijk als door externe partijen zoals NOREA en grote accountantskantoren.
Dit onderzoekskader is erg overkoepelend (net als het onderzoekskader van de ADR). Er zijn dan ook veel maatregelen in het Algoritmekader gebaseerd op maatregelen die in het kader van de Algemene Rekenkamer staan. Bekijk alle maatregelen van het Algoritmekader hier.
Overzicht van aanbevolen maatregelen voor verantwoord gebruik van algoritmes en AI-systemen. Het zijn adviezen om te voldoen aan de vereisten voor overheden. Andere maatregelen zijn ook mogelijk.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/#alle-maatregelen-zijn-adviezen","title":"Alle maatregelen zijn adviezen","text":"
De maatregelen zijn niet verplicht. Het zijn adviezen uit:
Toetsingskader Algoritmes, Algemene Rekenkamer
Onderzoekskader algoritmes, Auditdienst Rijk
nationale en internationale standaarden (NEN, JTC21 en ISO)
Onderzoek het ontwikkelde algoritme op onbewuste vooringenomenheid (discriminatie) door middel van een bias-analyse.
Deze maatregel helpt om te voldoen aan de vereiste om niet te discrimineren. Maar deze maatregel is niet verplicht. Je organisatie mag ook eigen maatregelen nemen. Zolang je uiteindelijk maar voldoet aan de vereiste.
Tip
Aantal maatregelen verschilt per situatie
Welke maatregelen handig zijn in jouw situatie, hangt af van:
de fase in de levenscyclus van je project
de vereisten waar jouw organisatie aan moet voldoen
jouw rol in de organisatie
Tip
Met \u00e9\u00e9n maatregel voldoe je soms aan meerdere vereisten.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-01-benodigde-expertise-en-capaciteit/","title":"Bepaal of er genoeg experts beschikbaar zijn","text":"
org-01OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Bepaal welke expertise en capaciteit noodzakelijk is voor het ontwikkelen, inkopen en gebruiken van algoritmes en stel vast of er voldoende expertise en capaciteit beschikbaar is.
Bepaal welke expertise en capaciteit binnen de organisatie noodzakelijk is voor het ontwikkelen, inkopen en gebruiken van algoritmes.
Dit is sterk afhankelijk van de specifieke toepassing en de inzichten die voortkomen uit risicoanalyses. Hoe complexer en risicovoller de toepassing, des te meer expertise en capaciteit noodzakelijk is.
Interne en externe actoren die betrokken zijn bij het ontwikkelen, inkopen en gebruik moeten over voldoende expertise en capaciteit beschikken om hun taken naar behoren uit te voeren.
Stel vast of er afhankelijkheden van externe aanbieders ontstaan.
Bepaal voorafgaand aan het (laten) ontwikkelen of inkopen van algoritmes of voldoende expertise en capaciteit beschikbaar is om tot een verantwoorde inzet ervan te komen.
Leg vast of er voldoende expertise en capaciteit beschikbaar is en onderbouw dit in projectdocumentatie.
Om menselijke controle te kunnen uitoefenen in verschillende fases van de ontwikkeling (of inkoop) van algortimes moet de mens bepaalde kennis, tijd en vaardigheden hebben. Alleen met de juiste kennis, tijd en vaardigheden kunnen risico\u2019s op tijd ge\u00efdentificeerd en afgedekt worden. Deze kennis en expertise kan ook buiten de organisatie liggen, maar dan is het belangrijk om verantwoordelijkheden goed vast te leggen.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid_opstellen_inzet_algoritmes/","title":"Stel beleid op voor een verantwoorde inzet van algoritmes binnen de organisatie.","text":"
org-04OrganisatieverantwoordelijkhedenBeleid en adviesGovernanceTransparantie
Een duidelijk beleid over de inzet van algoritmes helpt organisaties te voldoen aan de vereisten voor het verantwoord gebruik ervan. Hierin worden zaken beschreven als:
Hoe de inzet van algoritmes gaat bijdragen aan het realiseren van de organisatiedoelstellingen.
Het beschrijven van de stappen die moeten worden gezet om algoritmes op een verantwoorde wijze in te gaan zetten. Dit is afhankelijk en verschilt per type algoritme en de bijbehorende risicoclassificatie.
Het beschrijven van welke hulpmiddelen in welke gevallen moeten worden ingezet om te voldoen aan de vereisten die gelden voor algoritmes. Hierbij kan worden gedacht aan:
Een Impact Assessment Mensenrechten en Algoritmes.
Een Data Protection Impact Assessment.
Het hanteren van inkoopvoorwaarden.
Hoe burgers worden ge\u00efnformeerd over de inzet van algoritmes door de organisatie (communicatiestrategie) en welke kanalen hiervoor kunnen worden gebruikt. Hierbij kan worden gedacht aan:
Het Algoritmeregister voor het publiceren van hoog risico AI-systemen of impactvolle algoritmes.
Een algemene pagina op de website met informatie over de inzet van algoritmes.
Het verwerkingsregister.
Een intern registratiesysteem, bijvoorbeeld voor het registreren van laag risico of niet-impactvolle algoritmes zodat deze informatie voor medewerkers beschikbaar is.
In welke gevallen een (openbaar) besluit wordt genomen door het bestuur over de inzet van een algoritme.
Er is beschreven welke informatie over welke typen algoritmes wordt gecommuniceerd met betrokkenen bij de ontwikkeling of gebruik ervan door de organisatie.
Er is beschreven welke stappen worden gezetten in het geval dat er incidenten ontstaan rondom de inzet van algoritmes, denk hierbij aan een discriminatieprotocol.
Dit beleidsdocument is beschikbaar en toegankelijk voor ge\u00efnteresseerden.
Zonder duidelijk beleid over de inzet van algoritmes kan het gebeuren dat algoritmes worden ontwikkeld of gebruikt die niet passend zijn binnen de organisatie.
ISO/IEC 42001: Artificial intelligence (AI) Management System
Webpagina van gemeente Amsterdam over algoritmes.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen_risicobeheer/","title":"Maak een plan voor het omgaan met risico\u2019s","text":"
org-03OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Bepaal tijdig, bijvoorbeeld in de probleemanalyse- of ontwikkelfase, om wat voor toepassing het gaat (algoritme of AI-systeem) en bepaal welke risicoclassificatie hierbij hoort.
Bepaal op basis van de toepassing en de risicoclassificatie, welke aspecten van risicobeheer moeten worden toegepast.
Inventariseer tijdig, bijvoorbeeld in de probleemanalayse- of ontwikkelfase, bij betrokken experts welke beleidskaders en hulpmiddelen binnen de organisatie moeten worden ingezet om risicobeheer toe te passen.
Bepaal op basis van de levenscyclus van een algoritme of AI-systeem wanneer welke aspecten van risicobeheer moeten worden toegepast.
Maak inzichtelijk op welke niveaus risicobeheer kan en moet worden belegd bij het ontwikkelen en gebruiken van algoritmes.
Daarbij gaat het om het identificeren, analyseren, evalueren (afhankelijk van de risicobereidheid), behandelen (risicoreactie, o.a. maatregelen), monitoren & beoordelen en communiceren & rapporteren van risico's.
Gedurende de levenscyclus van een algoritme of AI-systemen kunnen nieuwe risico's ontstaan waar mogelijk nieuwe maatregelen voor moeten worden getroffen. Het is van belang dat iteratief wordt gewerkt aan mitigerende maatregelen en dat risicobeheer periodiek wordt toegepast.
Let op! Sommige maatregelen in het Algoritmekader gaan dieper in op het uitvoeren van risicoanalyses.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-04-politiek-bestuurlijke-verantwoordelijkheid/","title":"Zorg voor politiek-bestuurlijk bewustzijn, betrokkenheid, en verantwoordelijkheid.","text":"
org-04OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernanceTransparantie
Voor een passende algoritmegovernance is politiek-bestuurlijk bewustzijn, betrokkenheid en verantwoordelijkheid essentieel.
De kernvraag voor publieke organisaties bij de inzet van algoritmen is altijd: Hoe wegen we (als publieke organisatie of samenleving) de voordelen en nadelen van de inzet van algoritmen?
Dit is per definitie een kwalitatieve en politieke vraag.
Dit gaat niet alleen over direct opbrengsten maar ook over lange termijn en indirecte effecten, de mate waarin de inzet van technologie bijdraagt aan de legitimiteit van publieke organisatie en hoe burgers met deze technologie worden bejegend.
Om te zorgen voor politiek-bestuurlijke betrokkenheid kan het helpen om een meerjarige visie/strategie rondom verantwoorde inzet te formuleren waar een communicatiestrategie richting burgers onderdeel van is.
Zorg ervoor dat bestuurders bewust zijn van de voor- en nadelen van de inzet van algoritmes en daarnaar kunnen handelen.
Dit ondersteunt teams bij het maken van de juiste overwegingen bij de ontwikkeling en gebruik van algoritmes. Het geeft ook inzicht wanneer de politiek of bestuurlijk verantwoordelijke(n) moeten worden betrokken bij het project om beslissingen te nemen, bijvoorbeeld of de mate van onbewuste vooringenomenheid (bias) binnen acceptabele grenzen ligt.
Het doorlopen van een concrete casus voor de ontwikkeling en gebruik van een algoritme, inclusief het uitvoeren van een IAMA, kan waardevolle informatiegeven om een meerjarige visie of strategie op te stellen.
\u00c9\u00e9n van de belangrijkste hoofdconclusies van het rapport Kleur Bekennen van de gemeente Rotterdam, opgesteld door de Algemene Rekenkamer, onderstreept het belang van actief bestuur binnen algoritme- en AI-governance:
\"Het ontbreekt aan een politiek-bestuurlijk kader dat duidelijk maakt welke normen en principes leidend zijn bij de ontwikkeling en het gebruik van algoritmes. Dit heeft als effect dat belangrijke besluit over bijvoorbeeld wenselijkheid, haalbaarheid, transparantie en bias bij de ambtelijke organisatie komen te liggen. Deze besluiten vragen om een politieke afweging\".
De algoritmegovernance van de Gemeente Rotterdam bestaat uit de volgende onderdelen:
een visie op de inzet van algoritmes;
instrumentarium voor risicobeheersing dat onder andere bestaat uit een risico-assessment en een mensenrechtenassessment;
een uiteenzetting van rollen en verantwoordelijkheden en;
een omschrijving van de verantwoordelijkheden voor controle en advies.
Deze stappen volgen kan helpen bij het inrichten van een algoritmegovernance.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance/","title":"Sluit algoritmegovernance aan op bestaande governancestructuren binnen de organisatie.","text":"
org-05OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Bij de vormgeving van een algoritmegovernance van een organisatie is het van belang om aansluiting en samenwerking te bewerkstelligen met huidige governancestructuren binnen de organisatie, zoals:
IT governance
datagovernance
informatiebeveiliging zoals governance rondom de NIS2 richtlijn
privacygovernance
Deze governancestructuren kunnen waardevolle aanknopingspunten bieden voor algoritmegovernance, omdat hierin vaak al duidelijke afspraken zijn gemaakt en processen zijn geschreven om bijvoorbeeld risico's zo goed mogelijk te managen. In veel organisaties werken bijvoorbeeld privacy- en informatiebeveiliging en informatiebeheerders nauw samen van strategisch organisatieniveau tot operationeel, omdat deze onderwerpen raken aan beide domeinen. Voor een verantwoorde inzet van algoritmes zullen deze expertise moeten gaan samengewerkt met andere expertise, zoals die van data science en ethiek. Het is van belang dat deze expertises tijdig en voldoende ruimte krijgen om samen te werken, zodat de functionele en niet functionele requirements kunnen worden gedefinieerd voor een verantwoorde inzet van algoritmes. Stel vast waar deze expertise elkaar nodig hebben en waar deze zelfstandige taken en verantwoordelijkheden hebben. Voorgaande geeft inzichten om te bepalen in hoeverre algoritmegovernance, naast de bestaande governancestructuren, moet worden ingericht.
De volgende vragen kunnen bedragen om bovenstaande inzichtelijk te krijgen: - Welke lessen zijn geleerd met de implementatie van de AVG of de toepassing van de BIO? - Is er iemand intern verantwoordelijk gemaakt voor (toezicht op) algoritmes? - Hoe werken experts vanuit verschillende onderwerpen zoals privacy, informatiebeheer, informatiebeveiliging en data op dit moment samen als het gaat om de inzet van algoritmes?
Een concreet voorbeeld van samen optrekken is deze handreiking om de IAMA en DPIA gezamelijk uit te voeren.
Voorbeeld: Ervaringen Kadaster
Bij inwerkingtreding van de AVG ging men snel aan de slag met DPIA\u2019s, vinkenlijstjes. Let op voor een schijndossier: Begrijp wat er toegepast moet worden, voordat je aan de slag gaat; niet uitvoeren om maar te laten zien dat je eraan voldoet.
Nadenken over governance. De FG is bij de wet geregeld, maar er is meer nodig. Welke profielen heeft de ondersteuning voor de uitvoering; (centrale) privacy officers en is hier ruimte voor?
Zorg dat interpretaties over wet- en regelgeving gelijk zijn binnen de organisatie en de collega\u2019s die binnen de governance structuur samenwerken.
Er is beleid gemaakt, maar in de praktijk is te weinig capaciteit om dit uit te voeren. Stel een realistisch beleidsplan op om de gestelde doelen daadwerkelijk te kunnen realiseren.
Centrale privacy officer Kadaster
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/","title":"Gebruik een algoritme volwassenheidsmodel om te weten waar de organisatie staat","text":"
org-06OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Om tot een passende algoritmegovernance voor een organisatie te komen, moet eerst worden vastgesteld wat op dit moment al is ingericht binnen een organisatie op het gebied van algoritmes.
Hiervoor kan een volwassenheidsmodel worden toegepast.
Op basis hiervan kunnen vervolgstappen worden gedefinieerd, zodat je een handelingsperspectief hebt om je organisatie te organiseren. Ook kunnen deze uitkomsten helpen bewustzijn over de uitdagingen te vergroten.
Het is denkbaar dat het realiseren van algoritmegovernance vraagt om een organisatieverandering. De noodzaak voor implementatie van de AI-Verordening kan hier een katalysator voor zijn. Pas daarom verandermanagementtechnieken toe.
Deel deze informatie met het bestuur en zorg dat hier bewustzijn ontstaat. Bepaal vervolgens hoe algoritmegovernance moet worden ingericht.
Het is aan te raden om verantwoordelijkheden te beleggen voor het realiseren van algoritmegovernance.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/#bronnen","title":"Bronnen","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/#risico","title":"Risico","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/#voorbeelden-van-volwassenheidsmodellen","title":"Voorbeelden van volwassenheidsmodellen","text":"
Er zijn verschillende modellen om het volwassenheidsniveau te bepalen. Deze modellen richten zich niet altijd specifiek op het beheer van algoritmes, maar kijken breder naar algoritmes in de organisatie of naar ethische vraagstukken. Governance is altijd een onderdeel van deze modellen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/#ai-ethics-maturity-model-van-krijger-thuis-de-ruiter-ligthart-broekman-2023","title":"AI ethics maturity model van Krijger, Thuis, de Ruiter, Ligthart & Broekman (2023)","text":"
Het AI ethics maturity model van Krijger, Thuis, de Ruiter, Ligthart & Broekman (2023) brengt de volwassenheid op verschillende niveau's in kaart op basis van zes categorie\u00ebn:
awareness & culture
policy
governance
communication & training
pevelopment proces
tooling
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/#het-datavolwassenheidsmodel-van-de-ibds","title":"Het Datavolwassenheidsmodel van de IBDS","text":"
Het datavolwassenheidmodel van de Interbestuurlijke Datastrategie (IBDS) kijkt naar hoe goed organisaties omgaan met data. Dit model is ook belangrijk voor kunstmatige intelligentie (AI), omdat data daar een grote rol speelt. Het model heeft een beslishulp datavolwassenheid waarmee bepaald kan worden hoe volwassen een organisatie is met data. IBDS biedt ook een gids met verschillende manieren om de datavolwassenheid in kaart te brengen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/#innovatie-en-volwassenheid","title":"Innovatie en volwassenheid","text":"
Het gebruik van algoritmes wordt vaak gezien als een vorm van innovatie. Hoe kan AI helpen bij het ondersteunen van nieuwe idee\u00ebn en het vinden van nieuwe toepassingen? Een voorbeeld van een volwassenheidsmodel over innovatie is de Innovatie Maturity Scan van Innoveren met Impact.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel/#mitre-ai-maturity-model-en-organizational-assessment-tool","title":"MITRE AI Maturity Model en Organizational Assessment Tool","text":"
Het AI Maturity Model en de bijbehorende Organizational Assessment Tool zijn ontwikkeld door de Amerikaanse organisatie MITRE. MITRE is een non-profitorganisatie en enigzins vergelijkbaar met het Nederlandse TNO. Dit volwassenheidsmodel onderscheidt een zestal pijlers in de AI volwassenheid van een organisatie en daarbij een vijftal volwassenheidsniveaus. Het volwassenheidsmodel en assessment zijn goed gedocumenteerd.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes\\@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-07-intern-toezicht/","title":"Richt een algoritmegovernance in met three lines of defence","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-07-intern-toezicht/#maatregel","title":"Maatregel","text":"
Richt een algoritmegovernance in met three lines of defence.
Onder andere de UWV en de Gemeente Rotterdam hanteren dit model met drie linies. Bij de gemeente Rotterdam zijn bijvoorbeeld de drie lijnen ingevuld via de volgende rollen en verantwoordelijkheden: \u201cDe eerste lijn bestaat uit de proceseigenaren en de operationeel verantwoordelijken. Proceseigenaren zijn verantwoordelijk voor de gehele algoritmetoepassing en de operationeel verantwoordelijken voor de ontwikkeling. De tweede lijn is de algoritme expert, die een onafhankelijke toezicht- en adviestaak heeft. De derde lijn wordt volgens de stukken die gaan over de algoritme governance vervuld door Financial audit.\u201d (Rekenkamer Rotterdam, 2024)
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-08-beslismoment-levenscyclus/","title":"Maak gebruik van beslismomenten in de algoritmelevenscyclus","text":"
org-08OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Algoritmegovernance kan op de levenscyclus aansluiten door 'gates' of controlepunten in te voeren. Deze gates bevatten belangrijke mijlpalen om te beoordelen of de juiste taken zijn uitgevoerd, of ethische afwegingen zijn geamaakt, of documentatie heeft plaatsgevonden en of akkoord is ingewonnen (go/no-go moment) bij de verantwoordelijke(n) om naar de volgende fase te mogen.
Het is belangrijk om te weten dat toepassing van deze \u2018gates\u2019 niet altijd hetzelfde is. Dit kan namelijk verschillen afhankelijk van het type algoritme.
Een hoog-risico-AI-systeem moet aan meer vereisten voldoen dan een niet impactvol algoritme. Een hoog-risico AI-systeem moet daarom binnen de gates worden getoetst op meer onderdelen dan een niet impactvol algoritme.
Hieronder volgen twee voorbeelden van hoe governance effectief kan worden ge\u00efntegreerd in de levenscyclus van algoritmen en AI-modellen:
Ministerie VWS In de levenscyclus
In het hulpmiddel handelingsruimte waardevolle AI in de zorg is tussen elke fase in de levenscyclus een \u2018gate\u2019 geplaatst. Tussen de afronding van een fase en de start van de daaropvolgende fase wordt een formele poort geplaatst. Om door deze poort te gaan, moet de voorgaande fase volledig zijn afgerond: vraagstukken dienen beantwoord te zijn, activiteiten uitgevoerd en aan interne en externe vereisten dient te zijn voldaan. Deze zaken kunnen in de vorm van documentatie aan de organisatie worden opgeleverd, waarna een gesprek of review kan plaatsvinden.
Het vormgeven van deze overgangen geeft verantwoordelijke stakeholders binnen de organisatie een structuur om de ontwikkeling en inzet van algoritmen in elke fase te beoordelen en bij te sturen. De gezamenlijke kernvraag voor alle betrokkenen in de gates is: Geloven we dat de voordelen van de inzet (en ontwikkeling) van dit algoritme opwegen tegen eventueel te verwachten nadelen? En hoe gaan we om met deze dilemma's? Daarbij kunnen opvolgende fasen in de levenscyclus een eigen accentvraag kennen, zoals \u201cIs het beoogde algoritme wenselijk?\u201d in de probleemanalyse fase tot \u201cLevert het algoritme nog de waarde op die we beogen?\u201d tijdens de monitoring- en beheerfase.
Voorbeeld: Het UWV
In haar modellevenscyclus [^3] maakt het UWV gebruik van een gelaagdheid in de \u201cgates\u201d door gebruik te maken van een zachte en harde knip tussen de opvolgende fasen. Enerzijds is er een zachte knip voorzien door aan het eind van elke fase de mogelijkheid te laten om een stap terug te zetten in de levenscyclus. Mocht het onduidelijk zijn wat de beoogde voordelen zijn ten opzichte van de nadelen, of er onvoldoende invulling gegeven is aan de vereisten/activiteiten, dan kan het algoritme of AI-model ontwikkelproces bij een zachte knip een stap terugnemen in de levenscyclus. Anderzijds zijn er 4 harde grenzen in de levenscyclus aangebracht waarin formele vereisten aan het ontwikkeltraject worden opgelegd.
Voorbeeld: BD (Analytische en Cognitieve Technologie - CoE Cognitieve Oplossingen)
Enkele ervaringen m.b.t. levencyclus: Plot sleutelmomenten en mijlpaal momenen in die nodig zijn om het proces te kunnen laten werken en bepaal de requirements die daarmee samenhangen. Richt als eerste een basis (b.v. voor low risk) de AI-governance in op operationeel niveau, implementeer deze basis en stel gaandeweg/ondertussen op basis van o.a. best practices de requirements op naar de \"wereld\" er om heen (tactisch en strategisch niveau).
Voorbeeld: Algoritmeprocesmodel Ministerie van Defensie
Het Ministerie van Defensie heeft een \"algoritmeprocesmodel\" ontwikkeld. Op level 1 is het een levenscyclus zoals ook in het Algoritmekader. Op level 2 wordt ingegaan op de rollen en verantwoordelijkheden. Op level 3 zijn ook formulieren om op specifieke momenten in de AI-levenscyclus de juiste documentatie op te leveren. N.B.: Defensie heeft dit ingericht in Sharepoint, waardoor verantwoordelijken te koppelen zijn aan activiteiten in de levenscyclus.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie/","title":"Richt algoritmegovernance op basis van de risicoclassificatie van algoritmes.","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie/#maatregel","title":"Maatregel","text":"
Richt algoritmegovernance in op basis van de risicoclassificatie van algoritmes.
Er is een verschil in de vereisten die van toepassing zijn op type algoritmes. Dit is mede afhankelijk van de risioclassificatie en de impact van het algoritme op betrokkenen.
Zo zullen op basis van de AI-verordening meer vereisten moeten worden nageleefd bij hoog-risico AI-systemen, dan voor een AI-systeem met een beperkt risico.
Dit betekent dat algoritmegovernance uitgebreider moet zijn voor de risicovollere, complexere toepassingen dan voor de eenvoudige, niet-risicovolle toepassingen.
Stel daarom tijdig vast om welk type algoritme het gaat en welke vereisten hiervoor gelden. Dat draagt eraan bij dan alleen wordt gefocust op het realiseren van de vereisten waar daadwerkelijk aan moet worden voldaan. Dit zorgt ervoor dat projecten sneller kunnen worden gerealiseerd.
Let op dat niet enkel naar de AI-verordening wordt gekeken. Ook op impactvolle algoritmes die niet vallen onder het bereik van de AI-Verordening zijn ook vereisten van toepassing, en moet algoritmegovernance op worden toegepast.
Is algoritmegovernance nieuw bij jouw organisatie, dan kan het helpen om een use-case met beperkt risico grondig te doorlopen om hiervan te leren.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie/#bronnen","title":"Bronnen","text":"Bekijk alle vereisten
De gemeente Rotterdam kiest ervoor om de algoritmegovernance alleen in te zetten bij hoog-risico AI-toepassingen. Deze risicoclassificatie volgt de AI-Verordening. Voor laag-risico toepassingen geldt de standaard governance van de gemeente: de informatiebeveiligings- en privacy governance (Kleur Bekennen, Rekenkamer Rotterdam, 2024, p.71). Tabel 1 geeft inzicht in verschillende typen algoritmen en AI-toepassingen. De afbeelding uit hetzelfde rapport geeft een flowchart van hoe de governance anders is afhankelijk van de risico-categorie.
In dit voorbeeld is ook het principe gehanteerd dat naast hoog-risico volgens de AI-verordening, bij ieder algoritme aan de hand van een drietal vragen moet worden besloten of een uitgebreidere algoritmegovernance nodig is. * Is de werking van het algoritme niet volledig \u00e9n beknopt uit te leggen aan een gemiddelde Rotterdammer? * Ontbreekt er een menselijke beoordeling voordat de uitkomst van het algoritme in de praktijk wordt gebracht door middel van een concrete handeling van de gemeente? * Is het voorstelbaar dat de algoritmetoepassing uitmondt in een onrechtvaardige handeling van de gemeente tegen burgers of bedrijven
Kijk zelf goed wat passend is voor jouw organisatie.
Voorbeeld BD (Analytische en Cognitieve Technologie | CoE Cognitieve Oplossingen): * Richt als eerste een basis (b.v. voor low risk) algoritmegovernance in op operationeel niveau, implementeer deze basis en stel gaandeweg/ondertussen op basis van o.a. best practices de requirements op naar de \"wereld\" er om heen (tactisch en strategisch niveau).
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-10-inrichten-taken-en-verantwoordelijkheden-algoritmegovernance/","title":"Taken en verantwoordelijkheden zijn toebedeeld in de algoritmegovernance","text":"
org-10OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Bij het vormgeven van een doeltreffende algoritmegovernance is het beleggen van expliciete taken en verantwoordelijkheden cruciaal.
Het beleggen van deze taken en verantwoordelijkheden zorgt voor een actiegerichte structuur waarin duidelijkheid bestaat over wie wanneer aan zet is.
Denk hierbij aan het opstellen van een RACI-matrix en pas dit binnen de organisatie toe per risicoclassificatie voor algoritmes.
Rollen en verantwoordelijkheden kunnen worden gekoppeld aan de vereisten en maatregelen die moeten worden gerealiseerd in de verschillende fasen van de levenscyclus van een algoritme.
Organisaties zullen zelf moeten beoordelen welke taken en verantwoordelijkheden ze willen koppelen aan de beschikbare (of nieuwe) rollen binnen hun organisaties.
Zie hieronder een mogelijk voorbeeld van hoe dit eruit kan zien.
Het three lines of defence model dat zowel de gemeente Rotterdam als het UWV hanteert biedt hiervoor handvatten. De essentie van dit model is het scheiden van drie niveau\u2019s in verantwoordelijkheden om effectieve governance mogelijk te maken. Daarnaast wordt in veel governance structuren een RACI model opgesteld om rollen en verantwoordelijkheden expliciet te maken.
RACI matrix - diverse organisaties
RACI is de afkorting voor Responsible (Verantwoordelijk \u2013 uitvoerder van de taak), Accountable (Aanspreekbaar \u2013 eigenaar van de taak), Consulted (Geconsulteerd) en Informed (Ge\u00efnformeerd). De gemeente Rotterdam heeft de interactie tussen rollen/verantwoordelijkheden van algoritme/AI governance en de volledige datamanagement structuur in een RACI model vormgegeven (Bron: Kleur bekennen rekenkamer Rotterdam). Wees bewust dat iedere organisatie anders is, en waarschijnlijk op een andere RACI-matrix uitkomt.
Niet alles town down vast te leggen - CoE Belastingdienst
Het te regide vastleggen van functies en bijbehorende taken en verantwoordelijkheden kan nadelen hebben. Een team bij de belastingdienst (Analytische en Cognitieve Technologie | CoE Cognitieve Oplossingen) heeft ervaren dat het definieren van werkpakketten in plaats van uitwerkte functies beter werkt. Alles dient belegd te zijn, maar alles op microniveau vastleggen is vaak niet te doen zonder in de praktijk te staan, en kan avenrechts werken. Wees als algoritmegovernance nog nieuw is zeker in het begin bewust dat inrichting altijd beter kan; ga grondig maar ook flexibel te werk.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-11-gebruikersbeheer/","title":"Maak afspraken over het beheer van gebruikers","text":"
org-11OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesTechnische robuustheid en veiligheidGovernance
Richt gebruikersbeheer in, waarmee bepaald wordt wie toegang heeft tot wat, en wat er bijvoorbeeld gebeurt bij indiensttreding, functiewijziging en uitdiensttreding.
Gebruikersbeheer zorgt ervoor dat accounts en autorisaties beheerst worden aangevraagd, geautoriseerd, gewijzigd en ingetrokken bij indiensttreding, functiewijziging en uitdiensttreding. Ook wordt functievermenging voorkomen bij toegang en gebruik van het algoritme, de data of de uitkomsten van een algoritme.
Bij het inrichten van gebruikersbeheer moeten aan de volgende elementen worden gedacht:
Gebruikers en beheerders krijgen slechts toegang tot functionaliteit die zij uit hoofde van hun functie nodig hebben (need to know, need to use). Daartoe is een beschrijving beschikbaar welke rollen en rechten per applicatie bij een functie horen (BIO 6.1.2, 9.2.2 en 9.4).
Het verlenen en muteren van accounts en toegangsrechten vindt plaats na goedkeuring door een bevoegde functionaris. Dit aan de hand van een actueel mandaatregister waaruit blijkt welke personen beslissende bevoegdheden hebben voor het verlenen van een bepaald type (niveau) toegangsrechten danwel functieprofielen (BIO 9.2.1.2, 9.2.2.1, 9.4).
Er bestaat functiescheiding tussen het aanvragen, autoriseren en doorvoeren van wijzigingen in gebruikersaccounts en toegangsrechten (BIO 9.2.1.2, 9.2.2.1, 9.2.3).
Functiewijzigingen en uitdiensttredingen worden bewaakt voor aanpassen van de toegangsrechten en voor intrekken van de identiteits- en authenticatiemiddelen (BIO 9.2.2, 9.2.6).
Het aantal accounts met verhoogde rechten is beperkt en verklaard, en staat in logische verhouding tot de beheerders en of ICT-afdeling (BIO 9.1.2.(1), 9.2.3, 9.2.4).
Gebruikersaccounts en beheeraccounts dienen altijd persoonsgebonden en verklaard te zijn, zodat handelingen altijd te herleiden zijn naar \u00e9\u00e9n verantwoordelijke (BIO 9.1, 9.4.2).
Eindgebruikers hebben geen directe toegang tot de onderliggende componenten (zoals de database) (BIO 9.2.3, 13.1.3).
Toegangsrechten op onderliggende componenten dienen periodiek, minimaal jaarlijks, ge\u00ebvalueerd te worden. Dit interval dient te zijn beschreven in het toegangsbeleid en zijn bepaald op basis van het risiconiveau. De uitkomsten van de evaluatie en de opvolging daarvan worden vastgelegd (BIO 9.2.5).
Voor deze maatregelen is het van belang om aandacht te hebben voor de volgende zaken:
Autorisatiematrix en beschrijving rollen/rechten per systeem(laag)
Lijst met wijzigingen rollen en bijbehorende goedkeuringen
Er bestaan meerdere risico's wanneer er geen gebruikersbeheer is: - Toegangsrechten kunnen niet meer up-to-date zijn, bijvoorbeeld wanneer er geen rekening wordt gehouden met het IDU-proces (). Er bestaat dan het risico dat gebruikers toegang tot de omgeving van het algoritme, de data of de uitkomsten van het algoritme hebben die zij niet zouden mogen hebben. - Wanneer functievermenging niet wordt voorkomen bij toegang en gebruik van het algoritme, bestaat het risico dat er ongeautoriseerde wijzigingen worden doorgevoerd aan het algoritme, de data of de uitkomsten van het algoritme. - Wanneer gebruik wordt gemaakt van generieke-, groeps- of onpersoonlijke accounts, bestaat het risico dat handelingen niet te herleiden zijn naar een verantwoordelijke persoon.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-12-periodieke-evaluatie-kwaliteit/","title":"Controleer en verbeter regelmatig de kwaliteit van het algoritme","text":"
org-12OrganisatieverantwoordelijkhedenMonitoring en beheerProjectleiderBeleid en adviesGovernanceMenselijke controle
Het is van belang dat een proces wordt ingericht waarmee periodiek de kwaliteit van algoritmes wordt ge\u00ebvalueerd.
Bij kwaliteit van een algoritme kan worden gedacht aan doeltreffenheid, doelmatigheid, betrouwbaarheid en accuraatheid (geschiktheid), non-discriminatie en menselijke controle.
Hieronder vallen het analyseren en evalueren van ingediende klachten en incidenten.
Hieronder vallen ook het analyseren evalueren van besluiten door of aan de hand van het algoritmen.
Na verloop van tijd kan de accuraatheid van machine learning modellen bijvoorbeeld wijzigen of kan het gebeuren dat bepaalde groepen (indien van toepassing) anders worden behandeld.
Het is van belang dat monitoringsactiviteiten worden ingericht om deze kwaliteitsaspecten tijdig te beoordelen.
Als er ongewenste wijzigingen plaatsvinden met betrekking tot de kwaliteit, moeten die worden ge\u00ebvalueerd en zullen maatregelen moeten worden getroffen om deze te herstellen.
Het proces moet er voor zorgen dat de juiste experts of stakeholders worden betrokken bij het proces van evaluatie en het treffen van passende maatregelen.
Let op! Sommige maatregelen in het Algoritmekader gaan dieper in op het uitvoeren van risicoanalyses.
Zonder evaluatie van de kwaliteit van het algoritme is er geen goede sturing, beheersing en verantwoording mogelijk als er ongewenste wijzigingen plaatsvinden in het algoritme of AI-systeem.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-13-wachtwoordbeheer/","title":"Maak afspraken over het beheer van wachtwoorden","text":"
org-13OrganisatieverantwoordelijkhedenProjectleiderOntwikkelaarTechnische robuustheid en veiligheidGovernance
Richt wachtwoordbeheer in, waarmee bepaald wordt hoe wachtwoorden worden opgeslagen, wanneer wijzigingen moeten plaatsvinden en waaraan wachtwoorden moeten voldoen. Hiermee wordt de toegang tot bijvoorbeeld ontwikkelomgevingen geregeld op een veilige manier.
Bij het inrichten van wachtwoordbeheer moeten de volgende zaken worden toegepast:
Alle wachtwoorden van gebruikers en beheerders dienen periodiek te worden gewijzigd, met een maximum van 1 jaar (BIO 9.4.3). Initi\u00eble wachtwoorden en wachtwoorden die gereset zijn, hebben een maximale geldigheidsduur van 24 uur en moeten bij het eerste gebruik worden gewijzigd.
Voor toegang vanuit een onvertrouwde omgeving dient twee-factor authenticatie te worden gebruikt (BIO 9.4.2.1). Als er geen gebruik wordt gemaakt van two-factor authenticatie, is de wachtwoordlengte minimaal 8 posities en complex van samenstelling. In situaties waar geen two-factor authenticatie mogelijk is, wordt minimaal halfjaarlijks het wachtwoord vernieuwd.
Na een periode van maximaal 15 minuten inactiviteit dient de toegang tot de applicatie te worden vergrendeld en na 10 foutieve inlogpogingen dient het account geblokkeerd te worden (BIO 11.2.9, BIO 9.4.3). De tijdsduur dat een account wordt geblokkeerd na overschrijding van het aantal keer foutief inloggen is vastgelegd.
Wachtwoorden mogen niet in originele vorm (plaintext) worden opgeslagen, maar dienen versleuteld te worden. (NIST 5.1.1.2)
De eisen aan wachtwoorden moeten geautomatiseerd worden afgedwongen.
Als het wachtwoordbeheer van onvoldoende kwaliteit is, kan oneigenlijke toegang plaatsvinden tot het algoritme of uitkomsten van het algoritme, bijvoorbeeld doordat het wachtwoord te eenvoudig is.
Bij het inrichten van een proces om wijzigingen aan de code te mogen aanbrengen, kunnen aan de volgende elementen worden gedacht:
Wijzigingen dienen van te voren te worden geautoriseerd door de systeemeigenaar of product owner. (BIO 12.1.2)
Wijzigingen worden getest in een andere omgeving dan de productieomgeving. (BIO 12.1.4, 14.2.3, 14.2.9, 14.3.1)
Wijzigingen worden door de systeemeigenaar of product owner goedgekeurd op basis van gedocumenteerde testresultaten en pas daarna doorgevoerd in de productieomgeving. (BIO 12.1.2, 14.2.2, 14.2.9)
Er dient functiescheiding te zijn ingericht tussen het aanvragen, goedkeuren en doorvoeren van wijzigingen om onbevoegde en onbedoelde wijzigingen te beperken. (BIO 6.1.2, 14.2.2)
Er dient periodiek controle plaats te vinden op wijzigingen aan het systeem, zodanig dat oneigenlijke wijzigingen worden gesignaleerd. (BIO 9.4.4, 12.4.1)
Als een formeel wijzigingenproces ontbreekt bestaat het risico van ongeautoriseerde toegang, wijziging of beschadiging van de code van het algoritme, of de uitkomsten van het algoritme.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-15-discriminatieprotocol/","title":"Stel een protocol vast voor de situatie dat er (een vermoeden van) discriminatie door een algoritme is geconstateerd en pas dit wanneer nodig toe.","text":"
imp-10OrganisatieverantwoordelijkhedenImplementatieProjectleiderBeleid en adviesBias en non discriminatie
De inzet van algoritme kan onbedoeld leiden tot discriminerende effecten. Het is van belang om als organisatie een protocol te hebben vastgesteld waarin is uitgewerkt hoe wordt omgegaan met situaties waarin (een vermoeden van) discriminatie door een algoritme is geconstateerd. In een dergelijk protocol kunnen de handelingen worden beschreven die moeten worden uitgevoerd om deze situatie te gaan herstellen. Het vaststellen van een dergelijk protocol geeft ontwikkelaar en gebruikers (vooraf) duidelijkheid wat van hen wordt verwacht en wat zij kunnen doen om discriminatie door algoritmes te voorkomen. Een voorbeeld hiervan is het analyseren van de data op datakwaliteit en bias in de data en toets regelmatig je algoritmisch systeem op bias.
Het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties heeft een discriminatieprotocol opgesteld wat organisaties handvatten biedt.
Een discriminatieprotocol kan de volgende stappen bevatten:
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-15-discriminatieprotocol/#stap-1-vermoeden-van-onrechtmatigheid","title":"Stap 1: Vermoeden van onrechtmatigheid","text":"
Een vermoeden van bevooroordeeldheid of discriminatie kan vanuit verschillende partijen gemeld worden. Signalen hiervoor kunnen worden ontvangen vanuit de interne organisatie, bijvoorbeeld door de betrokken ontwikkelaars, gebruikers of beheerders, of door externe partijen, zoals belanghebbenden, toezichthouder, journalisten.
Zorg dat signalen tijdig bij de goede medewerkers terecht komen.
Indien er sprake is van zo'n vermoeden, zorg je dat bijvoorbeeld de uitvoerend directeur, de interne toezichthouder en/of de CIO en CDO hierover worden ge\u00efnformeerd.
Maak met de verantwoordelijken een afweging of het betreffende systeem in werking kan blijven of dat bijvoorbeeld het noodplan voor het stopzetten van het algoritme (tijdelijk) in gang moet worden gezet.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-15-discriminatieprotocol/#stap-2-inzicht-en-overzicht","title":"Stap 2: Inzicht en overzicht","text":"
Het is van belang om inzicht en overzicht te krijgen over de oorzaak en de gevolgen van eventuele discriminerende effecten van het algoritme. Daarvoor kan worden gedacht aan het uitvoeren van een bias analyse.
Bepaal wie er verantwoordelijk is voor het uitvoeren van het onderzoek.
Bepaal of je een onafhankelijk onderzoek wilt doen naar het algoritme.
Breng in kaart wat de omvang van het probleem is. Hoe lang doet het probleem zich al voort, en hoeveel mensen betreft het?
Ga snel met (vertegenwoordigers van) gedupeerden in gesprek over de gevolgen en de mogelijke schade
Trek een conclusie of er sprake is van discriminatie, of een sterk vermoeden van discriminatie.
Bepaal welke mitigerende maatregelen er genomen moeten worden. Als er in het onderzoek is vastgesteld dat er sprake is van discriminatie, dan moet het betreffende systeem worden stopgezet. Hierbij kan je denken aan:
Het in werking stellen van het het noodplan voor het stopzetten van het algoritme, indien dat in stap 1 nog niet gebeurd is.
Aanpassingen in het algoritme, de werkinstructies of de bijbehorende processen.
Indien het algoritme essentieel is in de uitvoer kan er sprake zijn van een een proportionaliteitsvraagstuk. In dat geval moet er worden bezien wat de alternatieven zijn, en of er delen van het systeem kunnen worden uitgeschakeld.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-15-discriminatieprotocol/#stap-4-melden-en-informeren","title":"Stap 4: Melden en informeren","text":"
De conclusies van de eerdere stappen moeten, indien nodig, worden gemeld bij de betreffende instanties. De eventuele gedupeerde burgers dienen te worden ge\u00efnformeerd over de gevolgen.
Als er sprake is van een hoog-risico-AI-systeem moeten ernstige incidenten worden gemeld bij de markttoezichtautoriteiten. Zie artikel 73 van de AI-verordening en artikel 3 (49.c) van de AI-verordening.
Voor alle algoritmes geldt: Informeer de interne toezichthouder, de externe toezichthouder en de politiek, afhankelijk van hoeveel mensen geraakt en gedupeerd zijn en de impact.
Informeer de betrokken burgers over de sitatie. Maak indien nodig excuses en geef de mensen die (mogelijk) geraakt zijn uitleg zodat zij:
begrijpen wat er is gebeurd
weten wat de waarschijnlijke gevolgen zijn
welke mitigerende maatregelen zijn genomen
waar mensen terecht kunnen met vragen
op de hoogte zijn van het proces rondom de afhandeling van de schade.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/0-org-15-discriminatieprotocol/#stap-5-registratie-en-afhandeling","title":"Stap 5: Registratie en afhandeling","text":"
Registreer het algoritme in het algoritmeregister, indien dat nog niet gebeurd is.
Zorg voor goede klachtenafhandeling en herstelprocedures.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/1-pba-01-formuleren-probleemdefinitie/","title":"Beschrijf het probleem dat het algoritme moet oplossen","text":"
Formuleer en documenteer wat de aanleiding is om een algoritme in te willen zetten. Formuleer duidelijk de probleemdefinitie en probleemafbakening waarvoor het algoritme een oplossing zou moeten vormen.
Het algoritme dient niet het onderliggende probleem. Zonder eenduidigheid over het op te lossen probleem is geen sturing op en verantwoording over het algoritme mogelijk.
Het doel en de eventuele subdoelen van het algoritme moeten zo specifiek mogelijk zijn geformuleerd, en waar mogelijk gekwantificeerd. Maak de consequenties van het algoritme specifiek en zorg dat het doel van het algoritme formeel is vastgesteld en vastgelegd.
Het doel van de inzet van een algoritme dient zo concreet en specifiek mogelijk gedefinieerd te worden. Indien er meerdere doelen zijn, is het belangrijk om een zekere rangorde te maken: wat zijn de belangrijkste doelen? En waarom? Welke doelen zijn subdoelen, waarvoor het minder belangrijk is om deze te realiseren?
Indien mogelijk, dienen de doelstellingen gekwantificeerd te worden (SMART).
Om te zorgen voor voldoende draagvlak voor de beoogde doelen, is het noodzaak om voldoende belanghebbenden te betrekken. Hierbij kan het ook helpen om burgers te betrekken bij de totstandkoming van de doelstellingen, bijvoorbeeld door middel van een burgerpanel of het betrekken van belangengroepen.
Het algoritme dient niet het beoogde doel en onderliggend probleem. Zonder eenduidigheid over het doel is geen sturing op en verantwoording over het algoritme mogelijk. Er is dan een groter risico op fouten en/of verschillen in interpretatie.
Wanneer doelstellingen niet meetbaar zijn gemaakt, is het onmogelijk om achteraf te kwantificeren of de doelstellingen zijn behaald. Doelstellingen zijn in dat geval moeilijk bespreekbaar.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/1-pba-03-onderbouwen-gebruik-algoritme/","title":"Beschrijf waarom een algoritme het probleem moet oplossen","text":"
Bepaal waarom het gewenst of nodig is om een algoritme in te zetten, en of er ook alternatieven zijn om het probleem op te lossen. Documenteer de onderbouwing waarom een algoritme een betere oplossing zou bieden dan een niet-geautomatiseerd of niet-digitaal proces.
Maak een bewuste afweging of een algoritme het juiste middel is om het probleem op doelmatige en doeltreffende wijze op te lossen, en documenteer deze afweging.
Beoordeel of de gewenste oplossing is toegestaan op grond van de AI-Verordening.
Het betrekken van belanghebbenden is van belang in bijna alle fasen van de levenscyclus. Belanghebbenden zijn onder meer eindgebruikers, mensen en rechtspersonen die door het algoritme geraakt kunnen worden en vertegenwoordigende organisaties.
In de fase van de probleemanalyse is het allereerst van belang in kaart te brengen welke stakeholders er zijn. Wie gaan bijvoorbeeld werken met het algoritme (eindgebruikers)? En welke demografie\u00ebn worden geraakt door een algoritme? Bij wie liggen de voordelen en bij wie liggen de nadelen? Ga in gesprek met deze belanghebbenden - al dan niet vertegenwoordigd door belangenorganisaties zoals burgerrechtenorganisaties - over het te ontwerpen algoritme en de context waarin het gebruikt wordt. Zij kunnen waardevolle inzichten en wensen delen, wat kan bijdragen aan een betere werking van het algoritme.
Enkele voorbeelden hierbij zijn: - Het betrekken van burgers bij het ontwerpen van een algoritme in de ontwerpfase. - Het bespreken welke definitie en metriek van fairness past bij de context met de proceseigenaar en een ethicus. - Het betrekken van domeinexperts in de fase van dataverkenning en datapreparatie, om zo in kaart te brengen wat de data features betekenen en waar zij vandaan komen. - Het betrekken van eindgebruikers bij het ontwikkelen en het implementeren van het algoritme. - Het betrekken van belanghebbenden bij het monitoren en evalueren van het algoritme.
Het niet betrekken van belanghebbenden bij de ontwikkeling en het gebruik van algoritmes, kan ertoe leiden dat belangrijke inzichten of perspectieven niet worden verwerkt en het algoritme onjuist gaat functioneren.
Er zijn veel verschillende methoden om belanghebbenden te betrekken. Zo kan je bijvoorbeeld werken met persona\u2019s of \u2018empathy maps\u2019 maken. Ook kan je focusgroepen houden. Denk dan bijvoorbeeld aan een burgerpanel.
Andere methoden zijn: Methodologie van Waag, Civic AI lab, Stakeholder escalation ladder.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/1-pba-05-wettelijke-grondslag/","title":"Beschrijf de wettelijke grondslag voor de inzet van het algoritme","text":"
Analyseer of er een concrete wettelijke grondslag is die de inzet van het algoritme mogelijk maakt en deze inzet voldoende voorzienbaar maakt.
Als de verwachting is dat een algoritme tot gevolg heeft dat wordt ingegrepen in het leven of de vrijheid van mensen, en zeker als de verwachting is dat er grondrechten worden geraakt, moet er een wettelijke grondslag bestaan voor de inzet van het algoritme.
Voor het verwerken van persoonsgegevens is een wettelijke grondslag noodzakelijk.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-01-rollen-en-verantwoordelijkheden/","title":"Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes","text":"
owp-01OntwerpImplementatieMonitoring en beheerProjectleiderGovernance
Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes. De rollen en verantwoordelijkheden worden vastgesteld door de verantwoordelijke(n).
Een re\u00ebel risico is dat bepaalde groepen en belanghebbenden over het hoofd worden gezien tijdens het ontwikkelproces van een algoritme. Daarom is het noodzakelijk om al vroeg in kaart te brengen welke groepen allemaal een mening over het beoogde algoritme kunnen hebben.
Duidelijkheid en borging van rollen en verantwoordelijkheden zorgen voor een effectief en verantwoord verloop van het proces rondom de ontwikkeling, inkoop en gebruik van een algoritme. Zeker wanneer ongewenste effecten optreden en maatregelen nodig zijn, is duidelijkheid over rollen, verantwoordelijkheden en bijbehorende besluitvormingsstructuren van belang.
Om deze reden kan het handig zijn om een matrix van belanghebbenden op te stellen. Deze matrix kan in verdere fases helpen wanneer belanghebbenden betrokken moeten worden. In deze matrix kunnen de volgende onderdelen staan:
Per belanghebbende een beschrijving van wie deze groep is
Mate van invloed van belanghebbende op het algoritme: wie, wanneer in de levenscyclus zorgt voor passende menselijke controle
Impact van algoritme op de belanghebbende
Risico\u2019s voor belanghebbende (wat zal de belanghebbende merken als het algoritme eventueel niet naar behoren functioneert).
Een RACI-matrix/VERI-matrix is een passend middel om de verantwoordelijkheden (Responsible/Verantwoordelijk, Accountable/Eindverantwoordelijk, Consulted/Geraadpleegd, Informed/Ge\u00efnfomeerd) te bepalen. Werk specifieke, gevoelige activiteiten nader uit te in concrete taken en verantwoordelijkheden, bijvoorbeeld welke stappen moeten worden gezet om data veilig te leveren ten behoeve van een onderzoek naar onbwuste vooringenomenheid.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-01-rollen-en-verantwoordelijkheden/#vaststellen-van-rollen-en-verantwoordelijkheden","title":"Vaststellen van rollen en verantwoordelijkheden","text":"
Laat de rollen en verantwoordelijkheden vaststellen door de verantwoordelijke(n). Het doel van vaststelling is dat de verantwoordelijke(n) de verantwoordelijkheid neemt en actief een keuze maakt om het algoritme te (laten) ontwikkelen of gebruiken op de beoogde wijze en met de bijbehorende verantwoordelijkheden. Met het vaststellen worden afspraken geformaliseerd.
Vaststelling van de verantwoordelijkheden kan plaatsvinden door beleidsdocumenten, werkinstructies, verwerkersovereenkomst of een PIA/DPIA, mits de verantwoordelijkheden voldoende duidelijk zijn beschreven.
Gedurende de levenscyclus kan het voorkomen dat rollen en verantwoordelijkheden opnieuw moet worden beschreven en vastgesteld.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-01-rollen-en-verantwoordelijkheden/#verwerking-van-persoonsgegevens","title":"Verwerking van persoonsgegevens","text":"
Bij het verwerken van persoonsgegevens moet worden vastgelegd wie de (gezamelijke) verwerkingsverantwoordelijken zijn en wie de verwerkers. Uit deze vaststelling van de rolverdeling volgen onder de AVG verschillende rechten en plichten.
Bij de ontwikkeling en gebruiken van algoritmes is het denkbaar dat de noodzaak voor het verwerken van persoonsgegevens wijzigt en dat meer of andere verwerkingen moeten plaatsvinden. Het is van belang dat wederom wordt beoordeeld wat dit betekent voor de bijbehorende verantwoordelijkheden. Als er sprake is van een wezenlijke wijziging ten opzichte van de al vastgestelde situatie, bijvoorbeeld doordat er meer persoonsgegevens worden verwerkt door een andere partij, dan zal de verwerkingsverantwoordelijke opnieuw tot vaststelling moeten overgaan om de afspraken te formaliseren.
Rapport Kleur Bekennen, Algemene Rekenkamer, p. 114, figuur 5-4
De proceseigenaar wordt vaak verantwoordelijk gehouden voor eventuele gevolgen van het gebruik van het algoritme. Deze maatregel zorgt ervoor dat de proceseigenaar niet alle verantwoordelijkheid draagt, omdat dit vaak niet realistisch is. Met deze maatregel kunnen er heldere afspraken over de verschillende verantwoordlijkheden worden gemaakt. Hierdoor wordt het draagvlak groter, zonder ten koste te gaan van de duidelijkheid over rollen en verantwoordelijkheden.
De sturing en verantwoording is ontoereikend of niet geborgd, waardoor er onvoldoende betrokkenheid of capaciteit is van verantwoordelijken. Ook kan er dan onvoldoende deskundigheid in de organisatie zijn, wat de kans vergroot op fouten en ongewenste effecten. Zonder het vaststellen van rollen en verantwoordelijkheden, kan er geen effectieve sturing plaatsvinden op partijen die betrokken zijn bij het ontwikkelen of gebruiken van algoritmes.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-02-data-beschikbaarheid/","title":"Voer voorafgaand aan een project een data beschikbaarheid, kwaliteit- en toegankelijkheidsanalayse uit.","text":"
owp-11OntwerpProjectleiderBeleid en adviesPublieke inkoopData
Het is van belang om voorafgaand aan een project vast te stellen of de data die noodzakelijk is om een algoritme te ontwikkelen of te kunnen gebruiken beschikbaar is, gaat worden en of de data van voldoende kwaliteit is.
Er moet worden onderzocht of en hoe data vanuit de eigen organisatie, die van een eventuele externe aanbieder of elders beschikbaar kan worden gesteld, kan worden opgeslagen en of goedkeuring kan worden gegeven voor het verwerken van de data.
De infrastructuur van de eigen organisatie en/of die van een eventuele externe aanbieder moet van voldoende niveau zijn om de beoogde verwerkingen uit te kunnen voeren.
Een dergelijke analyse levert inzichten op welke problemen er eventueel op dit vlak kunnen ontstaan en geeft input voor de verdere ontwikkeling of (in geval van inkoop) de behoeftestelling.
Het zou kunnen voorkomen dat de data niet beschikbaar is en ook niet gaat worden. Dit betekent dat een algoritme ook niet goed gemaakt of gebruikt kan worden. Ook is het belangrijk om te checken of de data beschikbaar blijft als dat nodig is voor het functioneren van het algoritme (bijv. voor het bijleren). Ook bestaat er een risico dat als de data van onvoldoende kwaliteit is, het algoritme niet goed gaat werken. Wanneer niet vooraf bepaald is of de data beschikbaar is en van voldoende kwaliteit kan het gebeuren dat er wel een algoritme gemaakt wordt door een derde partij, maar deze vervolgens niet gebruikt kan worden binnen de organisatie.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-03-doel-verwerken-persoonsgegevens/","title":"Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit mag","text":"
owp-03OntwerpDataverkenning en datapreparatieOntwikkelenVerificatie en validatieImplementatieProjectleiderJuristPrivacy en gegevensbescherming
Persoonsgegevens mogen alleen worden verwerkt voor een \u2018welbepaald, uitdrukkelijk omschreven en gerechtvaardigd\u2019 doel. De wettelijke grondslag voor de verwerking van de persoonsgegevens moet zijn beschreven.
De verwerking van persoonsgevens voor het ontwikkelen en gebruiken van een algoritme moet verenigbaar met het oorspronkelijke verwerkingsdoel (doelbinding). Eventuele verdere (subsidiaire) verwerkingen, zoals het verwerken van persoonsgegevens voor een onderzoek naar onbewuste vooringenomenheid, moeten uitdrukkelijk worden omschreven.
Stel een overzicht op waarin is beschreven welke persoonsgegevens mogen worden verwerkt. Bij de persoonsgegevens is aangegeven om wat voor categorie persoonsgegevens het gaat. Per kenmerk is toegelicht waarom deze noodzakelijk is om te verwerken voor het ontwikkelen en gebruiken van het algoritme. Het principe van dataminimalisatie is toegepast, wat betekent dat een keuze is gemaakt of een persoonsgegevens al dan niet strikt noodzakelijk is om het doel te bereiken of dat verwerking ervan achterwege kan blijven.
Voor het beschermen van deze persoonsgegevens wordt per kenmerk aangegeven op welke manier deze kan worden beschermd. Denk hierbij aan het anonimiseren, pseudonomiseren, aggregeren van de persoonsgegevens.
Gebruik een DPIA om bovenstaande zaken te beschrijven.
Als het doel voor het verwerken van persoonsgegevens onvoldoende is omschreven en onderbouwd, ontstaat het risico dat onrechtmatig persoonsgegevens worden verwerken en een inbreuk wordt gemaakt op privacyrechten van betrokkenen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-04-gebruikte-techniek/","title":"Beschrijf welke techniek gebruikt wordt voor de beoogde toepassing","text":"
owp-04OntwerpOntwikkelaarTechnische robuustheid en veiligheid
Beschrijf wat voor soort algoritme er gebruikt gaat worden voor de beoogde toepassing.
Bepaal of je gebruik wilt maken van een:
zelflerend algoritme
niet-zelflerend algoritme zoals een algoritme gebaseerd op rekenregels
Beschrijf vervolgens ook:
waarom er voor dit type algoritme wordt gekozen
wat de alternatieven zijn en waarom die minder passend zijn?
waarom dit algoritme het meest geschikt is om het beoogde doel van het algoritme te bereiken.
De precieze details kunnen in dit stadium van de levenscyclus waarschijnlijk nog niet ingevuld worden. Maak een goede eerste inschatting van de gebruikte techniek. Eventueel kan je er ook voor kiezen om verschillende technieken verder te onderzoeken. Dat betekent dat er meerdere algoritmes ontwikkeld worden (op basis van verschillende technieken), en je later een definitieve keuze maakt.
Het is belangrijk om uiteindelijk een passend uitlegbaar algoritme te selecteren voor de context waarin het wordt toegepast. Daarin moet de afweging gemaakt worden of de technische uitlegbaarheid voldoende is in de context die de inzet van het algoritme vereist. Hierbij kan ook de conclusie worden getrokken dat een simpeler, inzichtelijker algoritme de voorkeur krijgt.
Impact Assessment Mensenrechten en Algoritmes, 2A.1, 2B.1
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-05-soort-algoritme/","title":"Bepaal het soort algoritme en de risicogroep en vereisten die hierbij horen","text":"
owp-05OntwerpOntwikkelenProjectleiderBeleid en adviesPublieke inkoopGovernance
Het verschilt per type algoritme welke vereisten hierop van toepassing is en waar een aanbieder of gebruiksverantwoordelijke aan moet voldoen. Dit is mede afhankelijk van de bijbehorende risicoclassificatie. Hiervoor kan in de nabije toekomst de 'beslisboom' in het Algoritmekader voor worden gebruikt'. Deze stap is van groot belang, omdat dit ook bepalend is welke contractuele verplichtingen moeten worden gecre\u00eberd tussen opdrachtgever en opdrachtnemer/aanbieder.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-05-soort-algoritme/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-06-afwegen-grondrechten/","title":"Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging","text":"
owp-06ProbleemanalyseOntwerpVerificatie en validatieMonitoring en beheerProjectleiderBeleid en adviesFundamentele rechten
Een algoritme kan invloed hebben op grondrechten. Op een aantal grondrechten kan een algoritme sneller invloed hebben, zoals recht op persoonsgegevensbescherming, recht op behoorlijk bestuur en recht op gelijke behandeling. Deze veelvoorkomende grondrechten krijgen op andere plekken in het Algoritmekader specifieke aandacht. Er zijn echter ook grondrechten die bij minder algoritmen relevant zijn, maar desalniettemin in die gevallen zeer invloedrijk kunnen zijn. Het is van belang uiteindelijk een totale afweging te maken van alle grondrechten die (mogelijk) geraakt worden ten opzichte van de voordelen van het in te zetten algoritme. Een voorbeeld van een grondrecht dat minder snel geraakt wordt is bijvoorbeeld een algoritme om hate speech te kunnen detecteren. Zo'n algoritme zal van invloed kunnen zijn op de vrijheid van meningsuiting en het recht op informatie.
Doorloop in lijn met Deel 4 van het Impact Assessment Mensenrechten en Algoritmes de volgende stappen:
Breng in kaart welke grondrechten geraakt kunnen worden door de inzet van het algoritme. Hiervoor kan bijlage 1 uit het Impact Assessment Mensenrechten en Algoritmes gebruikt worden.
Als dat het geval is, is het allereerst van belang om te controleren of hiervoor specifieke wetgeving is waar de inzet van het algoritme aan moet voldoen.
Bepaal hoe zwaar de geindentificeerde grondrechten worden geraakt door het beoogde algoritme.
Bepaal hoe doeltreffend/effectief het algoritme in de praktijk is.
Bepaal of de inzet van het algoritme noodzakelijk is om het beoogde doel te bereiken. Zijn er alternatieven? Of zijn er mitigerende maatregelen die genomen kunnen worden waardoor grondrechten niet of minder worden geraakt en eventuele nadelige gevolgen verzacht kunnen worden?
Gegeven alle voorgaande stappen, bepaal of de inzet van het algoritme en proportioneel is om het beoogde doel te bereiken. Wegen de voordelen op tegen de nadelen?
Het is van belang voldoende belanghebbenden te betrekken bij het doorlopen van deze stappen om te zorgen dat alle eventueel nadelige aspecten van het in te zetten algoritme worden meegenomen. Documenteer de doorlopen stappen en leg de keuzes en afwegingen goed vast.
Opmerking
Zoals vermeld in de vereiste voor beoordeling van gevolgen voor grondrechten uit de AI-verordening moeten sommige hoog-risico AI-systemen een beoordeling doen van de gevolgen voor grondrechten. Het is nog niet bekend welke vorm dit precies moet hebben.
Hoofdstuk 4 van het Impact Assesment Mensenrechten en Algoritmen (IAMA) richt zich specifiek op de grondrechten. In bijlage 1 is tevens een overzicht te vinden van mogelijk relevante grondrechten.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-07-kwetsbare-groepen/","title":"Maak een lijst van de meest kwetsbare groepen en bescherm hen extra","text":"
Bepaal wat de impact van het in te zetten algoritme is voor betrokkenen (personen of groepen). Bepaal vervolgens of er groepen zijn waarbij de impact van het algoritme dermate groot kan zijn, dat het wenselijk is om deze groepen extra bescherming te bieden.
Verschillende groepen kunnen op een andere manier geraakt worden door het inzetten van een algoritme. Dit is afhankelijk van de context waarin het algoritme wordt ingezet, en dient daardoor bij iedere toepassing opnieuw bekeken te worden.
Bedenk wat er met de uitkomsten van het algoritme gedaan wordt, en wat de consequenties daarvan zijn voor burgers. Hierbij kan gedacht worden aan de volgende aspecten:
Worden bepaalde groepen sneller gemonitord?
Wat als het model het fout heeft?
Wordt het systeem gebruikt om informatie te verkrijgen, om besluiten voor te bereiden of om zelfstandige besluiten te nemen en welke gevolgen heeft dat voor de mate waarin het algoritme bepalend zal zijn in de praktijk?
Worden de gegevens veilig en vertrouwelijk behandeld; welke gevolgen zou een datalek hebben voor groepen of categorie\u00ebn personen?
Worden data gedeeld met andere partijen en wat is het gevaar dat die misbruik maken van de data met negatieve gevolgen voor groepen of categorie\u00ebn personen?
Houd hierbij ook rekening met de impact van het in te zetten algoritme op de samenleving (vanuit sociaal, democratisch en milieu/ecologisch perspectief).
Om de impact op groepen te bepalen, kan het handig zijn een mensenrechtentoets zoals het Impact Assessment Mensenrechten en Algoritmes toe te passen.
Bepaal of er maatregelen genomen kunnen worden om de ge\u00efdentificeerde groepen extra bescherming te bieden. Hierbij kan men denken aan de volgende aspecten: Kan de (extra) administratieve druk voor bepaalde groepen worden weggenomen? Worden resultaten van het algoritme naast de resultaten van een expert gelegd? Is het wenselijk om een proces in te richten waarbij zowel algoritme als een expert een uitkomst geven? Kunnen we de betreffende groep extra hulp aanbieden? Is het wenselijk bij negatieve uitkomsten een vier-ogen-principe toe te passen?
De impact van het algoritme op de groepen die ge\u00efdentificeerd worden in deze stap, kunnen mogelijk onderzocht worden in een biasanalyse. Daarbij kan geidentificeerd worden of bepaalde groepen oververtegenwoordigd of ondervertegenwoordigd zijn in selecties, of dat het algoritme andere of meer fouten maakt voor bepaalde groepen.
Merk op dat het onmogelijk is om de risico's voor alle specifieke groepen af te vangen. Hierbij kan het helpen om te focussen op de meest kwetsbare groepen.
De impact van het algoritme op de besluitvorming en op personen, doelgroepen en/of de samenleving is niet inzichtelijk, waardoor onvoldoende maatregelen zijn getroffen om ongewenste effecten (zoals bias en discriminatie) te voorkomen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-08-archiveren-documenten/","title":"Bepaal welke documenten voor hoe lang gearchiveerd moeten worden","text":"
Stel vast welke documenten, (samengesteld geheel van) data/informatie van/in het algoritme gelden als \"archiefbescheiden\" in de zin van artikel 1 c Archiefwet en documenteer daarvan een overzicht, bij voorkeur vastgesteld door een daartoe bevoegde. Bepaal de bijbehorende bewaartermijnen vast voor de archiefbescheiden.
Bij archiefbescheiden kan worden gedacht aan de broncode, trainings- en testdata, (technische) documentatie en de output.
Deze archiefbescheiden moeten voor een bepaalde tijd worden bewaard (de bewaartermijn).
Overleg hierover met de verantwoordelijke binnen de organisatie voor het toepassen van de Archiefwet.
Het is mogelijk dat de selectielijsten nog niet duiden welke informatie of data, specifiek bij de toepassing van algoritmen, moet worden toegepast en hier dus ook nog geen termijnen bij zijn gekoppeld.
Stel vast of beperkingen aan openbaarheid van de archiefbescheiden moeten worden gesteld. Er zijn gevallen waarbij het openbaren van archiefbescheiden is uitgesloten. Stem in het begin van het proces (pro-actief) met de opdrachtgever af wat de wenselijkheid is t.a.v. transparantie/openheid (uitgangspunt zou 'open, tenzij' moeten zijn).
Stel vast hoe de archiefbescheiden op een duurzame wijze toegankelijk kunnen worden gemaakt. Het moet mogelijk zijn dat de archiefbescheiden daadwerkelijk overhandigd kunnen worden aan betrokken partijen. Denk hierbij aan burgers, onderneming, toezichthouder of rechters. Duurzaam betekent hier met behoud van functie en kwaliteit voor langere tijd. Onderzoek welke voorziening hiervoor beschikbaar is binnen de organisatie.
Tip
Formeer hierbij een multi-discipinaire groep (bestaande uit bijvoorbeeld een inkoper, ontwikkelaar, data scientist, proceseigenaar en archiefdeskundige) om deze maatregel toe te passen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-09-model-verwerkersovereenkomst-onderdeel-aanbesteding/","title":"Een model-verwerkersovereenkomst is onderdeel van de aanbesteding als persoonsgegevens worden verwerkt","text":"
owp-09OntwerpMonitoring en beheerProjectleiderBeleid en adviesPublieke inkoopPrivacy en gegevensbescherming
Inventariseer of er mogelijk sprake is van een algoritme dat een hoog risico kan inhouden voor de rechten en vrijheden van natuurlijke personen of impactvol kan zijn voor hen en maak in voorkomend geval in de model-verwerkersovereenkomst een uitdrukkelijke verwijzing naar een concreet DPIA-document (met datum/kenmerk) of (indien op dat moment nog in bezit of bekend bij de steller) een expliciet invulveld voor het duiden van de betreffende DPIA, zodat die wordt genoemd ter completeren van de verwerkersovereenkomst vooraf het overeenkomen/ondertekenen van die verwerkersovereenkomst.
Een model-verwerkersoverenkomst is veelal een verplicht onderdeel bij het publiek inkopen van software waarbij persoonsgegevens worden verwerkt en bij de totstandkoming van de overeenkomst.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-09-multidisciplinair-inkoopteam/","title":"Stel een multidisciplinair team samen bij het ontwikkelen of inkopen van algoritmes.","text":"
owp-09OntwerpProjectleiderBeleid en adviesPublieke inkoop
Bij een project gericht op het ontwikkelen of inkopen van algoritmes is het belangrijk dat betrokkenen al in een vroeg stadium samenwerken. Dit betekent dat zowel een interne opdrachtgever als het ontwikkelingsteam of de afdeling inkoop tijdig worden aangehaakt om te zorgen voor een goed afgestemd proces.
Wanneer het gaat om het ontwikkelen of inkopen van algoritmes, is een multidisciplinair team wenselijk. Zo'n team brengt relevante kennis en ervaring samen om de behoeften en specificaties helder te krijgen. Afhankelijk van de aard en complexiteit van het algoritme kunnen de rollen binnen dit team vari\u00ebren.
Naast een interne opdrachtgever, materiedeskundige en gebruiker kun je voor het ontwikkelen van algoritmes denken aan een data-engineer, data scientist, IT-architect, ethicus, data- en privacy-officer. Bij een overheidsopdracht gericht op de inkoop van een algiritme, horen daar nog een (aanbestedings)jurist en inkoper bij. Afhankelijk van de complexiteit van de oplossing zijn meer of minder disciplines en dus te beleggen verantwoordelijkheden binnen het team wenselijk.
Een multidisciplinair team kan ondersteunen bij het formuleren van de probleemstelling of formuleren van de doelstellingen van een project, verkennen van de mogelijke oplossingsrichtingen en het vertalen van de gewenste oplossingsrichting naar de concrete behoefte.
Zonder een multidisciplinair team is het waarschijnlijk dat belangrijke aspecten voor een verantwoorde inzet van algoritmes niet worden geadresseerd en ongewenste algoritmes worden ontwikkeld of ingekocht.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-10-projectstartarchitectuur/","title":"Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmes","text":"
owp-10OntwerpOntwikkelenVerificatie en validatieImplementatieProjectleiderBeleid en adviesTechnische robuustheid en veiligheid
Een Project Startarchitectuur (PSA) is een hulpmiddel dat bij een project wordt ingezet om veranderingen van A naar Beter te faciliteren.
De PSA richt zich daarbij op de kaders die op een project van toepassing zijn en wat de oplossing bijdraagt aan het realiseren van de gewenste, toekomstige architectuur, wat de implicaties zullen zijn voor bestaande voorzieningen en waar het project zal afwijken van bestaande beelden.
Met de PSA wordt een concreet en doelgericht ICT-architectuurkader opgesteld, waarbinnen het project moet worden uitgevoerd.
De PSA maakt concreet wat architectuur voor een project betekent.
Door een PSA uit te voeren ontstaan inzichten hoe het betreffende algoritme zo optimaal mogelijk onderdeel kan worden gemaakt van het bestaande applicatielandschap, waarmee bijvoorbeeld kan worden voorkomen dat het algoritme of AI-systeem na verloop van tijd geen input meer kan ontvangen door onverwachte wijzigingen in systemen.
Onderwerpen als privacy, informatiebeheer en beheer worden hierin ook globaal meegenomen.
Het algoritme kan niet of na verloop van tijd niet meer functioneren, doordat onverwachte of ongewenst wijzigingen in het applicatielandschap plaatsvinden.
Gemeente Amsterdam - Onderzoekswaardigheid Algoritme \u2018Slimme check\u2019 (Een tool die de medewerkers helpt om te bepalen of een aanvraag levensonderhoud onderzoekswaardig is, niet meer in gebruik!): Start Architectuurnotitie van dit project
Kies softwareoplossingen van aanbieders die duurzaamheid bevorderen, en stel heldere eisen aan energieverbruik, hernieuwbare energiebronnen en transparantie over de milieuprestaties van software.
Door software duurzaam in te kopen, kun je als organisatie al vroeg in het ontwikkelproces bijdragen aan de verduurzaming van je algoritmes. Kies daarom softwareoplossingen van aanbieders die maatschappelijk verantwoord ondernemen (MVI) en energie-effici\u00ebntie vooropstellen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-duurzaam-inkopen/#duurzaamheidscriteria-en-selectie-van-aanbieders","title":"Duurzaamheidscriteria en selectie van aanbieders","text":"
Om software duurzaam in te kopen, kun je aanbieders beoordelen op specifieke duurzaamheidscriteria. Enkele belangrijke criteria zijn:
het energieverbruik van de software
het gebruik van hernieuwbare energiebronnen in de benodigde datacenters
het beperken van CO\u2082-uitstoot tijdens de levenscyclus van de software
Vraag om inzicht in milieuprestaties en certificeringen, zoals ISO-14001, om de toewijding van aanbieders aan duurzaamheid te toetsen. De ISO-14001 is een internationaal geaccepteerde standaard met eisen voor een milieumanagementsysteem.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-duurzaam-inkopen/#inkoopvoorwaarden-en-contractuele-eisen","title":"Inkoopvoorwaarden en contractuele eisen","text":"
Stel bij het inkopen duidelijke eisen aan duurzaamheidscriteria, zoals het gebruik van \"groene technologie\u00ebn\", het aanbieden van Software-as-a-Service (SaaS) en open standaarden. Zo maak je duurzame keuzes die bijdragen aan een langere levensduur en energie-effici\u00ebntie van je algoritmes. Door KPI\u2019s op te nemen voor energie-effici\u00ebntie en CO\u2082-reductiedoelen kun je de voortgang van deze doelen concreet monitoren. Je kunt deze voorwaarden opnemen als standaard inkoopvoorwaarden.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-duurzaam-inkopen/#bonus-malusregeling-en-monitoring","title":"Bonus-malusregeling en monitoring","text":"
Om naleving van duurzame doelstellingen te stimuleren, kun je een bonus-malusregeling inzetten. Aanbieders ontvangen een bonus wanneer zij duurzame doelstellingen halen, en kunnen worden aangesproken als beloofde duurzaamheidsnormen niet worden behaald. Monitoring via jaarlijkse rapportages helpt om de voortgang van de duurzaamheidsdoelen te evalueren en, indien nodig, bij te sturen.
Extra overwegingen die je kunt maken bij het aankopen van algoritmes, zoals genoemd in de handreiking 'Hoe maak ik mijn inkoop van software duurzamer?' van PIANOo:
Ga na of je de software wel echt moet inkopen.
Probeer zoveel mogelijk uit te vragen in een SaaS-oplossing.
Vraag een oplossing in een Cloud-omgeving.
Ga na of \u2018serverless\u2019 ook een oplossing is.
Vraag om de broncode van de software.
Denk goed na over de technische levensduur van verschillende componenten.
Zonder duurzaamheidscriteria bij het inkopen van software loop je het risico op hogere energie- en kostenlasten, en beperk je de mogelijkheden om duurzaamheidsdoelstellingen te halen bij je algoritmes.
Handreiking: Hoe maak ik mijn inkoop van software duurzamer? (PIANOo)
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-duurzaam-inkopen/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-gebruikte-data/","title":"Beschrijf welke data gebruikt wordt voor de beoogde toepassing","text":"
owp-02OntwerpDataverkenning en datapreparatieOntwikkelaarBeleid en adviesData
Maak in een vroege fase van de ontwikkeling een inschatting van welke data er gebruikt gaat worden voor het algoritme.
Leg na het uitvoeren van een beschikbaarheids-, kwaliteit en toegankelijkheidsanalyse vast, welke data wordt verwerkt voor het ontwikkelen en gebruiken van het algoritme
Beschrijf daarbij om wat voor gegevens het gaat en uit welke bron deze komen.
Bepaal of het is toegestaan om deze data te verwerken.
Het is denkbaar dat het onderzoek van de kwaliteit van de data in een latere fase in de levenscyclus pas grondig kan worden uitgevoerd.
Impact Assessment Mensenrechten en Algoritmes, 2A.2.1
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-bespreek-vereisten-met-aanbieders/","title":"Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders.","text":"
Ga met een aanbieder in gesprek over in hoeverre zij invulling kunnen geven aan de vereisten die gelden voor een verantwoorde inzet van algoritmes. Dit kan worden gedaan bijvoorbeeld bij een informatiesessie met aanbieders voorafgaand aan een aanbesteding.
Op basis van nieuwe of gewijzigde wet- en regelgeving of de totstandkoming van nieuwe standaard, is het denkbaar dat aanbieders van algoritmes nog niet of niet meer voldoet aan deze vereisten. Het is van belang om deze inzichten bijvoorbeeld tijdens een aanbesteding worden verkregen. Indien van toepassing, laat de aanbieder inzichtelijk maken welke stappen deze gaat zetten om hieraan te gaan voldoen. Dit is ook relevant bij reeds afgesloten contracten.
Door de vereisten voor een verantwoorde inzet van algoritmes niet te bespreken met aanbieders, is het voor hen (deels) onduidelijk aan welke vereisten diens algoritmes moet voldoen om te kunnen contractueren met overheidsorganisaties.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-eenvoudigere-algoritmes/","title":"Ontwerp algoritmes zo eenvoudig mogelijk","text":"
Complexe algoritmes vereisen vaak aanzienlijke rekenkracht, wat energie-intensief kan zijn. Door algoritmes minder complex en rekenintensief te ontwerpen, verlaag je de benodigde middelen en energie bij het trainen en uiteindelijk toepassen van deze algoritmes. Een effici\u00ebnter ontwerp maakt de algoritmes energiezuiniger in de trainings- en gebruiksfase en draagt zo bij aan duurzaamheid in de gehele levenscyclus.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-eenvoudigere-algoritmes/#modellen-vereenvoudigen-en-focussen-op-kernfunctionaliteit","title":"Modellen vereenvoudigen en focussen op kernfunctionaliteit","text":"
Wanneer je een nieuw algoritme ontwikkelt, kun je de omvang en rekenbelasting beperken door alleen noodzakelijke functionaliteit op te nemen. Focus op de kernfunctionaliteit, zodat je gebruik maakt van een kleiner model dat beter te begrijpen en gemakkelijker te beheren is. Het vermijden van overbodige functionaliteiten maakt het algoritme minder zwaar en verlaagt de milieu-impact aanzienlijk.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-eenvoudigere-algoritmes/#minder-complexiteit-door-divide-and-conquer-en-dynamisch-programmeren","title":"Minder complexiteit door divide-and-conquer en dynamisch programmeren","text":"
Een populaire methode om complexiteit te verlagen is het divide-and-conquer principe, waarbij je een grote algoritmische berekening opsplitst in kleinere, overzichtelijke deelberekeningen en deze vervolgens oplost (je splitst hierbij het technische probleem in meerdere kleinere problemen). Dit vermindert de rekenlast aanzienlijk en verhoogt de effici\u00ebntie. Ook kun je met dynamisch programmeren optimalisaties toevoegen door eerder berekende resultaten op te slaan en te hergebruiken, wat herhaling van berekeningen voorkomt en de rekenkracht vermindert.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-eenvoudigere-algoritmes/#minder-complexiteit-door-modeloptimalisatie","title":"Minder complexiteit door modeloptimalisatie","text":"
Door gebruik te maken van pruning kunnen minder relevante verbindingen en nodes in een neuraal netwerk worden verwijderd, waardoor de rekenbelasting vermindert.
Quantization verlaagt de precisie van numerieke waarden in een model, wat opslag en rekenkracht verlaagt zonder de prestaties significant te be\u00efnvloeden.
Knowledge distillation kan verder helpen door de kennis van een groot model over te dragen naar een kleiner, minder complex model, dat vervolgens effici\u00ebnter werkt.
Ontwerpen zonder oog voor effici\u00ebntie kan leiden tot energie-intensieve algoritmes die hoge kosten en milieubelasting met zich meebrengen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-eenvoudigere-algoritmes/#bronnen","title":"Bronnen","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-eenvoudigere-algoritmes/#-what-is-knowledge-distillation-ibm","title":"- What is knowledge distillation? (IBM)","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-12-eenvoudigere-algoritmes/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-13-vereisten-onderdeel-algemene-inkoopvoorwaarden-en-contractovereenkomst/","title":"Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst.","text":"
owp-13OntwerpProjectleiderBeleid en adviesPublieke inkoopTransparantie
Door vereisten die gelden voor algoritmes onderdeel te maken van contractvoorwaarden, is voor een aanbieder vooraf duidelijk aan welke voorwaarden zij moeten voldoen als zijn algoritmes willen aanbieden aan overheidsorganisaties.
Het is van belang om een afweging te maken welke vereisten voor algoritmes als 'algemene contractvoorwaarden' kunnen gelden en welke aanvullend in een contractovereenkomst moeten worden opgenomen.
Door de vereisten voor een verantwoorde inzet van algoritmes niet te communiceren met aanbieders, is het voor hen (deels) onduidelijk aan welke vereisten diens algoritmes moet voldoen om te kunnen contractueren met overheidsorganisaties.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-14-verwerkersovereenkomst-onderdeel-aanbesteding/","title":"Maak het opstellen van een verwerkersovereenkomst onderdeel van de aanbesteding als persoonsgegevens worden verwerkt.","text":"
owp-14OntwerpMonitoring en beheerProjectleiderBeleid en adviesPublieke inkoopPrivacy en gegevensbescherming
Het opstellen van een verwerkersovereenkomst met aanbieder is onderdeel van de aanbesteding als persoonsgegevens worden verwerkt of noodzakelijk zijn voor het trainen of genereren van output door algoritmes van aanbieder.
Een verwerkersovereenkomst moet worden opgesteld als persoonsgegevens worden verwerkt voor het trainen of het genereren van output door algoritmes van aanbieder. Met een verwerkersovereenkomst worden een aantal afspraken schriftelijk vastgelegd het bij de verwerking van persoonsgegevens. Het gaat om de volgende zaken:
Algemene beschrijving. Een omschrijving van het onderwerp, de duur, de aard en het doel van de verwerking, het soort persoonsgegevens, de categorie\u00ebn van betrokkenen en uw rechten en verplichtingen als verwerkingsverantwoordelijke.
Instructies voor de verwerking. De verwerking vindt in principe uitsluitend plaats op basis van uw schriftelijke instructies. De verwerker mag de persoonsgegevens niet voor eigen doeleinden gebruiken. Geheimhoudingsplicht. Personen in dienst van of werkzaam voor de verwerker hebben een geheimhoudingsplicht. Beveiliging. De verwerker treft passende technische en organisatorische maatregelen om de verwerking te beveiligen. Bijvoorbeeld pseudonimisering en versleuteling van persoonsgegevens, permanente informatiebeveiliging, herstel van beschikbaarheid en toegang tot gegevens bij incidenten, regelmatige beveiligingstesten.
Subverwerkers. De verwerker schakelt geen subverwerker(s) in zonder uw voorafgaande schriftelijke toestemming. De verwerker legt aan een subverwerker in een subverwerkersovereenkomst dezelfde verplichtingen op als de verwerker richting u heeft. In de overeenkomst kunt u ook direct afspreken dat de verwerker subverwerkers mag inschakelen en onder welke voorwaarden. Komt de subverwerker de verplichtingen niet na? Dan blijft de verwerker volledig aansprakelijk richting u voor het nakomen van de verplichtingen van de subverwerker (artikel 28, vierde lid, van de AVG).
Privacyrechten. De verwerker helpt u om te voldoen aan uw plichten als betrokkenen hun privacyrechten uitoefenen (zoals het recht op inzage, correctie, verwijdering en dataportabiliteit).
Andere verplichtingen. De verwerker helpt u ook om andere verplichtingen na te komen. Zoals bij het melden van datalekken, het uitvoeren van een data protection impact assessment (DPIA) en bij een voorafgaande raadpleging.
Gegevens verwijderen. Na afloop van de verwerkingsdiensten verwijdert de verwerker de gegevens. Of bezorgt de verwerker de gegevens aan u terug, als u dat wilt. Ook verwijdert de verwerker kopie\u00ebn. Tenzij de verwerker wettelijk verplicht is de gegevens te bewaren.
Audits. De verwerker werkt mee aan uw audits of die van een derde partij. En stelt alle relevante informatie beschikbaar om te kunnen controleren of de verwerker zich houdt aan de hierboven genoemde verplichtingen (artikel 28 AVG).
Er is sprake van een onrechtmatige verwerking van persoonsgegevens als geen verwerkersovereenkomst is opgesteld tussen de verwerker en de verwerkingsverantwoordelijke.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-15-leveren-bewijs_voldoen-aan-vereisten-algoritme-aanbieder/","title":"Maak het leveren van bewijs voor het voldoen aan de vereisten voor algoritmes onderdeel van de beoordeling van een inschrijving.","text":"
owp-15OntwerpProjectleiderBeleid en adviesPublieke inkoop
Het leveren van bewijs door aanbieder dat de ontwikkelde algoritmes voldoen aan de vereisten, draagt bij aan het kunnen beoordelen of een aanbieder geschikt is om mee te contracteren. Bij het leveren van bewijs kan worden gedacht aan het overhandigen van bijvoorbeeld een certificaat of een EU-conformiteitsverklaring voor hoog risico AI-systemen.
Daarbij is het relevant om te beoordelen in hoeverre er is voldaan aan geharmoniseerde standaarden. Deze standaarden zijn momenteel in ontwikkeling. In de (nabije) toekomst zal dit naar verwachting op een vergelijkbare manier kunnen worden benaderd als bij het moeten leveren van een NEN-ISO 27001 certificaat (voldoen aan informatiebeveiligingsvereisten) door een leverancier.
Er wordt gecontracteerd met een aanbieder die niet voldoet aan de vereisten voor een verantwoorde inzet van algoritmes.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-15-leveren-bewijs_voldoen-aan-vereisten-algoritme-aanbieder/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-16-leveren-bewijs-door-aanbieder-niet-schenden-auteursrechten/","title":"Laat aanbieder(s) bewijs leveren dat de door hen ontwikkelde algoritmes geen inbreuk maken op de auteursrechten van derden met de trainingsdata en de output.","text":"
owp-16Dataverkenning en datapreparatieVerificatie en validatieProjectleiderBeleid en adviesPublieke inkoopData
Maak het al dan niet kunnen leveren van bewijs door een aanbieder dat auteursrechten niet worden geschonden met de trainingsdata en output van diens algoritme van bijvoorbeeld een aanbesteding.
Algoritmes worden veelal getraind aan de hand van een omvangrijke hoeveelheid data. Wanneer grote hoeveelheden data, bijvoorbeeld door deze te scrapen van internet, worden gebruikt is het zeer aannemelijk (of: nagenoeg zeker) dat zich onder de gescrapete inhoud (ook) veel auteursrechtelijk beschermde werken bevinden, zoals bijvoorbeeld e-books en afbeeldingen. De gebruikte auteursrechtelijke werken kunnen soms bijvoorbeeld uit illegale bron verkregen zijn, en ook los daarvan zijn rechthebbenden veelal niet op de hoogte van het feit dat hun auteursrechtelijke werken voor de ontwikkeling van een algoritme of AI gebruikt worden.
Onder auteursrechtjuristen wordt aangenomen dat het gebruik van auteursrechtelijk beschermde werken ter training van algoritmes (waarschijnlijk) als kopi\u00ebren geldt: een handeling die de rechthebbende kan verbieden. Dat betekent dat aanbieders van algoritmes het gebruik van auteursrechtelijk beschermd materiaal in de inputfase steeds moeten kunnen legitimeren op grond van (a) toestemming van de rechthebbende(n) of (b) een in de wet neergelegde exceptie op het auteursrechtelijke verveelvoudigingsrecht.
Laat de aanbieder(s) uitleggen en (aantoonbaar) onderbouwen op welke manier de trainingsdata is verkregen en of dit rechtmatig was. Laat de aanbieders(s) ook aantonen welke maatregelen er zijn getroffen om dit te voorkomen en ga hier eventueel over in gesprek. Maak een jurist onderdeel van de beoordeling hiervan. Overweeg om een bronvermelding te laten opnemen.
Laat de aanbieder(s) uitleggen en (aantoonbaar) onderbouwen op welke manier de trainingsdata is verkregen en of dit rechtmatig was. Laat de aanbieders(s) ook aantonen welke maatregelen er zijn getroffen om dit te voorkomen. Maak een jurist onderdeel van de beoordeling hiervan. Overweeg om een bronvermelding te laten opnemen.
Het is van belang dat de (rest)risico's inzichtelijk zijn gemaakt als er sprake is van een (potenti\u00eble) schending van auteursrechten. Laat een aanbieder deze risico's inzichtelijk maken, zodat aanbieder en gebruiksverantwoordelijke maatregelen kunnen treffen en handelen als dit nodig is. Beoordeel of deze rest(risico's) acceptabel zijn.
Neem in de conceptovereenkomst op dat de aanbieder garandeert dat auteursrechten niet worden geschonden met de trainingsdata of output van het algoritme en dat aanbieder dit gedurende de ontwikkeling en levensduur actief bewaakt.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-17-beoordeel-aansprakelijkheidsvoorwaarden-van-aanbieder/","title":"Aansprakelijkheidsvoorwaarden van een aanbieder worden beoordeeld in de aanbesteding","text":"
owp-17OntwerpImplementatieJuristBeleid en adviesPublieke inkoop
Eindgebruikers van algoritmes kunnen er niet altijd op vertrouwen, of (eenvoudig) nagaan, of datgene wat zij door middel van een algoritme laten genereren, inbreuk maakt op rechten van anderen. Het is onwenselijk dat een eindgebruiker aansprakelijk wordt gesteld voor het maken van een inbreuk op rechten van derden, als deze gebruik maakt van algoritmes die worden aangeboden door aanbieders. Organisatie moeten daarom afspraken hierover maken met aanbieders.
Hoe groot de kans is dat eindgebruikers vanwege het gebruik van algoritmes aansprakelijk worden gesteld, is nog onduidelijk. Er zijn wel voorbeelden waarbij eindgebruikers voor een eventuele inbreuk aansprakelijk kunnen worden gesteld.
Op dit moment zijn (nog) geen gevallen of rechtszaken bekend waarin eindgebruikers (of hun werkgevers) aansprakelijk zijn gesteld voor een inbreuk op het intellectuele-eigendomsrecht vanwege het gebruik van op basis van algoritme. Feit is echter wel dat een dergelijke aansprakelijkstelling in voorkomende gevallen dus mogelijk zullen zijn, te meer nu de aanbieders van algoritmes in hun algemene voorwaarden het risico voor aansprakelijkheid volledig of grotendeels uitsluiten, of zelfs verlangen dat gebruikers hen vrijwaren voor de gevolgen van eventuele aansprakelijkstellingen.
Het is daarom van belang om een beoordeling te maken in hoeverre de aansprakelijkheidsvoorwaarden van de aanbieder passend zijn. Maak een jurist onderdeel van de beoordeling.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-18-maak-vereisten-onderdeel-van-subgunningscriteria/","title":"Maak vereisten onderdeel van (sub)gunningscriteria bij een aanbesteding.","text":"
Door een vereiste onderdeel te maken van een (sub)gunningscriteria, ontstaat een mogelijkheid voor aanbieders om zich te onderscheiden van andere aanbieders.
Dit kan zorgen voor een extra stimulatie op kwaliteitsaspecten van algoritmes
In de context van algoritmes is dit in het bijzonder relevant, bijvoorbeeld in relatie tot vereisten als non-discriminatie, eerbiedigen fundamentele rechten of het verbod op schenden auteursrechten.
Door vereisten te vertalen naar een (sub)gunningscriteria, kan een inhoudelijke beoordeling worden gemaakt in hoeverre een aanbieder voldoet aan deze vereisten.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-19-ruimte-voor-samenwerking-met-aanbieder/","title":"Cre\u00eber ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren","text":"
Om op een betekenisvolle manier invulling te geven aan bepaalde vereisten, kan het noodzakelijk zijn dat opdrachtgever en aanbieder (innovatief) moeten gaan samenwerken. Op basis van nieuwe wet- en regelgeving (bv. AI-Verordening) of geharmoniseerde standaarden kunnen aanbieders mogelijk nog niet voldoen aan nieuwe vereisten. Het kan ook onduidelijk zijn hoe moet worden voldaan aan vereisten nu de technologie zich snel ontwikkelt of dat de specifieke omstandigheden van het beoogde gebruik vragen om een samenspel tussen opdrachtgever en aanbieder.
Bij een verantwoorde inzet van algoritmes kan het bij vereisten zoals non-discriminatie, transparantie, menselijke controle en grondrechten van belang zijn om samen te onderzoeken hoe hier invulling aan moet worden gegeven. Het is belangrijk om bij de behoeftestelling al te verkennen om welke onderwerpen dit mogelijk van toepassing is. Bij een marktverkenning of informatiesessie kan worden verkend hoe aanbieders ervoor staan. Op basis hiervan kan worden beoordeeld in hoeverre bijvoorbeeld in een aanbesteding contractuele ruimte moet worden gecre\u00eberd voor opdrachtgever en aanbieder om hieraan te werken.
Door niet te kunnen samenwerken aan vereisten, kan de situatie ontstaan dat uiteindelijk niet op een betekenisvolle manier wordt voldaan aan deze vereisten voor een verantwoorde inzet van algoritmes. Gebrek aan samenwerking kan leiden tot onvermogen om de benodigde vereisten voldoende in de praktijk te garanderen. Ook is het belangrijk dat de verantwoordelijke goed genoeg begrijpt hoe het algoritme werkt en welke keuzes er gemaakt zijn tijdens het ontwerp, omdat alleen dan goed beoordeeld kan worden welke vereisten zijn voldaan en welke risico\u2019s nog niet of minder goed zijn afgedekt.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-20-vaststellen-aanleveren-informatie-technische-documentatie/","title":"Vul technische documentatie van aanbieder aan met relevante informatie vanuit de gebruiksverantwoordelijke.","text":"
owp-20OntwerpProjectleiderBeleid en adviesOntwikkelaarPublieke inkoopTransparantie
Vul technische documentatie van aanbieder aan met relevante informatie vanuit de gebruiksverantwoordelijke, zodat het alle relevante onderdelen van het algoritme zijn beschreven.
Het is van belang dat duidelijke afspraken worden gemaakt over het opstellen, aanvullen en actueel houden van technische documentatie van algorites. Bij het inkopen van algoritmes moet hier rekening mee worden gehouden. De aanbieder zal een belangrijk deel van de technische documentatie moeten aanleveren, maar bij gebruik door de gebruiksverantwoordelijken zal deze informatie moeten worden aangevuld.
Bespreek met het projectteam welke onderdelen van de technische documentatie, als genoemd in de Bijlage 4 AI-verordening, van het AI-systeem door welke partij (aanbieder of gebruiksverantwoordelijke) moeten worden ingevuld of aangevuld.
Hierbij is het van belang dat de documentatie aansluit bij de verschillende gebruikers van het systeem, waarbij rekening wordt gehouden met verschillende toepassingen of versies. Bespreek met het projectteam welke onderdelen van de technische documentatie voor AI-systemen, als genoemd in de Bijlage 4 AI-verordening, door welke partij (aanbieder of gebruiksverantwoordelijke) moeten worden ingevuld of aangevuld.
Door de technische documentatie niet volledig op te stellen, is niet geheel transparant hoe het algoritme functioneert en kan daar geen verantwoording voor worden afgelegd.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-21-uitvoeren-audit-voor-naleving-vereisten/","title":"Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst","text":"
owp-21OntwerpProjectleiderBeleid en adviesPublieke inkoop
Het is van belang dat opdrachtgever mogelijkheden heeft om te controleren in hoeverre door aanbieder/opdrachtnemer wordt voldaan aan naleving van de contractvoorwaarden
Er kunnen geen controles of inspecties worden uitgevoerd om te beoordelen of de algoritmes van aanbieder nog voldoen aan de vereisten voor een verantwoorde inzet van algoritmes.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-22-invloed-besluitvorming-algoritmes-aanbieders/","title":"Bepaal in een aanbesteding of algoritmes van een aanbieder bepalende invloed hebben in een besluit richting personen","text":"
owp-22OntwerpProjectleiderBeleid en adviesOntwikkelaarPublieke inkoopTransparantie
Ga na of algoritmes van een aanbieder een bepalende invloed hebben in een besluit richting personen en laat de aanbieder onderbouwen in hoeverre dit wel of niet het geval is.
Als overheidsorganisaties algoritmes willen gebruiken van aanbieders, dan zal bijvoorbeeld tijdens een aanbestedingsproces moeten worden beoordeeld in hoeverre deze algoritmes invloed hebben op besluitvormingprocessen van deze organisaties. Algoritmes kunnen namelijk gebruikers ondersteunen bij de totstandkoming van besluiten, maar ook de besluitvorming van gebruikers overnemen. De mate van menselijke tussenkomst speelt daarbij een belangrijk rol.
Een opdrachtgever moet zelf bepalen welke algoritmes, gezien de specifieke context, wenselijk en toegestaan zijn. Vervolgens moet worden beoordeeld of de algoritmes die worden aangeboden door aanbieder daarbij aansluiten.
Tijdens het aanbestedingsproces moeten daarom inzichten worden verkregen hoe de algoritmes van aanbieders functioneren om tot een beoordeling te kunnen komen. Laat de aanbieder dit toelichten.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-23-kennisoverdracht-en-ondersteuning-aanbieder/","title":"Laat de aanbieder aangeven welke mate van opleiding en ondersteuning bij de implementatie nodig is om de beoogde algoritmes verantwoord te gebruiken.","text":"
owp-23OntwerpProjectleiderBeleid en adviesOntwikkelaarPublieke inkoop
Laat de aanbieder aangeven welke mate van kennisoverdracht (opleiding en training) en ondersteuning bij de organisatorische implementatie nodig is om de beoogde algoritmes verantwoord te kunnen gebruiken.
Beoordeel of de kennisoverdracht en ondersteuning van aanbieder voldoende is om voor een langere periode zelfstandig op een verantwoorde wijze gebruikt te kunnen maken van de algoritmes.
Laat de aanbieder aangeven op welk niveau de noodzakelijkerwijs te leveren trainingen passend is voor het beoogde gebruik, waarbij de opdrachtgever vooraf inzicht geeft in het bestaande niveau, zodat een aanbieder concreet kan zijn over eventuele verschillen tussen beiden.
Zonder kennisoverdracht aan de organisaties en gebruikers, ontstaat het risico's dat algoritmes onjuist worden toegepast of dat de output onjuist wordt ge\u00efnterpreteerd en zo fouten ontstaan bij het uitvoeren van overheidstaken.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-24-risico-analyse-informatiebeveiliging-leverancier/","title":"Voer een risico-analyse met de aanbieder uit op het gebied van informatiebeveiliging bij een uitbestedingstraject","text":"
owp-24OntwerpProjectleiderBeleid en adviesTechnische robuustheid en veiligheidPublieke inkoop
Stel vast of een aanbieder voldoet aan de Baseline Informatiebeveiliging Overheid.
Bespreek de informatiebeveiligingseisen met aanbieder die verband houden met de beschikbaarheid, integriteit en vertrouwelijkheid van de informatie en de informatiesystemen.
Bepaal of er, gezien de restrisico's, aanvullende beveiligingsmaatregelen (door de aanbieder of opdrachtgever) moeten worden getroffen om deze te beschermen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-25-maak-vereisten-onderdeel-van-programma-van-eisen/","title":"Maak vereisten onderdeel van het programma van eisen bij een aanbesteding","text":"
owp-25OntwerpProjectleiderBeleid en adviesOntwikkelaarPublieke inkoop
Door vereisten onderdeel te maken van het programma van eisen bij een aanbesteding, is het voor aanbieders duidelijk aan welke specifieke eisen een oplossing moet voldoen.
Op basis hiervan kan een aanbieder een zo goed mogelijke aanbieding doen.
Afhankelijk van de behoeftestelling kan het relevant zijn om bepaalde vereisten te verfijnen in het Programma van Eisen en aan te geven wanneer hieraan voldaan is, bijvoorbeeld met betrekking tot het transparantievereiste. Bepaal met het inkoopteam bij welke vereisten dit noodzakelijk is.
Er is niet gespecificeerd en daarmee achteraf niet afdwingbaar dat algoritmes aan bepaalde vereisten moeten voldoen die van de belangen voor de betreffende overheidsorganisatie.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-25-maak-vereisten-onderdeel-van-programma-van-eisen/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-26-maak-vereisten-onderdeel-van-service-level-agreement/","title":"Maak vereisten voor algoritmes onderdeel van de Service Level Agreement","text":"
owp-26OntwerpProjectleiderBeleid en adviesOntwikkelaarPublieke inkoop
Onderzoek met het inkoopteam het relevant is om vereiste voor een verantwoorde inzet van algoritmes onderdeel te maken van de Service Level Agreement.
Met een SLA kunnen specifieke afspraken worden gemaakt over de kwaliteit van de dienstverlening van aanbieder.
Hierbij kan worden gedacht aan onderwerpen als incidentmanagement, servicemanagement, verantwoordelijkheden matrix, hersteltijd, prestatiecriteria, reproduceerbaarheid, versiebeheer van de gebruikte algoritmes en informatiebeveiliging.
Laat de aanbieder aangeven welke vormen van onderhoud aan de betreffende algoritmes nodig zijn en de snelheid waarmee signalen vanuit gebruik, ongeacht de bron, kunnen worden verwerkt in het systeem en welke expertise hiervoor beschikbaar is.
Zonder concrete afspraken te maken in de SLA, ontstaat het risico dat aloritmes (tijdelijk) of te langdurig niet kunnen worden gebruikt, onjuist fuctioneren of dat er geen verantwoording over de output kan worden afgelegd.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-27-contractuele-afspraken-data-en-artefacten/","title":"Maak (contractuele) afspraken over data en artefacten met een aanbieder","text":"
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-28-pas-vastgestelde-beleidskaders-zijn-nageleefd/","title":"Pas vastgestelde interne beleidskaders toe en maak aantoonbaar dat deze zijn nageleefd bij het ontwikkelen, inkopen en gebruiken van algoritmes.","text":"
owp-28OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Interne vastgestelde beleidskaders moeten worden toegepast bij het ontwikkelen, inkopen of gebruiken van algoritmes.
Het is van belang dat tijdig, bijvoorbeeld in de probleemanalyse fase, inzichtelijk wordt gemaakt welke interne beleidskaders moeten worden toegepast.
Hierbij kan worden gedacht aan definities die moeten worden gehanteerd, het naleven van inkoopbeleid, strategisch beleid volgen met betrekking tot het mogen inzetten van algoritmes binnen de organisaties of het doorlopen van processen en protocollen die moeten worden toegepast.
Vraag de betrokken experts welke beleidskaders van toepassing zijn vanuit diens specifieke expertise.
Ten behoeve van controles en audits is het van belang dat aantoonbaar wordt gemaakt dat de vastgestelde beleidskaders zijn nageleefd.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-29-informeer_betrokkenen/","title":"Stel vast welke betrokkenen ge\u00efnformeerd moeten worden en welke informatie zij nodig hebben.","text":"
pba-04OntwerpOntwikkelenProjectleiderBeleid en adviesTransparantie
Stel vast welke betrokkenen ge\u00efnformeerd moeten worden over de ontwikkeling en het gebruik van algoritmes en welke informatie zij hierover nodig hebben.
Welke informatie over algoritmes relevant is, verschilt per partij. Het is van belang om deze partijen in beeld te brengen en vast te stellen welke informatie voor hen relevant is. Raadpleeg hierbij vastgestelde beleidskaders, waarin is beschreven welke informatie in welke gevallen moet worden gecommuniceerd.
Stel bijvoorbeeld de volgende vragen:
Vragen Acties die je kan ondernemen Wie heeft informatie nodig over het ontwikkelen en gebruiken van algoritmes? Stel vast welke betrokken(en) binnen of buiten de organisatie iets over het algoritme wil of zou moeten weten. Wat voor informatie voor algoritmes heeft deze betrokken partij nodig? Toets dit ook bij vastgesteld beleid. Ga na wat de doelgroep moet weten over de werking of inzet van het algoritme. Bepaal om welk technisch niveau dit gaat. Op wat voor manier informeer je de betrokken partij? Pas de juiste methodes toe om de doelgroep te informeren. Wanneer wordt deze informatie gebruikt? Ga na in welke fase van de levenscyclus de gewenste informatie over de werking of inzet van het algoritme wordt gebruikt. Hoe verschilt de informatiebehoefte in elke fase van de levenscyclus? Wie is er verantwoordelijk voor de informatieverstrekking? Bepaal wie er informatie over het algoritme moet ophalen, en wie er voor die informatie kan zorgen.
Maak bij het vaststellen van de informatiebehoefte onderscheid tussen transparantie, uitlegbaarheid en interpreteerbaarheid. Houd daarbij ook rekening met zaken die moeten worden gecommuniceerd. Denk hierbij aan het kunnen uitleggen hoe een automatisch genomen besluit tot stand is gekomen.
Stel een communicatieplan op over de ontwikkeling en gebruik van het algoritme. Bepaal vervolgens aan de hand van de levenscyclus wanneer, welke informatie wanneer beschikbaar moet worden gesteld. Stel vast wie verantwoordelijk is voor het opstellen of het leveren van een bijdrage aan deze informatie. In het communicatieplan kunnen verder zaken worden opgenomen als:
Het doel van het algoritme.
Mogelijkheden van het algoritme.
Beperkingen van het algoritme.
Context waarin het algoritme wordt toegepast.
Wie heeft informatie nodig?
Wat voor informatie heeft deze betrokken partij nodig?
Op wat voor manier informeer je de betrokken partij?
Wanneer wordt deze informatie gebruikt?
Wie is er verantwoordelijk voor de informatieverstrekking?
Hoe en naar wie communiceer je in het geval van een incident?
Wat is de planning voor de communicatieactiviteiten?
Overleg regelmatig met betrokkenen en belanghebbenden in hoeverre de informatieverstrekking aansluit bij de (nieuwe) behoeften.
Het risico is dat partijen niet of onvolledig worden ge\u00efnformeerd over de ontwikkeling en gebruik van algoritmes, en hierdoor hun rechten niet kunnen effectueren of belangen kenbaar kunnen maken.
Slimme keuzehulp aangifte internetoplichting: Ik heb iets gekocht, maar niets ontvangen
Chatbot gemeente Hillegom
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-toepassen_uitlegbaarheidstechnieken/","title":"Pas uitlegbaarheidstechnieken toe en evalueer en valideer deze.","text":"
owp-07OntwerpProjectleiderBeleid en adviesOntwikkelaarTransparantie
Uitlegbaarheidstechnieken helpen om de werking van een algoritme transparant te maken. De keuze voor het type algoritme bepaalt hoe transparant je kunt zijn. Van rekenregels kun je namelijk precies uitleggen hoe deze tot een beslissing komen. Maar complexe AI-systemen kunnen een black box zijn. Het is dan onduidelijk hoe deze systemen beslissingen maken.
Afhankelijk van het type algoritme zijn er uitlegbaarheidstechnieken beschikbaar om de werking en keuzes van een algoritme bloot te leggen. Er moet eerst een keuze worden gemaakt welk type algoritme geschikt is gezien de informatiebehoefte. Het is belangrijk om samen met de betrokken partijen vast te leggen welke uitlegbaarheidstechnieken moeten worden toegepast. Bij bronnen kan informatie worden geraadpleegd die helpen bij het vinden van de juiste methodiek.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-toepassen_uitlegbaarheidstechnieken/#gebruik-uitlegbaarheid-bij-besluiten","title":"Gebruik uitlegbaarheid bij besluiten","text":"
Onderzoek hoe uitlegbaarheidstechnieken kunnen bijdragen aan het motiveren van besluiten. Dit kan bijvoorbeeld door:
- De output van het algoritme te koppelen aan het zaakdossier, met een toelichting op de interpretatie van die output.\n- De output of een samenvatting hiervan op te nemen in de beschikking.\n
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-toepassen_uitlegbaarheidstechnieken/#beperkingen-en-veiligheid","title":"Beperkingen en veiligheid","text":"
Vanuit veiligheidsoverwegingen kan bij specifieke algoritmes besloten worden om bepaalde informatie over de werking van een algoritme niet aan iedereen vrij te geven. Denk hierbij aan de beperkingen die de Wet Open Overheid oplegt. Houd ook rekening met mogelijke risico\u2019s op aanvallen die kunnen ontstaan door het gebruik van uitlegbaarheidstechnieken, zoals omschreven in: A Survey of Privacy-Preserving Model Explanations: Privacy Risks, Attacks, and Countermeasures.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-toepassen_uitlegbaarheidstechnieken/#evaluatie-en-validatie","title":"Evaluatie en validatie","text":"
Evalueer de uitlegbaarheid van het systeem op functionele, operationele, bruikbaarheids- en veiligheidsvereisten in samenwerking met betrokkenen zoals gebruikers. Valideer of de uitkomst van het algoritme begrijpelijk genoeg is voor gebruiker om hier op een verantwoorde wijze mee te werken.
Als er geen rekening wordt gehouden met de uitlegbaarheid van een algoritme binnen een bepaalde context, ontstaat het risico dat de output van het algoritme niet wordt begrepen of verkeerd wordt ge\u00efnterpreteerd, wat kan leiden tot onjuist gebruik.
Gemeente Amsterdam - Onderzoekswaardigheid Algoritme \u2018Slimme check\u2019. Een tool die de medewerkers helpt om te bepalen of een aanvraag levensonderhoud onderzoekswaardig is. (niet meer in gebruik!): Overzicht Verwerkte Data en Features
Vastgestelde (interne) beleidskaders moeten worden toegepast bij het ontwikkelen, inkopen of gebruiken van algoritmes. Denk aan specifiek beleid voor de inzet van algoritmes.
Het is van belang dat tijdig, bijvoorbeeld in de probleemanalyse fase, inzichtelijk wordt gemaakt welke interne beleidskaders moeten worden toegepast.
Hierbij kan worden gedacht aan definities die moet worden gehanteerd, het naleven van inkoopbeleid, strategisch beleid volgen met betrekking tot het mogen inzetten van algoritmes binnen de organisaties of het doorlopen van processen en protocollen die moeten worden toegepast.
Vraag de betrokken experts welke beleidskaders van toepassing zijn vanuit diens expertise.
Ten behoeve van controles en audits is het van belang dat aantoonbaar wordt gemaakt dat de vastgestelde beleidskaders zijn nageleefd.
Stel functionele eisen voor de datakwaliteit vast en analyseer structureel of er aan deze eisen wordt voldaan.
De kwaliteit van de data die als input voor het algoritme wordt gebruikt is bepalend voor de uitkomsten van het algoritme. Hier wordt soms ook naar gerefereerd als garbage in = garbage out.
Een vraag die gesteld dient te worden: beschrijft de data het fenomeen dat onderzocht dient te worden?
Het Raamwerk gegevenskwaliteit bevat een breed toepasbare set van kwaliteitsdimensies:
juistheid
compleetheid
validiteit
consistentie
actualiteit
precisie
plausibiliteit
traceerbaarheid
begrijpelijkheid
Deze dimensies zijn aangevuld met kwaliteitsattributen welke gebruikt kunnen worden om de verschillende dimensies meetbaar te maken.
De vraag of de data kwaliteit voldoende is, hangt sterk samen met de vraag of er bias in de onderliggende data zit. Analyseer daarom ook welke bias en aannames er besloten zijn in de onderliggende data. Denk hierbij onder andere aan de volgende vormen van bias:
historische bias
meetbias
representatie bias
Zorg dat je data vindbaar, toegankelijk, interoperabel en herbruikbaar (FAIR) is.
Let op!
Wanneer je een algoritme inkoopt en de ontwikkeling van het algoritme uitbesteedt aan een derde partij, houdt er dan dan rekening mee dat data traceerbaar en reproduceerbaar moet zijn. Maak hier heldere afspraken over met de aanbieder.
Door onjuiste beslissingen van gegevens kunnen verkeerde beslissingen genomen worden.
Het model cre\u00ebert onwenselijke systematische afwijking voor specifieke personen, groepen of andere eenheden. Dit kan leiden tot ongelijke behandeling en discriminerende effecten met eventuele schade voor betrokkenen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-02-fair-data/","title":"Maak waardevolle data vindbaar, toegankelijk, interoperabel en herbruikbaar (FAIR) binnen en buiten de eigen organisatie.","text":"
dat-02Dataverkenning en datapreparatieOntwikkelaarData
De internationale FAIR-principes zijn richtlijnen voor de manier van beschrijven, opslag en publicatie van data.
Findable (vindbaar): Metadata moet gemakkelijk te vinden zijn voor zowel mensen als computers.
Accessible (toegankelijk): Gebruikers moeten weten hoe toegang tot de data verkregen kan worden (autorisatie en authenticatie)
Interoperable (uitwisselbaar): Data moet meestal ge\u00efntegreerd worden met andere data en bijbehorden applicaties, opslag en processen.
Reusable (herbruikbaar): Het uiteindelijke doel van FAIR is om hergebruik van data te optimaliseren.
Wanneer je voldoet aan de 15 principes is je data 'machine actionable'. Dit maakt het mogelijk dat de data effectief gebruikt kan worden voor verschillende algoritmes.
FAIR data betekent niet per definitie dat data open data is. Juist ook voor (privacy) gevoelige data (gesloten data) kan het heel zinvol zijn om te voldoen aan de principes voor FAIR data, om juist daarmee specifieke geautoriseerde toegang tot gevoelige data mogelijk te kunnen maken.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-02-fair-data/#15-principes-voor-fair-data","title":"15 principes voor FAIR data","text":"
F1: Aan (meta)data wordt een wereldwijd unieke en permanente identifier toegevoegd
Voorbeeld
Met behulp van Persistent Identifiers (PID) zorg je ervoor dat jouw data (bijvoorbeeld onderzoeksdata) altijd vindbaar blijft. PID's kun je vergelijken met het ISBN-nummer bij boeken. Het idee is dat ook als de locatie of de onderliggende infrastructuur verandert, de verwijzing intact blijft.
F2: Data wordt beschreven met rijke metadata
Voorbeeld
Het team van data.overheid.nl heeft de metadata standaard DCAT-AP-DONL ontwikkeld die speciaal voor de uitwisseling van dataset informatie voor de Nederlandse situatie is ingericht. Dit is gebaseerd op de Data Catalog Vocabulary (DCAT) versie die de Europese Unie heeft opgesteld. Je kan hierover meer lezen op de site van data.overheid.nl.
F3: Metadata bevat duidelijk en expliciet de identificatie van de data die ze beschrijven
F4: (Meta)data worden geregistreerd of ge\u00efndexeerd in een doorzoekbare bron
I1: (Meta)data gebruikt een formele, toegankelijke, gedeelde en breed toepasbare taal voor kennisrepresentatie
I2: (Meta)data gebruikt gegevenswoordenboeken of vocabulaires die FAIR-principes volgen
Voorbeeld woordenboek
In het woordenboek Hitte staan ongeveer 230 definities van termen rond het thema hitte die gebruikt worden in het klimaatadaptatieveld. Dit woordenboek is ontwikkeld in opdracht van het ministerie van Infrastructuur en Waterstaat door overheidsstichting Geonovum.
I3: (Meta)data bevat gekwalificeerde verwijzingen naar andere (meta)data
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-04-bewaartermijnen-persoonsgegevens/","title":"Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsprocedure","text":"
dat-04OntwikkelenMonitoring en beheerJuristProjectleiderTechnische robuustheid en veiligheidPrivacy en gegevensbescherming
(Persoons)gegevens die het algoritme verwerkt worden niet langer bewaard dan voor de verwezenlijking van de verwerkingsdoeleinden noodzakelijk is.
Beschrijf de bewaartermijnen voor de gegevens, bijvoorbeeld in een DPIA.
Beschrijf hoe de (persoons)gegeven moeten worden vernietigd.
Zorg ervoor dat de vereisten met betrekking tot bewaartermijnen correct zijn of worden vertaald naar het algoritme en de onderliggende (zaak)systemen.
Controleer of deze maatregelen voor de bewaartermijnen en vernietiging van de (persoons)gegevens (in de onderliggende systemen) zijn getroffen en zorg dat dit aantoonbaar is, bijvoorbeeld met logbestanden.
Maak aantoonbaar dat persoonsgegevens zijn vernietigd, bijvoorbeeld met logbestanden.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-05-pseudonimiseren-anonimiseren/","title":"Bescherm persoonsgegevens door data te anonimiseren, pseudonimiseren of te aggregeren","text":"
dat-05Dataverkenning en datapreparatieOntwikkelenOntwikkelaarJuristPrivacy en gegevensbescherming
Als is vastgesteld welke persoonsgegevens mogen worden verwerkt voor het ontwikkelen en gebruiken van algoritmes, moet worden nagegaan of er maatregelen kunnen worden getroffen om deze te beschermen.
Het algoritme verwerkt niet meer persoonsgegevens dan noodzakelijk; de verwerkte gegevens zijn proportioneel en substantieel.
Hierbij kan worden gedacht aan het pseudonomiseren, anonimiseren of aggregeren van persoonsgegevens.
Het bepalen of persoonsgegevens mogen worden verwerkt voor algoritmes moet worden bekeken in samenhang met maatregelen die kunnen worden getroffen om deze gegevens te beschermen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-06-schending-auteursrechten/","title":"Controleer de auteursrechten van eigen data","text":"
dat-06OntwerpDataverkenning en datapreparatieJuristData
Controleer of eventueel door de eigen organisatie verstrekte data binnen of buiten auteursrechten vallen. Bij voorkeur blijven de data eigendom van de (verstrekkende) overheidsorganisatie.
Het is van belang om te controleren of de te verwerken data waar overheidsorganisaties zelf over beschikken rechtmatig zijn verkregen en geen inbreuken maken op auteursrechten. Hier kan worden gedacht aan data die is gescraped van het internet en zou kunnen worden gebruikt voor de ontwikkeling van een algoritme.
Maak gebruik van datacenters die gebruikmaken van duurzame energiebronnen en energie-effici\u00ebnte technologie\u00ebn voor de opslag en verwerking van data.
Door data op te slaan en algoritmes te laten draaien in datacenters die hernieuwbare energiebronnen inzetten en bijvoorbeeld de ontstane restwarmte recyclen, kun je de ecologische voetafdruk van de algoritmes aanzienlijk verkleinen. Datacenters die zich op duurzaamheid richten, verlagen de CO\u2082-uitstoot van hun infrastructuur en bieden mogelijk duurzaamheidsrapportages. Let bij het kiezen van een aanbieder op mogelijke greenwashing; dit gebeurt wanneer bedrijven beweren groen te zijn zonder dit met concrete maatregelen te onderbouwen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-duurzame-datacenters/#technologieen-voor-energie-efficiente-datacenters","title":"Technologie\u00ebn voor energie-effici\u00ebnte datacenters","text":"
Om datacenters energie-effici\u00ebnt te maken, zijn er verschillende benaderingen:
Gebruik van groene energiebronnen: Kies voor datacenters/aanbieders die hernieuwbare energie gebruiken. Maak bijvoorbeeld afspraken over een doel, zoals een DCie-score van minimaal 50%, gewogen over een heel jaar. De DCie score van elk Overheids Datacenter (ODC) kun je hier bekijken. Je kunt ook kijken of naast duurzame stroom ook restwarmte van servers wordt benut om bijvoorbeeld nabijgelegen gebouwen te verwarmen.
Koeling en energiebeheer optimaliseren: Adiabatische koeling, waarbij water en lucht worden gebruikt in plaats van elektriciteit, verlaagt het energieverbruik. Effici\u00ebnte stroomverdeling en warmteterugwinning dragen verder bij aan een lagere ecologische voetafdruk.
Monitoren: Blijf controleren op duurzame prestaties door te letten op certificeringen, zoals ISO 14001, ISO 50001 en BREEAM, en vraag naar energierapportages en details over het energieverbruik en de herkomst van stroom. Dit helpt om claims van duurzaamheid te toetsen en te voorkomen dat je in greenwashing trapt.
Door geen gebruik te maken van duurzame datacenters, loop je het risico op een hogere CO\u2082-uitstoot, en wordt daardoor niet aangesloten bij Rijksbreed beleid. Ook loop je risico op hogere energiekosten.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-training-validatie-en-testdata/","title":"Gebruik bij machine learning technieken gescheiden train-, test- en validatiedata en houdt rekening met underfitting en overfitting.","text":"
dat-07Dataverkenning en datapreparatieOntwikkelenOntwikkelaarDataTechnische robuustheid en veiligheidBias en non discriminatie
Indien je gebruik maakt van machine learning technieken, maak een passende keuze voor gescheiden train-, test- en validatiedata en houd hierbij rekening met underfitting en overfitting.
Deze dataset wordt gebruikt om het model te trainen. Uit deze dataset worden de onderliggende patronen of relaties geleerd die later gebruikt kunnen worden om voorspellingen mee te doen.
De kwaliteit van deze dataset moet goed zijn en zo representatief mogelijk voor de doelpopulatie. Eventuele bias of vooroordelen in deze dataset kan door het trainen in het model sluipen.
Let bij het samenstellen van de traningsset op dat de data waarop het model gebaseerd is, niet beschikbaar zijn voordat de uitkomsten zijn geobserveerd. Met andere woorden, zorg ervoor de de voorspellingen geen onderdeel kunnen zijn van de inputvariabelen.
de validatieset
De validatieset fungeert als een onafhankelijke, onbevooroordeelde dataset voor het vergelijken van de prestaties van verschillende algoritmes die zijn getraind op onze trainingsset.
Verschillende modellen kunnen getraind worden op de trainingsdataset. Zo kan je bijvoorbeeld vari\u00ebren in de (hyper)parameters of de inputvariabelen. Dit leidt tot verschillende varianten van het model. Om de prestaties van de verschillende modellen te vergelijken, moeten we een nieuwe dataset gebruiken: de validatieset. Zou je hiervoor de trainingsdataset gebruiken, kan dat leiden tot overfitting, wanneer het model dan te specifiek afgestemd is op 1 dataset. Het model kan dan niet voldoende generaliseren voor nieuwe situaties.
de testset
Nadat er met behulp van de validatieset een keuze is gemaakt voor een passend model en bijbehorende (hyper)parameters, moet je het model nog testen op nieuwe data. Dit geeft een beeld van de werkelijke prestaties van het model in nieuwe omstandigheden.
Let op dat je pas naar deze resultaten kijkt als laatste stap. Inzichten uit deze testdataset mogen niet worden meegenomen in de ontwikkeling, omdat dit kan leiden tot overfitting. Het model zal dan in productie mogelijk minder goed presteren.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-training-validatie-en-testdata/#grootte-van-de-drie-datasets","title":"Grootte van de drie datasets","text":"
Er is geen optimale verdeling van de drie datsets. Veelvoorkomende verhoudingen om je data in te splitten zijn:
80% trainingsset, 10% validatieset, 10% testset
70% trainingsset, 15% validatieset, 15% testset
60% trainingsset, 20% validatieset, 20% testset
Afhankelijk van de hoeveelheid beschikbare data en de context maak je hierin een keuze. Houdt hierbij rekening met:
Hoe minder trainingdata, hoe groter de variantie van het model tijdens het trainen. De patronen en relaties die ontdekt zijn, bevatten dan een grotere onzekerheid.
Hoe minder validatie- en testdata je gebruikt, hoe grote de variantie en de onzekerheid in de verwachte prestaties van het algoritme.
Hoe complexer het model, en hoe meer (hyper)parameters er zijn om te optimaliserne, hoe groter de validatieset moet zijn om het model met optimale presetaties te vinden. Wanneer er weinig hyperparameters zijn, is een relatief kleine validatieset vaak voldoende.
Naast dat je de datasets willekeurig kan verdelen in drie delen (aselect), kan je ook meer geavanceerde technieken gebruiken. Een robuuste en veelgebruikte techniek is k-fold cross validation, waarbij het model k keer wordt getraind op verschillende delen van de data.
Door onjuiste training van het model presteert het model in de praktijk minder goed dan bij de tests. Als trainings-, validatie- en testdata door elkaar lopen (\"data leakage\"), kan dit leiden tot overfitting, waardoor het model beter lijkt te presteren dan in werkelijkheid het geval is.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-08-eigenaarschap-data/","title":"Zorg dat je controle of eigenaarschap hebt over de data","text":"
dat-08Dataverkenning en datapreparatieProjectleiderDataPublieke inkoop
De organisatie heeft volledige controle of eigenaarschap over de data. Wanneer dit niet mogelijk is, zijn afspraken gemaakt om de functionele eisen te waarborgen.
Wanneer een algoritme ontwikkeld of ingekocht wordt, is het belangrijk om toegang tot de gebruikte data goed te regelen. Maak bijvoorbeeld afspraken over wie ervoor zorgt dat de data:
op een centrale plek beschikbaar wordt gesteld
van voldoende kwaliteit is
goed beveiligd is
Wanneer een algoritme wordt ontwikkeld door een derde partij en dus niet wordt beheerd door de eigen organisatie, maak je duidelijke afspraken over eigenaarschap van de data. Dat geldt zowel voor de inputdata als de outputdata. Zorg dat de inputdata tot je beschikking blijft, zodat resultaten altijd reproduceerbaar zijn.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-09-dataminimalisatie/","title":"Beperk de omvang van datasets voor energie-effici\u00ebntie","text":"
dat-09Dataverkenning en datapreparatieOntwikkelenOntwikkelaarProjectleiderDataDuurzaamheid
Houd datasets beperkt tot het noodzakelijke en voldoende specifiek om onnodige energieconsumptie te voorkomen tijdens de verwerking en opslag van data voor algoritmes. We noemen dit ook wel dataminimalisatie.
Hoe meer je bewaart, hoe meer ruimte dat kost om op te slaan. Bovendien verbruikt elk apparaat dat nodig is om data op te slaan stroom. Dat heeft grote invloed op de CO\u2082-uitstoot van een datacentrum. Grote datasets brengen daarom hoge energie- en opslagkosten met zich mee. Door de dataset bewust te beperken tot relevante gegevens, kun je ook de energie-effici\u00ebntie van algoritmes aanzienlijk verbeteren. Vooral bij de ontwikkeling van AI-systemen kan het verminderen van data bijdragen aan lagere energiebehoeften en CO\u2082-uitstoot.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/3-dat-09-dataminimalisatie/#technieken-voor-dataminimalisatie","title":"Technieken voor dataminimalisatie","text":"
Slimme selectie van trainingsdata: Gebruik methoden die irrelevante data uit de dataset filteren, zoals dataselectie-algoritmes en sampling-technieken. Door te focussen op relevante data, beperk je de omvang zonder de prestaties van het model te be\u00efnvloeden.
Verwijderen van redundante en dubbele data: Deduplicatie van data minimaliseert onnodige verwerkingskracht. Door alleen unieke en relevante gegevens op te slaan, wordt de opslagbehoefte verder beperkt.
Opschonen en archiveren van verouderde data: Regelmatige archivering of verwijdering van verouderde data in je dataset zorgt voor een verminderde voetafdruk en verhoogt ook de effici\u00ebntie.
Sustainable artificial intelligence \u2013 TU Delft
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-01-security-by-design/","title":"Ontwerp en ontwikkel het algoritme volgens de principes van \u2018security by design\u2019","text":"
owk-01OntwikkelenProjectleiderOntwikkelaarTechnische robuustheid en veiligheid
Hanteer principes van \u2018security by design\u2019 (informatiebeveiligingsmaatregelen) als uitgangspunten bij de ontwikkeling van het algoritme. Stel vast welke principes horen bij security by design en welke relevant zijn voor het ontwerp of de ontwikkeling van het algoritme. Mogelijke documenten waarin deze principes kunnen worden opgenomen, zijn het security beleid, of ontwikkelbeleid. Bij het bepalen en vaststellen van de juiste principes kunnen interviews met de ontwikkelaar en software-architecten helpen.
Security by design is gehanteerd en terug te zien als uitgangspunt. (BIO 14.2.1.1)
Security by design benadrukt het belang van het in een vroeg stadium integreren van securitymaatregelen. Op die manier kan worden voldaan aan regelgeving, maar wordt de weerbaarheid tegen bijvoorbeeld cyberaanvallen verhoogd. In een vroeg stadium nadenken over security betekent dat vroeg al de benodigde expertise wordt betrokken, zoals een security-officer.
Wanneer tijdens het ontwerp en de inrichting van het algoritmisch systeem niet voldoende rekening wordt gehouden met vastgestelde security-by-design principes kan dit leiden tot een onvoldoende veilige (software-)omgeving. Dit kan tot gevolg hebben: oneigenlijke toegang, wijzigingen of vernietigingen van het algoritme, de data of uitkomsten van het algoritme.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-02-stopzetten-gebruik/","title":"Maak een noodplan voor het stoppen van het algoritme","text":"
Er moet in een proces zijn beschreven wanneer en hoe het gebruik van algoritmes moet worden stopgezet.
Het is van belang dat bij het ontwerp van algoritmes er rekening wordt gehouden met dat het werkproces ook zonder het algoritme kan worden uitgevoerd.
In het geval van risicoselectie kan er bijvoorbeeld worden teruggevallen op het enkel uitvoeren van een aselecte steekproef als selectieinstrument.
Als blijkt dat het algoritme ongewenst functioneert, dan moeten (technische) maatregelen zijn getroffen waarmee het gebruik daadwerkelijk kan worden stopgezet. Denk hierbij aan een stopknop en werkinstructies hoe het gebruik kan worden be\u00ebindigd.
Maak aantoonbaar dat deze maatregelen zijn getroffen.
De proceseigenaar of een menselijk toezichthouder moet in staat zijn om het algoritme op elk moment te kunnen be\u00ebindigen.
Het stopzetten van het gebruik van een algoritme mag niet tot gevolg hebben dat betrokkenen niet meer kunnen achterhalen hoe besluiten tot stand zijn gekomen of dat gevolgen niet meer kunnen worden gecorrigeerd als dat noodzakelijk is.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-03-privacyrisico/","title":"Analyseer de privacy-risico\u2019s en neem maatregelen om deze risico\u2019s laag te houden","text":"
owk-03OntwerpOntwikkelenMonitoring en beheerProjectleiderJuristPrivacy en gegevensbescherming
Verifieer of een DPIA is uitgevoerd over het werkproces dat wordt of zal worden ondersteund met een algoritme. Zo nee, voer een risico analyse (DPIA) uit om de risico's voor de rechten en vrijheden van betrokkenen met de inzet van algoritmes in beeld te brengen.
Organisatorische en technische maatregelen moeten worden getroffen om persoonsgegevens bij de ontwikkeling en het gebruik van het algoritme te beschermen.
Beleg de mitigerende maatregelen bij betrokken actoren. Denk bijvoorbeeld aan het toekennen van de maatregelen als anonimiseren en pseudonimiseren van persoonsgegevens aan een data engineer, voordat deze kunnen worden gebruikt ten behoeve van het ontwikkelen of controleren van het algoritme.
Bepaal welke maatregelen moeten zijn gerealiseerd voordat mag worden gestart met de verwerking van de persoonsgegevens en welke moeten worden gemonitord.
Monitor de voortgang op het realiseren van de maatregelen en zorg voor bewijsstuken als deze zijn gerealiseerd. Deze bewijsstukken kunnen onderdeel worden van een audit.
Als er een noodzaak is om na verloop van tijd meer persoonsgegevens te verwerken of om andere verwerkingen uit te voeren, zal opnieuw een beoordeling moeten plaatsvinden of er privacyrisico's ontstaan en hoe deze kunnen worden gemitigeerd. Gedurende de levenscyclus van het algoritme moet aandacht blijven voor het uitvoeren van de risicoanalyse voor privacyrisico's.
Bij hoge risico's voor het verwerken van persoonsgegevens is een voorafgaande raadpleging bij de Autoriteit Persoonsgegevens onder artikel 36 AVG verplicht. Bepaal of raadpleging noodzakelijk is.
Besluit inzake lijst van verwerkingen van persoonsgegevens waarvoor een gegevensbeschermingseffectbeoordeling (DPIA) verplicht is, Autoriteit Persoonsgegevens
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-04-logging/","title":"Maak logbestanden waarin staat wie wanneer toegang had tot de data en de code","text":"
owk-04OntwikkelenMonitoring en beheerOntwikkelaarTechnische robuustheid en veiligheid
Zorg ervoor dat logbestanden worden gecre\u00eberd waarin informatie wordt geregistreerd over gebruikersactiviteiten, uitzonderingen en informatiebeveiligingsgebeurtenissen. Door goede logging is te achterhalen wanneer en door wie er toegang is geweest tot code en data (audit trail). Er kan loginformatie gegenereerd, bewaard, toegankelijk gemaakt en gemonitord worden. Logbestanden bevatten vaak gebeurtenissen die gebruikersactiviteiten, uitzonderingen en informatiebeveiligingsgebeurtenissen registreren. Bedenk wat deze informatie betekent in de context van de werking van het algoritme.
Met logbestanden is te achterhalen wanneer en door wie er (ongewenste) aanpassingen zijn gedaan (audit trail).
Loginformatie moet worden gegenereerd, bewaard, gemonitord en toegankelijk worden gemaakt.
Logbestanden bevatten vaak gebeurtenissen die gebruikersactiviteiten, uitzonderingen en informatiebeveiligingsgebeurtenissen registreren.
Bedenk wat deze informatie betekent in de context van de werking van het algoritme. loginformatie gegenereerd, bewaard, toegankelijk gemaakt en gemonitord worden. Logbestanden bevatten vaak gebeurtenissen die gebruikersactiviteiten, uitzonderingen en informatiebeveiligingsgebeurtenissen registreren.
Stel vast welke informatie bij het ontwikkelen en gebruiken van algoritmes relevant is om te loggen.
Log behalve het aanpassen van gegevens ook het uitlezen van gegevens waar dat relevant is. Bijvoorbeeld als persoonsgegevens worden opgevraagd.
Logs dienen periodiek (of doorlopend) gecontroleerd to worden op relevante incidenten. Dat betekent dat wat er gelogd wordt geschikt moet zijn om relevante beveiligingsincidenten op te merken.
Wanneer loginformatie ontbreekt, is niet te achterhalen wanneer er (eventueel ongewenste) aanpassingen zijn gedaan (audit trail) op (de code van) het algoritme, of door wie.
Energiezuinig programmeren maakt het mogelijk om de voetafdruk van algoritmes te verkleinen door minder energie en middelen te verbruiken. Door specifieke technieken toe te passen, zoals optimalisatie van processen en effici\u00ebnte geheugenbeheerstrategie\u00ebn, kun je als ontwikkelaar bijdragen aan het verduurzamen van algoritmes.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-05-energiezuinige-programmeermethoden/#technieken-voor-energiezuinige-softwareontwikkeling","title":"Technieken voor energiezuinige softwareontwikkeling","text":"
Lean coding en minimalisatie van code bloat Lean coding richt zich op het gebruik van alleen de benodigde code zonder overbodige complexiteit of libraries, wat resulteert in lagere energieconsumptie. Door \u201ccode bloat\u201d te vermijden, zorg je ervoor dat het algoritme minder verwerkingskracht en geheugen verbruikt.
Gebruik van energiezuinige programmeertalen en frameworks Programmeren in talen zoals Rust, Go en Elixir draagt bij aan energie-effici\u00ebntie doordat deze ontworpen zijn voor lage resource-omvang en hoge effici\u00ebntie. Ook frameworks die lichtgewicht en modulair zijn, ondersteunen energiezuinige processen.
Parallel processing en multi-core optimalisaties Door parallelle verwerking en multi-core optimalisaties toe te passen, wordt rekenwerk verdeeld over meerdere cores. Dit reduceert de totale verwerkingstijd, bespaart energie en verhoogt de prestaties van je code op het vlak van duurzaamheid.
Microservices en modulaire architecturen Een modulaire architectuur, zoals microservices, zorgt ervoor dat je onderdelen van de applicatie alleen activeert wanneer dat nodig is. Dit voorkomt onnodige belasting en beperkt energieverbruik behoorlijk.
Geoptimaliseerd geheugenbeheer Door effici\u00ebnt geheugenbeheer, zoals caching en lazy loading, voorkom je onnodige data-opslag en bewerkingen. Dit verlaagt de energievraag en verbetert de snelheid van het algoritme aanzienlijk.
Zonder energie-effici\u00ebnte methoden kan het algoritme onnodig veel energie verbruiken, wat leidt tot hogere operationele kosten en een grotere milieu-impact.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-05-energiezuinige-programmeermethoden/#bronnen","title":"Bronnen","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-05-energiezuinige-programmeermethoden/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-06-optimaliseer-AI-training/","title":"Optimaliseer AI-trainingsprocessen voor energie-effici\u00ebntie","text":"
Het trainen van AI, vooral generatieve AI-modellen, vergt aanzienlijke energie en heeft daardoor een grote ecologische voetafdruk. Een enkele trainingsronde kan al een enorme hoeveelheid CO\u2082 uitstoten. Door enkele concrete methoden toe te passen, kun je deze impact beperken.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-06-optimaliseer-AI-training/#energie-optimalisatie-door-hardwarekeuze-en-serverbeheer","title":"Energie-optimalisatie door hardwarekeuze en serverbeheer","text":"
Gebruik energie-effici\u00ebnte hardware zoals specifiek afgestemde GPU's, die geschikt zijn voor de trainingsbehoeften van het model. Door bijvoorbeeld te kiezen voor GPU\u2019s die optimaal bij je model passen in plaats van de krachtigste beschikbare hardware, kan het energieverbruik drastisch worden verminderd. Houd hiermee rekening in je keuze voor een trainingsomgeving.
Verder kan servergebruik geoptimaliseerd worden door onnodige trainingsomgevingen tijdig te stoppen of voor andere trainingsomgevingen of testomgevingen te kiezen. Ook kun je servers dynamisch schalen met tools zoals Kubernetes of autoscaling technologie.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-06-optimaliseer-AI-training/#slimme-data-en-trainingsoptimalisatie","title":"Slimme data- en trainingsoptimalisatie","text":"
Niet alle beschikbare data dragen bij aan de modelprestaties. Door een dataselectiestrategie toe te passen, gebruik je enkel relevante datasets (dataminimalisatie), wat zorgt voor minder intensieve rekenbelasting tijdens het trainingsproces. Daarnaast kan slimme caching helpen om repetitieve data-opvragingen te beperken, wat bijdraagt aan een lagere energievraag. Bovendien kun je hertrainingscycli van AI beperken door enkel updates te doen wanneer nieuwe data dit echt vereist. Dit voorkomt overbodige trainingscycli en bespaart energie.
Zonder energie-effici\u00ebnte methoden kan AI-training leiden tot hoge operationele kosten en een aanzienlijke ecologische impact, met name door overmatig gebruik van rekenkracht en energie-intensieve hardware.
How to Make Generative AI Greener - Harvard Business Review
GreenOps: 4 Tips om AI-training duurzamer te maken - AG Connect
Duurzame kunstmatige intelligentie - TU Delft
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/4-owk-06-optimaliseer-AI-training/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/5-ver-01-functioneren-in-lijn-met-doeleinden/","title":"Controleer regelmatig of het algoritme werkt zoals het bedoeld is","text":"
ver-01OntwikkelenVerificatie en validatieMonitoring en beheerProjectleiderOntwikkelaarTechnische robuustheid en veiligheidBias en non discriminatie
Vertaal de vastgestelde doelstelling naar functionele eisen voor het algoritme. Werk het vastgestelde doel uit in een beschrijving in logische taal/pseudo code of documentatie die handvatten biedt aan de ontwikkelaar.
Monitor de mate waarin aan deze eisen wordt voldaan door het algoritme.
Bepaal en leg vast hoe eventuele parameters, business rules en indicatoren bepaald worden. Zorg dat dit breed wordt afgestemd in de organisatie (ontwikkelteam, opdrachtgevers en beheer).
Houd hier rekening met eventuele (statistische) bias: meten we daadwerkelijk wat we denken te meten?
Wanneer het algoritme meerdere doelen dient, is het belangrijk ook te evalueren op meerdere functionele eisen.
Wanneer er sprake is van een (handmatige) behandeling, bepaal dan wanneer deze behandeling als 'succesvol' gezien kan worden.
Analyseer of het gebruik van het algoritme of het proces daaromheen leidt tot onwenselijke of onrechtmatige verschillen in de behandeling van individuen en/of groepen.
Het uitvoeren van een analyse over onwenselijke of onrechtmatige verschillen bestaat grofweg uit 3 stappen:
Stap 1: Analyseer of er sprake is van bias: systematisch verschil in behandeling van bepaalde objecten, mensen of groepen in vergelijking met anderen.
Stap 2: Voer een rechtvaardigingstoets uit om te bepalen of het geconstateerde verschil uit stap 1 te rechtvaardigen is.
Stap 3: Voer een ethische wenselijkheidstoets uit om te bepalen of het geconstateerde verschil uit stap 1 ethisch wenselijk is.
Voor alle stappen geldt dat het belangrijk is om de gemaakte keuzes en afwegingen zorgvuldig te onderbouwen en te documenteren. De 3 stappen worden hieronder verder toegelicht.
Opmerking
Deze maatregel is in ieder geval van toepassing op natuurlijke personen. Voor andere rechtspersonen zoals bedrijven kan dit ook van toepassing zijn. Denk bijvoorbeeld aan een gelijke behandeling tussen eenmanszaken en grotere bedrijven.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/5-ver-02-biasanalyse/#stap-1-analyseer-of-er-sprake-is-van-bias","title":"Stap 1: Analyseer of er sprake is van bias","text":"
In deze stap is het doel om te bepalen in welke mate er sprake is van een systematisch verschil in behandeling van bepaalde objecten, mensen of groepen in vergelijking met anderen. Dit verschil kan zowel op een directe als een indirecte manier ontstaan.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/5-ver-02-biasanalyse/#toetsen-op-direct-onderscheid","title":"Toetsen op direct onderscheid","text":"
Toetsen op direct onderscheid is in vergelijking tot toetsen op indirect onderscheid relatief eenvoudig.
Bepaal of de inputvariabelen die gebruikt worden leiden tot een direct onderscheid op basis van godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, nationaliteit, hetero- of homoseksuele gerichtheid1 of burgelijke staat.
Het is niet mogelijk om een uitputtend overzicht te geven van alle selectiecriteria die mogelijk tot direct onderscheid op grond van ras of nationaliteit kunnen leiden. Wel zijn in de jurisprudentie verschillende voorbeelden en aanknopingspunten te vinden. Zo staat vast dat selectie op basis van fysieke etnische kenmerken, zoals huidskleur, direct onderscheid op grond van ras oplevert2. Een ander voorbeeld is dat onderscheid op grond van een niet-westers klinkende naam direct onderscheid op grond van afkomst (en dus ras) oplevert3.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/5-ver-02-biasanalyse/#toetsen-op-indirect-onderscheid","title":"Toetsen op indirect onderscheid","text":"
Ook selectiecriteria die op het eerste gezicht geen enkele link lijken te hebben met een discriminatiegrond kunnen leiden tot indirect onderscheid op grond van een discriminatiegrond. Enkele voorbeelden van zulke 'ogenschijnlijk neutrale' selectiecriteria die verband hebben met ras of nationaliteit zijn: postcode, hoogte van het inkomen, kenteken, familielid in het buitenland, laaggeletterdheid. Indirect onderscheid is in vergelijking met direct onderscheid lastiger op te signaleren en te voorkomen. Daarom is het belangrijk jouw algoritmische toepassing regelmatig te analyseren op eventueel indirect onderscheid. Het toetsen op indirect onderscheid bestaat uit 5 stappen:
Bepaal wat de kwetsbare groepen zijn. Eventueel kan dit aangevuld worden op basis van de discriminatiegronden uit non-discriminatie wetgeving. Of andere groepen waarvoor verschillen in behandeling ethisch onwenselijk zijn.
Bepaal wat \"verschillen in behandeling\" betekent in de context van het algoritme. In deze stap is het belangrijk om voorafgaand aan de daadwerkelijke analyse met een brede groep stakeholders te bepalen wat 'eerlijk' en 'rechtvaardig' wordt bevonden in de context van het betreffende algoritme. Er zijn veel verschillende manieren waarop je kan kijken naar onderscheid bij het gebruik van algoritmes. Voorbeelden van manieren waarop je naar onderscheid kan kijken zijn:
Onderscheid op basis van gelijke uitkomsten (representatie). De belangrijkste vraag die hier mee beantwoord wordt is: hebben personen uit verschillende groepen gelijke kans om geselecteerd te worden door het algoritme? Of is er sprake van een over- of ondervertegenwoording van bepaalde groepen in de selectie ten opzichte van de betreffende populatie?
Onderscheid op basis van gelijke prestaties (fouten). De belangrijkste vraag die hier mee beantwoord wordt is: presteert het algoritme gelijk voor personen uit verschillende groepen? Met andere woorden: maakt het algoritme vaker fouten bij bepaalde groepen? Dat kan er eventueel toe leiden dat bepaalde groepen vaker onterecht wel of niet geselecteerd worden door het algoritme.
Om te toetsen of er sprake is van onderscheid op basis van gelijke prestaties, is het noodzakelijk om de prestaties van het algoritme goed te analyseren. In het geval van classificatie is het daarvoor nodig om een zogeheten confusion matrix op te stellen. Een confusion matrix is een tabel waarin de voorspellingen van het algoritme worden vergeleken met de werkelijke waarden (de ground truth).
De verschillende maten/metrieken waarop gekeken kan worden naar onderscheid, worden in de (wetenschappelijke) literatuur ook wel fairness metrieken genoemd. Veel van deze metrieken kunnen op basis van de confusion matrix berekend worden. Een hulpmiddel om de meest passende metrieken te kiezen in jouw situatie is de Fairness tree.
Door te denken vanuit verschillende perspectieven, zullen er in de praktijk meerdere metrieken van belang zijn. Het kan echter voorkomen dat deze metrieken elkaar tegenspreken. Maak een duidelijke prioritering van de verschillende metrieken om afwegingen te maken tussen de verschillende opvattingen van eerlijkheid.
Verzamel de benodigde data die nodig is om bovenstaande groepen te bepalen. Bepaal welke data benodigd is om te analyseren of er verschillen zijn tussen bepaalde groepen. In veel gevallen zal data benodigd zijn die demografische en beschermde kenmerken van groepen omschrijft. Het verzamelen en verwerken van deze data kan in strijd zijn met privacy vereisten uit bijvoorbeeld de Algemene Verordening Gegevensbescherming. Het is daarom van belang om duidelijk afwegingen te maken tussen privacy en het analyseren van bias die rekening houdt met de juridische en ethische vereisten.
Uitzondering voor hoog risico AI-systemen
De AI-verordening biedt een uitzondering voor het verwerken van bijzondere categorie\u00ebn persoonsgegevens voor het monitoren, opsporen en corrigeren van bias bij AI-systemen met een hoog risico. Zie artikel 10.5, AI-verordening.
Om de data op een veilige en rechtmatige manier te gebruiken voor een biasanalyse dient de data van voldoende kwaliteit te zijn. Denk hier goed na of de data eventuele bias bevat die kan duiden op een bepaalde vooringenomenheid in de biasanalyse zelf (historische bias of representatie bias). De data dient bijvoorbeeld voldoende actueel en volledig te zijn.
Voor sommige groepen zal het onmogelijk zijn om te beschikken over data van voldoende kwaliteit om zorgvuldig te toetsen op bias. De laaggeletterdheid van burgers of personen is bijvoorbeeld lastig meetbaar en in veel gevallen niet beschikbaar. Bepaal in zo'n situatie of er andere mogelijkheden zijn deze groepen te helpen, of dat er andere mogelijkheden zijn om eventuele ongelijke behandeling bij deze groepen te constateren. Bijvoorbeeld door hierop te monitoren in de klacht- en bezwarenprocedure.
Bereken de verschillen in behandeling en/of uitkomsten van het algoritme. Er zijn verschillende open source softwarepakketten die je hierbij kunnen ondersteunen, zoals fairlearn, Aequitas, fairml, fairness of AI Fairness 360.
Probeer te verklaren hoe het geconstateerde onderscheid is ontstaan. Als er in de vorige stap een significant onderscheid is geconstateerd, is het belangrijk om na te gaan hoe dit onderscheid is ontstaan. Dit kan bijvoorbeeld ontstaan door:
een vorm van bias in de onderliggende inputdata. Je kan hierbij denken aan:
historische bias: in hoeverre beschrijft de data de huidige situatie?
representatie bias: is de data waarop getraind wordt representatief voor de bijbehorende populatie? Zijn trends uit de gebruikte data generaliseerbaar naar de totale populatie?
meetbias: beschrijven de inputvariabelen wel wat ze moeten beschrijven? In hoeverre zijn dit benaderingen waarbij eventuele factoren worden weggelaten?
een vorm van bias in het proces na afloop van het algoritme
is er sprake van automatiseringsbias of bevestigingsbias in de (handmatige) beoordeling?
Wanneer duidelijker is hoe de geconstateerde bias is ontstaan, is het goed om te verkennen of er mogelijkheden zijn om dit (in de toekomst) te voorkomen.
Het is belangrijk hier een brede groep aan belanghebbenden bij te betrekken. De oorzaken van bias komen uit de 'echte wereld', waarbij patronen in datasets historische, demografische en sociale verschillen weerspiegielen. Het verklaren en voorkomen van bias vraagt daarmee niet alleen om technische oplossingen, maar het is belangrijk de hele socio-technische omgeving waarin het algoritme wordt ingezet mee te nemen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/5-ver-02-biasanalyse/#stap-2-voer-een-rechtvaardigingstoets-uit","title":"Stap 2: Voer een rechtvaardigingstoets uit","text":"
Wanneer er in Stap 1 is geconstateerd dat er sprake is van een onderscheid, dient de volgende vraag beantwoord te worden:
Valt dit onderscheid te rechtvaardigen?
Een geconstateerd systematisch onderscheid is niet altijd fout en is niet altijd verboden, maar het vraagt wel altijd om aandacht en zorgvuldigheid. Het geconstateerde onderscheid kan in bepaalde situaties en onder bepaalde strikte voorwaarden gerechtvaardigd zijn:
Voor direct onderscheid kan er bijvoorbeeld sprake zijn van een wettelijke uitzondering die het gemaakte onderscheid toelaat.
Voor indirect onderscheid geldt dat behalve een wettelijke uitzondering er ook een objectieve rechtvaardiging kan bestaan, waarmee het geconstateerde onderscheid in bepaalde gevallen toelaatbaar kan zijn.
Twee subvragen die hierbij beantwoord moeten worden zijn:
streeft het in te zetten algoritme een legitiem doel na?
bestaat er een redelijke relatie van evenredigheid tussen het gebruikte algoritme en de nagestreefde doelstelling?
Wanneer er geen rechtvaardiging is voor het gemaakte onderscheid, spreken we van een verboden direct of indirect onderscheid, ofwel discriminatie. Het algoritme mag in dat geval niet gebruikt worden.
Voor meer toelichting over het uitvoeren van een rechtvaardigingstoets, verwijzen we naar het rapport Discriminatie door risicoprofielen - Een mensenrechtelijk toetsingskader van het College voor de Rechten van de Mens.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/5-ver-02-biasanalyse/#stap-3-voer-een-ethische-wenselijkheidstoets-uit","title":"Stap 3: Voer een ethische wenselijkheidstoets uit","text":"
Bepaal of het geconstateerde onderscheid uit Stap 1 ethisch wenselijk is. Dit hangt samen met de algemene wenselijkheid van de inzet van het algoritme.
In sommige gevallen kan het zo zijn dat ondanks dat er een objectieve rechtvaardiging bestaat voor het gemaakte onderscheid, dit vanuit ethisch perspectief toch onwenselijk is. Bepaal met een grote groep belanghebbenden wat eventuele (nadelige) effecten van het gemaakte onderscheid kunnen zijn, of jullie dit eerlijk vinden en of er eventuele alternatieven zijn.
Opmerking
De bepaling over wat eerlijk is en wat ethisch wenselijk is kan in sommige gevallen ook politiek bevonden worden. Houd hier rekening met de politiek-bestuurlijke verantwoordelijkheden en zorg indien nodig dat de politiek-bestuurlijke verantwoordelijkhden duidelijk zijn.
Wanneer er geen zorgvuldige analyse naar (onwenselijke) bias is uitgevoerd, bestaat het risico dat het gebruik van het algoritme discriminerende effecten met zich meebrengt. Dit kan leiden tot een ongelijke behandeling van burgers met eventuele schade voor betrokkenen.
Er is een wetsvoorstel om de term 'hetero- of homoseksuele gerichtheid' in de Algmemene wet gelijke behandeling (Awgb) te wijzigingen in 'seksuele gerichtheid'. Met deze wijziging sluit de Awgb aan bij een eerdere wijziging van artikel 1 van de Grondwet.\u00a0\u21a9
Zie Discriminatie door risicoprofielen, een mensenrechtelijk toetsingskader, College voor de Rechten van de Mens \u21a9
Zie Discriminatie door risicoprofielen, een mensenrechtelijk toetsingskader, College voor de Rechten van de Mens, College voor de Rechten van de Mens 7 juni 2021, oordeel 2021-70; College voor de Rechten van de Mens 23 april 2015, oordeel 2015-44; College voor de Rechten van de Mens 23 april 2015, oordeel 2014-0426.\u00a0\u21a9
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/5-ver-03-vertaling-wetgeving-naar-systeem/","title":"Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleid","text":"
ver-03Verificatie en validatieJuristGovernanceTransparantie
Stel regelmatig vast dat wetgeving en (lokaal) beleid correct is vertaald naar de uitvoering van het te ondersteunen werkproces en de onderliggende systemen.
Systemen die overheidsorganisaties inzetten voor bijvoorbeeld het verlenen van subsidies, vergunningen of bijstandsuitkeringen moeten de regels en processtappen volgen die in wetgeving zijn voorgeschreven.
Er is een vertaling nodig van deze regels en processtappen naar de uitvoering van het werkproces, het datagebruik en onderliggende systemen.
Algoritmes moeten ook voldoen aan deze regels en processtappen.
Als algoritmes worden ontwikkeld, moet worden onderzocht wat deze regels zijn en hoe deze moeten worden toegepast bij het ontwikkelen van algoritmes.
Het moeten voldoen aan wetgeving en beleid kan dus in zekere zin 'begrenzend' werken op wat mag worden gedaan met algoritmes. Dit is mede afhankelijk van de risico classificatie van de specifieke toepassing.
Voor algoritmes, bijvoorbeeld regelgebaseerde rekenregels, moet bijvoorbeeld nauwkeurig worden geprogrammeerd in welke gevallen welke bedragen moeten worden uitgekeerd voor een bijstandsuitkering.
Voor machine learning algoritmes moet bijvoorbeeld worden vastgesteld of de trainingsdata wel tot stand is gekomen in lijn met wetgeving en vastgesteld beleid (datakwaliteit) en welke verbanden en patronen (inputvariabelen) al dan niet passend zijn bij het ondersteunen van wettelijke taken.
Er is een multidisciplinaire samenwerking nodig tussen de proceseigenaar, gebruikers, juristen, informatieanalisten en ontwikkelaar om deze vertaling zorgvuldig en doorlopend te maken.
Voorafgaand aan het (laten) ontwikkelen van een algoritme moet dit zijn uitgevoerd.
De toegepaste 'business rules' en de verwerkte data voor de uitvoering van het te ondersteunen werkproces met algoritmes moeten worden onderzocht en beoordeeld.
Diepgaande procesanalyses (Bv. BPMN niveau Analytisch) en procesbeschrijvingen kunnen hierbij ondersteunen.
Als blijkt dat een werkproces niet (meer) conform (gewijzigde) wetgeving of beleid wordt uitgevoerd, dan moet worden beoordeeld of de verworven data of welke deel van de data geschikt is voor het ontwikkelen een algoritme.
Het is dan raadzaam om de uitvoering van het betreffende werkproces en de werking van onderliggende systemen eerst te 'herstellen' en om hiermee een nieuw datafundament te cre\u00eberen (eerst een groot aantal zaken behandelen) die later als trainingsdata kan worden gebruikt.
Een beslissing of besluit wordt niet conform wetgeving genomen en is daarmee onrechtmatig, als geen goede vertaling wordt gemaakt van wetgeving naar het algoritme.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-01-werkinstructies-gebruikers/","title":"Stel een werkinstructie op voor gebruikers.","text":"
Het is belangrijk dat gebruikers een werkinstructie ontvangen met informatie over hoe zij met het algoritme kunnen en moeten werken. Hierin worden zaken beschreven als:
Op wat voor manier het algoritme ondersteunt bij het uitvoeren van (wettelijke) taken.
Wat de mogelijkheden en beperkingen zijn bij het gebruik van het algoritme.
Wat de impact is van het gebruik van het algoritme op de samenleving en individuen (denk aan energieverbruik of dat een besluit met rechtsgevolgen wordt genomen).
Wat de risico's zijn die aan het gebruik verbonden zijn (bijv. (automation) bias, false positives/negatives).
Welke maatregelen zijn getroffen om deze risico's te beperken (bijv. bias analyse, 'stopknop' ingebouwd, transparantie over de output).
Hoe de output van het algoritme moet worden ge\u00efnterpreteerd.
Hoe het werkproces kan worden uitgevoerd, zonder ondersteuning van het algoritme.
Welke protocollen er zijn als incidenten zich voordoen.
Denk hierbij na over het eventueel bijscholen van medewerkers als het kennisniveau nog onvoldoende is om de werkinstructies goed te begrijpen.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-02-aselecte-steekproeven/","title":"Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie\u2019 te controleren","text":"
imp-02Dataverkenning en datapreparatieImplementatieMonitoring en beheerOntwikkelaarBias en non discriminatieTechnische robuustheid en veiligheid
Aselecte steekproeven kunnen een waardevolle toevoeging zijn bij risicogestuurde selectie.
Het toevoegen van aselecte steekproeven maakt het mogelijk om over tijd te beoordelen of het algoritme nog voldoende effectief is. Populaties veranderen immers over tijd. Een selectie die het meest effectief was bij ingebruikname, kan over tijd dat niet meer zijn. Door alleen risicogestuurd te selecteren, wordt dit niet inzichtelijk, omdat bepaalde groepen zelden tot nooit gecontroleerd worden. Door de aanvullende mogelijkheid van monitoring, kan over tijd beoordeeld worden of er nog steeds sprake is van de meest proportionele vorm. Als dat niet zo is, kan bijvoorbeeld gekozen worden voor aanpassing van de risicogestuurde selectie of overgaan op volledig aselect.
De maatregel gaat daarmee niet direct discriminatie tegen, omdat er sprake kan zijn van discriminatie ongeacht de effectiviteit van de risicogestuurde selectie. Een lagere effectiviteit maakt het echter lastiger het gemaakte onderscheid te rechtvaardigen.
Het gebruik van een aselecte steekproef is in veel gevallen essentieel om het systeem te kunnen toetsen op vooringenomenheid. Een aselecte steekproef geeft ook inzicht in heel deel van de populatie dat doorgaans niet geselecteerd en behandeld wordt door het betreffende risicogestuurde algoritme. Dit maakt het mogelijk om te toetsen of er sprake is van een over- of ondervertegenwoordiging van bepaalde groepen, of om te bepalen of bepaalde typen fouten vaker gemaakt worden in bepaalde groepen.
Bij AI-systemen die verder leren op basis van verkregen data kan daarnaast sprake zijn van een reinforcing feedbackloop, omdat zij geen representatieve data krijgen. Het toevoegen van aselecte steekproeven kan deze feedbackloop doorbreken.
Het is aan te bevelen om, waar mogelijk, behandelaars niet in te lichten of een casus toegewezen is op basis van een risicogestuurd of aselecte selectie. Daardoor wordt beperkt dat een behandelaar met tunnelvisie een zaak bekijkt. De behandelaar weet immers dat er tussen de selecties zaken zitten waar niet sprake is van verhoogd risico. Op die manier kan automation bias beperkt te worden. Niet in alle gevallen zal dit mogelijk zijn, omdat de behandelaar ook uit andere aangeleverde gegevens kan halen op basis waarvan een casus geselecteerd is. Het is dan belang om op andere wijze de tunnelvisie tegen te gaan.
De precieze inzet van aselecte steekproeven zal afhangen van de context. Zo verschilt het per context hoeveel zaken aselect geselecteerd moeten worden. Bepaal welke groepen er precies vergeleken dienen te worden en bepaal aan de hand daarvan een passende steekproefgrootte zodanig dat er gesproken kan worden over statistische significantie.
In sommige gevallen zal de impact van een selectie ook dusdanig zijn, dat het zich niet leent voor aselecte steekproef. Zo kan een aselecte steekproef wel de basis zijn voor bureauonderzoek, maar mogelijk niet als enige basis voor een huisbezoek. Deze belangenenafweging moet per context gemaakt worden.
In het onderzoek van zowel Algorithm Audit als PricewaterhouseCoopers naar de Controle Uitwonendenbeurs is het belang van de aselecte steekproef duidelijk geworden.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst/","title":"Richt de juiste menselijke controle in van het algoritme","text":"
imp-03OntwerpImplementatieMonitoring en beheerProjectleiderBeleid en adviesMenselijke controleGovernance
Richt (technische) controlemechanismen in voor menselijke tussenkomst (of: menselijke controle) waarmee de output van een algoritme kan worden gecontroleerd.
Algoritmes ondersteunen vaak beslissingen en besluitvorming van overheidsorganisaties. Deze beslissingen of besluiten kunnen betrokkenen in aanmerkelijke mate raken of zelfs rechtsgevolgen hebben. Omdat algoritmes niet foutloos zijn, is het belangrijk dat een mens controleert wat een algoritme doet en, waar nodig, corrigeert. Dit proces heet 'menselijke tussenkomst' en moet betekenisvol zijn, niet slechts symbolisch.
Het inrichten, monitoren en evalueren van menselijke controle is cruciaal om te voorkomen dat algoritmes negatieve effecten veroorzaken of de menselijke autonomie ondermijnen.
Betekenisvolle menselijke controle houdt in dat:
Het toezicht wordt uitgevoerd door iemand die bevoegd en bekwaam is om een beslissing of besluit te wijzigen.
Automatische aanbevelingen niet klakkeloos worden overgenomen. Bijvoorbeeld: een systeem dat standaard een suggestie accepteert door een enkele klik voldoet hier niet aan.
De vormen van menselijke tussenkomst al in een vroeg stadium, bijvoorbeeld in de ontwerpfase, worden vastgesteld op basis van risicoanalyses.
Gebruikers voldoende kennis, tijd en verantwoordelijkheid hebben om weloverwogen beslissingen te nemen over het functioneren van algoritmes. Dit betekent ook dat externe factoren, zoals tijdsdruk of onvoldoende informatie, de beoordeling van de output niet mogen be\u00efnvloeden. (zie ook het onderzoekskader van de ADR, SV.6)
Soms is menselijke tussenkomst minder relevant, zoals bij \u2018gebonden bevoegdheden\u2019. Hierbij is weinig tot geen ruimte om een beslissing of besluit aan te passen. Voorbeelden zijn:
Het opleggen van verkeersboetes onder de Wet administratiefrechtelijke handhaving verkeersvoorschriften (Wahv).
Het automatisch aanpassen van studiefinanciering op basis van inkomenswijzigingen.
Om menselijke tussenkomst goed te organiseren, zijn technische en organisatorische maatregelen nodig. Dit geldt ook wanneer een externe aanbieder de algoritmes levert. In dat geval moet de verantwoordelijke organisatie (gebruiksverantwoordelijke) samen met de aanbieder bepalen hoe menselijke tussenkomst zinvol kan worden ingericht.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst/#inrichten-van-menselijke-controle","title":"Inrichten van menselijke controle","text":"
Er zijn verschillende manieren om menselijke tussenkomst in te richten, afhankelijk van de specifieke toepassing van een algoritme. Hieronder worden vier mogelijkheden beschreven die kunnen worden ingezet, los of in combinatie:
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst/#1-human-in-the-loop","title":"1. Human in the loop","text":"
Bij dit model speelt de mens een actieve rol in elke fase van het algoritme. Deze variant geeft de meeste controle en invloed, maar kan leiden tot vertraagde of minder effici\u00ebnte besluitvorming, vooral bij real-time of zeer complexe taken waarbij snelheid cruciaal is. Een voorbeeld van toepassen van Human-in-the-loop is het nakijken en beoordelen van de output van een algoritme door een mens, telkens voordat een beslissing wordt genomen. Het verwerken van data gebeurt alleen in opdracht van de mens en verder neemt het algoritme of AI model geen autonome beslissingen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst/#2-human-on-the-loop","title":"2. Human on the loop","text":"
Hier behoudt de mens toezicht en kan ingrijpen wanneer dat nodig is, om te garanderen dat een model veilig en ethisch opereert. Dit model biedt daardoor een balans tussen autonome besluitvorming en menselijke controle. Het is vooral nuttig in situaties waarin afwijkende keuzes of acties van het algoritme grote gevolgen kunnen hebben. De menselijke operator houdt de werking van het algoritme in de gaten en staat klaar om in te grijpen of beslissingen terug te draaien wanneer nodig.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst/#3-human-above-the-loop","title":"3. Human above the loop","text":"
In dit model houdt de mens toezicht op een hoger niveau, met een focus op strategische en ethische keuzes, in plaats van dat de menselijke operator zich bezighoudt met directe operationele beslissingen. Dit stelt de mens in staat in te grijpen wanneer kritieke morele, juridische of sociale zorgen ontstaan om het model op de langere termijn bij te sturen. De menselijke tussenkomst is gericht op het bepalen van beleid en de richtlijnen voor algoritmes. Het gaat daarbij niet alleen over het defini\u00ebren van operationele procedures maar ook het maken van bepaalde ethische overwegingen, het zorgen voor naleving van regelgeving en het overwegen van de implicaties van de inzet van algoritmes op de lange termijn.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst/#4-human-before-the-loop","title":"4. Human before the loop","text":"
Hier maakt de mens vooraf ethische en morele afwegingen die in het algoritme zelf worden ingebouwd. Hoewel het model in productie autonoom opereert, zal de menselijke input gedurende de ontwikkeling ervoor zorgen dat het model ook in complexe situaties volgens de juiste (ethische) afwegingen keuzes en acties onderneemt.
Dit model is essentieel in situaties waar menselijk ingrijpen tijdens de uitvoering niet mogelijk is (wanneer er bijvoorbeeld weinig of helemaal geen tijd is om als mens te interveni\u00ebren), maar waar ethische keuzes cruciaal blijven. Denk aan bestrijding van zeemijnen of situaties met zelfrijdende auto\u2019s in onvoorspelbare verkeerssituaties (bron: TNO visiestuk 2022). Deze variant kan ook worden ingezet voor situaties waarin wel nog menselijk ingrijpen mogelijk is.
HvJEU december 2023, ECLI:EU:C:2023:957 (SCHUFA Scoring)
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-04-publiceren-algoritmeregister/","title":"Publiceer impactvolle algoritmes en hoog-risico-AI-systemen in het Algoritmeregister","text":"
imp-04ImplementatieMonitoring en beheerProjectleiderBeleid en adviesTransparantie
De regering wil dat de overheid algoritmes verantwoord gebruikt. Mensen moeten erop kunnen vertrouwen dat algoritmes voldoen aan de waarden en normen van de samenleving.
Wanneer de overheid open is over algoritmes en hun toepassing, kunnen burgers, organisaties en media haar kritisch volgen.
Impactvolle algoritmes en hoog risico AI-systemen moeten daarom worden gepubliceerd in het Algoritmeregister.
In het Algoritmeregister moet uitleg zijn over hoe algoritmes, of het proces wat hiermee wordt ondersteund werkt.
Er is een Handreiking Algoritmeregister opgesteld met informatie over het publiceren van algoritmes in het Algoritmeregister.
De Algoritmeregister Publicatiestandaard kan overheidsorganisaties ondersteunen bij het helpen invullen van het Algoritmeregister.
Sommige overheidsorganisaties publiceren hun algoritmes ook in een eigen Algoritmeregister, zodat burgers dit makkelijker kunnen vinden. Bijvoorbeeld het Algoritmeregister van de Gemeente Rotterdam, het Algoritmeregister van de Gemeente Amsterdam of het Algoritmeregister van het UWV.
Zorg na publicatie dat de informatie in het Algoritmeregister up-to-date blijft en indien nodig regelmatig wordt aangepast.
Gemeente Groningen, Algoritmeregister: Eerste Hulp bij Geldzaken
Gemeente Amsterdam, Algoritemregister: Blurring as a Service
Juryrapport Best Beschreven Algoritme
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-proces-privacyrechten/","title":"Spreek af hoe de organisatie omgaat met privacy-verzoeken","text":"
imp-06OrganisatieverantwoordelijkhedenOntwikkelenProjectleiderBeleid en adviesJuristPrivacy en gegevensbeschermingGovernanceData
Betrokkenen moeten hun persoonsgegevens kunnen inzien, rectificeren, laten verwijderen of het gebruik ervan beperken bij het toepassen van algorimtes.
Betrokkenen moeten hun verzoek kunnen indienen bij de betreffende organisatie. Denk hierbij aan het inrichten van een privacyloket.
Er zullen afspraken moeten worden gemaakt door servicemanagement in te richten hoe deze verzoeken effectief kunnen worden behandeld door bijvoorbeeld door het ontwikkel- of beheerteam (aanbieder).
Bij het inrichten van servicemanagement moet zijn nagedacht over hoe een verzoek tot het inzien, rectificeren, verwijderen of beperken van de verwerking van persoonsgegevens op een betekenisvolle manier kan of moet worden behandeld.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-werkinstructies-medewerkers/","title":"Spreek af hoe medewerkers omgaan met het algoritme.","text":"
imp-05ImplementatieProjectleiderBeleid en adviesGovernanceMenselijke controle
Maak keuzes rondom de rol van het systeem in de werkwijze van medewerkers.
Gebruik duidelijke werkinstructies en protocollen om te voorkomen dat beslissingen, gebaseerd op de output van het systeem, door (automation) bias worden be\u00efnvloed.
Stel een structuur op voor het melden van mogelijke problemen die medewerkers ervaren met het systeem.
Opleiding van medewerkers over:
Algoritmes, waaronder AI;
het systeem waarmee ze gaan werken;
de rol van het systeem in hun werkwijze;
de risico's die aan het gebruik van een systeem verbonden zijn (bijv. (automation) bias, false positives/negatives);
de maatregelen die genomen zijn om deze risico\u2019s te beperken (bijv. willekeurige of fictieve casussen, transparantie over de output).
Bespreek regelmatig de uitdagingen die medewerkers ondervinden bij het werken met het systeem (bijv. tijdsdruk).
Documenteer alle keuzes en de onderliggende redenen/afwegingen rondom menselijke tussenkomst en overzicht. Evalueer en pas gemaakte keuzes waar nodig aan.
Goede samenwerking tussen medewerkers en systemen helpt bij het voorkomen van (automation) bias en discriminatie, het signaleren van algoritmische problemen, en het vermijden van de facto automatische besluitvorming.
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring/","title":"Vermeld het gebruik van persoonsgegevens in een privacyverklaring","text":"
imp-07ImplementatieProjectleiderJuristPrivacy en gegevensbeschermingTransparantie
Door in een privacyverklaring te vermelden welke persoonsgegevens worden verwerkt voor het gebruik van een algoritme, wordt een betrokkene ge\u00efnformeerd over de verwerking van diens persoonsgegevens.
Een privacyverklaring kan op organistieniveau worden opgesteld en ook voor specifieke verwerkingen.
In een privacyverklaring wordt in ieder geval het volgende opgenomen:
de identiteit en contactgegevens van uw organisatie. En ook die van vertegenwoordiger in de Europese Unie (EU), als deze er zijn.
de contactgegevens van de functionaris gegevensbescherming (FG), als een organistie deze heeft.
de doeleinden van de verwerking en de AVG-grondslag.
de (categorie\u00ebn van) ontvangers van de persoonsgegevens.
of de persoonsgegevens door worden geven buiten de EER of aan een internationale organisatie. En zo ja, op welke juridische grond.
de bewaartermijn van de gegevens.
de privacyrechten van de betrokkenen, zoals het recht op inzage, rectificatie en gegevens verwijderen.
het recht van de betrokkenen om de toestemming die zij voor een bepaalde verwerking hebben gegeven, altijd weer te mogen intrekken.
dat de betrokkenen een klacht kunnen indienen bij de privacytoezichthouder. In Nederland is dat de Autoriteit Persoonsgegevens (AP).
of de betrokkenen verplicht zijn de persoonsgegevens te verstrekken. En zo ja, waarom. Vermeld dan ook wat de gevolgen zijn als zij de gegevens niet verstrekken.
of er sprake is van geautomatiseerde besluitvorming, inclusief profilering. En zo ja, hoe deze beslissing wordt genomen.
als persoonsgegevens van een andere organisatie zijn ontvangen: de bron waar de persoonsgegevens vandaan komen. En of de gegevens afkomstig zijn van openbare bronnen.
Het is denkbaar dat in een specifieke privacyverklaring informatie over onderliggende logica van het algoritme, alsmede het belang en de verwachte gevolgen van die verwerking voor de betrokkene. Het is ook denkbaar dat deze informatie in het algoritmeregister wordt opgenomen.
Als ervoor wordt gekozen om het algoritme uit te faseren, dan moet informatie in het algoriteregister hierop worden aangepast.
Betrokkenen zijn niet op de hoogte dat hun persoonsgegevens worden verwerkt met een algoritme, waardoor zij hier geen controle over hebben en zich niet kunnen beroepen op hun privacyrechten.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-07-klacht-bezwaar-beroep/","title":"Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme en monitor dit proces.","text":"
imp-09ImplementatieMonitoring en beheerProjectleiderOntwikkelaarGovernance
Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme. Zorg voor goede monitoring van dit proces zodat het projectteam op de hoogte is van klachten, bezwaren en beroepen over het systeem.
Een goede datahuishouding van de binnengekomen bezwaren, klachten en beroepen is essentieel om de informatie rondom de klachten, bezwaren en beroepen vanuit datagedreven perspectief te kunnen monitoren.
Goede monitoring kan ervoor zorgen dat eventuele patronen in bezwaar, klacht en beroep snel gesignaleerd worden. Eventuele patronen in klacht, bezwaar en beroep kunnen duiden op problemen in het functioneren van het algoritme. Dit kan bijvoorbeeld duiden op discriminerende effecten van het algoritme, waardoor nader onderzoek wenselijk is.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-07-klacht-bezwaar-beroep/#voorbeeld","title":"Voorbeeld","text":""},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-08-vermelding-in-verwerkingsregister/","title":"Vermeld het gebruik van persoonsgegevens in het verwerkingsregister","text":"
imp-08ImplementatieProjectleiderJuristTransparantiePrivacy en gegevensbescherming
Door in het verwerkingsregister te vermelden welke persoonsgegevens worden verwerkt voor het gebruik van een algoritme, wordt een betrokkene ge\u00efnformeerd over de verwerking van diens persoonsgegevens
Hiermee is ook voor de organisatie intern inzichtelijk welke persoonsgegevens voor welke toepassingen worden verwerkt;
Het is van belang dat vanaf het moment dat persoonsgegevens worden verwerkt, meteen een vermelding hiervan wordt gemaakt in het verwerkingsregister;
Dat betekent dat als persoonsgegevens worden verwerkt bij het ontwikkelen en trainen van het algoritme, en deze nog niet in gebruik zijn genomen, al een vermelding moet worden gedaan in het verwerkingsregister;
Bij be\u00ebindiging van het gebruik van het algoritme, moet het verwerkingsregister worden aangepast.
Betrokkenen en de interne organisatie zijn niet op de hoogte welke persoonsgegevens worden verwerkt met een algoritme, waardoor zij hier geen controle over hebben.
Blurring as a Service, Verwerkingsregister gemeente Amsterdam
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/6-imp-09-politiek-bestuurlijk-besluit/","title":"Maak een openbaar besluit over de inzet van het algoritme","text":"
Door een politiek-bestuurlijk besluit te nemen over de inzet of be\u00ebindiging van een impactvol algoritme, wordt een afweging en keuze gemaakt over de wenselijkheid, haalbaarheid, transparantie, invulling van menselijke controle en eventueel de mate van onbewuste vooringenomenheid van het betreffende algoritme.
Impactvolle algoritmes bevatten aspecten die vragen om politieke afwegingen, en niet enkel door de ambtelijke organistie mogen worden beoordeeld.
Een voorbeeld van een politiek afweging is wanneer er wel of geen sprake is van een gerechtvaardigd onderscheid wat wordt gemaakt door een algoritme.
Het is van belang dat overheidsorganisaties een politiek-bestuurlijk kader opstellen waarin wordt beschreven hoe wordt omgegaan met dergelijke gevallen.
Een openbaar besluit draagt bij aan de legitimiteit van de inzet van het algoritme en de controleerbaarheid van de overheidsorganisatie.
De ambtelijke organisatie maakt politieke-bestuurlijke afwegingen en beslissingen bij de inzet of be\u00ebindiging van het gebruik van impactvolle algoritmes, terwijl deze daar niet toe bevoegd is.
Back-up kopie\u00ebn van informatie, software en systeemafbeeldingen dienen regelmatig te worden gemaakt en getest. Idealiter gebeurt dit in overeenstemming met een afgesproken back-up beleid. Maak back-ups van de omgeving van het algoritme en zorg ervoor dat het algoritme en de data hersteld kunnen worden.
Er is een back-up beleid waarin de eisen voor het bewaren en beschermen zijn gedefinieerd en vastgesteld. Dit beleid moet vervolgens worden vertaald naar (technische) maatregelen om het kunnen maken van back-ups te realiseren.
Als er geen regelmatige back-ups worden gemaakt en de restore-procedure niet regelmatig wordt getest, bestaat het risico dat er geen hersteloptie is en mogelijkheid van gegevensverlies.
Zorg voor een goede beveiliging van de verschillende softwarecomponenten van een algoritme. Bepaal of de data voldoende is beveiligd en maak hierin onderscheid tussen de inputdata en de outputdata.
Er zijn beheersmaatregelen die kunnen helpen bij het zorgen voor een goede beveiliging van verschillende (software-)componenten van een algoritme. Hierbij kan worden gedacht aan: Het toepassen van wachtwoordbeheer. Baseline Informatiebeveiliging Overheid, de NCSC Handreiking voor implementatie van detectieoplossingen en het Impact Assessment Mensenrechten en Algoritmes.
Inzicht cre\u00ebren in de beoogde opzet van de IT-infrastructuur (de architectuur) en de werkelijk geconfigureerde hard- en software. (CIS Control 1, BIO 8.1.1).
Inrichten van een formeel proces voor het beheer van technische kwetsbaarheden. Dit omvat minimaal periodieke (geautomatiseerde) controle op de aanwezigheid van kwetsbaarheden in de te toetsen systemen, een risicoafweging en navolgbare afwerking daarvan of risicoacceptatie (BIO 12.6).
Beoordelen, patchen en updaten van kwetsbaarheden in IT-systemen als deze bekend zijn. (BIO 12.6.1)
Verwijderen of deactiveren van softwarecomponenten en services die niet noodzakelijk zijn voor het functioneren van het algoritme om beveiligingsrisico\u2019s te beperken. (BIO 12.6.1)
Er vindt zonering plaats binnen de technische infrastructuur conform de uitgangspunten die zijn vastgelegd in een operationeel beleidsdocument, waarbij minimaal sprake is van scheiding tussen vertrouwde en onvertrouwde netwerken (BIO 9.4.2). Denk ook aan het scheiden in netwerken (BIO 13.1.3).
Actieve monitoring van de algoritme data vindt plaats zodat beveiligingsincidenten en -gebeurtenissen in een vroeg stadium worden gedetecteerd. (BIO 12.4.1, NCSC Handreiking voor implementatie van detectieoplossingen).
Netwerkverkeer en componenten worden actief gemonitord. (BIO 12.4.1).
Beoordeel of de data ten behoeve van het ontwikkelen en gebruiken van het algoritme voldoende is beveiligd. Maak hierin onderscheid tussen de trainingsdata, inputdata en de outputdata.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/7-mon-03-informatiebeveiligingsincidenten/","title":"Maak een noodplan voor beveiligingsincidenten","text":"
mon-03OrganisatieverantwoordelijkhedenMonitoring en beheerProjectleiderBeleid en adviesJuristTechnische robuustheid en veiligheidGovernance
Er zijn procedures aanwezig die borgen dat beveiligingsincidenten m.b.t. algoritmes en data zo spoedig mogelijk, afhankelijk van de kwalificatie van het incident, worden opgepakt.
Te late reactie op incidenten kan ervoor zorgen dat de BIV (beschikbaarheid, integriteit en vertrouwelijkheid) van het algoritme of data kan worden aangetast.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/7-mon-04-evalueer-bij-veranderingen-in-data/","title":"Monitor regelmatig op veranderingen in de data. Bij veranderingen evalueer je de prestaties en output van het algoritme.","text":"
mon-04Monitoring en beheerOntwikkelaarDataTechnische robuustheid en veiligheid
De inputdata kan voortdurend veranderen. Dat kan komen doordat de context waarin het algoritme wordt gebruikt verandert, of door een technische fout wanneer de data bijvoorbeeld niet goed is ingelezen of aangeleverd. Het te laat opmerken van zo'n verandering kan grote gevolgen hebben. Daarom is het belangrijk om regelmatig te controleren en evalueren of:
de data van voldoende kwaliteit is voor de beoogde toepassing
of het algoritme nog presteert in lijn met de vastgestelde doelen
de gegevens op de juiste en volledige manier worden verwerkt.
Zeker wanneer er gebruikt wordt gemaakt van informatie van derden, is het belangrijk om regelmatig te controleren of er veranderingen in de data zijn. Goede monitoring op datakwaliteit zorgt ervoor dat je voldoende controle hebt over de kwaliteit van de data, zelfs als je hiervoor afhankelijk bent van andere partijen.
"},{"location":"voldoen-aan-wetten-en-regels/maatregelen/7-mon-05-meten-milieu-impact/","title":"Meten, monitoren en rapporteren van milieu-impact van algoritmes","text":"
mon-05OntwerpMonitoring en beheerOntwikkelaarBeleid en adviesProjectleiderDuurzaamheid
Inventariseer en monitor de milieu-impact van algoritmes (bijvoorbeeld door het doen van een impact-assessment), zowel tijdens ontwerp als bij het gebruik, en rapporteer deze om duurzame keuzes mogelijk te maken.
De milieu-impact van algoritmes kan worden gemeten en geoptimaliseerd door een Digital Product Passport (DPP) te overwegen. DPP's bieden een platform voor duurzame rapportage door middel van real-time informatie over onder andere CO\u2082-uitstoot, herkomst en energiegebruik, wat kan helpen om de ecologische voetafdruk van een algoritme transparant te maken. Door deze gegevens structureel te verzamelen en te delen, kunnen gebruikers en bedrijven inzicht krijgen in de duurzaamheidsprestaties. De milieu-impact van verschillende algoritmes/modellen kan een rol spelen bij het kiezen van een model in de ontwerpfase. Ook kan het ervoor zorgen dat je later kiest om een ander model te gebruiken, of het gebruik van een model of systeem zelfs te be\u00ebindigen.
Wanneer de milieu-impact (in bepaalde mate) inzichtelijk is, kan er een milieu-impact assessment worden gedaan. Ga na of je organisatie die een heeft of overweeg deze te ontwikkelen.
Probeer ook periodieke monitoringsrapporten op te stellen waarin de milieu-impact van algoritmes wordt bijgehouden. Hiermee vergroot je de duurzaamheid door tijdig verbeteringen te signaleren en door te voeren. Hierbij kan ook een onderscheid worden gemaakt in de impact tijdens de trainingsfase van het algoritme en de gebruiksfase.
Wanneer in de ontwerpfase niet wordt nagedacht over milieu-impact kan onbewust voor een algoritme of model worden gekozen dat meer energie verbruikt (en wellicht hogere kosten met zich mee brengt) dan een model dat misschien even goed presteert voor het gekozen doel. Zonder structurele monitoring van de milieu-impact kan de organisatie onbewust bijdragen aan een hoge CO\u2082-uitstoot en hoge energieverbruikskosten.
Overzicht van de belangrijkste vereisten voor overheden die algoritmes of AI-systemen ontwikkelen of gebruiken.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/#wetten-en-regels","title":"Wetten en regels","text":"
De vereisten zijn gebaseerd op de wetten en regels voor het uitvoeren van wettelijke taken, zoals de:
AI-verordening
Algemene verordening gegevensbescherming (AVG)
Algemene wet bestuursrecht (Awb)
Algemene wet gelijke behandeling (Awgb)
Auteurswet
Baseline Informatiebeveiliging Overheid (BIO)
Grondwet
Bij elke vereiste staat de bron er duidelijk bij.
Let op!
Het Algoritmekader biedt een overzicht van de belangrijkste vereisten. Dit is niet volledig. Sectorspecifieke wetgeving is bijvoorbeeld niet meegenomen. Hierdoor kan het zijn dat er meer regelgeving van geldt voor jouw toepassing.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/#aantal-vereisten-verschilt-per-situatie","title":"Aantal vereisten verschilt per situatie","text":"
Welke vereisten gelden voor jouw organisatie, hangt af van:
de technologie die je gebruikt: rekenregels, machinelearning of generatieve AI
de risicoclassificatie van het algoritme dat je gebruikt
je rol: ben je ontwikkelaar of alleen gebruiker van het algoritme?
Impactvolle algoritmes en AI-systemen worden gepubliceerd in het Nederlandse algoritmeregister.
Deze vereiste geldt alleen voor impactvolle algoritmes en hoog-risico-AI-systemen. Een niet-impactvolle rekenregel hoef je niet te registreren.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/#help-ons-deze-pagina-te-verbeteren","title":"Help ons deze pagina te verbeteren","text":"
Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-01-ai-geletterdheid/","title":"Personeel en gebruikers zijn voldoende AI-geletterd","text":"
Aanbieders en gebruiksverantwoordelijken van AI-systemen nemen maatregelen om, zoveel als mogelijk, te zorgen voor een toereikend niveau van AI-geletterdheid bij hun personeel en andere personen die namens hen AI-systemen exploiteren en gebruiken, en houden daarbij rekening met hun technische kennis, ervaring, onderwijs en opleiding en de context waarin de AI-systemen zullen worden gebruikt, evenals met de personen of groepen personen ten aanzien van wie de AI-systemen zullen worden gebruikt.
Aanbieders en gebruiksverantwoordelijken van AI-systemen nemen maatregelen om ervoor te zorgen dat hun personeel en andere betrokkenen voldoende kennis hebben van AI. Dit omvat het bevorderen van kennis over de techniek, evenals kennis over de context waarin de AI-systemen worden gebruikt en de gebruikers van deze systemen. Daarnaast moet er worden ingezet op het delen van ervaringen, passend onderwijs en opleiding van inidividuen. Het doel is om een adequaat niveau van begrip en vaardigheden te waarborgen, wat bijdraagt aan een verantwoord gebruik van AI en het minimaliseren van risico's.
Onvoldoende AI-geletterdheid kan leiden tot misbruik of onjuist gebruik van AI-systemen en tot situaties waarin AI-systemen verkeerd worden ingezet, onbedoeld gebruikt worden voor taken waar ze niet geschikt voor zijn, of dat de veiligheid en effectiviteit van de systemen in het gedrang komt. Dit kan leiden tot ineffici\u00ebntie, fouten, en mogelijk schade aan organisaties, gebruikers of betrokkenen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-01-verboden-AI-praktijken/","title":"Verboden AI-systemen mogen niet worden gebruikt.","text":"
Afgezien van de vele nuttige toepassingen van AI kan zij ook worden misbruikt en nieuwe en krachtige instrumenten voor manipulatie, uitbuiting en sociale controle opleveren. Dergelijke praktijken zijn bijzonder schadelijk en abusief en moeten worden verboden omdat zij in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten van de Unie die zijn vastgelegd in het Handvest, waaronder het recht op non-discriminatie, gegevensbescherming en privacy, en de rechten van het kind.
In de volgende gevallen gaat het om een verboden toepassing op grond van de AI-Verordening: - gebruik kan gaan maken van subliminale technieken om mensen onbewust of bewust kunnen manipuleren, waardoor ze beslissingen nemen die ze anders niet zouden hebben genomen? - gebruik kan gaan maken van kwetsbaarheden van individuen of specifieke groepen, zoals leeftijd, handicaps of sociale/economische omstandigheden, om het gedrag van die personen aanzienlijk te verstoren, wat kan leiden tot aanzienlijke schade bij henzelf of anderen? - gebruikt kan worden om natuurlijke personen of groepen gedurende een periode te evalueren of te classificeren op basis van hun sociale gedrag of afgeleide persoonlijke kenmerken? - gebruikt kan worden voor risicobeoordelingen van natuurlijke personen om het risico op crimineel gedrag te voorspellen, gebaseerd op profilering of persoonlijkheidskenmerken? (Dit geldt niet voor AI-systemen die worden gebruikt om menselijke beoordelingen te ondersteunen, gebaseerd op objectieve en verifieerbare feiten die rechtstreeks verband houden met criminele activiteiten) - gebruikt kan worden om databanken voor gezichtsherkenning aan te leggen of aan te vullen door willekeurige gezichtsafbeeldingen van internet of CCTV-beelden te scrapen? - gebruikt kan worden om emoties van een persoon op de werkplek of in het onderwijs af te leiden? (Dit is niet van toepassing als het gebruik van het AI-systeem is bedoeld voor medische- of veiligheidsdoeleinden) - gebruikt kan worden om natuurlijke personen individueel in categorie\u00ebn in te delen op basis van biometrische gegevens om ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele geaardheid af te leiden? (Dit verbod geldt niet voor het labelen of filteren van rechtmatig verkregen biometrische datasets, zoals afbeeldingen, op basis van biometrische gegevens, of voor categorisering van biometrische gegevens op het gebied van rechtshandhaving) - gebruikt kan worden als een biometrisch systeem in de publieke ruimte voor identificatie op afstand in real-time, met het oog op de rechtshandhaving?
Er zijn een tweetal uitzonderingen voor het inzetten van verbonden AI-systemen. Deze zijn: - Er is sprake van een rechtshandhavingsactiviteit i.v.m. een specifiek misdrijf (terrorisme, mensenhandel, seksuele uitbuiting van kinderen en materiaal over seksueel misbruik van kinderen, illegale handel in verdovende middelen en psychotrope stoffen, illegale handel in wapens, munitie en explosieven, moord, zware mishandeling, illegale handel in menselijke organen en weefsels, illegale handel in nucleaire en radioactieve stoffen, ontvoering, wederrechtelijke vrijheidsberoving en gijzeling, misdrijven die onder de rechtsmacht van het Internationaal Strafhof vallen, kaping van vliegtuigen/schepen, verkrachting, milieucriminaliteit, georganiseerde of gewapende diefstal, sabotage, deelneming aan een criminele organisatie die betrokken is bij een of meer van de bovengenoemde misdrijven). - Er is sprake van gerichte opsporing van specifieke slachtoffers, ontvoering, mensenhandel en seksuele uitbuiting van mensen, vermiste personen; of het voorkomen van bedreigingen voor het leven of de fysieke veiligheid van personen of het reageren op de huidige of voorzienbare dreiging van een terreuraanslag.
Bepaal in een vroege fase en bij het onderbouwen van het gebruik van een AI-systeem of de beoogde toepassing is toegestaan.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-01-verboden-AI-praktijken/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
Er ontstaat een onrechtmatige situatie voor een organisatie als deze AI inzet, die verboden is.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-02-documentatie-beoordeling-niet-hoog-risico-ai/","title":"Beoordeling als niet 'hoog-risico-AI-systeem' is gedocumenteerd","text":"
Een aanbieder die van mening is dat een in bijlage III bedoeld AI-systeem geen hoog risico inhoudt, documenteert zijn beoordeling voordat dat systeem in de handel wordt gebracht of in gebruik wordt gesteld. Die aanbieder is onderworpen aan de registratieverplichting van artikel 49, lid 2 AI-verordening. Op verzoek van de nationale bevoegde autoriteiten verstrekt de aanbieder de documentatie van de beoordeling.
Een aanbieder die oordeelt dat een AI-systeem niet valt onder hoog-risico zoals gefedinieerd in bijlage III van de AI-verordening, documenteert deze beoordeling voorafgaand aan het in de handel brengen of in gebruik nemen van het systeem. Op verzoek van de nationale autoriteiten verstrekt de aanbieder de documentatie van de beoordeling. De aanbieder of in voorkomend geval de gemachtigd registreert zichzelf en het betreffende AI-systeem in de EU-databank (artikel 71 AI-verordening). AI-systemen met een hoog risico als bedoeld in punt 2 van bijlage III (kritieke infrastructuur) worden op nationaal niveau geregistreerd.
Bijlage III Verordening Artifici\u00eble Intelligentie
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-02-documentatie-beoordeling-niet-hoog-risico-ai/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Gebrek aan transparantie en verantwoording bij risicobeoordeling kan leiden tot onrechtmatig in de markt brengen en onrechtmatig gebruik van risicovolle AI-systemen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-03-risicobeheersysteem/","title":"Hoog-risico-AI-systemen zijn voorzien van een risicobeheersysteem","text":"
Het systeem voor risicobeheer moet bestaan uit een tijdens de gehele levensduur van een AI-systeem met een hoog risico doorlopend en gepland iteratief proces. Dit proces moet gericht zijn op het vaststellen en beperken van de relevante risico\u2019s van AI-systemen voor de gezondheid, veiligheid en grondrechten. Het systeem voor risicobeheer moet periodiek worden ge\u00ebvalueerd en geactualiseerd om de blijvende doeltreffendheid ervan te waarborgen, alsook de motivering en de documentatie van eventuele significante besluiten en maatregelen die op grond van de AI-verordening zijn genomen.
Dit proces moet ervoor zorgen dat de aanbieder de risico\u2019s of negatieve effecten vaststelt en risicobeperkende maatregelen uitvoert voor de bekende en de redelijkerwijs te voorziene risico\u2019s van AI-systemen voor de gezondheid, veiligheid en grondrechten. Hierin moeten ook maatregelen zitten voor redelijkerwijs te voorzien misbruik, met inbegrip van de mogelijke risico\u2019s die voortvloeien uit de wisselwerking tussen het AI-systeem en de omgeving waarin het werkt. Het systeem voor risicobeheer moet de passendste risicobeheersmaatregelen vaststellen. Bij het vaststellen van de passendste risicobeheersmaatregelen moet de aanbieder de gemaakte keuzes documenteren en toelichten en, in voorkomend geval, deskundigen en externe belanghebbenden betrekken. Bij het vaststellen van het redelijkerwijs te voorzien misbruik van AI-systemen met een hoog risico moet de aanbieder aandacht hebben voor het gebruik van AI-systemen waarvan, hoewel zij niet rechtstreeks onder het beoogde doel vallen en niet in de gebruiksinstructies worden vermeld, mag worden verwacht dat zij kunnen voortvloeien uit gemakkelijk voorspelbaar menselijk gedrag.
Het ontbreken van risicobeheer kan leiden tot schade aan gebruikers of derden en wettelijke aansprakelijkheid voor de aanbieder.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-04-risicobeoordeling-voor-jongeren-en-kwetsbaren/","title":"Hoog-risico-AI-systemen vormen geen risico voor kwetsbare groepen zoals kinderen","text":"
aia-04OntwerpMonitoring en beheerProjectleiderBeleid en adviesFundamentele rechtenBias en non discriminatie
Bij het doorlopen, periodieke systematische toetsing en actualisatie van het risicosysteem nemen aanbieders in overweging of het beoogde doel van het AI-systeem negatieve effecten zal hebben op personen jonger dan 18 jaar of andere kwetsbare groepen.
Bij de uitvoering van het in de leden 1 tot en met 7 van art. 9 AI-Verordening bedoelde systeem voor risicobeheer houden aanbieders rekening met de vraag of het beoogde doel van het AI-systeem met een hoog risico waarschijnlijk negatieve gevolgen zal hebben voor personen jonger dan 18 jaar en, in voorkomend geval, voor andere groepen kwetsbare personen. Er moet een grondige risicoanalyse plaatsvinden en worden vertaald naar mitigerende maatregelen om het risico te elimineren of te mitigeren.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-04-risicobeoordeling-voor-jongeren-en-kwetsbaren/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Niet adequaat adresseren van risico's voor jongeren en kwetsbare groepen kan leiden tot ernstige ethische en maatschappelijke schade.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria/","title":"Datasets voor hoog-risico-AI-systemen voldoen aan kwaliteitscriteria","text":"
aia-05Dataverkenning en datapreparatieVerificatie en validatieProjectleiderOntwikkelaarData
AI-systemen met een hoog risico die technieken gebruiken die het trainen van AI-modellen met data omvatten, worden ontwikkeld op basis van datasets voor training, validatie en tests die voldoen aan de kwaliteitscriteria telkens wanneer dergelijke datasets worden gebruikt.
AI-systemen met een hoog risico die data gebruiken voor het trainen van AI-modellen, moeten gebaseerd zijn op datasets die voldoen aan specifieke kwaliteitscriteria. Deze criteria zorgen ervoor dat de data geschikt zijn voor training, validatie en tests, wat de betrouwbaarheid en nauwkeurigheid van het AI-systeem waarborgt.
Deze vereiste houdt in dat de gebruikte datasets onder meer moeten voldoen aan:
datasets voor training, validatie en tests worden onderworpen aan praktijken op het gebied van databeheer die stroken met het beoogde doel van het AI-systeem met een hoog risico. Dit heeft in het bijzonder betrekking op relevante ontwerpkeuzes, processen voor dataverzameling, verwerkingsactiviteiten voor datavoorbereiding, het opstellen van aannames met name betrekking tot de informatie die de data moeten meten en vertegenwoordigen, beschikbaarheid, kwantiteit en geschiktheid van de datasets en een beoordeling op mogelijke vooringenomenheid en passende maatregelen om deze vooringenomenheid op te sporen, te voorkomen en te beperken.
datasets voor training, validatie en tests zijn relevant, voldoende representatief en zoveel mogelijk foutenvrij en volledig met het oog op het beoogde doel.
Er wordt rekening gehouden met de eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, contextuele, functionele of gedragsomgeving waarin het AI-systeem wordt gebruikt.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Gebruik van laagkwalitatieve of bevooroordeelde datasets kan leiden tot onbetrouwbare en oneerlijke AI-besluitvorming. Onvoldoende kwaliteitsborging van testdata kan leiden tot vertekende resultaten en gebrekkige prestaties van het AI-systeem bij gebruik in de praktijk.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-06-technische-documentatie/","title":"Hoog-risico-AI-systemen zijn voorzien van voldoende technische documentatie","text":"
aia-06Dataverkenning en datapreparatieOntwikkelenVerificatie en validatieProjectleiderOntwikkelaarTransparantieTechnische robuustheid en veiligheid
De technische documentatie van een AI-systeem met een hoog risico wordt opgesteld voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld, en wordt geactualiseerd. De technische documentatie wordt op zodanige wijze opgesteld dat wordt aangetoond dat het AI-systeem met een hoog risico in overeenstemming is met de eisen van Afdeling 2 van de AI-verordening en dat nationale bevoegde autoriteiten en aangemelde instanties over de noodzakelijke, op heldere en begrijpelijke wijze gestelde informatie beschikken om de overeenstemming van het AI-systeem met deze voorschriften te kunnen beoordelen.
De technische documentatie van een AI-systeem met een hoog risico wordt voorafgaand aan het in de handel brengen of in gebruik nemen opgesteld en regelmatig bijgewerkt. Deze documentatie moet duidelijk aantonen dat het systeem voldoet aan de vereisten van de verordening, zodat nationale autoriteiten en aangemelde instanties de naleving kunnen beoordelen.
De documentatie bevat ten minste de elementen zoals uiteengezet in bijlage IV:
Een algemene beschrijving van het AI-syseem.
Een gedetailleerde beschrijving van de elementen van het AI-systeem en het proces voor de ontwikkeling ervan.
Gedetailleerde informatie over de monitoring, werking en controle van het AI-systeem.
Een beschrijving van de geschiktheid van de prestatiestatistieken.
Een gedetailleerde beschrijving van het systeem voor risicobeheer overeenkomstig artikel 9 van de AI verordening.
Een beschrijving van de wijzigingen die tijdens de levensduur worden aangebracht.
Een lijst van normen die worden toegepast.
Een exemplaar van de EU-conformiteitsverklaring.
Een gedetailleerde beschrijving voor evaluatie van prestaties nadat het systeem in handel is gebracht, in overeenstemming met artikel 72 van de AI-verordening.
De documentatie kan opgevraagd worden door een bevoegde autoriteit met een met redenen omkleed verzoek, zoals toegelicht in artikel 21 van de AI-verordening.
Bijlage IV Verordening Artifici\u00eble Intelligentie
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-06-technische-documentatie/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Het ontbreken van de benodigde informatie over de algoritmische toepassing of AI-systeem kan ertoe leiden dat de technische functionering onduidelijk is. Dat kan tot problemen leiden bij de verantwoording, controle en het beheer. Onvolledige of ontoereikende technische documentatie kan leiden tot onduidelijkheid over de conformiteit van het AI-systeem met de regelgeving, wat de veiligheid en naleving in gevaar kan brengen.
Gemeente Amsterdam - Onderzoekswaardigheid Algoritme \u2018Slimme check\u2019. (Een tool die de medewerkers helpt om te bepalen of een aanvraag levensonderhoud onderzoekswaardig is, niet meer in gebruik!): Technische documentatie.
Algoritmes en AI-systemen zijn dusdanig technisch vormgegeven dat gebeurtenissen gedurende hun levenscyclus automatisch worden geregistreerd (\u201clogs\u201d).
AI-systemen met een hoog risico zijn ontworpen met functionaliteiten die gebeurtenissen gedurende hun levenscyclus automatisch registreren. Dit wordt vaak aangeduid als \"logs\". Deze logs bieden een traceerbaarheidsmechanisme waarmee gebruiksverantwoordelijken en autoriteiten incidenten en fouten kunnen analyseren, naleving kunnen controleren en mogelijke risico's kunnen identificeren en aanpakken. Het doel van deze registratie is om de transparantie en verantwoordingsplicht van AI-systemen te vergroten, waardoor het beheer van risico's en incidenten verbetert.
Voor AI-systemen met een hoog-risico voorziet de loggingcapaciteit ten minste in:
de registratie van de duur van elk gebruik van het systeem;
de referentiedatabank aan de hand waarvan de inputdata zijn gecontroleerd door het systeem;
de inputdata ten aanzien waarvan de zoekopdracht een match heeft opgeleverd;
de identificatie van natuurlijke personen die betrokken zijn bij de verificatie van de resultaten. Specifiek voor gebruiksverantwoordelijken
Voor AI-systemen die door bestuursorganen worden gebruikt of AI-systmen die persoonsgegevens verwerken leveren de BIO en AVG vergelijkbare verplichingen op die ook van toepassing zijn op AI-systmen die niet gezien worden als een AI-systeem met hoog risico. Daarbij komen nog verplichtingen om de logs doorlopend of periodiek te monitoren op incidenten.
Artikel 5 en 32 Algemene Verordening Gegevensbescherming
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-07-automatische-logregistratie/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenhoog risico AI-systeemAanbieder
Ontbreken van automatische logregistratie kan leiden tot een gebrek aan transparantie en traceerbaarheid van het AI-systeem, wat het vermogen om verantwoordelijkheid te nemen en eventuele problemen aan te pakken belemmert en betrokkenen wiens persoonsgegevens worden verwerkt of geraakt worden door beslissingen van het AI-systeem in hun rechten kunnen worden beperkt.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-08-transparantie-aan-gebruiksverantwoordelijken/","title":"Hoog-risico-AI-systemen zijn op een transparante manier ontwikkeld en ontworpen","text":"
aia-08OntwerpOntwikkelenMonitoring en beheerProjectleiderOntwikkelaarBeleid en adviesTransparantie
AI-systemen met een hoog risico worden op zodanige wijze ontworpen en ontwikkeld dat de werking ervan voldoende transparant is om gebruiksverantwoordelijken in staat te stellen de output van een systeem te interpreteren en op passende wijze te gebruiken. Een passende soort en mate van transparantie wordt gewaarborgd met het oog op de naleving van de relevante verplichtingen van de aanbieder en de gebruiksverantwoordelijke zoals uiteengezet in afdeling 3 van Artikel 13 van de AI verordening.
AI-systemen met een hoog risico worden ontworpen en ontwikkeld met een hoge mate van transparantie, zodat gebruikers de output van het systeem kunnen begrijpen en correct kunnen gebruiken. Dit zorgt ervoor dat de aanbieders en gebruikers kunnen voldoen aan de verplichtingen zoals uiteengezet in de relevante regelgeving, waardoor de betrouwbaarheid en verantwoordelijkheid van het gebruik van deze systemen worden verzekerd. In artikel 13 lid 3 is een overzicht gegeven van de informatie die gebruikersinstructies tenminste moeten bevatten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-08-transparantie-aan-gebruiksverantwoordelijken/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Onvoldoende transparantie kan leiden tot een gebrek aan begrip over hoe het AI-systeem functioneert, wat de effectiviteit van de inzet ervan kan belemmeren en de naleving van wettelijke verplichtingen in gevaar kan brengen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-09-menselijk-toezicht/","title":"Hoog-risico-AI-systemen staan onder menselijk toezicht","text":"
aia-09OntwerpOntwikkelenMonitoring en beheerProjectleiderMenselijke controle
AI-systemen met een hoog risico worden zodanig ontworpen en ontwikkeld, met inbegrip van passende mens-machine-interface-hulpmiddelen, dat hierop tijdens de periode dat zij worden gebruikt, op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen.
Het menselijk toezicht is gericht op het voorkomen of beperken van de risico\u2019s voor de gezondheid, veiligheid of grondrechten die zich kunnen voordoen wanneer een AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik, met name wanneer dergelijke risico\u2019s blijven bestaan ondanks de toepassing van andere eisen van deze afdeling.
De toezichtmaatregelen staan in verhouding met de risico's, de mate van autonomie en de gebruikscontext van het AI-systeem met een hoog risico. Hierbij kan het gaan om:
door de aanbieder bepaalde maatregelen die waar technisch haalbaar in het AI-systeem met een hoog risico worden ingebouwd voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld;
door de aanbieder bepaalde maatregelen voordat het AI-systeem met een hoog risico in de handel wordt gebracht of in gebruik wordt gesteld en die passend zijn om door de gebruiksverantwoordelijke te worden uitgevoerd.
De natuurlijke personen die verantwoordelijk zijn voor het menselijk toezicht, moeten in staat worden gesteld om waar passend en in verhouding tot de omstandigheden het volgende te kunnen doen:
Goed kunnen begrijpen van de relevante capaciteiten en beperkingen van het AI-systeem met een hoog risico. Met het oog op het opsporen en aanpakken van onregelmatigheden, storingen en onverwachte prestaties moet de werking van het AI-systeem goed kunnen worden begrepen;
Bewust blijven van de mogelijke neiging om automatisch of te veel te vertrouwen op de output van een AI-systeem met hoog risico (automation bias). Dit geldt in het bijzonder voor het gebruik van een hoog risico AI-systeem dat wordt gebruikt om informatie of aanbevelingen te versterkken voor beslisisngen die door natuurlijke personen moeten worden genomen;
De output juist kunnen interpreteren, bijvoorbeeld met behulp van de juiste hulpmiddelen en methoden voor interpretatie;
In alle specifieke situaties kunnen besluiten om het hoog risico AI-systeem niet te gebruiken of de output op een andere wijze te negeren, door een andere beslissing te vervangen of terug te draaien;
ingrijpen in de werking van het hoog risico AI-systeem of het systeem onderbreken door middel van een stopknop of een vergelijkbare procedure waarmee het systeem op een veilige wijze kan worden stopgezet.
In het geval van een hoog risico systeem als bedoeld in bijlage III, punt 1, a (systemen voor biometrische identificatie op afstand) geldt het vereiste dat twee natuurlijke personen met de nodige bekwaamheid, opleiding en bevoegdheid apart de indentificatie van het systeem verifici\u00ebren en bevestigen, tenzij het wordt gebruikt voor rechtshandhaving, migratie, grenstoezicht of asiel, in gevallen waarin het Unierecht of het nationale recht de toepassing van dit vereiste onevenredig acht.
Ontbreken van betekenisvol menselijk toezicht kan leiden tot gebrek aan controle en begrip over het functioneren van het AI-systeem, wat kan resulteren in ongewenste of onvoorspelbare uitkomsten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-10-nauwkeurigheid-robuustheid-cyberbeveiliging/","title":"Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveilig","text":"
aia-10OntwerpOntwikkelenVerificatie en validatieMonitoring en beheerProjectleiderBeleid en adviesOntwikkelaarTechnische robuustheid en veiligheid
AI-systemen met een hoog risico worden op zodanige wijze ontworpen en ontwikkeld dat deze een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging bieden, alsook consistente prestaties gedurende de levensduur met betrekking tot deze aspecten.
AI-systemen met een hoog risico worden zorgvuldig ontworpen en ontwikkeld om een hoog niveau van nauwkeurigheid, robuustheid en cyberbeveiliging te bieden. Dit garandeert consistente prestaties gedurende hun levensduur en minimaliseert risico's met betrekking tot deze aspecten, waardoor de betrouwbaarheid en veiligheid van het systeem worden gewaarborgd.
Technische robuustheid is een essenti\u00eble eis voor AI-systemen met een hoog risico. Deze systemen moeten bestand zijn tegen schadelijk of anderszins ongewenst gedrag dat kan voortvloeien uit de beperkingen binnen de systemen of de omgeving waarin de systemen opereren (bijvoorbeeld fouten, onregelmatigheden, onverwachte situaties). Daarom moeten technische en organisatorische maatregelen worden getroffen om de robuustheid van AI-systemen met een hoog risico te waarborgen. Een technische oplossing kan bijvoorbeeld bestaan uit mechanismen die het systeem in staat stellen zijn werking veilig te onderbreken (storingsbeveiligingsplannen) wanneer zich bepaalde anomalie\u00ebn voordoen of wanneer de werking buiten bepaalde vooraf bepaalde grenzen plaatsvindt.
Cyberbeveiliging is cruciaal om te waarborgen dat AI-systemen bestand zijn tegen pogingen van kwaadwillige derden die gebruikmaken van de kwetsbaarheden van het systeem om het gebruik, het gedrag of de prestaties ervan te wijzigen of de veiligheidskenmerken ervan in gevaar te brengen. Bij cyberaanvallen tegen AI-systemen kunnen AI-specifieke activa worden gebruikt, zoals trainingsdatasets (bv. datavervuiling) of getrainde modellen (bv. vijandige aanvallen of membership inference), of kwetsbaarheden in de digitale activa van het AI-systeem of de onderliggende ICT-infrastructuur worden benut. Om te zorgen voor een niveau van cyberbeveiliging dat aansluit op de risico\u2019s, moeten aanbieders van AI-systemen met een hoog risico passende maatregelen zoals veiligheidscontroles nemen, waarbij ook rekening wordt gehouden met de onderliggende ICT infrastructuur.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-10-nauwkeurigheid-robuustheid-cyberbeveiliging/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Gebrek aan nauwkeurigheid, robuustheid of cyberbeveiliging kan leiden tot onbetrouwbare prestaties, kwetsbaarheid voor storingen en blootstelling aan beveiligingsrisico's, wat de effectiviteit en veiligheid van het AI-systeem in gevaar kan brengen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-11-systeem-voor-kwaliteitsbeheer/","title":"Hoog-risico-AI-systemen zijn voorzien van een kwaliteitsbeheersysteem","text":"
aia-11OrganisatieverantwoordelijkhedenProjectleiderBeleid en adviesGovernance
Aanbieders van AI-systemen met een hoog risico voorzien in een systeem voor kwaliteitsbeheer dat de naleving van deze verordening waarborgt. Dit systeem wordt op systematische en ordelijke wijze gedocumenteerd in de vorm van schriftelijke beleidslijnen, procedures en instructies en omvat ten minste de aspecten vermeld in artikel 17 AI-verordening.
Aanbieders van AI-systemen met een hoog risico moeten een kwaliteitsbeheersysteem implementeren om te garanderen dat ze voldoen aan de AI-verordening. Dit systeem omvat gedocumenteerde beleidslijnen, procedures en instructies, en behandelt beknopt de volgende aspecten:
een strategie voor de naleving van de regelgeving, inclusief de naleving van de conformiteitsbeoordelingsprocedures en de procedures voor het beheer van de wijzigingen van het AI-systeem met een hoog risico;
technieken, procedures en systematische maatregelen die moeten worden toegepast voor het ontwerp, de controle van het ontwerp en de verificatie van het ontwerp van het AI-systeem met een hoog risico;
technieken, procedures en systematische maatregelen die moeten worden toegepast voor de ontwikkeling, de kwaliteitscontrole en de kwaliteitsborging van het AI-systeem met een hoog risico;
procedures voor het inspecteren, testen en valideren die v\u00f3\u00f3r, tijdens en na de ontwikkeling van het AI-systeem met een hoog risico moeten worden uitgevoerd en de regelmaat waarmee zij moeten worden uitgevoerd;
technische specificaties, met inbegrip van normen, die moeten worden toegepast en, wanneer de relevante geharmoniseerde normen niet volledig worden toegepast of geen betrekking hebben op alle relevante eisen van afdeling 2, de middelen die worden gebruikt om ervoor te zorgen dat het AI-systeem met een hoog risico in overeenstemming is met deze eisen;
systemen en procedures voor databeheer, met inbegrip van dataverwerving, - verzameling, -analyse, -labeling, -opslag, -zuivering, -aggregatie en -behoud en datamining en eventuele andere operaties met betrekking tot de data die worden uitgevoerd voorafgaand aan en met het oog op het in de handel brengen of in gebruik stellen van AI-systemen met een hoog risico;
het systeem voor risicobeheer zoals bedoeld in artikel 9 van de AI-verordening;
het opzetten, toepassen en onderhouden van een systeem voor monitoring na het in de handel brengen, overeenkomstig artikel 72 AI-verordening;
procedures in verband met het melden van een ernstig incident in overeenstemming met artikel 73 van de AI-verordening;
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-11-systeem-voor-kwaliteitsbeheer/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Zonder toepassing van een kwaliteitsbeheersysteem kunnen risico's ontstaan voor de veiligheid, betrouwbaarheid en naleving van het AI-systeem en conformiteit met wet- en regelgeving.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-12-bewaartermijn-voor-documentatie/","title":"Documentatie over hoog-risico-AI-systemen wordt 10 jaar bewaard door de aanbieder","text":"
aia-12OntwerpMonitoring en beheerUitfaserenProjectleiderTechnische robuustheid en veiligheid
De aanbieder houdt gedurende een periode van tien jaar nadat het AI-systeem met een hoog risico in de handel is gebracht of in gebruik is gesteld de volgende elementen ter beschikking van de nationale bevoegde autoriteiten:
de technische documentatie als bedoeld in artikel 11 van de AI-verordening;
de documentatie betreffende het in artikel 17 bedoelde systeem voor kwaliteitsbeheer;
in voorkomend geval de documentatie betreffende de door aangemelde instanties goedgekeurde wijzigingen;
in voorkomend geval de besluiten en andere documenten die door de aangemelde instanties zijn afgegeven;
de EU-conformiteitsverklaring als bedoeld in artikel 47.
De aanbieder moet gedurende tien jaar na het op de markt brengen of in gebruik nemen van het AI-systeem met een hoog risico de vereiste documentatie beschikbaar houden voor de nationale autoriteiten. Dit houdt in dat technische documentatie, documentatie over het kwaliteitsbeheersysteem, eventuele documentatie over besluiten en goedgekeurde wijzigingen door aangemelde instanties en de EU-conformiteitsverklaring beschikbaar moet zijn. Dit waarborgt dat de autoriteiten toegang hebben tot relevante informatie voor controle en naleving van de voorschriften gedurende deze periode.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-12-bewaartermijn-voor-documentatie/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Niet voldoen aan de bewaartermijn kan leiden tot juridische consequenties en kan het vermogen van de autoriteiten om toezicht te houden op de naleving van de regelgeving belemmeren.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-13-bewaartermijn-voor-gegenereerde-logs/","title":"Logs van hoog-risico-AI-systemen worden zes maanden bewaard door de aanbieder","text":"
aia-13OntwerpMonitoring en beheerUitfaserenProjectleiderTechnische robuustheid en veiligheid
Aanbieders van AI-systemen met een hoog risico bewaren de in artikel 12, lid 1, bedoelde logs die automatisch worden gegenereerd door hun AI-systemen met een hoog risico voor zover dergelijke logs onder hun controle vallen. Onverminderd het toepasselijke Unie- of nationale recht worden deze logs bewaard gedurende een periode, die passend is voor het beoogde doel van het AI-systeem met een hoog risico, van ten minste zes maanden, tenzij anders is bepaald in het Unie- of nationaal recht, met name de Uniewetgeving inzake de bescherming van persoonsgegevens.
Aanbieders van AI-systemen met een hoog risico moeten de automatisch gegenereerde logs bewaren volgens de voorschriften van artikel 12, lid 1, zolang deze logs onder hun controle vallen. Deze logs moeten ten minste zes maanden worden bewaard, tenzij anders bepaald door Unie- of nationale wetgeving met betrekking tot gegevensbescherming, om te voldoen aan de relevante voorschriften en verantwoordingsplicht.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-13-bewaartermijn-voor-gegenereerde-logs/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Het niet of onvoldoende bewaren van logs kan het vermogen belemmeren om incidenten te analyseren, naleving te controleren en verantwoordelijkheid vast te stellen bij mogelijke problemen met het AI-systeem.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-14-conformiteitsbeoordeling/","title":"Hoog-risico-AI-systemen worden pas geleverd of gebruikt na een conformiteitsbeoordelingsprocedure","text":"
aia-14Verificatie en validatieImplementatieJuristProjectleiderGovernance
Aanbieders van AI-systemen met een hoog risico zorgen ervoor dat voor het AI-systeem met een hoog risico een conformiteitsbeoordelingsprocedure wordt uitgevoerd voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld
Conformiteitsbeoordelingen dragen bij aan het kunnen vertrouwen op de kwaliteit van producten en diensten. Aanbieders van AI-systemen met een hoog risico moeten ervoor zorgen dat de conformiteitsbeoordelingsprocedure wordt uitgevoerd v\u00f3\u00f3rdat het systeem op de markt wordt gebracht of in gebruik wordt genomen. Hiervoor moet worden beoordeeld of het ontwikkelde hoog risico AI-systeem voldoet aan de vereisten die gelden voor deze systemen. Denk hierbij aan de vereisten van risicobeheer, technische documentatie, data en datagovernance en transparantie en informatieverstrekking aan gebruiksverantwoordelijken (Afdeling 2, AI-Verordening).
Een conformiteitbeoordeling kan worden uitgevoerd door middel van - een interne controle (als bedoeld in bijlage VI van de AI-verordening) - of met betrokkenheid van een aangemelde instantie voor de beoordeling van het systeem voor kwaliteitsbeheer en de technische documentatie (als bedoeld in bijlage VII van de AI-verordening). Een conformiteitsbeoordeling door een aangemelde instatie wordt ookwel een conformiteitsbeoordeling door een derden genoemd.
Als overheidsorganisaties hoog risico AI-systemen gebruiken van aanbieders of deze zelf ontwikkelen, zullen deze systemen veelal de conformiteitsbeoordeling middels een interne controle moeten doorlopen (bijlage VI). Let op! In het geval dat een hoog risico AI-systeem door een rechtshandhavingsinstantie, immigratie- of asielautoriteit wordt ingezet, dan zal de markttoezichtautoriteit als aangemelde instantie optreden die de conformiteitsbeoordeling zal uitvoeren.
AI-systemen met een hoog risico die al aan een conformiteitsbeoordelingsprocedure zijn onderworpen, ondergaan een nieuwe conformiteitsbeoordelingsprocedure telkens wanneer zij substantieel zijn gewijzigd, ongeacht of het gewijzigde systeem bedoeld is om verder te worden gedistribueerd of door de huidige gebruiksverantwoordelijke gebruikt blijft worden.
Bijlage VI Verordening Artifici\u00eble Intelligentie
Bijlage VII Verordening Artifici\u00eble Intelligentie
Hoe werkt het allemaal in de praktijk voor aanbieders van AI-systemen met een hoog risico
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-14-conformiteitsbeoordeling/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Niet naleven van deze verplichtingen kan leiden tot juridische en operationele problemen, en kan de veiligheid en betrouwbaarheid van het AI-systeem in gevaar brengen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-15-eu-conformiteitsverklaring/","title":"Hoog-risico-AI-systemen zijn voorzien van een EU-conformiteitsverklaring","text":"
aia-15Verificatie en validatieImplementatieJuristProjectleiderGovernance
Een EU-conformiteitsverklaring is een verplicht document dat een fabrikant of gemachtigde vertegenwoordiger moet ondertekenen, waarmee wordt verklaard dat het product aan de EU-eisen voldoet. De aanbieder stelt voor elk AI-systeem met een hoog risico een schriftelijke machineleesbare, fysieke of elektronisch ondertekende EU-conformiteitsverklaring op en houdt deze verklaring tot tien jaar na het in de handel brengen of het in gebruik stellen van het AI-systeem met een hoog risico ter beschikking van de nationale bevoegde autoriteiten. De conformiteitsverklaring bevat de informatie zoals genoemd in bijlage V AI-verordening. Voorbeelden hiervan zijn de naam en type van het AI-systeem, naam en adres van de aanbieder, dat de EU-conformiteitsverklaring wordt versterkt onder verantwoordelijkheid van de aanbieder en de vermelding van eventuele toegepaste relevante geharmoniseerde normen of van andere gemeenschappelijke specificaties waarop de conformiteitsverklaring betrekking heeft.
Bijlage V Verordening Artifici\u00eble Intelligentie
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-15-eu-conformiteitsverklaring/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Niet naleven van deze verplichtingen kan leiden tot juridische en operationele problemen, en kan de veiligheid en betrouwbaarheid van het AI-systeem in gevaar brengen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-16-ce-markering/","title":"Hoog-risico-AI-systemen zijn voorzien van een CE-markering","text":"
Aanbieders van AI-systemen met een hoog risico moeten een CE-markering toevoegen aan het AI-systeem met een hoog risico of, wanneer dit niet mogelijk is, op de verpakking of in de bij het product gevoegde documentatie, om aan te geven dat aan de AI-verordening is voldaan.
Op AI-systemen met een hoog risico moet de CE-markering worden aangebracht om aan te geven dat zij in overeenstemming zijn met de AI-verordening, zodat het vrije verkeer ervan op de interne markt mogelijk is. Op AI-systemen met een hoog risico die in een product zijn ge\u00efntegreerd moet een fysieke CE-markering worden aangebracht, die kan worden aangevuld met een digitale CE-markering. Voor AI-systemen met een hoog risico die alleen digitaal worden verstrekt, moet een digitale CE-markering worden gebruikt. De lidstaten mogen het in de handel brengen en het in gebruik stellen van AI-systemen met een hoog risico die aan de in de AI-verordening vastgelegde eisen voldoen en waarop de CE-markering is aangebracht, niet op ongerechtvaardigde wijze belemmeren.
Niet naleven van deze verplichtingen kan leiden tot juridische en operationele problemen, en kan de veiligheid en betrouwbaarheid van het AI-systeem in gevaar brengen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-17-registratieverplichtingen/","title":"Hoog-risico-AI-systemen zijn geregistreerd in de EU-databank","text":"
Aanbieders van AI-systemen met een hoog risico leven de registratieverplichtingen als bedoeld in artikel 49 na, wat betekent dat voor het in de handel brengen of in bedrijf te stellen van het hoog risico AI-systeem, de aanbieder of in voorkomende gevallen de gemachtigde het systeem registreert in de EU-databank.
V\u00f3\u00f3r de distributie of inbedrijfstelling van een AI-systeem met een hoog risico van bijlage III, met uitzondering van specifieke gevallen zoals beschreven in punt 2 van bijlage III, is het vereist dat de aanbieder of gemachtigde zichzelf en het systeem registreert in de EU-databank zoals genoemd in art. 71 AI-verordening.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-17-registratieverplichtingen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Niet naleven van deze verplichtingen kan leiden tot juridische en operationele problemen, en kan de veiligheid en betrouwbaarheid van het AI-systeem in gevaar brengen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-18-corrigerende-maatregelen-voor-non-conforme-ai/","title":"Als een hoog-risico-AI-systeem niet voldoet aan de AI-verordening, grijpt de aanbieder in","text":"
aia-18OrganisatieverantwoordelijkhedenMonitoring en beheerProjectleiderMenselijke controleTechnische robuustheid en veiligheid
Aanbieders van AI-systemen met een hoog risico die van mening zijn of redenen hebben om aan te nemen dat een door hen in de handel gebracht of in gebruik gesteld AI systeem met een hoog risico niet in overeenstemming is met de AI-verordening, nemen onmiddellijk de nodige corrigerende maatregelen om dat systeem naargelang het geval in overeenstemming te brengen, uit de handel te nemen, te deactiveren of terug te roepen. Zij stellen de distributeurs van het betrokken AI-systeem met een hoog risico en, indien van toepassing, de gebruiksverantwoordelijken, de gemachtigden en importeurs dienovereenkomstig in kennis.
Aanbieders van AI-systemen met een hoog risico die constateren dat hun systeem niet aan de verordening voldoet, moeten onmiddellijk corrigerende acties ondernemen, zoals het terugroepen of uit de handel nemen van het systeem. Ze moeten ook alle relevante partijen, zoals distributeurs, gebruiksverantwoordelijken en importeurs, op de hoogte stellen van deze maatregelen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-18-corrigerende-maatregelen-voor-non-conforme-ai/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Niet reageren op non-conformiteit kan leiden tot risico's voor gebruikers en derden. Het kan leiden tot juridische procedures en reputatieschade voor organisaties.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-19-toegankelijkheidseisen/","title":"Hoog-risico-AI-systemen voldoen aan de toegankelijkheidseisen","text":"
aia-19OntwerpProjectleiderOntwikkelaarMenselijke controleTechnische robuustheid en veiligheid
Aanbieders van AI-systemen met een hoog risico zorgen ervoor dat het AI-systeem met een hoog risico voldoet aan de toegankelijkheidseisen overeenkomstig de Richtlijnen (EU) 2016/2102 en (EU) 2019/882
Aanbieders van AI-systemen met een hoog risico moeten ervoor zorgen dat hun systeem toegankelijk is volgens de EU-richtlijnen 2016/2102 en 2019/882. In het kader van Richtlijn 2016/2102 moet onder toegankelijkheid worden verstaan het geheel van principes en technieken die in acht moeten worden genomen bij het ontwerpen, bouwen, beheren en bijwerken van websites en mobiele applicaties om hen voor gebruikers toegankelijker te maken, met name voor personen met een beperking. Bijlage 1 bevat de toegankelijkheidsvoorschriften voor producten en diensten die moeten worden toegepast op hoog-risico-AI-systemen.
Richtlijn 2019/882 strekt ertoe een bijdrage te leveren tot het goed functioneren van de interne markt middels onderlinge aanpassing van de wettelijke en bestuursrechtelijke bepalingen van de lidstaten inzake de toegankelijkheidsvoorschriften voor bepaalde producten en diensten, in het bijzonder door het wegwerken en voorkomen van belemmeringen voor het vrije verkeer van onder deze richtlijn vallende producten en diensten ten gevolge van uiteenlopende toegankelijkheidsvoorschriften in de lidstaten
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-19-toegankelijkheidseisen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Niet naleven van deze verplichtingen kan leiden tot juridische en operationele problemen, en kan de veiligheid en betrouwbaarheid van het AI-systeem in gevaar brengen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-20-gebruiksverantwoordelijken-maatregelen/","title":"Hoog-risico-AI-systemen worden gebruikt volgens de gebruiksaanwijzing","text":"
Gebruiksverantwoordelijken van AI-systemen met een hoog risico nemen passende technische en organisatorische maatregelen om te waarborgen dat zij dergelijke systemen gebruiken in overeenstemming met de gebruiksaanwijzingen die bij de systemen zijn gevoegd, in overeenstemming met de leden 3 en 6 van artikel 26 van de AI-verordening.
Gebruiksverantwoordelijken van AI-systemen met een hoog risico moeten geschikte maatregelen nemen om ervoor te zorgen dat zij deze systemen gebruiken volgens de bijgevoegde instructies. De gebruiksverantwoordelijke zorgt ervoor dat de inputdata relevant en voldoende representatief zijn voor het beoogde doel van het AI-systeem met een hoog risico, voor zover hij daar controle over heeft.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-20-gebruiksverantwoordelijken-maatregelen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Het niet naleven van deze maatregelen kan leiden tot onjuist gebruik van de AI-systemen, wat de effectiviteit en veiligheid ervan kan verminderen, en kan resulteren in risico's voor gebruikers en derden.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-21-gebruiksverantwoordelijken-menselijk-toezicht/","title":"Menselijke controle van hoog-risico-AI-systemen wordt uitgevoerd door mensen met voldoende kennis en mogelijkheden","text":"
Gebruiksverantwoordelijken dragen het menselijk toezicht over een hoog risico AI-systeem op aan natuurlijke personen die over de nodige bekwaamheid, opleiding en autoriteit beschikken en de nodige ondersteuning krijgen.
Het is van belang dat natuurlijke personen die het menselijk toezicht moeten uitvoeren over het AI-systeem met een hoog risico, daarvoor over de nodige bekwaamheid, opleiding en autoriteit beschikt. Daarbij kan het van belang zijn dat deze natuurlijke personen ondersteuning krijgen bij het uitvoeren van deze taak.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-21-gebruiksverantwoordelijken-menselijk-toezicht/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Als de natuurlijke toezichthouder geen effectief toezicht kan houden op het hoog risico AI-systeem, kunnen ongewenste, negatieve effecten onstaan voor betrokkenen en de organisatie.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-22-gebruiksverantwoordelijken-monitoren-werking/","title":"De werking van hoog-risico-AI-systemen wordt gemonitord","text":"
aia-22Monitoring en beheerProjectleiderMenselijke controle
Gebruiksverantwoordelijken monitoren de werking van het AI-systeem met een hoog risico op basis van de gebruiksaanwijzingen en stellen in voorkomend geval de aanbieders in kennis overeenkomstig artikel 72 AI Verordening
Gebruiksverantwoordelijken moeten de werking van hoog risico AI-systemen monitoren. Dit is van belang om passende maatregelen te kunnen treffen als het systeem onbedoeld anders gaat functioneren.
Wanneer gebruiksverantwoordelijken redenen hebben om aan te nemen dat het gebruik overeenkomstig de gebruiksaanwijzingen ertoe kan leiden dat dat AI-systeem een risico vormt in de zin van artikel 79, lid 1, stellen zij de aanbieder of distributeur en de betreffende markttoezichtautoriteit hiervan zonder onnodige vertraging in kennis en onderbreken zij het gebruik van dat systeem. Wanneer gebruiksverantwoordelijke een ernstig incident vaststellen, stellen zij ook onmiddellijk eerst de aanbieder hiervan in kennis, en vervolgens de importeur of distributeur en de betreffende markttoezichtautoriteiten van dat incident. Wanneer de gebruiksverantwoordelijke de aanbieder niet kan bereiken, is artikel 73 mutatis mutandis van toepassing. Deze verplichting geldt niet voor gevoelige operationele gegevens van gebruiksverantwoordelijke van AI-systemen die de hoedanigheid van rechtshandhavingsinstanties hebben.
Voor gebruiksverantwoordelijke die in de hoedanigheid van financi\u00eble instellingen onderworpen zijn aan eisen met betrekking tot hun interne governance, regelingen of processen uit hoofde van het Unierecht inzake financi\u00eble diensten, wordt de monitoringsverplichting overeenkomstig de eerste alinea geacht te zijn vervuld door te voldoen aan de regels inzake interne governance, regelingen of processen en -mechanismen uit hoofde van het desbetreffende recht inzake financi\u00eble diensten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-22-gebruiksverantwoordelijken-monitoren-werking/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Zonder monitoring door gebruiksverantwoordelijken en (waar nodig) het informeren van aanbieder, distributeur of markttoezichtautoriteit, kan de foutieve werking van een hoog risico AI-systeem niet worden gesignaleerd en hersteld.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-23-gebruiksverantwoordelijken-bewaren-logs/","title":"Logs voor hoog-risico-AI-systemen worden bewaard door de gebruiksverantwoordelijke","text":"
aia-23OntwikkelenMonitoring en beheerProjectleiderTechnische robuustheid en veiligheid
Gebruiksverantwoordelijken van AI-systemen met een hoog risico bewaren de logs die automatisch worden gegenereerd door dat AI-systeem met een hoog risico voor zover dergelijke logs onder hun controle vallen gedurende een periode die passend is voor het beoogde doel van het AI-systeem met een hoog risico, of ten minste zes maanden, tenzij anders is bepaald in het toepasselijke Unie- of nationaal recht, meer in het bijzonder het Unierecht over de bescherming van persoonsgegevens
Anders dan in artikel 16(e) AI-verordening, waar een vergelijkbare vereiste geldt voor aanbieders, gaat het hier om een vereiste specifiek voor de gebruiksverantwoordelijken. Het is van belang dat de gebruiksverantwoordelijken een zelfstandige beoordeling maakt wat moet worden gelogd en voor welke periode gezien de doelstelling van de inzet van het AI-systeem. Daarbij is het van belang om te beoordelen in hoeverre een gebruiksverantwoordelijke hier 'controle' over heeft. De gebruiksverantwoordelijke zal, al dan niet samen met de aanbieder, (technische) maatregelen moeten treffen om dit te realiseren.
Gebruiksverantwoordelijken die in de hoedanigheid van financi\u00eble instellingen onderworpen zijn aan eisen met betrekking tot hun interne governance, regelingen of processen uit hoofde van het Unierecht inzake financi\u00eble diensten bewaren de logs als onderdeel van de documentatie die bewaard wordt krachtens het desbetreffende Unierecht inzake financi\u00eble diensten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-23-gebruiksverantwoordelijken-bewaren-logs/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Het niet of onvoldoende bewaren van logs kan het vermogen belemmeren om incidenten te analyseren, naleving te controleren en verantwoordelijkheid vast te stellen bij mogelijke problemen met het AI-systeem.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-24-informeren-werknemers/","title":"Werknemers weten dat hun organisatie een hoog-risico AI-systeem gebruikt","text":"
Voordat een AI-systeem met een hoog risico op de werkplek in gebruik wordt gesteld of wordt gebruikt, delen gebruiksverantwoordelijken die werkgever zijn werknemersvertegenwoordigers en de betrokken werknemers mee dat zij zullen worden onderworpen aan het gebruik van het AI-systeem met een hoog risico. Deze informatie wordt, indien van toepassing, verstrekt in overeenstemming met de in het Unie- en nationaal recht vastgelegde regels en procedures en de praktijk inzake informatie van werknemers en hun vertegenwoordigers.
Dit vereiste benadrukt het belang van het informeren van werknemersvertegenwoordigers en betrokken werknemers over de inzet van een hoog risico AI-systeem op de werkplaats. Dit dient voorafgaand aan de inzet van het systeem plaats te vinden. De gebruiksverantwoordelijke als werknemer dient hier zorg voor te dragen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-24-informeren-werknemers/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Als werknemersvertegenwoordigers en werknemers niet worden ge\u00efnformeerd over de inzet van een hoog risico AI-systeem, kunnen zij zich niet weren tegen mogelijk ongewenste en negatieve effecten van de inzet van het hoog risico AI-systeem.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-25-gebruiksverantwoordelijken-registratieverplichtingen/","title":"Gebruiksverantwoordelijken controleren de registratie van het hoog-risico AI-systeem in de EU-databank","text":"
aia-25OrganisatieverantwoordelijkhedenImplementatieMonitoring en beheerProjectleiderTransparantieGovernance
Gebruiksverantwoordelijken van AI-systemen met een hoog risico die de hoedanigheid van overheidsinstanties of instellingen, organen of instanties van de Unie hebben, leven de in artikel 49 bedoelde registratieverplichtingen na. Wanneer deze gebruiksverantwoordelijke vaststellen dat het AI-systeem met een hoog risico dat zij voornemens zijn te gebruiken niet in de in artikel 71 bedoelde EU-databank is geregistreerd, gebruiken zij dat systeem niet en stellen zij de aanbieder of de distributeur daarvan in kennis.
Het is van belang dat gebruiksverantwoordelijken nagaan of het betreffende hoog risico AI-systeem door aanbieder is geregistreerd in de EU-databank (zoals omschreven in artikel 71 AI-verordening). Voordat het betreffende AI-systeem (bijlage III vermeld AI-systeem met een hoog risico) in gebruik te stellen of te gebruiken (met uitzondering van de in punt 2 van bijlage III vermelde AI-systemen met een hoog risico) registreren gebruiksverantwoordelijken die overheidsinstanties, instellingen, organen of instanties van de Unie, of personen die namens hen optreden, zichzelf en selecteren zij het systeem en registreren zij het gebruik ervan in de in artikel 71 bedoelde EU-databank.
Heeft de aanbieder het betreffende hoog risico AI-systeem niet geregistreerd in de EU-Databank, dan mag het hoog risico AI-systeem niet worden gebruikt. De aanbieder of distributeur wordt door de gebruiksverantwoordelijke ge\u00efnformeerd dat het systeem niet is geregistreerd in de EU-databank.
AI-systemen met een hoog risico als bedoeld in punt 2 van bijlage III (kritieke infrastructuur) worden op nationaal niveau geregistreerd.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-25-gebruiksverantwoordelijken-registratieverplichtingen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Zonder registratie van het hoog risico AI-systeem en het registreren welke organisaties of personen hier gebruik van maken, is het negatieve negatieve van het mogelijk onjuist of ongewenst functioneren van het AI-systeem niet te overzien en onduidelijk welke betrokken dit raakt.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-26-recht-op-uitleg-ai-besluiten/","title":"Mensen over wie besluiten worden genomen door een hoog-risico-AI-systemen, krijgen op verzoek informatie over deze besluiten","text":"
aia-28OrganisatieverantwoordelijkhedenOntwerpMonitoring en beheerProjectleiderGovernanceFundamentele rechtenTransparantie
Elke getroffen persoon op wie een besluit van toepassing is dat door de gebruiksverantwoordelijke wordt genomen op basis van de output van een in bijlage III vermeld AI-systeem met een hoog risico, met uitzondering van systemen die in punt 2 van die bijlage zijn vermeld, en dat rechtsgevolgen heeft voor die persoon, of op deze op vergelijkbare wijze aanzienlijke invloed heeft die hij of zij als nadelige gevolgen voor zijn of haar gezondheid, veiligheid of grondrechten beschouwt, heeft het recht om van de gebruiksverantwoordelijke duidelijke, inhoudelijke toelichting te verkrijgen bij de rol van het AI-systeem in de besluitvormingsprocedure en de voornaamste elementen van het genomen besluit.
Getroffen personen moeten het recht hebben om uitleg te krijgen indien het besluit van een gebruiksverantwoordelijke voornamelijk is gebaseerd op de output van bepaalde AI-systemen met een hoog risico die binnen het toepassingsgebied van de AI-verordening vallen en indien dat besluit rechtsgevolgen of gelijkaardige aanzienlijke gevolgen heeft voor de gezondheid, veiligheid of grondrechten van die personen. Die uitleg moet duidelijk en zinvol zijn en moet de grondslag zijn waarop de getroffen personen zich kunnen baseren om hun rechten uit te oefenen. Het recht om uitleg te krijgen mag niet van toepassing zijn op het gebruik van AI-systemen waarvoor uitzonderingen of beperkingen voortvloeien uit het Unierecht of het nationale recht en moet alleen van toepassing zijn voor zover het Unierecht niet reeds in dit recht voorziet. Dit vereiste geldt bijvoorbeeld niet als het gaat om AI-systemen die bedoeld zijn om te worden gebruikt als veiligheidscomponent bij het beheer of de exploitatie van kritieke digitale infrastructuur, wegverkeer of bij de levering van water, gas, verwerking en electriciteit (punt 2 bij Bijlage III van AI-verordening).
Bijlage III Verordening Artifici\u00eble Intelligentie
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-26-recht-op-uitleg-ai-besluiten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Als gebruiksverantwoordelijke geen duidelijke, inhoudelijke toelichting geeft over de rol van het AI-systeem in de besluitvormingsprocedure en de voornaamste elementen bij het genomen besluit, is het voor getroffen personen niet mogelijk zich te verdedigen tegen de rechtsgevolgen die hieruit voortkomen of de nadelige gevolgen voor gezondheid, veiligheid of diens grondrechten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-27-beoordelen-gevolgen-grondrechten/","title":"Hoog-risico-AI-systemen voor publieke taken worden beoordeeld op gevolgen voor grondrechten","text":"
aia-29OntwerpVerificatie en validatieProjectleiderBeleid en adviesFundamentele rechten
Voordat een AI-systeem met een hoog risico als bedoeld in artikel 6, lid 2 AI-verordening, in gebruik wordt genomen, met uitzondering van AI-systemen met een hoog risico die bedoeld zijn om te worden gebruikt op het in punt 2 van bijlage III vermelde gebied, voeren operatoren die publiekrechtelijke instellingen zijn of particuliere entiteiten zijn die openbare diensten verlenen, en operatoren van AI-systemen met een hoog risico als bedoeld in bijlage III, punt 5, onder b) en c), een beoordeling uit van de gevolgen voor de grondrechten die het gebruik van een dergelijk systeem kan opleveren.
Voordat een AI-systeem met een hoog risico in gebruik wordt genomen, moeten publieke instellingen of particuliere entiteiten die openbare diensten leveren, en operators van bepaalde AI-systemen, een beoordeling uitvoeren van de impact op de grondrechten die het gebruik ervan kan hebben. Deze evaluatie is bedoeld om potenti\u00eble risico's te identificeren die kunnen voortvloeien uit het gebruik van dergelijke systemen en om passende maatregelen te nemen om deze risico's te beheersen. Het doel is om de bescherming van grondrechten te waarborgen bij het gebruik van AI-systemen met een hoog risico, met name in sectoren waar deze systemen cruciale diensten leveren aan het publiek.
Bijlage III.2 en III.5 Verordening Artifici\u00eble Intelligentie
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-27-beoordelen-gevolgen-grondrechten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke
Het niet uitvoeren van deze beoordeling kan leiden tot schendingen van de grondrechten, juridische complicaties en verlies van vertrouwen van het publiek in het gebruik van AI-systemen door overheids- en openbare dienstverlenende entiteiten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-27-beoordelen-gevolgen-grondrechten/#hulpmiddelen","title":"Hulpmiddelen","text":"HulpmiddelenImpact Assessment Mensenrechten en Algoritmes"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-28-transparantieverplichtingen/","title":"AI-systemen worden zo ontworpen en gebruikt, dat mensen begrijpen wanneer zij met een AI-systeem communiceren en welke content gemaakt is door een AI-systeem","text":"
Aanbieders van AI-systemen zorgen dat AI-sytemen zodanig worden ontworpen en ontwikkeld dat de betrokken natuurlijke personen worden ge\u00efnformeerd dat zij interacteren met een AI-systeem. Gebruiksverantwoordelijken moeten betrokkenen informeren over de werking van het systeem en in het geval van een AI-systeem dat content gegenereert duidelijk kenbaar maken dat de content kunstmatig is gegenereerd of gemanipuleerd.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-28-transparantieverplichtingen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenhoog risico AI-systeemgeen hoog risico AI-systeemAanbieder
Bepaalde AI-systemen die bedoeld zijn om met natuurlijke personen te interageren of om content te genereren, kunnen specifieke risico\u2019s op imitatie of misleiding met zich meebrengen, ongeacht of zij als systeem met een hoog risico gelden.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-29-ai-modellen-algemene-doeleinden/","title":"AI-modellen voor algemene doeleinden zijn voorzien van voldoende technische documentatie en informatie","text":"
aia-29OntwerpOntwikkelenMonitoring en beheerProjectleiderTransparantie
Aanbieders van AI-modellen voor algemene doeleinden moeten (technische) informatie en documentatie opstellen, up-to-date houden en beschikbaar stellen voor aanbieders van AI-systemen die het AI-model voor algemene doeleinden in hun AI-systemen willen integreren.
Aanbieders van AI-modellen voor algemene doeleinden hebben een bijzondere rol en verantwoordelijkheid. Zij leveren modellen die de basis kunnen vormen voor weer andere systemen en algoritmen, die vaak weer door andere partijen worden aangeboden dan de ontwikkelaar van het algemene systeem. Dit vraagt om een goed inzicht in de modellen en hun capaciteiten, zowel qua integratie van de modellen in producten als qua naleving van verplichtingen.
Er zijn daarom evenredige transparantiemaatregelen nodig, zoals het opstellen en bijwerken van documentatie en verstrekken van informatie over het AI-model voor algemeen gebruik door de aanbieders van systemen die de algemene modellen gebruiken in hun product. De aanbieder van het AI-model voor algemene doeleinden dient technische documentatie op te stellen en bij te werken om deze op verzoek te kunnen overleggen aan het AI-bureau en de nationale bevoegde autoriteiten. De minimaal in de documentatie op te nemen elementen moeten worden vastgelegd volgens bijlage XII van de AI-Verordening. Hierbij is het ook van belang dat de aanbieder van AI-modellen voor algemene doelstelling beleid opstellen voor naleving van auteursrechten en naburige rechten (artikel 4, lid 3 Richtlijn (EU) 2019/790).
In art. 53 lid 2 wordt een uitzondering gemaakt op deze vereisten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-29-ai-modellen-algemene-doeleinden/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
Het niet voldoen aan deze verplichtingen kan leiden tot juridische en ethische complicaties, inclusief schendingen van auteursrechten en gebrek aan transparantie in het gebruik van AI-modellen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-30-ai-modellen-algemene-doeleinden-systeemrisico/","title":"Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico treffen extra maatregelen","text":"
aia-30OntwikkelenVerificatie en validatieMonitoring en beheerProjectleiderOntwikkelaarTransparantie
Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico moeten modelevaluatie uitvoeren overeenkomstig gestandaardiseerde protocollen en instrumenten die de stand van de techniek weerspiegelen, met inbegrip van het uitvoeren en documenteren van tests gericht op het ontdekken van kwetsbaarheden van het model om systeemrisico\u2019s in kaart te brengen en te beperken.
De aanbieders van AI-modellen voor algemene doeleinden die systeemrisico\u2019s inhouden, moeten, naast de verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden, onderworpen worden aan verplichtingen die gericht zijn op het identificeren en beperken van die risico\u2019s en op waarborging van een passend niveau van cyberbeveiliging, ongeacht of het model een op zichzelf staand model is of ingebed in een AI-systeem of in een product. Aanbieders van AI-modellen voor algemene doeleinden met een potentieel systeemrisico moeten modelevaluaties uitvoeren. Dit omvat het testen en documenteren van het model volgens de stand van de techniek, met specifieke aandacht voor het identificeren en beperken van kwetsbaarheden. Deze maatregelen zijn bedoeld om systematische risico's te adresseren en te verminderen. Deze vereiste is een aanvulling op de genoemde verplichtingen in artikel 53 van de AI-verordening.
Systeemrisico betekent: een risico dat specifiek is voor de capaciteiten met een grote impact van AI-modellen voor algemene doeleienden, die aanzienlijke gevolgen hebben voor de markt van de Uniek vanwege hun bereik, of vanwege feitelijke of redelijkerwijs te voorziene negatieve gevolgen voor de gezondheid, de veiligheid, de openbare veiligheid, de grondrechten of de samenleving als geheel, en dat op grote schaal in de hele waardeketen kan worden verspreid.
Systeemrisico\u2019s nemen logischerwijs toe naargelang de capaciteiten en het bereik van een model groter zijn, kunnen zich voordoen gedurende de gehele levenscyclus van het model en worden be\u00efnvloed door elementen als misbruik van het model, de betrouwbaarheid, billijkheid, beveiliging en mate van autonomie ervan. Ook worden ze be\u00efnvloed door de toegang van het model tot instrumenten, nieuwe of gecombineerde modaliteiten, introductie- en distributiestrategie\u00ebn, en door het potentieel om waarborgen te omzeilen en andere factoren.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-30-ai-modellen-algemene-doeleinden-systeemrisico/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
Niet voldoen aan deze verplichtingen kan leiden tot negatieve gevolgen voor de gezondheid, veiligheid, de openbare veiligheid, de grondrechten of de samenleving als geheel.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-31-ai-modellen-algemene-doeleinden-systeemrisico-ernstige-incidenten/","title":"Als AI-modellen voor algemene doeleinden met systeemrisico\u2019s ernstige incidenten veroorzaken, wordt dit gedocumenteerd en gerapporteerd","text":"
aia-31Monitoring en beheerProjectleiderGovernanceTransparantie
Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico moeten relevante informatie over ernstige incidenten en mogelijke corrigerende maatregelen bijhouden, documenteren en onverwijld rapporteren aan het AI bureau en, in voorkomend geval, aan de nationale bevoegde autoriteiten.
Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico moeten ernstige incidenten documenteren en rapporteren. Deze informatie moet onmiddellijk worden gemeld aan het AI-bureau en eventueel aan nationale autoriteiten. Dit proces is cruciaal voor het waarborgen van de veiligheid en het nemen van passende corrigerende maatregelen. Dit vereiste is een aanvulling op de in artikel 53 AI-verordening genoemde verplichtingen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-31-ai-modellen-algemene-doeleinden-systeemrisico-ernstige-incidenten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
Niet voldoen aan deze verplichtingen kan leiden tot risico's op veiligheidsincidenten, datalekken en schade aan de betrokken partijen en het publiek.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-32-ai-modellen-algemene-doeleinden-systeemrisico-cyberbeveiliging/","title":"AI-modellen voor algemene doeleinden met systeemrisico\u2019s zijn voldoende beveiligd tegen cyberaanvallen","text":"
aia-32OntwikkelenMonitoring en beheerOntwikkelaarGovernanceTechnische robuustheid en veiligheid
Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico zorgen voor een passend niveau van cyberbeveiligingsbescherming voor het AI-model voor algemene doeleinden met een systeemrisico en de fysieke infrastructuur van het model.
Aanbieders van AI-modellen met systeemrisico moeten zorgen voor passende cyberbeveiligingsmaatregelen. Dit omvat het beschermen van zowel het AI-model als de fysieke infrastructuur tegen potenti\u00eble cyberdreigingen. Het doel is om de integriteit en veiligheid van het model en de infrastructuur te waarborgen. Dit vereiste is een aanvulling op de in artikel 53 AI-verordening genoemde verplichtingen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-32-ai-modellen-algemene-doeleinden-systeemrisico-cyberbeveiliging/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
Niet voldoen aan deze verplichtingen kan leiden tot risico's op veiligheidsincidenten, datalekken en schade aan de betrokken partijen en het publiek.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-33-verwerking-in-testomgeving/","title":"AI-testomgevingen die persoonsgegevens verwerken, voldoen aan strenge voorwaarden","text":"
aia-33OrganisatieverantwoordelijkhedenOntwikkelenDataverkenning en datapreparatieJuristOntwikkelaarProjectleiderPrivacy en gegevensbeschermingData
Rechtmatig voor andere doeleinden verzamelde persoonsgegevens mogen uitsluitend in de AI-testomgeving voor regelgeving worden verwerkt ten behoeve van het ontwikkelen, trainen en testen van bepaalde AI-systemen en indien aan alle voorwaarden van art. 57 is voldaan.
De verwerking van persoonsgegevens voor AI-testdoeleinden is mogelijk maar het moet voldoen aan strikte voorwaarden die zijn opgenomen in artikel 57 AI-Verordening. Hierbij kan worden gedacht aan voorwaarden als het beschermen van persoonsgevens met passende technische en organisatorische maatregelen, persoonsgegevens die in de testomgeving worden aangemaakt mogen niet buiten de testomgeving worden gedeeld en logbestanden worden bijgehouden voor de duur van de deelname aan de testomgeving. Voor toepassingen voor het verder verwerken van gegevens kan worden gedacht aan het ontwikkelen van een AI-systeem zodat een overheidsinstantie of een andere natuurlijke of rechtspersoon een aanzienlijk openbaar belang kan waarborgen, bijvoorbeeld op het gebied van kwaliteit van milieu, duurzaamheid, openbare veiligheid en gezondheid.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-33-verwerking-in-testomgeving/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-model voor algemene doeleindenAI-systeemAI-systeem voor algemene doeleindenAanbiederGebruiksverantwoordelijke
Verdere verwerking van persoonsgegevens buiten een AI-testomgeving vergroot de kans op bijvoorbeeld het lekken van de persoonsgegevens, wat kan leiden tot een inbreuk op de privacyrechten van betrokken.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-34-monitoring-na-het-in-de-handel-brengen/","title":"Hoog-risico-AI-systemen zijn voorzien van een monitoringsysteem","text":"
aia-34Monitoring en beheerProjectleiderTechnische robuustheid en veiligheid
Aanbieders moeten een systeem voor monitoring na het in de handel brengen vaststellen en documenteren op een manier die evenredig is aan de aard van de AI-technologie\u00ebn en de risico\u2019s van het AI-systeem met een hoog risico.
Aanbieders moeten een monitoringssysteem opzetten voor het monitoren na het in de handel brengen. Dit systeem moet documenteren op een wijze die passend is bij de aard van de AI-technologie\u00ebn en de risico's van het betreffende AI-systeem met een hoog risico. Dit monitoringssysteem moet proportioneel zijn aan de complexiteit en potenti\u00eble impact van het AI-systeem.
Het systeem voor monitoring na het in de handel brengen verzamelt, documenteert en analyseert actief en systematisch relevante data die door gebruiksverantwoordelijken kunnen zijn verstrekt of via andere bronnen kunnen zijn verzameld, over de prestaties van AI-systemen met een hoog risico gedurende hun hele levensduur. Dit stelt de aanbieder in staat na te gaan of AI-systemen blijvend voldoen aan de in hoofdstuk III, afdeling 2, van de AI-verordening vermelde voorschriften. In voorkomend geval omvat de monitoring na het in de handel brengen een analyse van de interactie met andere AI-systemen. Deze verplichting geldt niet voor gevoelige operationele gegevens van gebruiksverantwoordelijken die rechtshandhavingsinstanties zijn.
Het systeem voor monitoring na het in de handel brengen is gebaseerd op een plan voor monitoring na het in de handel brengen. Het plan voor monitoring na het in de handel brengen maakt deel uit van de in bijlage IV bedoelde technische documentatie.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-34-monitoring-na-het-in-de-handel-brengen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Zonder monitoringssysteem voor na het in handel brengen is er een risico dat verminderde pestaties van een AI-systeem met hoog risico ongedeteceerd blijven. Een aanbieder kan niet nagaan of een AI-systeem blijvend voldoet aan voorschriften.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-35-melding-ernstige-incidenten/","title":"Ernstige incidenten door hoog-risico-AI-systemen worden gemeld aan de toezichthouder","text":"
aia-35OrganisatieverantwoordelijkhedenMonitoring en beheerProjectleiderGovernance
Aanbieders van in de Europese Unie in de handel gebrachte AI-systemen met een hoog risico melden ernstige incidenten bij de markttoezichtautoriteiten van de lidstaten waarin dat incident heeft plaatsgevonden.
Aanbieders van AI-systemen met een hoog risico die binnen de EU worden verhandeld, moeten ernstige incidenten melden bij de markttoezichtautoriteiten van de lidstaten waar het incident heeft plaatsgevonden. Een 'ernstig incident' wordt in artikel 3 van de AI-verordening gedefinieerd als: een incident of gebrekkig functioneren van een AI-systeem dat direct of indirect leidt tot:
het overlijden van een persoon of ernstige schade voor de gezondheid van een persoon;
een ernstige en onomkeerbare verstoring van het beheer of de exploitatie van kritieke infrastructuur;
een schending van de uit het recht van de Unie voortvloeiende verplichtingen ter bescherming van de grondrechten;
ernstige schade aan eigendommen of het milieu.
Dit meldingsproces is bedoeld om snel en adequaat te reageren op ernstige incidenten die zich voordoen bij het gebruik van deze AI-systemen, en om passende maatregelen te nemen ter bescherming van de consumenten en het publiek. Het doel is om de veiligheid en betrouwbaarheid van AI-systemen te waarborgen en mogelijke risico's voor gebruikers te minimaliseren.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-35-melding-ernstige-incidenten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAanbieder
Het niet melden van ernstige incidenten kan leiden tot vertraagde reactie op potenti\u00eble gevaren voor gebruikers en kan het vertrouwen in AI-systemen ondermijnen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-36-melding-inbreuk-op-ai-verordening/","title":"Klokkenluiders kunnen veilig melden dat een organisatie zich niet houdt aan de AI-verordening","text":"
aia-36OrganisatieverantwoordelijkhedenMonitoring en beheerProjectleiderGovernanceMenselijke controle
Inbreuken op de AI verordening moeten gemeld kunnen worden en melders moeten dit op een veilige en vertrouwelijke manier kunnen doen, zoals beschreven in Richtlijn (EU) 2019/1937.
Personen die optreden als klokkenluiders bij inbreuken op de AI-verordening, moeten worden beschermd uit hoofde van het Unierecht. Richtlijn (EU) 2019/1937 (https://eur-lex.europa.eu/legal-content/NL/LSU/?uri=CELEX:32019L1937) van het Europees Parlement en de Raad moet daarom van toepassing zijn. De richtlijn biedt een kader voor het veilig en vertrouwelijk melden van schendingen van de verordening, terwijl het de melders (\"klokkenluiders\") beschermt tegen represailles of vervolging. Deze richtlijn bevordert transparantie en verantwoording binnen organisaties en draagt bij aan een cultuur van naleving en integriteit.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-36-melding-inbreuk-op-ai-verordening/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"
AI-systeemAI-systeem voor algemene doeleindenAI-model voor algemene doeleindenAanbiederGebruiksverantwoordelijke
Gebrek aan een veilige omgeving kan ertoe leiden dat klokkenluiders geen melding maken van inbreuk op de AI-verordening. Dit schaadt het rapportagesysteem en heeft negatief effect op het maatschappelijk welzijn.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-37-recht-klacht-indienen-bij-ai-bureau/","title":"Klachtrecht aanbieders verder in AI-waardeketen","text":"
Aanbieders verder in de AI-waardeketen hebben het recht om een klacht in te dienen bij het AI-bureau in het geval van een inbreuk op de AI-verordening. Dit biedt hen een mechanisme om actie te ondernemen bij schendingen van de regels met betrekking tot AI-modellen voor algemene doeleinden die zij ge\u00efntrigeerd hebben in AI-systemen. Het AI-bureau kan dan passende maatregelen nemen om de naleving van de verordening te handhaven en eventuele geschillen tussen aanbieders op te lossen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-37-recht-klacht-indienen-bij-ai-bureau/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/aia-37-recht-klacht-indienen-bij-ai-bureau/#risico","title":"Risico","text":"
Gebrek aan klachtrecht verhindert het AI-bureau om tijdig en zorgvuldig te kunnen ingrijpen bij overtreding van de AI-verordening.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/arc-01-archiefwet/","title":"Informatie over algoritmes wordt gedocumenteerd volgens de Archiefwet","text":"
arc-01UitfaserenMonitoring en beheerOntwikkelenProjectleiderOntwikkelaarTransparantieData
Overheidsorganen zijn verplicht de onder hen berustende archiefbescheiden in goede, geordende en toegankelijke staat te brengen en te bewaren, alsmede zorg te dragen voor de vernietiging van de daarvoor in aanmerking komende archiefbescheiden.
Volgens de Archiefwet moeten overheden informatie bewaren. Op basis van deze informatie moet gereconstrueerd kunnen worden hoe besluiten, ook in de context van algoritmes, tot stand zijn gekomen. Informatie over en van algoritmes moet daarom op basis van de selectielijst bewaard en vernietigd worden.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/arc-01-archiefwet/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/arc-01-archiefwet/#risico","title":"Risico","text":"
Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te reconstrueren en te controleren hoe besluiten, waar algoritmes aan hebben bijgedragen, tot stand zijn gekomen. Het nalaten om archiefbescheiden na verloop van tijd te verwijderen brengt risico's met zich mee op het gebied van privacy en informatiebeveiliging.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aut-01-auteursrechten/","title":"Auteursrechten zijn beschermd","text":"
aut-01Dataverkenning en datapreparatieOntwerpJuristDataGovernance
Bepaalde type algoritmes worden ontwikkeld op basis van grote hoeveelheden data. Deze data wordt gebruikt voor het trainen en testen van algoritmes. Het gebruiken van deze data mag geen inbreuk maken op auteursrechten van diegene die deze rechten heeft. Ook de gegenereerde output van algoritmes mag geen inbreuk maken op deze rechten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/aut-01-auteursrechten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/aut-01-auteursrechten/#risico","title":"Risico","text":"
Het niet voldoen aan het auteursrecht kan leiden tot onrechtmatig gebruik van auteursrechtelijk beschermde inhoud, wat kan resulteren in mogelijke juridische geschillen, boetes en schadevergoedingen voor inbreuk op het auteursrecht. Bovendien kan het niet naleven van het auteursrecht het vertrouwen van gebruikers en belanghebbenden ondermijnen, wat kan leiden tot reputatieschade en gebrek aan vertrouwen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-01-persoonsgegevens-worden-rechtmatig-verwerkt/","title":"Persoonsgegevens worden op een rechtmatige manier verwerkt","text":"
avg-01ProbleemanalyseOntwerpDataverkenning en datapreparatieProjectleiderJuristPrivacy en gegevensbescherming
De verwerking van persoonsgegevens moet rechtmatig plaatsvinden, wat betekent dat de verwerking gebaseerd moet zijn op \u00e9\u00e9n van de wettelijke grondslagen die zijn geformuleerd in artikel 6 Algemene Verordening Gegevensbescherming. Persoonsgegevens mogen alleen worden verzameld voor specifieke, duidelijk omschreven en gerechtvaardigde doeleinden. Het is niet toegestaan om deze gegevens verder te verwerken op een manier die niet verenigbaar is met deze oorspronkelijke doeleinden.
Bij het verwerken van persoonsgegevens ten behoeve van de ontwikkeling en gebruik van algoritmes moet worden onderzocht of dit kan worden gebaseerd op \u00e9\u00e9n van de verwerkingsgrondslagen. Het is van belang dat wordt uitgewerkt welke persoonsgegevens waarvoor worden verwerkt en op basis van welke grondslag. Hierbij kan worden gedacht aan persoonsgegevens ten behoeve van trainingsdata, voor het genereren van output of, indien (juridisch) mogelijk, voor het uitvoeren van een onderzoek naar onbewuste vooringenomenheid.
Overweging 39 en 45 Algemene Verordening Gegevensbescherming
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-01-persoonsgegevens-worden-rechtmatig-verwerkt/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-01-persoonsgegevens-worden-rechtmatig-verwerkt/#risico","title":"Risico","text":"
Het risico wanneer persoonsgegevens niet op een rechtmatige manier worden verwerkt (verzamelen van gegevens valt hier ook onder), is dat er niet aan de AVG wordt voldaan. Er worden dan onrechtmatig persoonsgegevens verwerkt, waarmee privacy van personen in het geding komt. Ook kan het leiden tot hoge boetes voor organisaties, en kan een datalek plaatsvinden.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-02-beperkte-bewaartermijn-van-persoonsgegevens/","title":"Persoonsgegevens worden zo kort mogelijk bewaard","text":"
avg-02OntwerpDataverkenning en datapreparatieOntwikkelenUitfaserenOntwikkelaarBeleid en adviesPrivacy en gegevensbescherming
Persoonsgegevens moeten worden bewaard in een vorm die het mogelijk maakt om de betrokkenen niet langer te identificeren dan nodig is voor de realisering van de doeleinden waarvoor de persoonsgegevens initieel worden verwerkt.
Persoonsgegevens dienen toereikend en ter zake dienend te zijn en beperkt te blijven tot wat noodzakelijk is voor de doeleinden waarvoor zij worden verwerkt. Dit vereist dat ervoor wordt gezorgd dat de opslagperiode van de persoonsgegevens tot een strikt minimum wordt beperkt. Het beginsel van opslagbeperking betekent dat persoonsgegevens moeten worden bewaard in een vorm die het mogelijk maakt om de betrokkenen niet langer te identificeren dan voor de realisering van de doeleinden waarvoor de persoonsgegevens worden verwerkt.
In de context van algoritmes is het belangrijk dat, wanneer persoonsgegevens worden verwerkt, er onderzocht wordt op welke manieren identificatie van betrokkenen tegen kan worden gegaan. Hierbij kan worden gedacht aan maatregelen als pseudonomisering en anonimisering.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-02-beperkte-bewaartermijn-van-persoonsgegevens/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-02-beperkte-bewaartermijn-van-persoonsgegevens/#risico","title":"Risico","text":"
Het onnodig lang bewaren van persoonsgegevens levert een onrechtmatige situatie op. De privacyrechten van betrokken worden hierdoor aangetast. Er ontstaan aanvullende risico's bij bijvoorbeeld een datalek.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-03-minimale-verwerking-van-persoonsgegevens/","title":"Persoonsgegevens worden zo min mogelijk verwerkt","text":"
avg-03OntwerpDataverkenning en datapreparatieOntwikkelenJuristOntwikkelaarPrivacy en gegevensbescherming
De verwerking van persoonsgegevens moet minimaal worden gehouden, dat wil zeggen dat die verwerking toereikend moet zijn, ter zake dienend en beperkt tot wat noodzakelijk is voor de doeleinden waarvoor zij worden verwerkt.
Het is van belang dat \u00e9nkel persoonsgegevens worden verwerkt die noodzakelijk zijn gezien de doeleinden van die vewerking. Er moet een beoordeling worden gemaakt welke persoonsgegevens dit wel en eventueel niet zijn. Voor het ontwikkelen en gebruiken van algoritmes is het van belang om te beoordelen welke persoonsgegevens noodzakelijk zijn om het beoogde doel te bereiken. Afhankelijk van de toepassing vraagt dit om een intensieve toets. Er moet voor worden gezorgd dat persoonsgegevens die niet als noodzakelijk worden beschouwd, buiten de verwerking blijven.
Artikel 5 lid 1 onder c Algemene Verordening Gegevensbescherming
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-03-minimale-verwerking-van-persoonsgegevens/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-03-minimale-verwerking-van-persoonsgegevens/#risico","title":"Risico","text":"
Het onnodig verwerken van persoonsgegevens kan een inbreuk maken op rechten van betrokkenen, en zou kunnen leiden tot een datalek.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-04-proportionaliteit-en-subsidiariteit/","title":"Persoonsgegevens en andere data verwerken gebeurt proportioneel en subsidiair","text":"
avg-04OntwerpDataverkenning en datapreparatieJuristOntwikkelaarFundamentele rechtenPrivacy en gegevensbescherming
Gegevensverwerking moet in verhouding staan tot het beoogde doel en persoonsgegevens mogen alleen verwerkt worden als er geen minder ingrijpende manier is om het doel te bereiken. Voor zover het gaat om de verwerking van persoonsgegevens moet dit vereiste aantoonbaar zijn.
Proportionaliteit vereist dat de impact van gegevensverwerking op de persoonlijke levenssfeer voor de toepassing van een algoritme en voor het genereren van de benodigde output in balans is met het beoogde doel. Subsidiariteit vereist dat persoonsgegevens alleen moeten worden verwerkt als dit de minst inbreukmakende manier is om het doel te bereiken. Deze principes waarborgen dat de privacy van individuen wordt gerespecteerd en dat gegevensverwerking niet verder gaat dan noodzakelijk is voor legitieme doeleinden. Het is van belang om deze principes te hanteren om te bepalen of en in welke vorm een algoritmes moet worden toegepast en om tot een passende mate van gegevensverwerking te komen om het doel te bereiken.
Artikel 5(4) Verdrag betreffende de Europese Unie, Maastricht, 07-02-1992 |
Artikel 52 Handvest van de Grondrechten van de Europese Unie
Protocol betreffende de toepassing van de beginselen van subsidiariteit en evenredigheid Verdrag betreffende de Europese Unie, Maastricht, 07-02-1992
Artikel 1.10, 1.13 en 1.16 Aanbestedingswet 2012
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-04-proportionaliteit-en-subsidiariteit/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-04-proportionaliteit-en-subsidiariteit/#risico","title":"Risico","text":"
Zonder toetsing aan het proportinaliteits- en subsidiariteitsbeginsel ontstaat het risico dat er een onnodig zware en daardoor onrechtmatige inbreuk wordt gemaakt op de privacyrechten van betrokkenen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-05-juistheid-en-actualiteit-van-persoonsgegevens/","title":"Persoonsgegevens zijn juist en actueel","text":"
avg-05Dataverkenning en datapreparatieOntwikkelaarProjectleiderPrivacy en gegevensbescherming
De te verwerken persoonsgegevens moeten nauwkeurig, juist en zo nodig actueel zijn. Dit betekent dat alle maatregelen moeten worden genomen om ervoor te zorgen dat onjuiste persoonsgegevens worden gerectificeerd of gewist. Dat kan betekenen dat persoonsgegevens moeten worden geactualiseerd of verbeterd. In de context van algoritmes is het van belang dat ook daar wordt onderzocht welke maatregelen nodig zijn om die juistheid toe te passen.
Artikel 5 lid 1 sub d Algemene Verordening Gegevensbescherming
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-05-juistheid-en-actualiteit-van-persoonsgegevens/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-05-juistheid-en-actualiteit-van-persoonsgegevens/#risico","title":"Risico","text":"
Als er geen rekening wordt gehouden met de juistheid, nauwkeurigheid en volledigheid van persoonsgegevens, kunnen kwaliteit en integriteit van data niet voldoende worden gewaarborgd.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-06-verantwoordingsplicht-rechtmatigheid/","title":"Organisaties kunnen bewijzen dat zij persoonsgegevens op de juiste manier verwerken","text":"
avg-06OntwerpDataverkenning en datapreparatieJuristGovernancePrivacy en gegevensbescherming
De verantwoordelijken moeten bij de verwerking van persoonsgegevens door algoritmes kunnen aantonen dat de verwerkingen rechtmatig plaatsvinden. Dit betekent concreet dat de volgende punten aangetoond kunnen worden:
Rechtmatigheid, behoorlijkheid en transparantie
Doelbinding
Minimale gegevensverwerking
Juistheid
Opslagbeperking
Integriteit en vertrouwelijkheid
Een aandachtpunt daarbij is dat de rechtmatigheid van de verwerking ten opzichte van andere gerelateerde wetgeving zoals de AI Act en de Algemene wet gelijke behandeling ook moeten kunnen worden aangetoond voor zover de rechtmatigheid van de verwerking onder de AVG daarvan afhankelijk is.
Bij het verwerken van persoonsgegevens voor algoritmes moeten de verantwoordelijkheden duidelijk beschreven en toegewezen zijn. De verwerkingsverantwoordelijke is degene die ervoor zorgt dat deze verantwoordelijkheden worden nageleefd en kan dit aantonen, wat bekend staat als de verantwoordingsplicht. Deze maatregelen zijn essentieel om de naleving van regelgeving met betrekking tot gegevensbescherming te waarborgen en het vertrouwen van gebruikers in de verwerking van hun gegevens te vergroten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-06-verantwoordingsplicht-rechtmatigheid/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-06-verantwoordingsplicht-rechtmatigheid/#risico","title":"Risico","text":"
Het niet naleven van deze norm moet worden gekwalificeerd als een onrechtmatigheid, niet als een risico voor de rechten en vrijheden van betrokkenen onder de AVG. Maar het niet voldoen aan artikel 5 betekent in de praktijk vaak wel dat er onvoldoende zicht is op risico's voor de rechten en vrijheden van betrokkenen of dat er te grote risico's worden genomen. Deze gevolgen zijn echter indirect een gevolg van het niet naleven van artikel 5 AVG. Het moeten voldoen aan het aantoonbaarheidsvereiste kan wel risico's hebben voor de organisatie die een algortime inzet. Enkele risico's zijn:
Aantoonbaarheidsvereisten vragen in de praktijk veel documentatie. Deze documentatie kan via de Woo opgevraagd worden. Het ontbreken van documentatie kan door externen vaak relatief makkelijk in verband worden gebracht met een overtreding van deze vereisten.
Algoritmes die van nature slecht inzichtelijk en uitlegbaar zijn (zoals deep-learning) hebben een zeer hoge drempel om aan deze vereiste te voldoen. Aantonen van rechtmatigheid is voor een belangrijk deel afhankelijk van inzicht in de werking van het algoritme. De inzet van een algortime kan dus mogelijk tegengehouden worden door deze vereisten.
Bij leveranciers die niet of gedeeltelijke transparant zijn over hun product of dienstverlening ontstaat een vergelijkbaar risico. Waar de Woo uitzonderingen heeft voor bedrijfsgeheimen heeft de AVG daar maar beperkte ruimte voor. Het is dus mogelijk dat leveranciers terughoudend zullen zijn met het delen van informatie die onder de AVG ook aan betrokkenen gecommuniceerd moeten worden.
Samenwerkingsverbanden en externe leveranciers kunnen niet als argumenten worden gebruikt om de aantoonbaarheidsvereisten op af te schuiven. Onafhankelijk van de onderlinge afspraken daarover hebben alle verwerkingsverantwoordelijken de verplichting om aan deze vereisten te kunnen voldoen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-07-transparantie-bij-verwerken-persoonsgegevens/","title":"Organisaties zijn transparant over het verwerken van persoonsgegevens","text":"
avg-07ImplementatieMonitoring en beheerOntwikkelaarProjectleiderPrivacy en gegevensbeschermingTransparantie
Een betrokkene moet op de hoogte worden gesteld van het feit dat er verwerking plaatsvindt van diens persoonsgegevens en van de doeleinden daarvan (zoals ook is verwoord in het beginsel van transparante verwerking, artikel 5 AVG). Hierbij moeten de specifieke omstandigheden en de context waarin de persoonsgegevens worden verwerkt, worden meegenomen. In artikel 13 en 14 AVG wordt toegelicht welke informatie in welke gevallen moet worden verstrekt door de verwerkersverantwoordelijke. Als persoonsgegevens worden verwerkt ten behoeve van het ontwikkelen of gebruiken van algoritmes, zal deze informatie moeten worden verstrekt.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-07-transparantie-bij-verwerken-persoonsgegevens/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-07-transparantie-bij-verwerken-persoonsgegevens/#risico","title":"Risico","text":"
Rechten van betrokken worden geschonden als er geen sprake is van transparantie over de verwerkingen van de persoonsgegevens.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-08-wettelijke-verwerking-van-gevoelige-gegevens/","title":"Gevoelige persoonsgegevens worden alleen gebruikt als hiervoor een wettelijke uitzondering geldt","text":"
avg-08OntwerpDataverkenning en datapreparatieProjectleiderJuristBeleid en adviesPrivacy en gegevensbeschermingBias en non discriminatie
Persoonsgegevens die door hun aard bijzonder gevoelig zijn wat betreft de grondrechten en fundamentele vrijheden, verdienen specifieke bescherming. Dit komt doordat de context van de verwerking ervan significante risico's kan meebrengen voor de grondrechten en de fundamentele vrijheden. Denk hierbij aan persoonsgegevens als ras, ethnische afkomst, politieke opvattingen of religieuze of levenschouwelijke overtuigingen.
Bijzondere categorie\u00ebn persoonsgegevens mogen alleen worden verwerkt als er hier een wettelijke uitzondering voor is (artikel 9 AVG en artikel 30 UAVG). Deze vereiste is ook van toepassing bij het ontwikkelen en gebruiken van algoritmes en stelt daarmee beperkingen aan het mogen verwerken van deze categorie\u00ebn persoonsgegevens, bv. ten behoeve van trainingsdata of het genereren van de beoogde output.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-08-wettelijke-verwerking-van-gevoelige-gegevens/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-08-wettelijke-verwerking-van-gevoelige-gegevens/#risico","title":"Risico","text":"
Het (onrechtmatige) verwerken van bijzondere categorie\u00ebn persoonsgegevens brengt risico's met zich mee op het gebied van respecteren van de persoonlijke levenssfeer en discriminatie.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-09-inroepen-privacyrecht-bij-verwerking-persoonsgegevens/","title":"Betrokkenen kunnen een beroep doen op hun privacyrechten","text":"
avg-09OrganisatieverantwoordelijkhedenOntwikkelenOntwikkelaarPrivacy en gegevensbeschermingData
Mensen hebben het recht om hun privacyrechten uit te oefenen door een beroep te doen op verschillende wettelijke bepalingen, zoals het recht op inzage, correctie, verwijdering en bezwaar tegen de verwerking van hun persoonsgegevens. Dit betekent dat individuen controle hebben over hoe hun gegevens worden gebruikt en kunnen verzoeken om toegang te krijgen tot hun gegevens of om wijzigingen aan te brengen indien nodig.
Het kunnen uitoefenen van privacyrechten is essentieel voor het beschermen van de privacy van individuen, het waarborgen van transparantie en controle uitvoeren over persoonsgegevens. Als persoonsgegevens worden verwerkt voor het ontwikkelen en gebruiken van algoritmes, is het van belang dat maatregelen worden getroffen om deze rechten te eerbiedigen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-09-inroepen-privacyrecht-bij-verwerking-persoonsgegevens/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-09-inroepen-privacyrecht-bij-verwerking-persoonsgegevens/#risico","title":"Risico","text":"
Betrokkenen hebben geen controle over hun persoonsgegevens wanneer ze geen beroep kunnen doen op hun privacyrechten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-10-recht-op-niet-geautomatiseerde-besluitvorming/","title":"Besluiten die levens kunnen be\u00efnvloeden, zijn niet volledig geautomatiseerd","text":"
avg-10OntwerpImplementatieProjectleiderBeleid en adviesPrivacy en gegevensbescherming
Betrokkenen hebben het recht om niet onderworpen te worden aan een enkel op geautomatiseerde verwerking, waaronder proflering, gebaseerd besluit, wanneer dit rechtsgevolgen heeft voor hen of het hen anderszins in aanzienlijke mate treft. Dit verbod geldt niet indien de geautomatiseerde individuele besluitvorming, anders dan op basis van profilering, noodzakelijk is om te voldoen aan een wettelijke verplichting die op de verwerkingsverantwoordelijke rust of noodzakelijk is voor de vervulling van een taak van algemeen belang.
Mensen hebben het recht om niet onderworpen te worden aan beslissingen die uitsluitend gebaseerd zijn op geautomatiseerde verwerking, zoals profilering, als dit aanzienlijke gevolgen voor hen heeft of hen op een andere manier aanzienlijk be\u00efnvloedt. Dit recht biedt bescherming tegen mogelijke negatieve effecten van volledig geautomatiseerde besluitvormingssystemen, en waarborgt dat individuen kunnen rekenen op menselijke tussenkomst en beoordeling bij belangrijke beslissingen die hen kunnen treffen. Uitgangspunt is dat voor elk individueel geval een zorgvuldige beoordeling van de kenmerken en omstandigheden plaatsvindt voordat een besluit wordt genomen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-10-recht-op-niet-geautomatiseerde-besluitvorming/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-10-recht-op-niet-geautomatiseerde-besluitvorming/#risico","title":"Risico","text":"
Bij geautomatiseerde besluitvorming kan het risico ontstaan dat kenmerken van een bepaalde groep ten onrechte worden tegengeworpen aan een individu die deze kenmerken niet hoeft te bezitten.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-11-privacy-bij-ontwerp-bij-verwerking-van-persoonsgegevens/","title":"Ontwerp en standaardinstellingen (defaults) zijn zo gunstig mogelijk voor de privacy van betrokkenen","text":"
avg-11OntwerpDataverkenning en datapreparatieBeleid en adviesProjectleiderJuristOntwikkelaarPrivacy en gegevensbescherming
Gegevensbescherming door ontwerp en standaardinstellingen houdt in dat privacy- en gegevensbescherming vanaf het begin worden ge\u00efntegreerd in de ontwikkeling van systemen en processen (ook wel privacy-by-design genoemd). Door al bij het ontwerp rekening te houden met privacyaspecten en door standaardinstellingen die privacy bevorderen, wordt de bescherming van persoonsgegevens versterkt. Hierbij kan worden gedacht een het pseudonimiseren van persoonsgegevens of dataminimalisatie.
Deze aanpak zorgt ervoor dat privacy-overwegingen een integraal onderdeel zijn van alle aspecten van gegevensverwerking en draagt bij aan het vertrouwen van individuen in de veilige omgang met hun gegevens. Dit is eveneens van toepassing als persoonsgegevens worden verwerkt bij het ontwikkelen en gebruiken van algoritmes.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-11-privacy-bij-ontwerp-bij-verwerking-van-persoonsgegevens/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-11-privacy-bij-ontwerp-bij-verwerking-van-persoonsgegevens/#risico","title":"Risico","text":"
Door privacy en gegevensbescherming door ontwerp en standaardinstellingen niet toe te passen, kan een inbreuk op rechten van betrokkenen ontstaan.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-12-beveiliging-van-verwerking/","title":"Data zoals persoonsgegevens zijn voldoende beveiligd tegen ongelukken en cyberaanvallen","text":"
avg-12OrganisatieverantwoordelijkhedenJuristOntwikkelaarPrivacy en gegevensbeschermingTechnische robuustheid en veiligheid
Rekening houdend met de stand van de techniek, de uitvoeringskosten, alsook met de aard, de omvang, de context en de verwerkingsdoeleinden en de qua waarschijnlijkheid en ernst uiteenlopende risico's voor de rechten en vrijheden van personen, treffen de verwerkingsverantwoordelijke en de verwerker passende technische en organisatorische maatregelen om een op het risico afgestemd beveiligingsniveau te waarborgen.
Voor de ontwikkeling en gebruik van algoritmes is data nodig. Deze data kan persoonsgegevens bevatten die moeten worden beschermd. De organisatie zal technische en organisatorische maatregelen moeten treffen om de data en het algoritme voldoende te beschermen. Hierbij kan worden gedacht aan dataminimalisatie, het pseudonimiseren of aggregeren van persoonsgegevens. Per toepassing moet worden onderzocht welke maatregelen hiervoor geschikt zijn.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-12-beveiliging-van-verwerking/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-12-beveiliging-van-verwerking/#risico","title":"Risico","text":"
Er kunnen risico's ontstaan zoals potenti\u00eble cyberaanvallen en datalekken. Dit kan leiden bijvoorbeeld tot verlies of diefstal van gevoelige gegevens, verstoring van organisatieprocessen,ongeautoriseerde toegang, vernietiging en onrechtmatige verwerking.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-13-dpia-verplicht/","title":"Een Data Protection Impact Assessment (DPIA) wordt uitgevoerd wanneer de verwerking van persoonsgegevens waarschijnlijk een hoog risico met zich meebrengt voor de rechten en vrijheden van natuurlijke personen","text":"
avg-13OntwerpDataverkenning en datapreparatieVerificatie en validatieJuristProjectleiderPrivacy en gegevensbescherming
Een gegevensbeschermingseffectbeoordeling (DPIA) is verplicht, indien een verwerking van persoonsgegevens waarschijnlijk een hoog risico inhoudt voor de rechten en vrijheden van natuurlijke personen.
Een Gegevensbeschermingseffectbeoordeling (GEB) of Data Protection Impact Assessment (DPIA) is verplicht wanneer de verwerking van persoonsgegevens waarschijnlijk een hoog risico met zich meebrengt voor de rechten en vrijheden van natuurlijke personen. Deze beoordeling identificeert en beperkt potenti\u00eble risico's en zorgt ervoor dat passende maatregelen worden genomen om de privacy van individuen te beschermen. Deze verplichting draagt bij aan een zorgvuldige en verantwoorde omgang met persoonsgegevens in algoritmes, waardoor de privacy van individuen wordt gewaarborgd.
Let op: de DPIA verplichting is niet gebaseerd op de hoog-risico criteria uit de AI-act. Volgens Besluit lijst verwerkingen persoonsgegevens waarvoor een gegevensbeschermingseffectbeoordeling (DPIA) verplicht is, Autoriteit Persoonsgegevens moet voor het uitvoeren van een DPIA in ieder geval uitgegaan worden van een hoog risico als er sprake is van \u00e9\u00e9n van de volgende voorwaarden:
Evaluatie of scoretoekenning
Geautomatiseerde besluitvorming met rechtsgevolg of vergelijkbaar wezenlijk gevolg
Stelselmatige monitoring
Gevoelige gegevens of gegevens van zeer persoonlijke aard
Op grote schaal verwerkte gegevens
Matching of samenvoeging van datasets
Gegevens met betrekking tot kwetsbare betrokkenen
Innovatief gebruik of innovatieve toepassing van nieuwe technologische of organisatorische oplossingen
de situatie waarin als gevolg van de verwerking zelf \"betrokkenen [...] een recht niet kunnen uitoefenen of geen beroep kunnen doen op een dienst of een overeenkomst\";
Het is mogelijk dat algoritmes die niet aan \u00e9\u00e9n of meer van deze eigenschappen voldoen toch voor een potentieel hoog risico zorgen.
Gebruiksverantwoordelijken van AI-systemen met een hoog risico gebruiken die informatie op grond van artikel 13 AI Verordening om hun verplichting na te komen om een gegevensbeschermingseffectbeoordeling uit te voeren.
Besluit lijst verwerkingen persoonsgegevens waarvoor een gegevensbeschermingseffectbeoordeling (DPIA) verplicht is, Autoriteit Persoonsgegevens
Data protection impact assessment (DPIA) Autoriteit Persoonsgegevens
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-13-dpia-verplicht/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-13-dpia-verplicht/#risico","title":"Risico","text":"
Het niet evalueren van de impact van het verwerking van persoonsgegevens in algoritmes kan resulteren in het niet onderkennen van de bijbehorende risico's en het niet op tijd te mitigieren van deze risico's. Dit kan leiden tot potenti\u00eble schendingen van de rechten en vrijheden van betrokkenen en een onrechtmatige verwerking.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/avg-13-dpia-verplicht/#hulpmiddelen","title":"Hulpmiddelen","text":"HulpmiddelenData Protection Impact AssessmentToetsingskader Algoritmes Algemene Rekenkamer"},{"location":"voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel/","title":"Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig.","text":"
awb-01OntwerpOntwikkelenVerificatie en validatieProjectleiderBeleid en adviesFundamentele rechten
Het zorgvuldigheidsvereiste eist dat een besluit met de nodige zorgvuldigheid wordt voorbereid en juist wordt genomen. Dit vraagt onder meer om een zorgvuldig onderzoek naar informatie, feiten, een zorgvuldige beslissingsprocedure en een deugdelijke besluitvorming.
Dit betekent dat bij de ontwikkeling en gebruik van algoritmes informatie moet worden vastgelegd over het algoritme. Hierbij kan worden gedacht aan: - Dat het doel en eventuele subdoelen van het algoritme of AI-systeem helder zijn gedefinieerd, ook in relatie tot het maatschappelijke resultaat (outcome). - Een bewuste afweging afmaken en vaststellen of het algoritme het juiste middel is om het probleem op doelmatige en doeltreffende wijze op te lossen. - Dat de werking van het algoritme is onderzocht en is vastgesteld dat dit passend is om te gebruiken in een besluitvormingsproces.
Advies artikel 22 AVG en geautomatiseerde selectie-instrumenten
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel/#risico","title":"Risico","text":"
De werking van het algoritmes sluit niet of onvoldoende aan bij de juridische en ethische grenzen van de te ondersteunen wettelijke taak. Hierdoor kunnen ongewenste gevolgen ontstaan zoals een onjuist of onzorgvuldig genomen besluit.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/awb-02-motiveringsbeginsel/","title":"Organisaties kunnen duidelijk uitleggen waarom en hoe algoritmes leiden tot een besluit","text":"
awb-02OntwerpImplementatieMonitoring en beheerProjectleiderOntwikkelaarTransparantie
De Awb eist dat een besluit een deugdelijke en kenbare motivering heeft. Dit geldt ook als algoritmes worden ingezet. Een betrokkene moet in staat zijn om te controleren of de overheid een besluit correct heeft genomen. Het motiveringsbeginsel draagt bij aan doelen als verantwoording kunnen afleggen en het bieden van rechtsbescherming. Het kan in samenhang worden gezien met transparantieverplichtingen die voortkomen uit de AVG.
Het is van belang dat inzichtelijk wordt gemaakt in het besluit welke gegevens zijn verwerkt en welke 'aannames' een algoritme bevat. Dit speelt in het bijzonder als gebruik wordt gemaakt van geautomatiseerde besluitvormingsprocessen. Hierbij kan worden gedacht aan:
Dat een besluit tot stand is gekomen met behulp van een algoritme.
Van welke feiten het bestuursorgaan is uitgegaan.
Welke gegevens zijn verwerkt.
Welke relevante belangen tegen elkaar zijn afgewogen en hoe die afweging is verlopen.
Welke regels zijn gebruikt.
Wat de hierachter is (kenbaarheid).
Welke analytische technieken zijn gebruikt.
Waarom deze regels en logica relevant zijn (uitleg)?
Op welke wijze de regels en logica tot stand zijn gekomen en hoe deze regels worden gevalideerd.
Een besluit moet informatie hierover bevatten om als om als voldoende draagkrachtig gemotiveerd te gelden. Het motiveringsbeginsel op grond van de Awb is beperkt tot besluiten in de zin van de Awb.
Jurisprudentie over AERIUS (ABRvS 18 juli 2018, ECLI:NL:RVS:2018:2454), Hof van Justitie C-274/18
Advies artikel 22 AVG en geautomatiseerde selectie-instrumenten
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/awb-02-motiveringsbeginsel/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/awb-02-motiveringsbeginsel/#risico","title":"Risico","text":"
Het is onduidelijk op wat voor manier het algoritmes heeft bijgedragen aan de totstandkoming van een besluit.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/bio-01-beveiliging-informatie-en-informatiesystemen/","title":"Computersystemen zijn voldoende beveiligd tegen ongelukken en cyberaanvallen","text":"
bio-01OrganisatieverantwoordelijkhedenBeleid en adviesOntwikkelaarTechnische robuustheid en veiligheid
Informatiebeveiliging is het proces van vaststellen van de vereiste beveiliging van informatiesystemen in termen van vertrouwelijkheid, beschikbaarheid en integriteit alsmede het treffen, onderhouden en controleren van een samenhangend pakket van bijbehorende maatregelen. In Nederland is besloten dat overheidsinstellingen de Baseline Informatiebeveiliging Overheid (BIO) dienen toe te passen over hun informatie en informatiesystemen. De BIO beoogt de beveiliging van informatie(systemen) bij alle bestuurslagen en bestuursorganen van de overheid te bevorderen, zodat alle onderdelen erop kunnen vertrouwen dat onderling uitgewisselde gegevens, in lijn met wet- en regelgeving, passend beveiligd zijn.
Algoritmes en hun output kunnen onderdeel worden van de informatie en informatiesystemen waar de BIO op van toepassing is. Het is van belang om algoritmische toepassingen en AI-systemen op de juiste manier te beveiligen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/bio-01-beveiliging-informatie-en-informatiesystemen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/bio-01-beveiliging-informatie-en-informatiesystemen/#risico","title":"Risico","text":"
Er kunnen risico's ontstaan zoals ongeautoriseerde toegang, vernietiging, verlies, wijziging of niet-toegestane verwerking van gegevens als de informatie en informatiesystemen onvoldoende zijn beveiligd.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/bzk-01-algoritmeregister/","title":"Impactvolle algoritmes en hoog-risico-AI-systemen staan in het Nederlandse Algoritmeregister","text":"
bzk-01ImplementatieMonitoring en beheerProjectleiderTransparantie
Het publiceren van algoritmes draagt bij aan transparantie voor belanghebbenden en derden over welke algoritmes worden gebruikt door de overheid. Het is vastgesteld beleid dat overheidsinstellingen, tenzij er uitsluitingsgronden zijn, de door hen gebruikte impactvolle algoritmes en hoogrisico AI-systemen publiceren in het algoritmeregister. Er wordt gewerkt aan wetgeving om het bij wet verplicht te stellen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/bzk-01-algoritmeregister/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/bzk-01-algoritmeregister/#risico","title":"Risico","text":"
Door het niet publiceren van impactvolle algoritmes of hoog risico AI -systemen in het Algoritmeregister, is het voor betrokkenen of belanghebbenden minder goed mogelijk om de overheid kritisch te volgen, te bevragen en te controleren op de inzet van deze technologie\u00ebn die hen kunnen raken. Bij het onjuist of onvolledig publiceren in het Algortimeregister ontstaat er een risico dat betrokkenen en belanghebbenden onjuiste inschattingen maken over het gebruik van het algoritmes en daardoor in hun rechten worden beperkt.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/bzk-01-algoritmeregister/#hulpmiddelen","title":"hulpmiddelen","text":"HulpmiddelenAlgoritmeregister"},{"location":"voldoen-aan-wetten-en-regels/vereisten/dat-01-databankenwet/","title":"Databanken worden alleen gebruikt met toestemming van de databank-producent","text":"
De Databankrichtlijn en Databankenwet beschermt de producten/fabrikanten van databanken tegen onrechtmatige toe-eigening van een databank. Degene die een substanti\u00eble financi\u00eble en professionele investering heeft verricht om de inhoud van de databank te verkijgen en te verzamelen, krijgt een verbodsrecht en kan zo anderen verbieden de databank te gebruiken. Bij verkrijgen gaat het om \"het verzamelen van de werken, gegevens of andere zelfstandige elementen die tezamen de inhoud van de databank vormen\". Dit recht bestaat naast het recht op bescherming van de originele keuze of rangschikking van de inhoud van databanken (auteurswet).
Voor het ontwikkelen van algoritme is data nodig. De data die hiervoor wordt gebruikt mag niet ongeoorloofd zijn verkregen uit een databank.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/dat-01-databankenwet/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/dat-01-databankenwet/#risico","title":"Risico","text":"
Als een ontwikkelaar onbevoegd gebruik heeft gemaakt van data uit een databank bij de ontwikkeling van algoritmes, wordt het databankenrecht geschonden van de eigenaar. De eigenaar van de databank kan bijvoorbeeld ontrekking van de data uit het handelsverkeer, vernietiging en onbruikbaarmaking eisen, wat vergaande gevolgen kan hebben voor het gebruik kunnen maken van de algoritmische toepassing of AI-systeem.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/grw-01-fundamentele-rechten/","title":"Algoritmes schenden geen grondrechten of mensenrechten","text":"
grw-01ProbleemanalyseOntwerpVerificatie en validatieMonitoring en beheerProjectleiderJuristFundamentele rechten
Mensenrechten gelden voor alle mensen op de wereld. De mensenrechten in Nederland zijn beschermd door nationale wetten en internationale verdragen. In Nederland staan veel mensenrechten in hoofdstuk 1 van de Grondwet. Deze rechten heten ook wel \u2019grondrechten\u2019. Een bekend voorbeeld is artikel 1 van de Grondwet. Om mensenrechten te beschermen zijn ze op Europees en internationaal niveau in verschillende verklaringen en verdragen vastgelegd.
Mensenrechten kunnen soms onder druk komen te staan. De inzet van algoritmes kan bijvoorbeeld een bedreiging vormen voor de privacy van burgers, voor het recht op gelijke behandeling en voor het recht op behoorlijk bestuur. Het is daarom belangrijk om tijdig te onderzoeken of er sprake is of kan zijn van een eventuele inbreuk op fundamentele rechten en vrijheden van burgers. Het is van belang dat maatregelen worden getroffen om een eventuele inbreuk te voorkomen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/grw-01-fundamentele-rechten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/grw-01-fundamentele-rechten/#risico","title":"Risico","text":"
Grondrechten kunnen worden geraakt door de inzet van algoritmes met eventuele schadelijke gevolgen voor betrokkenen.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/grw-01-fundamentele-rechten/#hulpmiddelen","title":"hulpmiddelen","text":"HulpmiddelenImpact Assessment Mensenrechten en AlgoritmesThe Fairness HandbookHandreiking non-discriminatie by designDiscriminatie door risicoprofielen - Een mensenrechtelijk toetsingskader"},{"location":"voldoen-aan-wetten-en-regels/vereisten/grw-02-non-discriminatie/","title":"Algoritmes discrimineren niet","text":"
grw-02Dataverkenning en datapreparatieVerificatie en validatieMonitoring en beheerProjectleiderBias en non discriminatie
Allen die zich in Nederland bevinden, worden in gelijke gevallen gelijk behandeld. Directe en indirecte discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, handicap, seksuele gerichtheid of op welke grond dan ook, is niet toegestaan.
Overheidsinstanties moeten zich bij het uitvoeren van hun taken onthouden van discriminatie, ook wanneer er gebruik wordt gemaakt van algoritmes. Wanneer er algoritmes worden gebruikt om selecties te maken van burgers, dienen we te streven naar een gelijke behandeling van personen of groepen ten opzichte van andere personen in een vergelijkbare situatie. Hierbij is het belangrijk te beseffen dat discriminatie ook op indirecte wijze kan ontstaan. Hiervan is sprake wanneer een ogenschijnlijk neutrale bepaling, maatstaf of handelwijze personen met een beschermd persoonskenmerk in vergelijking met andere personen in het bijzonder benadeelt, tenzij hiervoor een objectieve rechtvaardiging bestaat.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/grw-02-non-discriminatie/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/grw-02-non-discriminatie/#risico","title":"Risico","text":"
Het risico bestaat dat het model onwenselijke systematische afwijkingen cre\u00ebert voor specifieke personen, groepen of andere eenheden, wat kan duiden op directe of indirecte discriminerende effecten van het algoritme.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/woo-01-recht-op-toegang-tot-publieke-informatie/","title":"Iedereen kan openbare informatie over algoritmes vinden of aanvragen","text":"
Een bestuursorgaan draagt er zorg voor dat de documenten die het ontvangt, vervaardigt of anderszins onder zich heeft, zich in goede, geordende en toegankelijke staat bevinden. Een bestuursorgaan draagt er zoveel mogelijk zorg voor dat de informatie die het overeenkomstig deze wet verstrekt, actueel, nauwkeurig en vergelijkbaar is.
Bij het ontwikkelen en gebruiken van algoritmes kunnen documenten en publieke informatie ontstaan die (op verzoek) in aanmerking komen voor openbaarmaking. Het kunnen openbaren van publieke informatie is in het belang van een democratische rechtstaat. De Wet open overheid gaat uit van een recht op openbaarheid van publieke informatie. Iedereenkan een verzoek tot openbaarmaking van publieke informatie doen bij een bestuursorgaan zonder daarbij een belang te stellen (artikel 4.1 Woo). De aan een verzoeker verstrekte informatie wordt openbaar voor iedereen. De Woo is niet van toepassing op informatie die al openbaar is (uitspraken van de Afdeling bestuursrechtspraak van de Raad van State van 1 december 2010 (ECLI:NL:RVS:2010:BNS6990) en 20 oktober 2010 (ECLI:NL:RVS:2010:BO1165)). Er kunnen uitsluitingsgronden bestaan voor het openbaarmaken van documenten (artikel 5.1 Woo).
In de context van het ontwikkelen en gebruiken van algoritmes is het van belang dat tijdig wordt vastgesteld welke documenten in aanmerking komen voor openbaarmaking. Dit moet worden bekeken in het licht van wat 'actief' moet worden geopenbaard, dus proactief vanuit overheidsinstanties zelf, of wat op 'verzoek' van iemand moet worden geopenbaard.
"},{"location":"voldoen-aan-wetten-en-regels/vereisten/woo-01-recht-op-toegang-tot-publieke-informatie/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":""},{"location":"voldoen-aan-wetten-en-regels/vereisten/woo-01-recht-op-toegang-tot-publieke-informatie/#risico","title":"Risico","text":"
Zonder het openbaren van overheidsinformatie kan de overheid niet effectief worden gecontroleerd bij het uitvoeren van wettelijke taken.
DEDA is ontwikkeld door de Data School van de Universiteit Utrecht. DEDA is in nauwe samenwerking met data-analisten ontwikkeld. Inmiddels is DEDA een wijdverspreid instrument, waar de Utrecht Data School ook trainingen en begeleiding bij geeft. Via deze link is meer informatie te vinden.
Zonder duidelijk beleid over de inzet van algoritmes kan het gebeuren dat algoritmes worden ontwikkeld of gebruikt die niet passend zijn binnen de organisatie.
Het algoritme dient niet het onderliggende probleem.
Zonder eenduidigheid over het op te lossen probleem is geen sturing op en verantwoording over het algoritme mogelijk.
Het algoritme dient niet het beoogde doel en onderliggend probleem.
@@ -893,7 +893,7 @@
Risico
Wanneer doelstellingen niet meetbaar zijn gemaakt, is het onmogelijk om achteraf te kwantificeren of de doelstellingen zijn behaald.
Doelstellingen zijn in dat geval moeilijk bespreekbaar.
Documenteer de onderbouwing waarom een algoritme een betere oplossing zou bieden dan een niet-geautomatiseerd of niet-digitaal proces.
-
Maak een bewuste afweging of een algoritme het juiste middel is om het probleem op doelmatige en doeltreffende wijze op te lossen, en documenteer deze afweging.
+
Maak een bewuste afweging of een algoritme het juiste middel is om het probleem op doelmatige en doeltreffende wijze op te lossen, en documenteer deze afweging.
Breng in kaart welke belanghebbenden er zijn en betrek hen op verschillende momenten in de levenscyclus.
-Belanghebbenden zijn onder meer eindgebruikers, mensen en rechtspersonen die door het algoritme geraakt kunnen worden en vertegenwoordigende organisaties.
+
Breng in kaart welke belanghebbenden er zijn en betrek hen op verschillende momenten in de levenscyclus.
Toelichting
-
Algoritmes worden vaak gebruikt binnen een (specifieke) context waar deze invloed op uitoefenen.
-Medewerkers moeten bijvoorbeeld werken met de uitkomsten of anderen zijn onderwerp van het algoritme.
-Om te voorkomen dat er een mismatch ontstaat met de realiteit, is het van belang om verschillende belanghebbende mee te nemen. Het betrekken van specifieke domeinkennis kan bijvoorbeeld in de vorm van kennisdelingsessies of workshops.
-
Het betrekken van belanghebbenden is van belang in bijna alle fasen van de levenscyclus.
+
Het betrekken van belanghebbenden is van belang in bijna alle fasen van de levenscyclus.
+Belanghebbenden zijn onder meer eindgebruikers, mensen en rechtspersonen die door het algoritme geraakt kunnen worden en vertegenwoordigende organisaties.
In de fase van de probleemanalyse is het allereerst van belang in kaart te brengen welke stakeholders er zijn.
Wie gaan bijvoorbeeld werken met het algoritme (eindgebruikers)? En welke demografieën worden geraakt door een algoritme?
Bij wie liggen de voordelen en bij wie liggen de nadelen?
-Ga vervolgens in gesprek met belanghebbenden - al dan niet vertegenwoordigd door belangenorganisaties zoals burgerrechtenorganisaties - over het te ontwerpen algoritme en de context waarin het gebruikt wordt.
-Bespreek daarbij welke definitie en metriek van fairness past bij de context.
-
In de fase van dataverkenning en datapreparatie is het van belang om domeinexpertise te betrekken, om zo in kaart te brengen wat de data features betekenen en waar zij vandaan komen.
-Op basis daarvan kan in kaart gebracht worden of er sprake is van bias en/of links met beschermde persoonskenmerken.
-
In de fase van implementatie is het van belang de eindgebruikers te betrekken.
-Het is dan vooral van belang om maatregelen te nemen om automation bias, deployment bias en reinforcing feedback loop te voorkomen of te beperken.
-
In de fase van monitoren is het van belang belanghebbenden te betrekken bij de evaluatie.
-Dit kan bijvoorbeeld in de vorm van een survey of focusgroep.
-Zij kunnen problemen in de praktijk naar voren brengen, die niet altijd terug te vinden zijn in de data.
-
Terugkoppelen aan buitenwereld.
+Ga in gesprek met deze belanghebbenden - al dan niet vertegenwoordigd door belangenorganisaties zoals burgerrechtenorganisaties - over het te ontwerpen algoritme en de context waarin het gebruikt wordt. Zij kunnen waardevolle inzichten en wensen delen, wat kan bijdragen aan een betere werking van het algoritme.
+
Enkele voorbeelden hierbij zijn:
+- Het betrekken van burgers bij het ontwerpen van een algoritme in de ontwerpfase.
+- Het bespreken welke definitie en metriek van fairness past bij de context met de proceseigenaar en een ethicus.
+- Het betrekken van domeinexperts in de fase van dataverkenning en datapreparatie, om zo in kaart te brengen wat de data features betekenen en waar zij vandaan komen.
+- Het betrekken van eindgebruikers bij het ontwikkelen en het implementeren van het algoritme.
+- Het betrekken van belanghebbenden bij het monitoren en evalueren van het algoritme.
De mismatch kan nadelige gevolgen hebben voor de effectiviteit van het algoritme binnen een context.
-Het kan daarnaast ook ongerechtvaardigde discriminatie in de hand werken.
-Ontwikkelaars kunnen bijvoorbeeld missen dat in de context van het algoritme een variabele een proxy is voor een discriminatiegrond.
+
Het niet betrekken van belanghebbenden bij de ontwikkeling en het gebruik van algoritmes, kan ertoe leiden dat belangrijke inzichten of perspectieven niet worden verwerkt en het algoritme onjuist gaat functioneren.
Voorbeeld
Er zijn veel verschillende methoden om belanghebbenden te betrekken. Zo kan je bijvoorbeeld werken met persona’s of ‘empathy maps’ maken. Ook kan je focusgroepen houden. Denk dan bijvoorbeeld aan een burgerpanel.
@@ -928,7 +919,7 @@
Voorbeeld
- 12 december 2024
+ 16 december 2024
diff --git a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/1-pba-05-wettelijke-grondslag/index.html b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/1-pba-05-wettelijke-grondslag/index.html
index 5cd105e37c..2032f5562a 100644
--- a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/1-pba-05-wettelijke-grondslag/index.html
+++ b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/1-pba-05-wettelijke-grondslag/index.html
@@ -863,7 +863,7 @@
diff --git a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-data-beschikbaarheid/index.html b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/2-owp-02-data-beschikbaarheid/index.html
similarity index 99%
rename from pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-data-beschikbaarheid/index.html
rename to pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/2-owp-02-data-beschikbaarheid/index.html
index 4f22f715d6..4f82979e72 100644
--- a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-data-beschikbaarheid/index.html
+++ b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/2-owp-02-data-beschikbaarheid/index.html
@@ -10,13 +10,13 @@
-
+
-
+
-
+
@@ -848,7 +848,7 @@
Maatregel
Toelichting
-
Het is van belang om voorafgaand aan een project vast te stellen of de data die noodzakelijk is om een algoritme te ontwikkelen of te kunnen gebruiken beschikbaar is, gaat worden en of de data van voldoende kwaliteit is.
+
Het is van belang om voorafgaand aan een project vast te stellen of de data die noodzakelijk is om een algoritme te ontwikkelen of te kunnen gebruiken beschikbaar is, gaat worden en of de data van voldoende kwaliteit is.
Er moet worden onderzocht of en hoe data vanuit de eigen organisatie, die van een eventuele externe aanbieder of elders beschikbaar kan worden gesteld, kan worden opgeslagen en of goedkeuring kan worden gegeven voor het verwerken van de data.
De infrastructuur van de eigen organisatie en/of die van een eventuele externe aanbieder moet van voldoende niveau zijn om de beoogde verwerkingen uit te kunnen voeren.
Een dergelijke analyse levert inzichten op welke problemen er eventueel op dit vlak kunnen ontstaan en geeft input voor de verdere ontwikkeling of (in geval van inkoop) de behoeftestelling.
Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom d
Maatregel
Het doel voor het verwerken van persoonsgegevens met een algoritme is welbepaald en omschreven.
Toelichting
-
-
Persoonsgegevens mogen alleen worden verwerkt voor een ‘welbepaald, uitdrukkelijk omschreven en gerechtvaardigd’ doel;
-
De wettelijke grondslag / wettelijke taak voor de verwerking van de persoonsgegevens moet zijn beschreven, bijvoorbeeld in een DPIA;
-
De verwerking van persoonsgevens voor het ontwikkelen en gebruiken van het algoritme moet verenigbaar met het oorspronkelijke verwerkingsdoel (doelbinding);
-
Eventuele verdere (subsidiaire) verwerkingen, zoals het verwerken van persoonsgegevens voor een onderzoek naar onbewuste vooringenomenheid, moeten uitdrukkelijk worden omschreven.
-
+
Persoonsgegevens mogen alleen worden verwerkt voor een ‘welbepaald, uitdrukkelijk omschreven en gerechtvaardigd’ doel. De wettelijke grondslag voor de verwerking van de persoonsgegevens moet zijn beschreven.
+
De verwerking van persoonsgevens voor het ontwikkelen en gebruiken van een algoritme moet verenigbaar met het oorspronkelijke verwerkingsdoel (doelbinding). Eventuele verdere (subsidiaire) verwerkingen, zoals het verwerken van persoonsgegevens voor een onderzoek naar onbewuste vooringenomenheid, moeten uitdrukkelijk worden omschreven.
+
Stel een overzicht op waarin is beschreven welke persoonsgegevens mogen worden verwerkt.
+Bij de persoonsgegevens is aangegeven om wat voor categorie persoonsgegevens het gaat.
+Per kenmerk is toegelicht waarom deze noodzakelijk is om te verwerken voor het ontwikkelen en gebruiken van het algoritme.
+Het principe van dataminimalisatie is toegepast, wat betekent dat een keuze is gemaakt of een persoonsgegevens al dan niet strikt noodzakelijk is om het doel te bereiken of dat verwerking ervan achterwege kan blijven.
+
Voor het beschermen van deze persoonsgegevens wordt per kenmerk aangegeven op welke manier deze kan worden beschermd. Denk hierbij aan het anonimiseren, pseudonomiseren, aggregeren van de persoonsgegevens.
+
Gebruik een DPIA om bovenstaande zaken te beschrijven.
Als het doel voor het verwerken van persoonsgegevens onvoldoende is omschreven en onderbouwd, ontstaat het risico dat onrechtmatig persoonsgegevens worden verwerken en een inbreuk wordt gemaakt op privacyrechten van betrokkenen.
Het algoritme kan niet of na verloop van tijd niet meer functioneren, doordat onverwachte of ongewenst wijzigingen in het applicatielandschap plaatsvinden.
Zonder duurzaamheidscriteria bij het inkopen van software loop je het risico op hogere energie- en kostenlasten, en beperk je de mogelijkheden om duurzaamheidsdoelstellingen te halen bij je algoritmes.
diff --git a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/2-owp-02-gebruikte-data/index.html b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-gebruikte-data/index.html
similarity index 96%
rename from pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/2-owp-02-gebruikte-data/index.html
rename to pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-gebruikte-data/index.html
index ce930bf70c..337cdeed73 100644
--- a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/2-owp-02-gebruikte-data/index.html
+++ b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-gebruikte-data/index.html
@@ -10,13 +10,13 @@
-
+
-
+
-
+
@@ -857,13 +857,11 @@
Maatregel
Beschrijf welke data gebruikt wordt voor de beoogde toepassing.
Toelichting
-
-
Maak in een vroege fase van de ontwikkeling een inschatting van welke data er gebruikt gaat worden voor het algoritme. Welke data is er beschikbaar?
-Wat voor type data gaat gebruikt worden en uit welke bronnen is de data afkomstig?
-
-
-
Maak al een eerste inschatting van de kwaliteit van de data, en of dit voldoende is voor de beoogde toepassing. Later in de levenscyclus moet je nog nader onderzoek doen naar de kwaliteit van de data.
-
+
Maak in een vroege fase van de ontwikkeling een inschatting van welke data er gebruikt gaat worden voor het algoritme.
+
Leg na het uitvoeren van een beschikbaarheids-, kwaliteit en toegankelijkheidsanalyse vast, welke data wordt verwerkt voor het ontwikkelen en gebruiken van het algoritme
+
Beschrijf daarbij om wat voor gegevens het gaat en uit welke bron deze komen.
Stel vast welke betrokkenen geïnformeerd moeten worden over de ontwikkeling en het gebruik van algoritmes en welke informatie zij hierover nodig hebben.
Een beslissing of besluit wordt niet conform wetgeving genomen en is daarmee onrechtmatig, als geen goede vertaling wordt gemaakt van wetgeving naar het algoritme.
De ambtelijke organisatie maakt politieke-bestuurlijke afwegingen en beslissingen bij de inzet of beëindiging van het gebruik van impactvolle algoritmes, terwijl deze daar niet toe bevoegd is.
Er is een overzicht opgesteld welke persoonsgegevens mogen worden verwerkt en om welke categorie persoonsgegevens het gaat. Het principe van dataminimalisatie is toegepast, zodat het minimum aantal persoonsgegevens wordt verwerkt om het beoogde doel te bereiken.
Er is een overzicht opgesteld welke persoonsgegevens mogen worden verwerkt mogen worden verwerkt.
-
Bij de persoonsgegevens is aangegeven om wat voor categorie persoonsgegevens het gaat.
-
Per kenmerk is toegelicht waarom deze noodzakelijk is om te verwerken voor het ontwikkelen en gebruiken van het algoritme.
-
Het principe van dataminimalisatie is toegepast, wat betekent dat een keuze is gemaakt of een persoonsgegevens al dan niet strikt noodzakelijk is om het doel te bereiken of dat verwerking ervan achterwege kan blijven.
-
Voor het beschermen van deze persoonsgegevens wordt per kenmerk aangegeven op welke manier deze kan worden beschermd (anonimiseren, pseudonomiseren, aggregeren).
-
Een DPIA kan worden gebruikt om bovenstaande activiteiten uit te voeren.
Het algoritme verwerkt persoonsgegevens die het niet mag verwerken.
+
Afgezien van de vele nuttige toepassingen van AI kan zij ook worden misbruikt en nieuwe en krachtige instrumenten voor manipulatie, uitbuiting en sociale controle opleveren.
+Dergelijke praktijken zijn bijzonder schadelijk en abusief en moeten worden verboden omdat zij in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten van de Unie die zijn vastgelegd in het Handvest, waaronder het recht op non-discriminatie, gegevensbescherming en privacy, en de rechten van het kind.
+
In de volgende gevallen gaat het om een verboden toepassing op grond van de AI-Verordening:
+- gebruik kan gaan maken van subliminale technieken om mensen onbewust of bewust kunnen manipuleren, waardoor ze beslissingen nemen die ze anders niet zouden hebben genomen?
+- gebruik kan gaan maken van kwetsbaarheden van individuen of specifieke groepen, zoals leeftijd, handicaps of sociale/economische omstandigheden, om het gedrag van die personen aanzienlijk te verstoren, wat kan leiden tot aanzienlijke schade bij henzelf of anderen?
+- gebruikt kan worden om natuurlijke personen of groepen gedurende een periode te evalueren of te classificeren op basis van hun sociale gedrag of afgeleide persoonlijke kenmerken?
+- gebruikt kan worden voor risicobeoordelingen van natuurlijke personen om het risico op crimineel gedrag te voorspellen, gebaseerd op profilering of persoonlijkheidskenmerken? (Dit geldt niet voor AI-systemen die worden gebruikt om menselijke beoordelingen te ondersteunen, gebaseerd op objectieve en verifieerbare feiten die rechtstreeks verband houden met criminele activiteiten)
+- gebruikt kan worden om databanken voor gezichtsherkenning aan te leggen of aan te vullen door willekeurige gezichtsafbeeldingen van internet of CCTV-beelden te scrapen?
+- gebruikt kan worden om emoties van een persoon op de werkplek of in het onderwijs af te leiden? (Dit is niet van toepassing als het gebruik van het AI-systeem is bedoeld voor medische- of veiligheidsdoeleinden)
+- gebruikt kan worden om natuurlijke personen individueel in categorieën in te delen op basis van biometrische gegevens om ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele geaardheid af te leiden? (Dit verbod geldt niet voor het labelen of filteren van rechtmatig verkregen biometrische datasets, zoals afbeeldingen, op basis van biometrische gegevens, of voor categorisering van biometrische gegevens op het gebied van rechtshandhaving)
+- gebruikt kan worden als een biometrisch systeem in de publieke ruimte voor identificatie op afstand in real-time, met het oog op de rechtshandhaving?
+
Er zijn een tweetal uitzonderingen voor het inzetten van verbonden AI-systemen. Deze zijn:
+- Er is sprake van een rechtshandhavingsactiviteit i.v.m. een specifiek misdrijf (terrorisme, mensenhandel, seksuele uitbuiting van kinderen en materiaal over seksueel misbruik van kinderen, illegale handel in verdovende middelen en psychotrope stoffen, illegale handel in wapens, munitie en explosieven, moord, zware mishandeling, illegale handel in menselijke organen en weefsels, illegale handel in nucleaire en radioactieve stoffen, ontvoering, wederrechtelijke vrijheidsberoving en gijzeling, misdrijven die onder de rechtsmacht van het Internationaal Strafhof vallen, kaping van vliegtuigen/schepen, verkrachting, milieucriminaliteit, georganiseerde of gewapende diefstal, sabotage, deelneming aan een criminele organisatie die betrokken is bij een of meer van de bovengenoemde misdrijven).
+- Er is sprake van gerichte opsporing van specifieke slachtoffers, ontvoering, mensenhandel en seksuele uitbuiting van mensen, vermiste personen; of het voorkomen van bedreigingen voor het leven of de fysieke veiligheid van personen of het reageren op de huidige of voorzienbare dreiging van een terreuraanslag.
- 12 december 2024
+ 16 december 2024
@@ -906,7 +911,7 @@
Voorbeeld
- 14 augustus 2024
+ 16 december 2024
diff --git a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-02-documentatie-beoordeling-niet-hoog-risico-ai/index.html b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-02-documentatie-beoordeling-niet-hoog-risico-ai/index.html
index e56da0e8ed..8f13e0b1d7 100644
--- a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-02-documentatie-beoordeling-niet-hoog-risico-ai/index.html
+++ b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-02-documentatie-beoordeling-niet-hoog-risico-ai/index.html
@@ -13,7 +13,7 @@
-
+
diff --git a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria/index.html b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria/index.html
index 17641b917f..d1024c4d69 100644
--- a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria/index.html
+++ b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria/index.html
@@ -871,7 +871,7 @@
Risico
Gebruik van laagkwalitatieve of bevooroordeelde datasets kan leiden tot onbetrouwbare en oneerlijke AI-besluitvorming.
Onvoldoende kwaliteitsborging van testdata kan leiden tot vertekende resultaten en gebrekkige prestaties van het AI-systeem bij gebruik in de praktijk.
- 12 december 2024
+ 15 december 2024
diff --git a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-12-bewaartermijn-voor-documentatie/index.html b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-12-bewaartermijn-voor-documentatie/index.html
index 15918b48b2..25e4016f36 100644
--- a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-12-bewaartermijn-voor-documentatie/index.html
+++ b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-12-bewaartermijn-voor-documentatie/index.html
@@ -27,7 +27,7 @@
- Documentatie over hoog-risico-AI-systemen wordt tien jaar bewaard door de aanbieder - Algoritmekader (bèta)
+ Documentatie over hoog-risico-AI-systemen wordt 10 jaar bewaard door de aanbieder - Algoritmekader (bèta)
@@ -132,7 +132,7 @@
- Documentatie over hoog-risico-AI-systemen wordt tien jaar bewaard door de aanbieder
+ Documentatie over hoog-risico-AI-systemen wordt 10 jaar bewaard door de aanbieder
@@ -849,7 +849,7 @@
-
Documentatie over hoog-risico-AI-systemen wordt tien jaar bewaard door de aanbieder
+
Documentatie over hoog-risico-AI-systemen wordt 10 jaar bewaard door de aanbieder
- 12 december 2024
+ 15 december 2024
diff --git a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-14-conformiteitsbeoordeling/index.html b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-14-conformiteitsbeoordeling/index.html
index 52f5cd629e..797fe44489 100644
--- a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-14-conformiteitsbeoordeling/index.html
+++ b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-14-conformiteitsbeoordeling/index.html
@@ -855,15 +855,21 @@
Hoog-risico-AI-systemen worden pas geleverd of gebruikt na een conformiteits
Vereiste
Aanbieders van AI-systemen met een hoog risico zorgen ervoor dat voor het AI-systeem met een hoog risico een conformiteitsbeoordelingsprocedure wordt uitgevoerd voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld
Toelichting
-
Aanbieders van AI-systemen met een hoog risico moeten ervoor zorgen dat de conformiteitsbeoordelingsprocedure wordt uitgevoerd voor het systeem op de markt wordt gebracht of in gebruik wordt genomen.
-Dit is mogelijk door middel van een interne controle (als bedoeld in bijlage VI van de AI-verordening) of met betrokkenheid van een aangemelde instantie voor de beoordeling van het systeem voor kwaliteitsbeheer en de technische documentatie (als bedoeld in bijlage VII van de AI-verordening).
-
AI-systemen met een hoog risico die reeds aan een conformiteitsbeoordelingsprocedure zijn onderworpen, ondergaan een nieuwe conformiteitsbeoordelingsprocedure telkens wanneer zij substantieel zijn gewijzigd, ongeacht of het gewijzigde systeem bedoeld is om verder te worden gedistribueerd of door de huidige gebruiksverantwoordelijke gebruikt blijft worden.
+
Conformiteitsbeoordelingen dragen bij aan het kunnen vertrouwen op de kwaliteit van producten en diensten. Aanbieders van AI-systemen met een hoog risico moeten ervoor zorgen dat de conformiteitsbeoordelingsprocedure wordt uitgevoerd vóórdat het systeem op de markt wordt gebracht of in gebruik wordt genomen. Hiervoor moet worden beoordeeld of het ontwikkelde hoog risico AI-systeem voldoet aan de vereisten die gelden voor deze systemen. Denk hierbij aan de vereisten van risicobeheer, technische documentatie, data en datagovernance en transparantie en informatieverstrekking aan gebruiksverantwoordelijken (Afdeling 2, AI-Verordening).
+
Een conformiteitbeoordeling kan worden uitgevoerd door middel van
+- een interne controle (als bedoeld in bijlage VI van de AI-verordening)
+- of met betrokkenheid van een aangemelde instantie voor de beoordeling van het systeem voor kwaliteitsbeheer en de technische documentatie (als bedoeld in bijlage VII van de AI-verordening). Een conformiteitsbeoordeling door een aangemelde instatie wordt ookwel een conformiteitsbeoordeling door een derden genoemd.
+
Als overheidsorganisaties hoog risico AI-systemen gebruiken van aanbieders of deze zelf ontwikkelen, zullen deze systemen veelal de conformiteitsbeoordeling middels een interne controle moeten doorlopen (bijlage VI). Let op! In het geval dat een hoog risico AI-systeem door een rechtshandhavingsinstantie, immigratie- of asielautoriteit wordt ingezet, dan zal de markttoezichtautoriteit als aangemelde instantie optreden die de conformiteitsbeoordeling zal uitvoeren.
+
AI-systemen met een hoog risico die al aan een conformiteitsbeoordelingsprocedure zijn onderworpen, ondergaan een nieuwe conformiteitsbeoordelingsprocedure telkens wanneer zij substantieel zijn gewijzigd, ongeacht of het gewijzigde systeem bedoeld is om verder te worden gedistribueerd of door de huidige gebruiksverantwoordelijke gebruikt blijft worden.
diff --git a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-18-corrigerende-maatregelen-voor-non-conforme-ai/index.html b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-18-corrigerende-maatregelen-voor-non-conforme-ai/index.html
index 31cc3f0609..9259eb2945 100644
--- a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-18-corrigerende-maatregelen-voor-non-conforme-ai/index.html
+++ b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/aia-18-corrigerende-maatregelen-voor-non-conforme-ai/index.html
@@ -27,7 +27,7 @@
- Als een hoog-risico AI-systeem niet voldoet aan de AI-verordening, grijpt de aanbieder in - Algoritmekader (bèta)
+ Als een hoog-risico-AI-systeem niet voldoet aan de AI-verordening, grijpt de aanbieder in - Algoritmekader (bèta)
@@ -132,7 +132,7 @@
- Als een hoog-risico AI-systeem niet voldoet aan de AI-verordening, grijpt de aanbieder in
+ Als een hoog-risico-AI-systeem niet voldoet aan de AI-verordening, grijpt de aanbieder in
@@ -849,7 +849,7 @@
-
Als een hoog-risico AI-systeem niet voldoet aan de AI-verordening, grijpt de aanbieder in
+
Als een hoog-risico-AI-systeem niet voldoet aan de AI-verordening, grijpt de aanbieder in
- 12 december 2024
+ 15 december 2024
diff --git a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/avg-01-persoonsgegevens-worden-rechtmatig-verwerkt/index.html b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/avg-01-persoonsgegevens-worden-rechtmatig-verwerkt/index.html
index ba553d0036..74c70997d1 100644
--- a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/avg-01-persoonsgegevens-worden-rechtmatig-verwerkt/index.html
+++ b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/avg-01-persoonsgegevens-worden-rechtmatig-verwerkt/index.html
@@ -874,7 +874,7 @@
Risico
Er worden dan onrechtmatig persoonsgegevens verwerkt, waarmee privacy van personen in het geding komt.
Ook kan het leiden tot hoge boetes voor organisaties, en kan een datalek plaatsvinden.
diff --git a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel/index.html b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel/index.html
index 144cd5d162..5d10590402 100644
--- a/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel/index.html
+++ b/pr-preview/pr-464/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel/index.html
@@ -27,7 +27,7 @@
- Organisaties die algoritmes gebruiken voor publieke taken gaan zorgvuldig te werk - Algoritmekader (bèta)
+ Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig. - Algoritmekader (bèta)
@@ -132,7 +132,7 @@
- Organisaties die algoritmes gebruiken voor publieke taken gaan zorgvuldig te werk
+ Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig.
@@ -849,25 +849,28 @@
-
Organisaties die algoritmes gebruiken voor publieke taken gaan zorgvuldig te werk
+
Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig.
De ontwikkeling en het gebruik van algoritmes komt zorgvuldig tot stand.
+
Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig.
Toelichting
-
Dit beginsel vereist dat een besluit met de nodige zorgvuldigheid wordt voorbereid en genomen.
-Dit vraagt onder meer om een zorgvuldig onderzoek naar feiten, een zorgvuldige beslissingsprocedure en een deugdelijke besluitvorming.
-Dit betekent dat algoritmes zodanig moet worden ontwikkeld en gebruikt, dat dit passend is ter ondersteuning van de wettelijke taak en de bijbehorende beslissing of besluitvorming.
-
Het doel en eventuele subdoelen van het algoritme of AI-systeem moet helder zijn gedefinieerd, ook in relatie tot het maatschappelijke resultaat (outcome), en wordt gedeeld door de eigenaar, ontwikkelaar en gebruiker van het algoritme. Een bewuste afweging of het algoritme het juiste middel is om het probleem op doelmatige en doeltreffende wijze op te lossen is gemaakt en vastgelegd.
+
Het zorgvuldigheidsvereiste eist dat een besluit met de nodige zorgvuldigheid wordt voorbereid en juist wordt genomen.
+Dit vraagt onder meer om een zorgvuldig onderzoek naar informatie, feiten, een zorgvuldige beslissingsprocedure en een deugdelijke besluitvorming.
+
Dit betekent dat bij de ontwikkeling en gebruik van algoritmes informatie moet worden vastgelegd over het algoritme. Hierbij kan worden gedacht aan:
+- Dat het doel en eventuele subdoelen van het algoritme of AI-systeem helder zijn gedefinieerd, ook in relatie tot het maatschappelijke resultaat (outcome).
+- Een bewuste afweging afmaken en vaststellen of het algoritme het juiste middel is om het probleem op doelmatige en doeltreffende wijze op te lossen.
+- Dat de werking van het algoritme is onderzocht en is vastgesteld dat dit passend is om te gebruiken in een besluitvormingsproces.
De werking van het algoritmes sluit niet of onvoldoende aan bij de juridische en ethische grenzen van de te ondersteunen wettelijke taak.
-Hierdoor kunnen ongewenste gevolgen ontstaan zoals een onjuist of onzorgvuldig genomen besluit op een aanvraag.
+Hierdoor kunnen ongewenste gevolgen ontstaan zoals een onjuist of onzorgvuldig genomen besluit.
Een besluit berust op een deugdelijke en kenbare motivering.
Toelichting
-
Een bestuursorgaan moet inzichtelijk maken:
-
-
dat een besluit tot stand is gekomen met behulp van een algoritme;
-
van welke feiten het is uitgegaan en welke gegevens van de burger gebruikt c.q. verwerkt zijn;
-
welke relevante belangen tegen elkaar zijn afgewogen en hoe die afweging is verlopen (bijvoorbeeld het gewicht dat wordt toegekend aan elk afgewogen kenmerk; welke analytische technieken gebruikt zijn; welke specifieke voorspellende data; wat de belangrijkste policy-keuzes waren; een uitleg van het voorspellende algoritme);
-
hoe het algoritme werkt (niet de techniek, maar hoe de uitkomsten van het algoritme tot stand komen).
-
-
De keuzes en aannames die zijn gemaakt en gedaan moeten worden beschreven en toegelicht.
+
De Awb eist dat een besluit een deugdelijke en kenbare motivering heeft. Dit geldt ook als algoritmes worden ingezet. Een betrokkene moet in staat zijn om te controleren of de overheid een besluit correct heeft genomen. Het motiveringsbeginsel draagt bij aan doelen als verantwoording kunnen afleggen en het bieden van rechtsbescherming. Het kan in samenhang worden gezien met transparantieverplichtingen die voortkomen uit de AVG.
+
Het is van belang dat inzichtelijk wordt gemaakt in het besluit welke gegevens zijn verwerkt en welke 'aannames' een algoritme bevat. Dit speelt in het bijzonder als gebruik wordt gemaakt van geautomatiseerde besluitvormingsprocessen. Hierbij kan worden gedacht aan:
+
+
+
Dat een besluit tot stand is gekomen met behulp van een algoritme.
+
+
+
Van welke feiten het bestuursorgaan is uitgegaan.
+
+
+
Welke gegevens zijn verwerkt.
+
+
+
Welke relevante belangen tegen elkaar zijn afgewogen en hoe die afweging is verlopen.
+
+
+
Welke regels zijn gebruikt.
+
+
+
Wat de hierachter is (kenbaarheid).
+
+
+
Welke analytische technieken zijn gebruikt.
+
+
+
Waarom deze regels en logica relevant zijn (uitleg)?
+
+
+
Op welke wijze de regels en logica tot stand zijn gekomen en hoe deze regels worden gevalideerd.
+
+
+
Een besluit moet informatie hierover bevatten om als om als voldoende draagkrachtig gemotiveerd te gelden.
+Het motiveringsbeginsel op grond van de Awb is beperkt tot besluiten in de zin van de Awb.