From c12f1336833022fe853dd78efada09643a665721 Mon Sep 17 00:00:00 2001
From: OXKuiperBZK <OXKuiperBZK@users.noreply.github.com>
Date: Mon, 8 Apr 2024 14:34:38 +0000
Subject: [PATCH] =?UTF-8?q?Deploy=20preview=20for=20PR=2069=20=F0=9F=9B=AB?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 .../pr-69/levenscyclus/archiveren/index.html  |  29 ++++++++++++++++--
 pr-preview/pr-69/search/search_index.json     |   2 +-
 pr-preview/pr-69/sitemap.xml.gz               | Bin 1353 -> 1353 bytes
 3 files changed, 28 insertions(+), 3 deletions(-)

diff --git a/pr-preview/pr-69/levenscyclus/archiveren/index.html b/pr-preview/pr-69/levenscyclus/archiveren/index.html
index 5130d14b09..15c5b0992b 100644
--- a/pr-preview/pr-69/levenscyclus/archiveren/index.html
+++ b/pr-preview/pr-69/levenscyclus/archiveren/index.html
@@ -93,7 +93,7 @@
     <div data-md-component="skip">
       
         
-        <a href="#maatregelen" class="md-skip">
+        <a href="#vereisten" class="md-skip">
           Ga naar inhoud
         </a>
       
@@ -817,6 +817,15 @@
     </label>
     <ul class="md-nav__list" data-md-component="toc" data-md-scrollfix>
       
+        <li class="md-nav__item">
+  <a href="#vereisten" class="md-nav__link">
+    <span class="md-ellipsis">
+      Vereisten
+    </span>
+  </a>
+  
+</li>
+      
         <li class="md-nav__item">
   <a href="#maatregelen" class="md-nav__link">
     <span class="md-ellipsis">
@@ -3629,6 +3638,15 @@
     </label>
     <ul class="md-nav__list" data-md-component="toc" data-md-scrollfix>
       
+        <li class="md-nav__item">
+  <a href="#vereisten" class="md-nav__link">
+    <span class="md-ellipsis">
+      Vereisten
+    </span>
+  </a>
+  
+</li>
+      
         <li class="md-nav__item">
   <a href="#maatregelen" class="md-nav__link">
     <span class="md-ellipsis">
@@ -3671,7 +3689,14 @@
 
   <h1>Archiveren</h1>
 
-<p>Wanneer het AI-model niet langer nodig is of wordt vervangen door een verbeterde versie, wordt het gearchiveerd. Dit omvat het behouden van documentatie en eventuele relevante artefacten.</p>
+<p>Wanneer het AI-model niet langer nodig is of wordt vervangen door een wezelijk versie, wordt het gearchiveerd. Dit omvat het behouden van documentatie en eventuele relevante artefacten (zoals de parameters van het model).</p>
+<p>AI-modellen zijn bij te trainen, wat het model anders maakt en andere voorspellingen kan doen geven. Welke versies van een model precies gearchiveerd moeten worden is belangrijk om helder te hebben vóór het einde van de levenscyclus. Archiveren is niet enkel relevant aan het einde van de levenscyclus.</p>
+<p>In de <em>gehele</em> AI-levenscyclus is van belang:
+- (Ethische) risico's zijn in kaart gebracht.
+- De AI governance is duidelijk. (Wie in de organisatie gaat over naleven van AI-wetgeving.)
+- Transparantie en navolgbaarheid van modellen en processen.</p>
+<p>Hieronder komen vereisten en maatregelen die relevant zijn tijdens deze fase in de levenscyclus:</p>
+<h2 id="vereisten">Vereisten<a class="headerlink" href="#vereisten" title="Permanent link">&para;</a></h2>
 <h2 id="maatregelen">Maatregelen<a class="headerlink" href="#maatregelen" title="Permanent link">&para;</a></h2>
 <table><thead><tr><th role="columnheader"><strong>Maatregel</strong></th><th role="columnheader"><strong>Bron</strong></th><th role="columnheader"><strong>Van toepassing op niet-impactvolle algoritmes</strong></th><th role="columnheader"><strong>Van toepassing op impactvolle algoritmes</strong></th><th role="columnheader"><strong>Van toepassing bij hoog-risico AI systeem</strong></th></tr></thead><tbody><tr><td><a href="/maatregelen/bewaartermijnen-onderliggende-systemen">Toepassen bewaartermijnen</a></td><td>Algoritmekader</td><td><span class="twemoji" style="color: #EF5350"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="M19 6.41 17.59 5 12 10.59 6.41 5 5 6.41 10.59 12 5 17.59 6.41 19 12 13.41 17.59 19 19 17.59 13.41 12 19 6.41Z"></path></svg></span></td><td><span class="twemoji" style="color: #4DB6AC"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="m9 20.42-6.21-6.21 2.83-2.83L9 14.77l9.88-9.89 2.83 2.83L9 20.42Z"></path></svg></span></td><td><span class="twemoji" style="color: #4DB6AC"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="m9 20.42-6.21-6.21 2.83-2.83L9 14.77l9.88-9.89 2.83 2.83L9 20.42Z"></path></svg></span></td></tr><tr><td><a href="/maatregelen/bewaartermijnen">Duiden bewaartermijnen bij archiefbescheiden</a></td><td>4.01 ITGC Toetingskader Algemene rekenkamer</td><td><span class="twemoji" style="color: #4DB6AC"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="m9 20.42-6.21-6.21 2.83-2.83L9 14.77l9.88-9.89 2.83 2.83L9 20.42Z"></path></svg></span></td><td><span class="twemoji" style="color: #4DB6AC"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="m9 20.42-6.21-6.21 2.83-2.83L9 14.77l9.88-9.89 2.83 2.83L9 20.42Z"></path></svg></span></td><td><span class="twemoji" style="color: #4DB6AC"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="m9 20.42-6.21-6.21 2.83-2.83L9 14.77l9.88-9.89 2.83 2.83L9 20.42Z"></path></svg></span></td></tr><tr><td><a href="/maatregelen/duurzaam-toegankelijkheid-archiefbescheiden">Duurzame toegankelijkheid archiefbescheiden</a></td><td>Algoritmekader</td><td><span class="twemoji" style="color: #4DB6AC"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="m9 20.42-6.21-6.21 2.83-2.83L9 14.77l9.88-9.89 2.83 2.83L9 20.42Z"></path></svg></span></td><td><span class="twemoji" style="color: #4DB6AC"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="m9 20.42-6.21-6.21 2.83-2.83L9 14.77l9.88-9.89 2.83 2.83L9 20.42Z"></path></svg></span></td><td><span class="twemoji" style="color: #4DB6AC"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="m9 20.42-6.21-6.21 2.83-2.83L9 14.77l9.88-9.89 2.83 2.83L9 20.42Z"></path></svg></span></td></tr><tr><td><a href="/maatregelen/openbaarheid-archiefbescheiden">Openbaarheid van de archiefbescheiden</a></td><td>Algoritmekader</td><td><span class="twemoji" style="color: #4DB6AC"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="m9 20.42-6.21-6.21 2.83-2.83L9 14.77l9.88-9.89 2.83 2.83L9 20.42Z"></path></svg></span></td><td><span class="twemoji" style="color: #4DB6AC"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="m9 20.42-6.21-6.21 2.83-2.83L9 14.77l9.88-9.89 2.83 2.83L9 20.42Z"></path></svg></span></td><td><span class="twemoji" style="color: #4DB6AC"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="m9 20.42-6.21-6.21 2.83-2.83L9 14.77l9.88-9.89 2.83 2.83L9 20.42Z"></path></svg></span></td></tr><tr><td><a href="/maatregelen/vaststellen-archiefbescheiden">Vaststellen archiefbescheiden</a></td><td>Algoritmekader</td><td><span class="twemoji" style="color: #4DB6AC"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="m9 20.42-6.21-6.21 2.83-2.83L9 14.77l9.88-9.89 2.83 2.83L9 20.42Z"></path></svg></span></td><td><span class="twemoji" style="color: #4DB6AC"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="m9 20.42-6.21-6.21 2.83-2.83L9 14.77l9.88-9.89 2.83 2.83L9 20.42Z"></path></svg></span></td><td><span class="twemoji" style="color: #4DB6AC"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path d="m9 20.42-6.21-6.21 2.83-2.83L9 14.77l9.88-9.89 2.83 2.83L9 20.42Z"></path></svg></span></td></tr></tbody></table>
 
diff --git a/pr-preview/pr-69/search/search_index.json b/pr-preview/pr-69/search/search_index.json
index 3a85f3b491..961da58142 100644
--- a/pr-preview/pr-69/search/search_index.json
+++ b/pr-preview/pr-69/search/search_index.json
@@ -1 +1 @@
-{"config":{"lang":["nl"],"separator":"[\\s\\-]+","pipeline":["stopWordFilter"]},"docs":[{"location":"","title":"Welkom bij het Algoritmekader!","text":"<p>Wil de overheid\u202feffectief en verantwoord gebruik kunnen maken van algoritmes en (daarmee) van Artifici\u00eble Intelligentie (AI), dan stelt dat eisen aan de manier waarop we daarmee omgaan.\u202fTegelijkertijd zien we ook dat wat nodig is voor verantwoorde inzet enorm in ontwikkeling is, bijvoorbeeld door de snelle opkomst van (generatieve) AI. In relatief korte tijd komen er veel nieuwe mogelijkheden, maar ook nieuwe wetten, regels, normen en instrumenten. Veel overheden zien soms door de bomen het bos niet meer. Want hoe voldoe je aan de minimale normen? Wanneer is er sprake van verantwoorde inzet? En: welk instrument pas je wanneer toe?  </p> <p>Met het Algoritmekader werken we als overheid samen aan de\u202fantwoorden daarop. Dat doen we open; iedereen kan deze ontwikkeling volgen en eraan bijdragen.\u202fWe maken bij de ontwikkeling gebruik van wat er al is: vereisten uit wet- en regelgeving, maatregelen uit de praktijk en standaardisatie, best practises en instrumenten. Het kader brengt dit samen op een logische manier. Zodat overheden in alle fasen van de levenscyclus van algoritmische en AI-toepassingen praktische handvatten hebben. Best practices, use cases en input van eindgebruikers helpen te komen tot een goed en gedragen Algoritmekader voor alle overheden.\u202fHet kader wordt een praktisch hulpmiddel om algoritmes en AI verantwoord te kunnen inzetten en te voldoen aan de (minimale) vereisten die wet- en regelgeving daaraan stellen.</p> <p>De informatie in het Algoritmekader is logisch aan elkaar gekoppeld, zodat gebruikers interactief door de informatie kunnen navigeren. Er kan worden gestart vanuit de algoritme levenscyclus, de vereisten, maatregelen en rollen via de bovenstaande tabs. De informatie is 'gelaagd' opgebouwd. Dat betekent dat kan worden doorgeklikt om meer gedetailleerde informatie te raadplegen. De zoekbalk kan eveneens worden benut en spoedig is het mogelijk om exports naar PDF te maken van de geraadpleegde informatie. </p> <p>Zie het tabje 'over het Algoritmekader' voor meer informatie over de (door)ontwikkeling van het Algoritmekader. </p> <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"#bijdragen-aan-het-algoritmekader","title":"Bijdragen aan het algoritmekader?","text":"<p>We ontwikkelen het Algoritmekader op een open manier via GitHub. Bekijk de ontwikkelomgeving van het Algoritmekader.</p>"},{"location":"#heb-je-een-vraag-of-opmerking","title":"Heb je een vraag of opmerking?","text":"<p>Neem contact op via GitHub (zie punt 4 of 5) of stuur een email naar algoritmes@minbzk.nl.</p> <p>Stuur een mail </p>"},{"location":"#heb-je-een-vraag-of-opmerking_1","title":"Heb je een vraag of opmerking?","text":"<p>Neem contact op via GitHub (zie punt 4 of 5) of stuur een email naar algoritmes@minbzk.nl.</p> <p>Stuur een mail </p>"},{"location":"instrumenten/","title":"Instrumenten","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p> <p>Het Algoritmekader is tot stand gekomen op basis van de volgende instrumenten:</p> Naam instrument Categorie Jaartal uitgebracht Verantwoordelijke organisatie Ontwikkeld door null null Ontwikkeld voor null null Voor overheidsorganisatie specfiek Volwassenheidsniveau Locatie Doel null null null Mogelijke wettelijke verplichting Toelichting doel Toepassing overheid wetenschap overig overheid wetenschap overig Informerend Sturend Normerend Faciliterend technologie algemeen Impact Assessment Mensenrechten en Algoritmes Impact Assessment 2021 Universiteit Utrecht ja ja ja ja In gebruik Internationaal \u00b1 - - + ja Dit impact assessment werkt in eerste instantie faciliterend voor het gesprek. Maar biedt ook veel informatie. \u00b1 Handreiking Non-discriminatie by Design Handleiking/leidraad 2021 Binnenlandse Zaken ja ja nee ja ja ja In gebruik Nationaal + + - \u00b1 nee Deze handreiking is bedoeld voor projectleiders die sturing geven aan systeembouwers, data-analisten en AI-experts op het gebied van het discriminatieverbod. - De Ethische Data Assistent (DEDA) Handleiking/leidraad 2022 Utrecht Data School nee ja nee ja ja ja In gebruik Nationaal + - - + nee DEDA helpt data-analisten, projectmanagers en beleidsmakers om samen ethische problemen in dataprojecten, datamanagement en databeleid te herkennen. - Toetsingskader Algoritmes Algemene Rekenkamer Toetsingskader 2020 Algemene Rekenkamer ja nee nee ja ja ja In gebruik Nationaal + + - - nee Dit toetsingskader is een instrument dat aandacht besteedt aan de relevante perspectieven op algoritmes. Met een vertaling van normenkaders en richtlijnen naar verschillende aspecten waarop algoritmes kunnen worden getoetst. Een instrument dat bovendien rekening houdt met de risico\u2019s en de onderzoeksvragen die in een toetsingskader aan bod moeten komen. - Baseline Informatiebeveiliging Overheid Wet- en regelgeving 2018 Binnenlandse Zaken ja nee nee ja nee nee In gebruik Nationaal - - + - ja De Baseline Informatiebeveiliging Overheid (BIO) is het basisnormenkader voor informatiebeveiliging binnen alle overheidslagen (Rijk, gemeenten, provincies en waterschappen). + Framework for Meaningful Engagement Handleiking/leidraad 2023 Action Coalition on Civic Engagement for AI (Denemarken) ja nee ja ja ja ja In gebruik Internationaal + \u00b1 - + nee Dit kader is gecre\u00eberd om iedereen die producten of diensten ontwerpt met behulp van AI, machine learning of op algoritme-gebaseerde gegegevensanalyse in staat te stellen belanghebbenden bij dat proces te betrekken. \u00b1 Waarborgen Selectie-Instrumenten voor de Belastingdienst Handleiking/leidraad 2023 Belastingdienst ja nee nee ja nee nee Financi\u00ebn (Fin) In gebruik Nationaal + + \u00b1 - nee Een waarborgenkader voor selectie-instrumenten waarmee de rechtmatigheid en transparantie van de instrumenten (beter) gegarandeerd kunnen worden. + Modelbepalingen en toelichting voor verantwoord gebruik van algoritme door de overheid (contractvoorwaarden) Handleiking/leidraad 2022 Gemeente Amsterdam ja nee nee ja nee nee Gemeenten In gebruik Nationaal + + \u00b1 - nee + AI Impact Assessment Handleiking/leidraad 2022 Infrastructuur en Waterstaat ja nee nee ja ja ja In gebruik Nationaal \u00b1 - - + nee Het AI Impact Assessment (AIIA) is een hulpmiddel voor het maken van afwegingen bij het inzetten van kunstmatige intelligentie (artificial intelligence, AI) in een project. Het AIIA dient als instrument voor het gesprek en het vastleggen van het denkproces zodat onder andere de verantwoording, kwaliteit en reproduceerbaarheid worden vergroot. - Artificial Intelligence Impact Assessment Handleiking/leidraad 2018 ECP nee nee ja ja ja ja In gebruik Nationaal \u00b1 - - + nee De Artificial Intelligence Impact Assessment (AIIA) helpt bedrijven artificial intelligence verantwoord in te zetten, nu slimme algoritmes steeds vaker taken van mensen overnemen. Aan de hand van een stappenplan, bestaande uit acht stappen, maken bedrijven inzichtelijk welke juridische en ethische normen een rol spelen bij de ontwikkeling en inzet van AI-toepassingen, en welke afwegingen ten grondslag liggen aan keuzes en besluiten. - Data Protection Impact Assessment Impact Assessment 2018 Autoriteit Persoonsgegevens ja nee nee ja ja ja In gebruik Nationaal - - + - ja Is een organisatie van plan persoonsgegevens te verwerken, maar levert dat waarschijnlijk een hoog privacyrisico op? Dan is de organisatie verplicht eerst een 'data protection impact assessment' (DPIA) uit te voeren. Een DPIA is een instrument om vooraf de privacyrisico\u2019s van een gegevensverwerking in kaart te brengen. + The Fairness Handbook Handleiking/leidraad 2022 Gemeente Amsterdam ja nee nee ja ja ja In gebruik Nationaal + \u00b1 - \u00b1 nee The Fairness Handbook is uitgebracht door de gemeente Amsterdam om bias in algoritmische systemen te minimaliseren en fairness te maximaliseren. Het handboek legt uit hoe vooroordelen en andere problemen rondom fairness tijdens de ontwikkeling van algoritmes kunnen voorkomen en wat hieraan gedaan kan worden. - Ethics Guideline for Trustworthy AI Handleiking/leidraad 2019 EU High-Level Expert Group on AI ja nee nee ja ja ja In gebruik Internationaal \u00b1 + - - nee Deze richtlijnen, opgesteld door leden van de 'high level expert group on AI', hebben als doel gebruikers te begeleiden in het ontwikkelen van betrouwbare AI. Hiervoor worden drie domeinen belicht; juridisch, ethisch en robuustheid. - Norea Guiding Principles Trustworthy AI Investigations Handleiking/leidraad 2021 Norea Beroepsorganisatie van IT-auditors nee nee ja ja ja ja In gebruik Internationaal \u00b1 + - - nee -"},{"location":"levenscyclus/","title":"Levenscyclus","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p> <p>Algoritmen en kunstmatige intelligentie zijn \u2018producten\u2019 die door overheidsinstellingen kunnen worden gebruikt om de uitvoering van wettelijke taken te ondersteunen. Deze producten doorlopen een zogenaamde levenscyclus. Een algoritme wordt ontwikkeld en na enige tijd van gebruik kan worden besloten het gebruik ervan te be\u00ebindigen. Omdat de \u2018algoritme levenscyclus\u2019 voor alle gevallen nagenoeg hetzelfde is het bruikbaar als leidraad om relevante informatie te structureren en te communiceren.</p>"},{"location":"levenscyclus/#verschillende-versies-levenscyclus","title":"Verschillende versies levenscyclus","text":"<p>De stappen in de levenscyclus van het algoritmekader zijn gebaseerd op een samenvoeging van meer dan tien verschillende levenscyclusmodellen. Zie hier een overzicht. Afhankelijk van hoe een organisatie het ontwikkelproces van AI inricht kan een levenscyclus model er net weer anders uitzien (als AI-ontwikkelaar verwacht je waarschijnlijk wat kleinere cycli in de grotere lifecycle te zien). De huidige opdeling is gekozen omdat deze het beste aansluit bij bestaande levenscyclusmodellen en bij de behoeftes en werkwijze van overheidsinstanties.</p>"},{"location":"levenscyclus/#fundamentele-principes","title":"Fundamentele principes","text":"<p>Om tot een wettige, ethisch verantwoorde en robuuste oplossing te komen zullen in elke fase van de algoritme levenscyclus specifieke handelingen of maatregelen moeten worden getroffen. Transparantie, veiligheid, privacy, risicomanagement, governance, en afweging van ethische aspecten zijn relevant in iedere stap van de levenscyclus. Om concreet te maken wat er dan moet gebeuren, kan het erg helpen om per stap in de levenscyclus helpen om te weten w\u00e1t er dan precies kan gebeuren. </p> <p></p>"},{"location":"levenscyclus/archiveren/","title":"Archiveren","text":"<p>Wanneer het AI-model niet langer nodig is of wordt vervangen door een verbeterde versie, wordt het gearchiveerd. Dit omvat het behouden van documentatie en eventuele relevante artefacten.</p>"},{"location":"levenscyclus/archiveren/#maatregelen","title":"Maatregelen","text":"MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"levenscyclus/dataverkenning-en-datapreparatie/","title":"Dataverkenning en datapreparatie","text":"<p>In deze fase worden relevante datasets ge\u00efdentificeerd en wanneer nodig wordt nieuwe data verzameld; vervolgens worden deze datasets opgeschoond en geanalyseerd. </p> <p>Het is van belang dat dataverzameling op de juiste manier gebeurd, en dat bestaande datasets die gebruikt gaan worden van goede kwaliteit zijn. Daarbij is het van belang dat opschoning van datasets (een standaard stap in het proces data science) geen nieuwe onvoorziene effecten met zich meebrengt. </p> <p>In de gehele AI-levenscyclus is van belang: - (Ethische) risico's zijn in kaart gebracht. - De AI governance is duidelijk. (Wie in de organisatie gaat over naleven van AI-wetgeving.) - Transparantie en navolgbaarheid van modellen en processen.</p> <p>Hieronder komen vereisten en maatregelen die relevant zijn tijdens deze fase in de levenscyclus:</p>"},{"location":"levenscyclus/dataverkenning-en-datapreparatie/#vereisten","title":"Vereisten","text":""},{"location":"levenscyclus/dataverkenning-en-datapreparatie/#maatregelen","title":"Maatregelen","text":"MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeem <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"levenscyclus/implementatie/","title":"Implementatie","text":"<p>In deze fase wordt het AI-model in de praktijk gebracht en ge\u00efntegreerd in het bedrijfsproces. Het wordt operationeel en begint te werken met echte gegevens.</p>"},{"location":"levenscyclus/implementatie/#_1","title":"MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeem","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"levenscyclus/monitoren/","title":"Monitoren","text":"<p>Het AI-model wordt voortdurend gemonitord om ervoor te zorgen dat het blijft presteren zoals verwacht. Eventuele afwijkingen of degradatie van prestaties worden ge\u00efdentificeerd en aangepakt.</p> MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeem <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"levenscyclus/ontwerp/","title":"Ontwerp","text":"<p>Hier wordt het conceptuele ontwerp van het AI-systeem gemaakt. Dit omvat het bepalen van de architectuur, algoritmen en benodigde middelen voor de implementatie.</p> <ul> <li>Let hierbij op een goede afweging tussen technische benodigheden en vereisten. Bijvoorbeeld een simpeler algoritme is beter uitlegbaar.</li> <li>Als er nog data moet worden verzameld, let ook op risico's m.b.t. bias in dataverzameling </li> </ul> <p>In de gehele AI-levenscyclus is van belang: - (Ethische) risico's zijn in kaart gebracht. - De AI governance is duidelijk. (Wie in de organisatie gaat over naleven van AI-wetgeving.) - Transparantie en navolgbaarheid van modellen en processen.</p> <p>Hieronder komen vereisten en maatregelen die relevant zijn tijdens deze fase in de levenscyclus:</p>"},{"location":"levenscyclus/ontwerp/#vereisten","title":"Vereisten","text":""},{"location":"levenscyclus/ontwerp/#maatregelen","title":"Maatregelen","text":"MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"levenscyclus/ontwikkelen/","title":"Ontwikkelen","text":"<p>Dit is de fase waarin het AI-model of algoritme wordt gebouwd. Als het gaat om AI-modellen, omvat het trainen van modellen met behulp van de voorbereide gegevens.</p> <p>Het AI-model technisch correct ontwikkelen, inclusief de limitaties begrijpen, vraagt kennis en kunde van AI-specialisten. Manieren om dit na te gaan worden bijvoorbeeld beschreven in Aandacht voor Algoritmes van de Algemene Rekenkamer (onder \"Model &amp; Data\").</p> <p>In de gehele AI-levenscyclus is van belang: - (Ethische) risico's zijn in kaart gebracht. - De AI governance is duidelijk. (Wie in de organisatie gaat over naleven van AI-wetgeving.) - Transparantie en navolgbaarheid van modellen en processen.</p> <p>Hieronder komen vereisten en maatregelen die relevant zijn tijdens deze fase in de levenscyclus:</p>"},{"location":"levenscyclus/ontwikkelen/#vereisten","title":"Vereisten","text":""},{"location":"levenscyclus/ontwikkelen/#maatregelen","title":"Maatregelen","text":"MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemToepassen bewaartermijnenAlgoritmekaderDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekader <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"levenscyclus/probleemanalyse/","title":"Probleemanalyse","text":"<p>In deze fase wordt het probleem gedefinieerd dat moet worden opgelost. Het omvat het begrijpen van de vereisten, doelstellingen en beperkingen van het probleem.</p> <p>Bestaande instrumenten, zoals de IAMA, vragen om de probleemanalyse eerst goed uit te werken. </p> <p>Enkele vragen waar je aan kan denken: - Wat is het probleem wat opgelost moet worden met algoritmes/AI? - Hoe complex zijn de algoritmes die nodig zijn?  - Welke stakeholders moet je betrekken? Komt er gevoelige data bij kijken? - Zijn er goede voorbeelden om te volgen (zowel technisch als qua verantwoord werken)?</p> <p>In de gehele AI-levenscyclus is van belang: - (Ethische) risico's zijn in kaart gebracht. - De AI governance is duidelijk. (Wie in de organisatie gaat over naleven van AI-wetgeving.) - Transparantie en navolgbaarheid van modellen en processen.</p> <p>Hieronder komen vereisten en maatregelen die relevant zijn tijdens deze fase in de levenscyclus:</p>"},{"location":"levenscyclus/probleemanalyse/#vereisten","title":"Vereisten","text":""},{"location":"levenscyclus/probleemanalyse/#maatregelen","title":"Maatregelen","text":"MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekader <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"levenscyclus/validatie/","title":"Validatie","text":"<p>Nadat het model is ontwikkeld, wordt het gevalideerd om ervoor te zorgen dat het goed presteert op nieuwe, niet eerder geziene gegevens. Dit omvat het evalueren van de nauwkeurigheid en prestaties van het model. Validatie is een interatief proces dat plaatsvindt op verschillende momenten van de levenscyclus.</p>"},{"location":"levenscyclus/validatie/#onderwerpbouwblok","title":"Onderwerp/bouwblok","text":""},{"location":"levenscyclus/validatie/#vereisten","title":"Vereisten","text":""},{"location":"levenscyclus/validatie/#maatregelen","title":"Maatregelen","text":"MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeem <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"maatregelen/","title":"Maatregelen","text":"<p>De maatregelen die zijn opgenomen in het Algoritmekader geven aan 'hoe' overheidsorganisaties invulling kunnen geven aan specifieke vereisten. Deze laag is aan het Algoritmekader toegevoegd, omdat het organisaties inzichten kan geven om zelf op een betekenisvolle wijze invulling te geven aan de vereisten. Organisaties zijn niet verplicht om deze maatregelen te volgen, hoewel ze soms dermate sterk aan de vereisten zijn gekoppeld dat ze praktisch gezien wel moeten worden toegepast. </p> <p>Een maatregel kan bijvoorbeeld zijn 'onderzoek het ontwikkelde algoritme op onbewuste vooringenomenheid (discriminatie) door middel van een bias analyse'. Deze maatregel geeft invulling aan het vereiste van 'non-discriminatie'. Er kunnen meerdere maatregelen zijn die invulling geven aan het vereiste van non-discriminatie. Het is ook denkbaar dat bepaalde maatregelen aan meerdere vereisten kunnen worden gekoppeld. In het Algoritmekader zijn al deze maatregelen gekoppeld aan de algoritme levenscyclus, vereisten en rollen. Daarmee is inzichtelijk wanneer en met wie deze maatregelen logischerwijs in stelling kunnen worden gebracht. </p> <p>Om tot een overzicht van de maatregelen te komen is naar een aantal waardevolle bronnen gekeken. Het Toetsingskader Algoritmes van de Algemene Rekenkamer en het Onderzoekskader algoritmes van de Audit Dienst Rijk zijn daar goede voorbeelden van. Daarnaast is ook de kennis van experts binnen het team Algoritmekader toegevoegd om te kunnen duiden welke maatregelen in de praktijk kunnen worden getroffen om te voldoen aan de vereisten. </p> <p>Op nationaal, Europees en internationaal niveau wordt momenteel gewerkt aan de totstandkoming van standaarden. Deze standaarden worden opgesteld door gespecialiseerde organisaties (NEN, JTC21 en ISO) en ondergaan een uitgebreid proces. Dit proces zorgt uiteindelijk voor brede consensus voor de standaarden. Het naleven van deze standaarden door organisaties levert een vermoeden van conformiteit op, ofwel, door het naleven van standaarden is de kans groot dat organisaties voldoen aan de vereisten. De standaarden worden daarom een waardevolle bron voor het Algoritmekader. Waar mogelijk zullen de standaarden onderdeel worden van het Algoritmekader en tot uiting komen in de laag van 'maatregelen'. Er zal een verwijzing worden gemaakt naar de betreffende standaard. Hierover moeten nog nadere afspraken worden gemaakt met deze organisaties. </p> MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader"},{"location":"maatregelen/archiefwet-inkoopproces/","title":"Archiefwet onderdeel van inkoopproces","text":"<p>ProbleemanalyseProceseigenaarContractbeheerderAanbieder</p>"},{"location":"maatregelen/archiefwet-inkoopproces/#maatregel","title":"Maatregel","text":"<p>Maak de vereisten op grond van de Archiefwet en die zien op algoritmen en AI (systemen) onderdeel van het inkoopproces door deze te duiden en te communiceren met aanbieders. </p>"},{"location":"maatregelen/archiefwet-inkoopproces/#toelichting","title":"Toelichting","text":"<p>Het is van belang dat marktpartijen tijdig kunnen beoordelen of hun voorzieningen voldoet of kan gaan voldoen aan de vereisten uit de Archiefwet voor de betreffende toepassing. Dit kan kenbaar worden gemaakt bijvoorbeeld in het Programma van Eisen of met contractuele voorwaarden</p>"},{"location":"maatregelen/archiefwet-inkoopproces/#risico","title":"Risico","text":"<p>Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te controleren wat de werking van algoritmen en AI-systemen was.</p>"},{"location":"maatregelen/archiefwet-inkoopproces/#bronnen","title":"Bronnen","text":"<p>Algoritmekader</p>"},{"location":"maatregelen/archiefwet-inkoopproces/#voorbeeld","title":"Voorbeeld","text":"<p>Heb je een goed voorbeeld? Laat het ons weten!</p>"},{"location":"maatregelen/bewaartermijnen-onderliggende-systemen/","title":"Toepassen bewaartermijnen","text":"<p>OntwerpOntwikkelenArchiverenInformatiebeheerderProceseigenaarContractbeheerderAanbiederData scientist</p>"},{"location":"maatregelen/bewaartermijnen-onderliggende-systemen/#maatregel","title":"Maatregel","text":"<p>Zorg ervoor dat de vereisten met betrekking tot bewaartermijnen correct worden vertaald naar het algoritme of AI en de onderliggende systemen. Controleer of deze maatregel is getroffen en zorg dat dit aantoonbaar is.</p>"},{"location":"maatregelen/bewaartermijnen-onderliggende-systemen/#toelichting","title":"Toelichting","text":"<p>Hierbij kan worden gedacht aan het inrichten van de bewaartermijn voor logbestanden bij Cloudoplossingen of het bewaren van de output van algoritmen of AI in zaaksystemen. </p>"},{"location":"maatregelen/bewaartermijnen-onderliggende-systemen/#risico","title":"Risico","text":"<p>Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te controleren wat de werking van algoritmen en AI-systemen was.</p>"},{"location":"maatregelen/bewaartermijnen-onderliggende-systemen/#bronnen","title":"Bronnen","text":"<p>Algoritmekader</p>"},{"location":"maatregelen/bewaartermijnen-onderliggende-systemen/#voorbeeld","title":"Voorbeeld","text":"<p>Heb jij een goed voorbeeld? Laat het ons weten!</p>"},{"location":"maatregelen/bewaartermijnen/","title":"Duiden bewaartermijnen bij archiefbescheiden","text":"<p>OntwerpArchiverenInformatiebeheerderProceseigenaarContractbeheerder</p>"},{"location":"maatregelen/bewaartermijnen/#maatregel","title":"Maatregel","text":"<p>Stel de bewaartermijn vast voor de archiefbescheiden.  </p>"},{"location":"maatregelen/bewaartermijnen/#toelichting","title":"Toelichting","text":"<p>Overleg hierover met de verantwoordelijke binnen de organisatie voor het toepassen van de Archiefwet. </p>"},{"location":"maatregelen/bewaartermijnen/#risico","title":"Risico","text":"<p>Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te controleren wat de werking van algoritmen en AI-systemen was.</p>"},{"location":"maatregelen/bewaartermijnen/#bronnen","title":"Bronnen","text":"<p>4.01 ITGC Toetingskader Algemene rekenkamer</p>"},{"location":"maatregelen/bewaartermijnen/#voorbeeld","title":"Voorbeeld","text":"<p>Heb jij een goed voorbeeld? Laat het ons weten!</p>"},{"location":"maatregelen/duurzaam-toegankelijkheid-archiefbescheiden/","title":"Duurzame toegankelijkheid archiefbescheiden","text":"<p>OntwikkelenArchiverenInformatiebeheerderProceseigenaar</p>"},{"location":"maatregelen/duurzaam-toegankelijkheid-archiefbescheiden/#maatregel","title":"Maatregel","text":"<p>Stel vast hoe de archiefbescheiden op een duurzame wijze toegankelijk kunnen worden gemaakt. </p>"},{"location":"maatregelen/duurzaam-toegankelijkheid-archiefbescheiden/#toelichting","title":"Toelichting","text":"<p>Het moet mogelijk zijn dat archiefbescheiden daadwerkelijk overhandigd kunnen worden aan betrokken partijen. Denk hierbij aan burgers, onderneming, toezichthouder of rechters. Overleg hierover met de verantwoordelijke binnen de organisatie voor het toepassen van de Archiefwet.</p>"},{"location":"maatregelen/duurzaam-toegankelijkheid-archiefbescheiden/#risico","title":"Risico","text":"<p>Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te controleren wat de werking van algoritmen en AI-systemen was.</p>"},{"location":"maatregelen/duurzaam-toegankelijkheid-archiefbescheiden/#bronnen","title":"Bronnen","text":"<ul> <li>Algoritmekader</li> <li>Rekenen en rekenschap, Algoritme en de Archiefwet, Essay door Petra Helwig</li> </ul>"},{"location":"maatregelen/duurzaam-toegankelijkheid-archiefbescheiden/#voorbeeld","title":"Voorbeeld","text":"<p>Heb je een goed voorbeeld? Laat het ons weten!</p>"},{"location":"maatregelen/openbaarheid-archiefbescheiden/","title":"Openbaarheid van de archiefbescheiden","text":"<p>OntwerpOntwikkelenArchiverenInformatiebeheerderProceseigenaarContractbeheerder</p>"},{"location":"maatregelen/openbaarheid-archiefbescheiden/#maatregel","title":"Maatregel","text":"<p>Stel vast of beperkingen aan openbaarheid van de archiefbescheiden moeten worden gesteld.</p>"},{"location":"maatregelen/openbaarheid-archiefbescheiden/#toelichting","title":"Toelichting","text":"<p>Er zijn gevallen waarbij het openbaren van archiefbescheiden is uitgesloten. </p>"},{"location":"maatregelen/openbaarheid-archiefbescheiden/#risico","title":"Risico","text":"<p>Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te controleren wat de werking van algoritmen en AI-systemen was.</p>"},{"location":"maatregelen/openbaarheid-archiefbescheiden/#bronnen","title":"Bronnen","text":"<p>Art. 15 lid 2 Archiefwet</p>"},{"location":"maatregelen/openbaarheid-archiefbescheiden/#voorbeeld","title":"Voorbeeld","text":"<p>Heb je een goed voorbeeld? Laat het ons weten!</p>"},{"location":"maatregelen/vaststellen-archiefbescheiden/","title":"Vaststellen archiefbescheiden","text":"<p>OntwerpArchiverenInformatiebeheerderProceseigenaar</p>"},{"location":"maatregelen/vaststellen-archiefbescheiden/#maatregel","title":"Maatregel","text":"<p>Er moet worden vastgesteld welke documenten, data of informatie van het algoritme of het AI-systeem gelden als archiefbescheiden. </p>"},{"location":"maatregelen/vaststellen-archiefbescheiden/#toelichting","title":"Toelichting","text":"<p>Hierbij kan worden gedacht aan de broncode, trainings- en testdata, (technische) documentatie en de output. Overleg hierover met de verantwoordelijke binnen de organisatie voor het toepassen van de Archiefwet. </p>"},{"location":"maatregelen/vaststellen-archiefbescheiden/#risico","title":"Risico","text":"<p>Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te controleren wat de werking van algoritmen en AI-systemen was.</p>"},{"location":"maatregelen/vaststellen-archiefbescheiden/#bronnen","title":"Bronnen","text":""},{"location":"maatregelen/vaststellen-archiefbescheiden/#voorbeeld","title":"Voorbeeld","text":"<p>Heb jij een goed voorbeeld? Laat het ons weten!</p>"},{"location":"overhetalgoritmekader/","title":"Index","text":""},{"location":"overhetalgoritmekader/#over-het-algoritmekader","title":"Over het algoritmekader","text":"<p>In de afgelopen jaren is het steeds duidelijker geworden dat het van belang is dat algoritme en AI op een verantwoorde manier worden ontwikkeld en gebruikt. Er is sprake van een toename van wet- en regelgeving waar overheidsorganisatie aan gebonden zijn. Daarnaast is een duidelijk trend waar te nemen dat organisaties steeds meer vanuit publieke waarden en een ethische invalshoek deze materie benaderen. Deze ontwikkelingen dienen bij te dragen  aan het beschermen van de individuen en de maatschappij voor de mogelijk nadelige gevolgen van de inzet van algoritmen en AI. </p>"},{"location":"overhetalgoritmekader/#algoritme-levenscyclus-vereisten-maatregelen-en-rollen","title":"Algoritme levenscyclus, vereisten, maatregelen en rollen.","text":"<p>In het Algoritmekader wordt inzichtelijk gemaakt aan welke vereisten overheidsorganisaties moeten voldoen. Daarbij wordt ook aangegeven hoe zij hier op een betekenisvolle wijze invulling aan kunnen geven (maatregelen). Het Algoritmekader is zodanig ingericht dat gebruikers vanuit verschillende invalshoeken informatie kunnen raadplegen die voor hen relevant is. Zo kan vanuit de algoritme levenscyclus worden onderzocht in welke fase aan welke vereisten aandacht moet worden besteed. Ook de denkbare maatregelen worden hierbij getoond. Het is ook mogelijk om vanuit een specifieke rol, bijvoorbeeld een ethicus of data scientist, te raadplegen aan welke vereisten of maatregelen zij logischerwijs aandacht aan moeten besteden. </p>"},{"location":"overhetalgoritmekader/#type-technologie-en-risico-classificatie","title":"Type technologie en risico classificatie","text":"<p>Het Algoritmekader geeft gebruikers ook de mogelijkheid om informatie te 'filteren' op basis van type technologie en de risico classificatie. Zo kunnen gebruikers snel zien wat zij in een bepaalde situaties moeten doen. In het geval van een hoge risico AI-systeem waarbij persoonsgegeven worden verwerkt zullen aan meer vereisten moeten worden voldaan dan in het geval van een eenvoudige rekenregel die geen impact heeft op individuen of de maatschappij. </p>"},{"location":"overhetalgoritmekader/#kennisborging-en-standaarden","title":"Kennisborging en standaarden","text":"<p>Een belangrijk uitgangspunt van het Algoritmekader is dat bestaande kennis zoveel mogelijk wordt gebundeld en aansluiting wordt gezocht bij relevante ontwikkelingen. Door deze bundeling kunnen organisaties leren van elkaars ervaringen. Daarnaast is het proces van standaardisering op nationaal, Europees en Internationaal niveau gaande. De standaarden zullen in grote mate gaan duiden 'hoe' organisaties invulling kunnen geven aan specifieke vereisten. De kracht achter standaarden is dat deze door gespecialiseerde organisaties zijn opgesteld en gedragen zijn door bredere consensus. Het volgen van deze standaarden levert een 'vermoeden van conformiteit op' en is daarmee bijzonder waardevol om onderdeel te maken van het Algoritmekader. </p>"},{"location":"overhetalgoritmekader/#best-practises-en-instrumenten","title":"Best practises en instrumenten","text":"<p>In het Algoritmekader wordt geprobeerd om zoveel mogelijk 'best practises' te koppelen aan vereisten en maatregelen die organisaties kunnen treffen. Daarmee wordt de materie tastbaarder en praktischer. Zo zijn rapporten te vinden van uitgevoerde bias analyses, gepubliceerde broncode van door overheidsorganisatie ontwikkeld algoritmen, specifieke adviezen en belangrijke uitspraken. Er wordt ook een overzicht gegeven van bruikbare instrumenten die kunnen worden gehanteerd.  </p>"},{"location":"overhetalgoritmekader/#status-van-het-algoritmekader","title":"Status van het Algoritmekader","text":"<p>Het Algoritmekader is op zichzelf niet verplicht voor overheidsorganisaties om te gebruiken, maar het gaat wel uit van bestaande vereisten op basis van wet- en regelgeving waar deze organisaties aan gebonden zijn. </p> <p>Overheden wordt aanbevolen het kader te volgen, maar mogen te allen tijde zelf bepalen hoe zij invulling geven aan de vereisten, wie daarbij betrokken zijn, onder wiens verantwoordelijkheid en wanneer. Kortom, de vereisten zijn verplicht en de maatregelen (hoe kan hieraan worden voldaan aan de vereisten) zijn ter inspiratie om organisaties op weg te helpen. </p>"},{"location":"overhetalgoritmekader/#doorontwikkeling","title":"Doorontwikkeling","text":"<p>7 juli 2023 is het concept Implementatiekader naar de kamer verstuurd, vergezeld door de Kamerbrief 'Verzamelbrief Algoritmes Reguleren'. Dit kan worden beschouwd als de eerste versie van het Algoritmekader. Het implementatiekader verantwoorde inzet van algoritmen is in oktober 2023 hernoemd naar 'het Algoritmekader'.</p> <p>In oktober 2023 is gestart met de doorontwikkeling van het Algoritmekader, zowel op inhoud als op vorm. Dat betekent dat inhoudelijke toevoegingen moeten worden gedaan (denk aan hetgeen voortkomt uit de AI-verordening) en er moeten worden onderzocht hoe we de informatie zo optimaal mogelijk aan de gebruikers kunnen tonen. Het doel is namelijk dat het Algoritmekader gebruikers op een praktische wijze helpt bij het uitvoeren van hun werkzaamheden. Hierboven is globaal beschreven hoe hier nu invulling aan wordt gegeven en dit moet worden verfijnd. </p> <p>Eind 2024 zal de tweede versie van het Algoritmekader worden opgeleverd. Dan moeten de vereisten en de maatregelen zijn uitgewerkt voor zover dan bekend. Hierna zal het Algoritmekader in 'beheer' worden genomen. Dat betekent dat doorlopend de laatste ontwikkelingen, het liefst blijvend in afstemming met de omgeving, worden toegevoegd zodat het Algoritmekader actueel en betrouwbaar blijft. </p>"},{"location":"overhetalgoritmekader/#samenwerking-met-de-omgeving","title":"Samenwerking met de omgeving","text":"<p>Een belangrijk uitgangspunt van het Algoritmekader is dat het kader op een open en transparante manier wordt ontwikkeld. Dat betekent dat open communicatiekanalen worden ingezet en waar dit passend is worden bijvoorbeeld werkgroepen opgestart om bepaalde aspecten diepgaand te verkennen. In beginsel werkt het team Algoritmekader, al dan niet met werkgroepen en samenwerkingspartijen, informatie over algoritmen en AI uit. Zodra deze informatie op 'niveau' is, wordt dit in Github geplaatst en daarmee 'gepubliceerd'. Het doel hiervan is om enerzijds de omgeving van deze informatie te voorzien en anderzijds om de omgeving uit te nodig om hier feedback op te geven. </p> <p>Werken in Github is voor het team Algoritmekader nieuw en experimenteel. Het biedt de mogelijkheid voor alle ge\u00efnteresseerd om hun kennis en zienswijze te delen. Daarmee kan (nieuwe)kennis snel onderdeel worden gemaakt van het Algoritmekader waarmee idealiter het Algoritmekader doorlopende actueel wordt gehouden en mogelijk ook op basis van (brede) consensus.</p> <p>Tegelijkertijd vraagt dit om een aangepaste werkwijze en is hier bepaalde expertise voor nodig. Het begin is gemaakt en het team Algoritmekader is nog lerende om hier optimaal invulling aan te geven. Voor nu betekent dit concreet dat het langer kan duren voordat wordt gereageerd op suggesties of toevoegingen. Er wordt gewerkt aan het inrichten van goede processen om snel en kundig te reageren. </p> <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"overhetalgoritmekader/Begrippen-en-definities/","title":"Begrippen en definities","text":"Begrip of definitie Uitleg Bron Aanbieder een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem of een AI-model voor algemene doeleinden ontwikkelt of laat ontwikkelen en dat systeem of model in de handel brengt of het AI-systeem in gebruik stelt onder de eigen naam of merknaam, al dan niet tegen betaling AI-verordening AI-bureau de taak van de Commissie waarbij zij bijdraagt aan de uitvoering van, de monitoring van en het toezicht op AI-systemen en AI-governance door het bij het besluit van de Commissie van 24.1.2024 opgerichte Europees Bureau voor artifici\u00eble intelligentie; verwijzingen in deze verordening naar het AI-bureau worden begrepen als verwijzingen naar de Commissie AI-verordening AI-model voor algemene doeleinden een AI-model, ook wanneer het is getraind met een grote hoeveelheid gegevens met behulp van zelftoezicht op grote schaal, dat een aanzienlijk algemeen karakter vertoont en in staat is op competente wijze een breed scala aan verschillende taken uit te voeren, ongeacht de wijze waarop het model in de handel wordt gebracht, en dat kan worden ge\u00efntegreerd in een verscheidenheid aan downstreamsystemen of -toepassingen, met uitzondering van AI-modellen die worden gebruikt voor onderzoek, ontwikkeling of prototypingactiviteiten alvorens zij in de handel worden gebracht AI-verordening AI-testomgeving voor regelgeving een door een bevoegde autoriteit opgezet gecontroleerd kader dat aanbieders of toekomstige aanbieders van AI-systemen de mogelijkheid biedt een innovatief AI-systeem te ontwikkelen, trainen, valideren en testen, zo nodig onder re\u00eble omstandigheden, volgens een testomgevingsplan, voor een beperkte periode en onder regelgevend toezicht AI-verordening Auteursrecht Het auteursrecht is het uitsluitend recht van den maker van een werk van letterkunde, wetenschap of kunst, of van diens rechtverkrijgenden, om dit openbaar te maken en te verveelvoudigen, behoudens de beperkingen, bij de wet gesteld. Auteurswet Exploitant Een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteit AI-verordening Aangemelde instatie Een conformiteitsbeoordelingsinstantie die overeenkomstig deze verordening en andere relevante harmonisatiewetgeving van de Unie zoals opgenomen in bijlage I, deel B van de AI-verordening is aangemeld AI-verordening AI-geletterheid vaardigheden, kennis en begrip die aanbieders, exploitanten en betrokken personen, rekening houdend met hun respectieve rechten en plichten in het kader van deze verordening, in staat stellen met kennis van zaken AI-systemen in te zetten en zich bewuster te worden van de kansen en risico\u2019s van AI en de mogelijke schade die zij kan veroorzaken AI-verordening AI-systeem \u201cAI-systeem\u201d: een machinaal systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na de uitrol aanpassingsvermogen kan vertonen en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen AI-verordening AI-systeem voor algemene doeleinden een AI-systeem dat is gebaseerd op een AI-model voor algemene doeleinden, dat verschillende doeleinden kan dienen, zowel voor direct gebruik als voor integratie in andere AI-systemen AI-verordening Algoritme Een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden Algemene Rekenkamer Beoogd doel het gebruik waarvoor een AI-systeem door de aanbieder is bedoeld, met inbegrip van de specifieke context en voorwaarden van het gebruik, zoals gespecificeerd in de informatie die door de aanbieder in de gebruiksinstructies, reclame- of verkoopmaterialen en verklaringen, alsook in de technische documentatie is verstrekt AI-verordening Bijzondere categorie\u00ebn persoonsgegevens de categorie\u00ebn persoonsgegevens als bedoeld in artikel 9, lid 1, van Verordening (EU) 2016/679, artikel 10 van Richtlijn (EU) 2016/680 en artikel 10, lid 1, van Verordening (EU) 2018/1725 AI-verordening biometrische gegevens persoonsgegevens die het resultaat zijn van een specifieke technische verwerking met betrekking tot de fysieke, fysiologische of gedragsgerelateerde kenmerken van een natuurlijk persoon, zoals gezichtsafbeeldingen of vingerafdrukgegevens AI-verordening biometrische identificatie de geautomatiseerde herkenning van fysieke, fysiologische, gedragsgerelateerde of psychologische menselijke kenmerken om de identiteit van een natuurlijk persoon vast te stellen door biometrische gegevens van die persoon te vergelijken met in een databank opgeslagen biometrische gegevens van personen AI-verordening biometrische verificatie de geautomatiseerde \u00e9\u00e9n-op-\u00e9\u00e9nverificatie, met inbegrip van de authenticatie, van de identiteit van natuurlijke personen door hun biometrische gegevens te vergelijken met eerder verstrekte biometrische gegevens AI-verordening CE-markering een markering waarmee een aanbieder aangeeft dat een AI-systeem in overeenstemming is met de voorschriften van hoofdstuk II, afdeling 2, en andere in de lijst van bijlage I van de opgenomen toepasselijke harmonisatiewetgeving van de Unie, die in het aanbrengen ervan voorzien AI-verordening Capaciteiten met een grote impact capaciteiten die overeenkomen met of groter zijn dan de capaciteiten die worden opgetekend bij de meest geavanceerde AI-modellen voor algemene doeleinden AI-verordening Conformiteitsbeoordeling het proces waarbij de naleving wordt aangetoond van de voorschriften van hoofdstuk II, afdeling 2 van de AI-Verordening in verband met een AI-systeem met een hoog risico AI-verordening Conformiteitsbeoordelingsinstantie een instantie die als derde partij conformiteits-beoordelingsactiviteiten verricht, zoals onder meer testen, certificeren en inspecteren AI-verordening Deepfake door AI gegenereerd of gemanipuleerd beeld-, audio- of videomateriaal dat een gelijkenis vertoont met bestaande personen, voorwerpen, plaatsen of andere entiteiten of gebeurtenissen, en door een persoon ten onrechte voor authentiek of waarheidsgetrouw zou worden aangezien AI-verordening Direct onderscheid indien een persoon op een andere wijze wordt behandeld dan een ander in een vergelijkbare situatie wordt, is of zou worden behandeld, op grond van godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, nationaliteit, hetero- of homoseksuele gerichtheid of burgerlijke staat https://wetten.overheid.nl/BWBR0006502/2020-01-01 Directe discriminatie De ongelijke behandeling van een persoon of groep personen ten opzichte van andere personen in een vergelijkbare situatie, op grond van een beschermd persoonskenmerk (discriminatiegrond) https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce Discriminatiegrond Beschermde persoonskenmerken op basis waarvan het maken van onderscheid tussen personen verboden is. Bijvoorbeeld: ras, nationaliteit, religie, geslacht, seksuele gerichtheid, handicap of chronische ziekte. https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce Distributeur een andere natuurlijke persoon of rechtspersoon in de toeleveringsketen dan de aanbieder of de importeur, die een AI-systeem in de Unie op de markt aanbiedt AI-verordening Downstreamaanbieder een aanbieder van een AI-systeem, met inbegrip van een AI-systeem voor algemene doeleinden, waarin een AI-model is ge\u00efntegreerd, ongeacht of het model door hemzelf wordt verstrekt en verticaal ge\u00efntegreerd is of door een andere entiteit wordt aangeboden op basis van contractuele betrekkingen AI-verordening Ernstig incident een incident of gebrekkig functioneren van een AI-systeem dat direct of indirect leidt tot a)  het overlijden van een persoon of ernstige schade voor de gezondheid van een persoon b) een ernstige en onomkeerbare verstoring van het beheer of de exploitatie van kritieke infrastructuur c) een schending van de uit het recht van de Unie voortvloeiende verplichtingen ter bescherming van de grondrechten d) ernstige schade aan eigendommen of het milieu AI-verordening Etnisch profileren Het gebruik door overheidsinstanties van selectiecriteria als ras, huidskleur, taal, religie, nationaliteit of nationale of etnische afkomst bij de uitoefening van toezichts-, handhavings- en opsporingsbevoegdheden, zonder dat daarvoor een objectieve en redelijke rechtvaardiging bestaat https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce Exploitant Een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteit AI-verordening Gebruiksinstructies de door de aanbieder verstrekte informatie om de exploitant te informeren over met name het beoogde doel en juiste gebruik van een AI-systeem AI-verordening Geharmoniseerde norm een Europese norm die op verzoek van de Commissie is vastgesteld met het oog op de toepassing van harmonisatiewetgeving van de Unie AI-verordening Gemachtigde een natuurlijke of rechtspersoon die zich bevindt of gevestigd is in de Unie die een schriftelijke machtiging heeft gekregen en aanvaard van een aanbieder van een AI-systeem of een AI-model voor algemene doeleinden om namens die aanbieder de verplichtingen en procedures van deze verordening respectievelijk na te komen en uit te voeren AI-verordening Gemeenschappelijke specificatie een reeks technische specificaties zoals gedefinieerd in artikel 2, punt 4, van Verordening (EU) nr. 1025/2012, om te voldoen aan bepaalde voorschriften zoals vastgelegd in deze verordening AI-verordening Gevoelige operationele gegevens operationele gegevens met betrekking tot activiteiten op het gebied van preventie, opsporing, onderzoek of vervolging van strafbare feiten waarvan de openbaarmaking de integriteit van strafprocedures in het gedrang zou kunnen brengen AI-verordening Hoge risico AI-systeem \"Een AI-systeem is hoog-risico als het voldoet aan de volgende eisen: 1.  Het AI-systeem valt onder de definitie van AI-systemen in artikel 3 lid 1 van de verordening en moet o.a. autonome elementen bevatten,  2.  Het AI-systeem wordt in een van de toepassingsgebieden van ANNEX III ingezet zoals biometrie, kritieke infrastructuur en rechtshandhaving AI-verordening Impactvol algoritme Het betreft hier algoritmes die worden gebruikt in processen met impact op betrokkenen (burger, organisatie) \u2022 Het proces waarin het algoritme wordt gebruikt heeft directe rechtsgevolgen voor betrokkenen. Denk aan: opleggen van boete of weigeren subsidie \u2022 Het proces waarin het algoritme zich bevindt, draagt bij aan hoe de overheid een betrokkene of groep categoriseert of benadert. Denk aan: profilering of risico-indicatie voor controle. Handreiking Algoritmeregister Importeur een natuurlijke of rechtspersoon die zich bevindt of gevestigd is in de Unie die een AI-systeem in de handel brengt dat de naam of merknaam van een in een derde land gevestigde natuurlijke of rechtspersoon draagt AI-verordening In de handel brengen het voor het eerst in de Unie op de markt aanbieden van een AI-systeem of een AI-model voor algemene doeleinden AI-verordening In gebruik stellen de directe levering van een AI-systeem door de aanbieder aan de exploitant voor het eerste gebruik of voor eigen gebruik in de Unie voor het beoogde doel AI-verordening Indirect onderscheid indien een ogenschijnlijk neutrale bepaling, maatstaf of handelwijze personen met een bepaalde godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, nationaliteit, hetero- of homoseksuele gerichtheid of burgerlijke staat in vergelijking met andere personen bijzonder treft https://wetten.overheid.nl/BWBR0006502/2020-01-01 Indirecte discriminatie Wanneer een ogenschijnlijk neutrale bepaling, maatstaf of handelwijze personen met een bepaald beschermd persoonskenmerk (discriminatiegrond) in vergelijking met andere personen in het bijzonder benadeelt, tenzij hiervoor een objectieve rechtvaardiging bestaat https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce Inputdata data die in een AI-systeem worden ingevoerd of direct door een AI-systeem worden verkregen en op basis waarvan het systeem een output genereert AI-verordening kritieke infrastructuur kritieke infrastructuur zoals gedefinieerd in artikel 2, punt 4, van Richtlijn (EU) 2022/2557 AI-verordening Legaliteitsbeginsel Het legaliteitsbeginsel houdt in dat alle overheidsoptreden moet berusten op een overeenstemmen met - kenbare en voldoende specifieke - algemene regels F.J. van Ommeren, De verplichting verankerd, Zwolle 1996; dezelfde, Het legaliteitsbeginsel in het staats- en bestuursrecht: opkomst en ondergang van de ge\u00efmpliceerde bevoegdheden?,  RMTh 2002, blz. 123 e.v. Markttoezichtautoriteit de nationale autoriteit die de activiteiten verricht en maatregelen neemt als bedoeld in Verordening (EU) 2019/1020 AI-verordening Nationale bevoegde autoriteit een aanmeldende autoriteit of een de markttoezichtautoriteit AI-verordening Niet-persoonsgebonden gegevens andere gegevens dan persoonsgegevens zoals gedefinieerd in artikel 4, punt 1, van Verordening (EU) 2016/679 AI-verordening Norm Een norm is een vrijwillige afspraak tussen partijen over een product, dienst of proces. Normen zijn geen wetten, maar \u2019best practices\u2019. Iedereen kan - op vrijwillige basis - hier zijn voordeel mee doen. In zakelijke overeenkomsten hebben normen een belangrijke functie. Ze bieden marktpartijen duidelijkheid over en vertrouwen in producten, diensten of organisaties en dagen de maatschappij uit te innoveren. NEN-normen worden ontwikkeld door inhoudsexperts en specialisten op het gebied van normontwikkeling https://www.nen.nl/normontwikkeling Normalisatie Normalisatie is het proces om te komen tot een norm. Dit proces is open, transparant en gericht op consensus en vindt plaats in normcommissies die bestaan uit vertegenwoordigers van alle betrokken partijen. Dit gebeurt niet alleen op nationaal niveau, maar ook in Europees en mondiaal verband. Normontwikkeling (nen.nl) Objectieve rechtvaardiging Van een objectieve rechtvaardiging voor onderscheid is sprake wanneer onderscheid een legitiem doel nastreeft en er een redelijke relatie van evenredigheid bestaat tussen het gemaakte onderscheid en het nagestreefde doel https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce Op de markt aanbieden het in het kader van een handelsactiviteit, al dan niet tegen betaling, verstrekken van een AI-systeem of een AI-model voor algemene doeleinden met het oog op distributie of gebruik op de markt van de Unie AI-verordening Openbare ruimte een fysieke plek die in publieke of private handen is en toegankelijk is voor een onbepaald aantal natuurlijke personen, ongeacht of bepaalde voorwaarden voor de toegang van toepassing zijn, en ongeacht eventuele capaciteitsbeperkingen AI-verordening Operator een aanbieder, productfabrikant, exploitant, gemachtigde, importeur of distributeur AI-verordening Persoonsgegevens Prestaties van een AI-systeem het vermogen van een AI-systeem om het beoogde doel te verwezenlijken AI-verordening Proceseigenaar De proceseigenaar is verantwoordelijk voor de kwaliteit van het proces en de vastlegging daarvan in een processchema persoonsgegevens zoals gedefinieerd in artikel 4, punt 1, van Verordening (EU) 2016/679 Proefpersoon in het kader van tests onder re\u00eble omstandigheden: een natuurlijk persoon die deelneemt aan een test onder re\u00eble omstandigheden AI-verordening Profilering profilering zoals gedefinieerd in artikel 4, punt 4, van Verordening (EU) 2016/679, of in het geval van rechtshandhavingsinstanties, zoals gedefinieerd in artikel 3, punt 4, van Richtlijn (EU) 2016/680, of in het geval van instellingen, organen of instanties van de Unie, zoals gedefinieerd in artikel 3, punt 5, van Verordening (EU) 2018/1725 AI-verordening Publieke Inkoop De verwerving van werken, leveringen of diensten door een overheid of publieke organisatie, van de markt of een andere externe instantie, terwijl zij tegelijkertijd publieke waarde cre\u00ebren en waarborgen vanuit het perspectief van de eigen organisatie. J. Grandia, L. Kuitert, F. Schotanus, L Volker (2003). Publieke Inkoop \u2013 Een multidisciplinair overzicht van theorie\u00ebn, praktijken en instrumenten. Open Press TiU, 16. rechtshandhavingsinstanties iedere overheidsinstantie die bevoegd is voor de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid; of b) ieder ander orgaan dat of iedere andere entiteit die krachtens het recht van de lidstaten is gemachtigd openbaar gezag en openbare bevoegdheden uit te oefenen met het oog op de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid AI-verordening Rechtshandhaving activiteiten die worden verricht door of namens rechtshandhavings-instanties met het oog op de voorkoming, het onderzoek, de opsporing of de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid AI-verordening Redelijkerwijs te voorzien het gebruik van een AI-systeem op een wijze die niet in overeenstemming is met het beoogde doel, maar die kan voortvloeien uit redelijkerwijs te voorzien menselijk gedrag of redelijkerwijs te voorziene interactie met andere systemen, waaronder andere AI-systemen AI-verordening Risico De combinatie van de kans op schade en de ernst van die schade AI-Verordening Substanti\u00eble wijziging een verandering van een AI-systeem nadat dit in de handel is gebracht of in gebruik is gesteld, die door de aanbieder niet is voorzien of gepland in de initi\u00eble conformiteitsbeoordeling, waardoor de overeenstemming van het AI-systeem met de voorschriften van hoofdstuk II, afdeling 2 van de AI-verordening wordt be\u00efnvloed, of die leidt tot een wijziging van het beoogde doel waarvoor het AI-systeem is beoordeeld AI-verordening Systeem voor biometrische categorisering een AI-systeem dat is bedoeld voor het indelen van natuurlijke personen in specifieke categorie\u00ebn op basis van hun biometrische gegevens, tenzij dit een aanvulling vormt op een andere commerci\u00eble dienst en om objectieve technische redenen strikt noodzakelijk is Systeem voor biometrische identificatie op afstand een AI-systeem dat is bedoeld voor het identificeren van natuurlijke personen, zonder dat zij daar actief bij betrokken zijn en doorgaans van een afstand, door middel van vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens die zijn opgenomen in een referentiedatabank AI-verordening Systeem voor biometrische identificatie op afstand in real time een systeem voor biometrische identificatie op afstand waarbij het vastleggen van biometrische gegevens, de vergelijking en de identificatie zonder significante vertraging plaatsvinden en waarbij de identificatie niet enkel onmiddellijk, maar ook met beperkte korte vertragingen plaatsvindt, om omzeiling te voorkomen AI-verordening systeem voor biometrische identificatie op afstand een ander biometrisch systeem voor de identificatie op afstand dan een systeem voor biometrische identificatie op afstand in real time AI-verordening Systeem voor het herkennen van emoties een AI-systeem dat is bedoeld voor het vaststellen of afleiden van de emoties of intenties van natuurlijke personen op basis van hun biometrische gegevens AI-verordening Systeem voor monitoring na het in de handel brengen alle door aanbieders van AI-systemen verrichte activiteiten voor het verzamelen en evalueren van ervaringen met door hen in de handel gebrachte of in gebruik genomen AI-systemen, teneinde te kunnen vaststellen of er onmiddellijk corrigerende dan wel preventieve maatregelen nodig zijn AI-verordening Systeemrisico een risico dat specifiek is voor de capaciteiten met een grote impact van AI-modellen voor algemene doeleinden, die aanzienlijke gevolgen hebben voor de markt van de Unie vanwege hun bereik, of vanwege feitelijke of redelijkerwijs te voorziene negatieve gevolgen voor de gezondheid, de veiligheid, de openbare veiligheid, de grondrechten of de samenleving als geheel, en dat op grote schaal in de hele waardeketen kan worden verspreid AI-verordening Terugroepen van een AI-systeem een maatregel gericht op het retourneren aan de aanbieder, het buiten gebruik stellen of het onbruikbaar maken van een AI-systeem dat aan exploitanten ter beschikking is gesteld AI-verordening Testdata data die worden gebruikt voor het verrichten van een onafhankelijke evaluatie van het AI-systeem om de verwachte prestaties van dat systeem te bevestigen voordat het in de handel wordt gebracht of in gebruik wordt gesteld AI-verordening Testen onder re\u00eble omstandigheden het tijdelijk testen van een AI-systeem voor zijn beoogde doel onder re\u00eble omstandigheden buiten een laboratorium of anderszins gesimuleerde omgeving teneinde betrouwbare en robuuste gegevens te verkrijgen, en te beoordelen en te verifi\u00ebren of het AI-systeem overeenstemt met de voorschriften van deze verordening, waaronder niet wordt verstaan het in de handel brengen of in gebruik nemen van het AI-systeem in de zin van deze verordening, mits aan alle in artikel 57 of 60 vastgestelde voorwaarden is voldaan AI-verordening Toestemming met kennis van zaken de vrijelijk gegeven, specifieke, ondubbelzinnige en vrijwillige uiting door een proefpersoon van zijn of haar bereidheid deel te nemen aan een bepaalde test onder re\u00eble omstandigheden, na ge\u00efnformeerd te zijn over alle aspecten van de test die van belang zijn voor zijn of haar beslissing deel te nemen Trainingsdata data die worden gebruikt voor het trainen van een AI-systeem door de leerbare parameters hiervan aan te passen AI-verordening Uit de handel nemen van een AI-systeem een maatregel waarmee wordt beoogd te voorkomen dat een AI-systeem dat zich in de toeleveringsketen bevindt, op de markt wordt aangeboden AI-verordening Validatiedata data die worden gebruikt voor het verrichten van een evaluatie van het getrainde AI-systeem en voor het afstemmen van onder andere de niet-leerbare parameters en het leerproces ervan, om underfitting of overfitting te voorkomen AI-verordening validatiedatareeks een afzonderlijke datareeks of deel van de trainingsdatareeks, als vaste of variabele verdeling AI-verordening Veiligheidscomponent een component van een product of systeem die een veiligheids-functie voor dat product of systeem vervult of waarvan het falen of gebrekkig functioneren de gezondheid en veiligheid van personen of eigendom in gevaar brengt AI-verordening Verwerker Een [..] rechtspersoon, een overheidsinstantie, een dienst of een ander orgaan die/dat ten behoeve van de verwerkingsverantwoordelijke persoonsgegevens verwerkt. AVG Verwerkersverantwoordelijke Een rechtspersoon of overheidsinstantie die, alleen of samen met anderen, het doel van en de middelen voor de verwerking van persoonsgegevens vaststelt Art. 4 onderdeel 7 AVG Zwevendekommabewerking of floating-point operation (FLOP) elke wiskundige bewerking of toewijzing met zwevendekommagetallen, die een subset vormen van de re\u00eble getallen die gewoonlijk op computers worden weergegeven door een geheel getal met een vaste precisie, verheven door een gehele exponent van een vaste basis"},{"location":"overhetalgoritmekader/definities/","title":"Definities","text":"<p>Welke definities gebruikt het Algoritmekader? Je vindt een overzicht op deze pagina. Deze definities komen overeen met de definities van het het Algoritmeregister, zie daarvoor de Handreiking Algoritmeregister</p>"},{"location":"overhetalgoritmekader/definities/#definitie-van-een-algoritme","title":"Definitie van een algoritme","text":"<p>Er zijn veel definities van een algoritme. Voor het algoritmekader hanteren we de definitie van de Algemene Rekenkamer:</p> <p>'Een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden.\u2019</p> <p>Dit is een brede definitie die de maximale reikwijdte weergeeft van algoritmes waarvoor het Algoritmekader relevant is. Waar de definitie van de Algemene Rekenkamer schrijft \u201com een probleem op te lossen of een vraag te beantwoorden\u201d, verstaan we daar ook onder \u201com een taak of proces uit te voeren of tot een besluit te komen\u201d. In het uitvoeren van een taak of het komen tot een besluit kunnen \u00e9\u00e9n of meer algoritmes voorkomen. Daarnaast hebben we het bij het Algoritmekader over zowel Artifici\u00eble Intelligentie (AI) als algoritmes. De essentie is dat AI is opgebouwd uit algoritmes. Maar niet alle algoritmes zijn AI. </p> <p></p> <p>Gebruikte terminologie</p> <p>De termen hoog-risico, impactvol, AI en Algoritmes worden veel door elkaar gebruikt. Wij hanteren uitsluitend de volgende twee termen:</p> <ol> <li> <p>Hoog-risico AI (-systeem)  Hiermee bedoelen we altijd de definitie zoals deze in de AI-verordening wordt gehanteerd.</p> </li> <li> <p>Impactvolle algoritmes Dit betreft de minimale reikwijdte van het Algoritmekader. Het omvat de hoog-risico AI-systemen zoals gedefinieerd in de AI-verordening \u00e9n de algoritmes die we daarnaast als impactvol beschouwen. </p> </li> </ol>"},{"location":"overhetalgoritmekader/definities/#relatie-scope-algoritmekader-en-de-ai-verordening","title":"Relatie scope Algoritmekader en de AI-Verordening","text":"<p>Op dit moment wordt op EU-niveau de AI-verordening ontwikkeld, die naar verwachting van toepassing wordt op een deel van de algoritmes in gebruik bij de overheid. In de AI-verordening zijn AI-systemen onderverdeeld in verschillende categorie\u00ebn: verboden praktijken, hoog-risico AI-systemen, AI-systemen met manipulatierisico\u2019s en AI-systemen met geen/minimale risico\u2019s. Afhankelijk van de categorie waarin een AI-systeem valt, gelden zwaardere of minder zware eisen waar die systemen aan moeten voldoen.</p> <p>Het Algoritmekader is hoe dan ook relevant voor hoog-risico AI-systemen volgens de definitie van de AI-verordening. Een AI-systeem is hoog-risico als het voldoet aan de volgende eisen: 1. Het AI-systeem valt onder de definitie van AI-systemen in artikel 3 lid 1 van de verordening en moet o.a. autonome elementen bevatten, en</p> <ol> <li>Het AI-systeem wordt in een van de toepassingsgebieden van ANNEX III ingezet zoals biometrie, kritieke infrastructuur en rechtshandhaving. Bovenstaande betreft een versimpelde beschrijving van de AI-verordening. In bijlage 2 van de Handreiking Algoritmeregister is meer informatie te vinden over de AI-verordening. Aangezien de AI-verordening nog in onderhandeling is, bestaat de kans dat de classificatie van hoog-risico AI-systemen nog wordt aangepast. </li> </ol>"},{"location":"overhetalgoritmekader/definities/#definitie-van-impactvolle-algoritmes","title":"Definitie van impactvolle algoritmes","text":"<p>Om te bepalen of een algoritme in aanmerking komt voor publicatie in het Algoritmeregister, is een hulpmiddel 'Selectie' gemaakt. Het zijn dezelfde algoritmes die relevant zijn voor het Algoritmekader. Dit hulpmiddel wordt hieronder weergegeven in de figuur, en is ook leidend voor het Algoritmekader.</p> <p></p> <p>Voor meer toelichting over dit hulpmiddel verwijzen we naar de Handreiking Algoritmeregister.</p> <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"rollen/aanbieder/","title":"Aanbieder","text":"<p>Hier komt meer informatie over de rol </p>"},{"location":"rollen/contractbeheerder/","title":"Contractbeheerder","text":"<p>Hier komt meer informatie over de rol </p>"},{"location":"rollen/data-scientist/","title":"Data scientist","text":"<p>Hier komt meer informatie over de rol </p>"},{"location":"rollen/informatiebeheerder/","title":"Leverancier","text":"<p>Hier komt meer informatie over de rol </p>"},{"location":"rollen/leverancier/","title":"Leverancier","text":"<p>Hier komt meer informatie over de rol </p>"},{"location":"rollen/proceseigenaar/","title":"Proceseigenaar","text":"<p>Hier komt meer informatie over de rol </p>"},{"location":"thema/","title":"Thema's","text":"<p>Bij het algoritmekader hebben we 10 thema's gedefinieerd. Deze thema geven structuur aan het algoritmekader. </p> <p>Deze thema's worden \u00e9\u00e9n voor \u00e9\u00e9n opgepakt.</p>"},{"location":"thema/#thema-in-ontwikkeling","title":"thema in ontwikkeling","text":"<ul> <li> <p> Fundamentele rechten (in ontwikkeling)</p> <p>Het bouwblok fundamentele rechten is opgesplitst in verschillende delen</p> <p> Naar fundamentele rechten</p> <p> Naar bias en non-discriminatie</p> </li> <li> <p> Publieke inkoop (in ontwikkeling)</p> <p>Hier kunnen we een korte tekst kwijt over publieke inkoop</p> <p> Naar publieke inkoop</p> </li> <li> <p> Privacy en gegevensbescherming (in ontwikkeling)</p> <p>Hier kunnen we een korte tekst kwijt over privacy en gegevensbescherming</p> <p> Naar privacy en gegevensbescherming</p> </li> <li> <p> Transparantie (in ontwikkeling)</p> <p>Hier kunnen we een korte tekst kwijt over transparantie</p> <p> Naar transparantie</p> </li> </ul>"},{"location":"thema/#thema-nog-te-doen","title":"thema nog te doen","text":"<ul> <li> <p> Conformiteitsbeoordeling (nog te doen)</p> <p>Hier kunnen we een korte tekst kwijt over conformiteitsbeoordeling</p> <p> Naar conformiteitsbeoordeling</p> </li> <li> <p> Data (nog te doen)</p> <p>Hier kunnen we een korte tekst kwijt over data</p> <p> Naar data</p> </li> <li> <p> Duurzaamheid (nog te doen)</p> <p>Hier kunnen we een korte tekst kwijt over duurzaamheid</p> <p> Naar duurzaamheid</p> </li> <li> <p> Governance (nog te doen)</p> <p>Hier kunnen we een korte tekst kwijt over governance</p> <p> Naar governance</p> </li> <li> <p> Menselijke controle (nog te doen)</p> <p>Hier kunnen we een korte tekst kwijt over menselijke controle</p> <p> Naar menselijke controle</p> </li> <li> <p> Technische robuustheid en veiligheid (nog te doen)</p> <p>Hier kunnen we een korte tekst kwijt over technische robuustheid en veiligheid</p> <p> Naar technische robuustheid en veiligheid</p> </li> </ul> <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"thema/conformiteitsbeoordeling/","title":"Conformiteitsbeoordeling","text":"<p>status: dit bouwblok moet nog ontwikkeld worden</p>"},{"location":"thema/data/","title":"Data","text":"<p>status: dit bouwblok moet nog ontwikkeld worden</p> <p>Hier is plek voor een algemene beschrijving van dit bouwblok. Neem hier in ieder geval op:</p> <ul> <li>waar gaat dit bouwblok over</li> <li>zijn er eventueel deelonderwerpen die behoren tot dit bouwblok? Zo ja welke? En verwijzen indien dit een aparte pagina betreft.</li> <li>waarom is dit bouwblok belangrijk?</li> <li>eventueel definities of toelichting van bepaalde begrippen die relevant zijn voor dit bouwblok</li> </ul>"},{"location":"thema/data/#data-ten-opzichte-van-de-levenscyclus","title":"Data ten opzichte van de levenscyclus","text":"Fase levenscyclus Relevant ja/nee Toelichting Probleemanalyse Ontwerp Data verkennen en preparatie De vraag is of dit voldoende plek is voor een toelichting. Hoe veel tekst willen we hier precies kwijt? Je kan hier best een tijdje doortypen, maar deze vorm van weergeven is misschien niet heel geschikt als je hier heel veel meer tekst kwijt wilt. Ontwikkelen Validatie Implementatie Monitoren Archiveren vraag <p>Willen we hier onderscheid kunnen maken in wat voor soort algoritme we aan het ontwikkelen zijn?</p>"},{"location":"thema/data/#normen","title":"Normen","text":"<p>Onderstaand bieden we een overzicht van alle normen die van toepassing zijn op data waaraan een overheidsorganisatie volgens geldende wet- en regelgeving aan moet voldoen bij het gebruik van algoritmes.</p> Norm Uitleg verplicht voor hoog-risico AI systemen (AI Act) verplicht voor impactvolle algoritmes verplicht voor niet-impactvolle algoritmes n.t.b. Korte uitleg over deze norm vragen <ul> <li>Willen we deze normen ook kunnen koppelen aan de levenscyclus? Dat kunnen we misschien weer op de norm pagina doen?</li> <li>Willen we hier ook een bron vermelden? Als ik het goed begrijp komen alle normen die we nu hebben uit wettelijke verplichtingen?</li> <li>Willen we hier ook normen toevoegen die niet wettelijk verplicht zijn (of zijn dat dat aanvullende maatregelen)?</li> <li>Wat is precies het onderscheid dat we willen maken? Wanneer weet de IBW dit? Voor nu impactvol ja/nee genomen, maar we moeten sowieso ook hoog-risico AI act meenemen</li> </ul>"},{"location":"thema/data/#aanvullende-maatregelen","title":"Aanvullende maatregelen","text":"Maatregel Uitleg van toepassing op impactvolle algoritmes van toepassing op niet-impactvolle algoritmes Maatregel Korte uitleg over maatregel Maatregel Korte uitleg over maatregel"},{"location":"thema/duurzaamheid/","title":"Duurzaamheid","text":"<p>status: moet nog ontwikkeld worden</p>"},{"location":"thema/fundamentele%20rechten/","title":"Fundamenetele rechten","text":"<p>status: dit bouwblok moet nog ontwikkeld worden</p>"},{"location":"thema/fundamentele%20rechten/non-discriminatie/","title":"Bias en non-discriminatie","text":"<p>status: dit bouwblok is in ontwikkeling</p>"},{"location":"thema/fundamentele%20rechten/non-discriminatie/#waarom","title":"Waarom?","text":"<p>Schrijf hier een tekst over wat [title] is en waarom dit belangrijk is voor een verantwoord gebruik van algoritmes bij overheidsorganisaties. </p>"},{"location":"thema/fundamentele%20rechten/non-discriminatie/#levenscyclus","title":"Levenscyclus","text":"<p>Een overzicht van welke fasen van de levenscyclus relevant zijn voor dit bouwblok. </p> <ul> <li> Probleemanalyse</li> <li> Ontwerp</li> <li> Data verkenning en data preparatie</li> <li> Ontwikkelen</li> <li> Validatie  </li> <li> Implementatie</li> <li> Monitoren</li> <li> Archiveren</li> </ul>"},{"location":"thema/fundamentele%20rechten/non-discriminatie/#normen","title":"Normen","text":"<p>Onderstaand een overzicht van de minimale vereisten die volgen uit geldende wet- en regelgeving, toetingskaders en andere bronnen</p> Laag risicoHoog risico Norm Uitleg Bron Norm 2 Korte uitleg over norm 2 Norm Uitleg Bron Verbod op ongelijke behandeling in gelijke omstandigheden. Discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht of op welke grond dan ook, is niet toegestaan Korte uitleg over norm 1 Norm 2 Korte uitleg over norm 2 Norm 3 Korte uitleg over norm 3 Norm 4 Korte uitleg over norm 4"},{"location":"thema/fundamentele%20rechten/non-discriminatie/#rollen","title":"Rollen","text":"<p>Overzicht van welke rollen belangrijk zijn te betrekken bij dit bouwblok. </p> <ul> <li>technische expert bron: handreiking non-discriminatie by design</li> <li>projectleider bron: handreiking non-discriminatie by design</li> <li>jurist bron: handreiking non-discriminatie by design</li> <li>functionaris gegevensbescherming bron: handreiking non-discriminatie by design</li> <li>relevante stakeholders bron: handreiking non-discriminatie by design</li> <li>domein expert bron: handreiking non-discriminatie by design</li> <li>data steward bron: handreiking non-discriminatie by design</li> <li>data analist bron: handreiking non-discriminatie by design</li> <li>beleid bron: evaluatie handreiking non-discriminatie by design door ADR</li> </ul>"},{"location":"thema/fundamentele%20rechten/non-discriminatie/#aanbevelingen","title":"Aanbevelingen","text":"<p>Rathenau</p> <ul> <li>Geef als uitvoeringsorganisatie meer inzicht in hoe biastoetsing plaatsvindt </li> <li>Zet een nationaal kennisplatform voor biastoetsing op waar expertise kan worden ontwikkeld en gedeeld. Bepaal welke mate van standaardisatie gewenst is en of wettelijke eisen nodig zijn.</li> </ul> <p>ADR</p> <ul> <li>Plaats de handreiking in een kader in relatie tot andere instrumenten </li> <li>Overweeg een risicogerichte benadering voor de toepassing van de handreiking </li> <li>Werk aan het vergroten van bewustzijn voor algoritmen en (data-)ethiek in de organisatie </li> <li>Zorg voor duidelijkheid in taken en verantwoordelijkheden van verschillende betrokkenen </li> <li>Beleg verantwoordelijkheid voor de handreiking en borg de (blijvende) aandacht ervoor </li> <li>Verplichte toepassing van de handreiking kan bestaande initiatieven tenietdoen </li> </ul> <p>Toetsingskader ADR</p> <ul> <li>De definitie van de verschillende groepen en de gewenste prestatie van het model voor deze groepen zijn opgenomen in de functionele eisen.</li> <li>De mate van geaccepteerde bias in de uitkomst is opgenomen in de functionele eisen en uitgewerkt in meetbare prestatiecriteria.</li> <li>De methoden om bias te voorkomen, detecteren en corrigeren zijn vastgelegd.</li> <li>De mate van bias in de data, dataverzameling en het model zijn in kaart gebracht.</li> <li>Tijdens de ontwikkeling van het model is beoordeeld of er een verschil bestaat tussen de prestatie van het model tussen verschillende subgroepen. De prestatiemetrieken afleidbaar uit de confusionmatrix zijn vergeleken voor deze subgroepen.</li> <li>De uitkomstbias van productiedata is beoordeeld voor de verschillende subgroepen en voldoet aan de prestatiecriteria.</li> <li>Bij de geconstateerde bias is beoordeeld of deze op discriminatie duidt.</li> </ul> <p>College voor de Rechten van de Mens (Richtlijnen)</p> <ul> <li>Overheidsinstanties mogen bij opsporings- en handhavingsbevoegdheden, met het oog op effectiviteit, effici\u00ebntie en kostenbesparing, gebruik maken van risicoprofielen. Binnen deze risicoprofielen mogen ervaringsgegevens die tot een bepaalde vooronderstelling leiden een rol spelen, tenzij dit leidt tot discriminatie op grond van ras of nationaliteit</li> <li>Risicoprofielen die uitsluitend of in doorslaggevende mate gebaseerd zijn op ras (waaronder etniciteit en afkomst) zijn in strijd met het discriminatieverbod;</li> <li>Risicoprofielen die zich richten op \u00e9\u00e9n bepaalde afkomst of nationaliteit hebben een stigmatiserend effect en zijn daarom strijdig met het discriminatieverbod;</li> <li>Risicoprofielen die uitsluitend gebaseerd zijn op nationaliteit zijn zeer moeilijk te rechtvaardigen;</li> <li>Risicoprofielen waarin ras of nationaliteit mede een rol speelt, kunnen slechts gerechtvaardigd worden door zeer zwaarwegende redenen;</li> <li>Het gebruik van ras of nationaliteit als selectiecriterium binnen een risicoprofiel is nooit toegestaan als er geen objectieve relatie kan worden aangetoond tussen dit selectiecriterium en het legitieme doel van het profiel;</li> <li>In alle gevallen moeten de selectiecriteria  binnen een risicoprofiel samen voldoende relevant en objectief (geschikt) zijn om op een effectieve wijze bij te dragen aan de verwezenlijking van het nagestreefde legitieme doel;</li> <li>Het gebruik van ras of nationaliteit als selectiecriterium binnen een risicoprofiel moet daarnaast noodzakelijk zijn om het gewenste doel tebereiken.</li> <li>Selectiebeslissingen moeten te allen tijde uitlegbaar zijn.</li> </ul>"},{"location":"thema/fundamentele%20rechten/non-discriminatie/#mogelijke-hulpmiddelen-en-methoden","title":"Mogelijke hulpmiddelen en methoden","text":"<ul> <li>Fairness Handbook</li> </ul> <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"thema/governance/","title":"Governance","text":"<p>status: dit bouwblok moet nog ontwikkeld worden</p>"},{"location":"thema/menselijke%20controle/","title":"Menselijke controle","text":"<p>status: dit bouwblok moet nog ontwikkeld worden</p>"},{"location":"thema/privacy%20en%20gegevensbescherming/","title":"Privacy en gegevensbescherming","text":"<p>Hier komt een beschrijving van dit bouwblok</p> <p>status: dit bouwblok is in ontwikkeling</p> <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"thema/publieke%20inkoop/","title":"Publieke inkoop van algoritmen en AI","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p> <p>Door middel van publieke inkoop wordt door overheidsinstellingen software ingekocht. Deze software wordt ingekocht om ambtenaren te ondersteunen met hun werkzaamheden om zo maatschappelijk waarden te cre\u00ebren. Het kan bijvoorbeeld gaan om het inkopen van een systeem waarmee een aanvraag voor een subsidie of vergunning kan worden behandeld. Het virtueel vergaderen of het digitaal samenwerken aan documenten zijn hier ook voorbeelden van. </p> <p>Software met algoritmen  en AI wordt vaak ontwikkeld door gespecialiseerde aanbieders en bevat steeds meer algoritmen en AI. Het komt ook voor dat de overheid deze technologie zelf ontwikkelt. Deze algoritmen en AI kunnen eenvoudig van aard zijn, zoals het maken van een eenvoudige berekening. Zij kunnen complexer van aard zijn, zoals een voorspelling geven of het genereren van informatie. In het laatste geval kan worden gedacht aan ChatGPT, Google Bard of Co-Pilot. Er zijn verschillende type technologie\u00ebn die vallen onder het bereik van algoritmen en AI. In dit kader drukken we deze uit als \u2018rekenregel\u2019, \u2018machine learning\u2019 en \u2018generatieve AI\u2019. Elke technologie heeft eigen bijzondere aandachtspunten. Ook de bijbehorende risico\u2019s kunnen per type verschillen. Het identificeren van deze risico\u2019s en het treffen van beheersmaatregelen is daarbij van belang. Dat geldt in het bijzonder als algoritmen en AI bijdragen aan de totstandkoming van overheidsbesluitvorming en impactvolle beslissingen die burgers en ondernemingen raken. </p> <p>Door bij publieke inkoop van software met algoritmen en AI rekening te houden met vereisten die voorkomen uit wet- en regelgeving, toepassen van publieke waarden, het type algoritme of AI en de potenti\u00eble risico\u2019s die ontstaan bij het gebruiken ervan, kunnen negatieve gevolgen worden voorkomen. Publieke inkoop speelt daarom een belangrijke rol bij de totstandkoming van verantwoord ontwikkelde algoritmen en AI en het gebruik daarvan door ambtenaren.  In dit deel van het Algoritmekader wordt nader ingegaan op deze vereisten. Er worden suggesties gedaan hoe deze vereisten kunnen worden nageleefd en welke rollen daarbij betrokken kunnen zijn. Waar mogelijk worden concrete voorbeelden uit de praktijk gegeven en zal worden aangegeven bij welk type algoritmen of AI dit relevant is.</p> <p>Het publiek inkopen van algoritmen en AI wordt ook gekoppeld aan de algoritme levenscyclus. Dit geeft een beeld van wanneer bepaalde vereisten en maatregelen, bij het ontwikkelen van algoritmen en AI, moeten worden geadresseerd. Door deze vereisten ook te vertalen naar het inkoopproces, zullen de rollen binnen het inkoopproces beter in staat zijn om te duiden wanneer en hoe dit kan worden geadresseerd. Dit moet bijdragen aan een goed samenspel met aanbieders, zodat de kansen van algoritmen en AI worden benut en de negatieve gevolgen worden voorkomen.  </p>"},{"location":"thema/publieke%20inkoop/#algoritme-levenscyclus","title":"Algoritme levenscyclus","text":"<p>Algoritmen en AI kunnen een grote impact hebben op onze maatschappij. Daarom is het van belang dat deze op een verantwoorde manier worden ontwikkeld en gebruikt. Het toepassen van de algoritme levenscyclus is hierover een bruikbare leidraad. De algoritme levenscyclus bestaat uit meerdere fasen. De werkzaamheden die noodzakelijk zijn om een verantwoord algoritme of AI te ontwikkelen, kunnen logisch worden gekoppeld aan deze fasen.  Deze levenscyclus kan worden gebruikt voor alle typen algoritmen en AI. Het verschilt uiteraard wel per type wat moet worden gedaan en dit is mede afhankelijk van de risico classificatie. Bij hoge risico toepassing zal meer moeten worden gedaan om risico\u2019s te mitigeren dan als er sprake is van lage risico toepassingen. De levenscyclus geeft een bruikbaar overzicht voor leveranciers en opdrachtgevers wanneer welke werkzaamheden moeten worden uitgevoerd. Het laat ook zien welke werkzaamheden moeten zijn afgerond als algoritmen en AI in de markt mogen worden gezet en klaar zijn voor gebruik. </p> <p>Bij het publiek inkopen van software met bijbehorende algoritmen en AI zijn de wensen van de behoeftesteller en de doelstellingen van de organisatie van groot belang. Dit kan tot verschillende situaties leiden:</p> <p>\u2022   Een al ontwikkelde kant-en-klare oplossing voldoet direct aan deze wensen en doelstellingen;</p> <p>\u2022   Een al ontwikkelde oplossing moet eerst worden aangepast voordat deze kan worden gebruikt;</p> <p>\u2022   Er moet een nieuwe oplossing worden ontwikkeld om te voldoen aan de wensen. </p> <p>Deze inschatting is dus bepalend wat wel en niet van een product mag worden verwacht. Dit is relevant voor zowel de leverancier als de opdrachtgever. Het is aannemelijk dat als het om risicovolle (nog te ontwikkelen) algoritmen of AI gaat, de opdrachtgever een intensieve bijdrage moet leveren aan de samenwerking om het product te kunnen gebruiken. De opdrachtgever zal bijvoorbeeld moeten aangeven wat de juridische en ethische grenzen zijn van de uiteindelijk werking van het algoritme of AI. Als een kant-en-klare oplossing wordt afgenomen, dan zal de leverancier moeten laten zien dat de ontwikkelde algoritmen en AI voldoen aan alle vereisten en moet dit kunnen aantonen. </p> <p>De inzichten uit de algoritme levenscyclus kunnen ondersteunen bij bijvoorbeeld de behoeftestelling, het maken van make-or-buy beslissingen, de te hanteren aanbestedingsvorm, de totstandkoming van de selectie- en gunningseisen, contractspecificaties en de uitvoering en management van het contract. De algoritme levenscyclus kan worden geraadpleegd via het tabblad boven aan deze pagina. Per fase en per type algoritme of AI kan worden bekeken aan welke vereisten moet worden voldaan en welke beheersmaatregelen kunnen worden getroffen. </p>"},{"location":"thema/publieke%20inkoop/#vereisten","title":"Vereisten","text":"Vereisten Uitleg verplicht voor hoog-risico AI systemen (AI Act) verplicht voor impactvolle algoritmes verplicht voor niet-impactvolle algoritmes Archiveren De grondslag van de Archiefwet is dat, als de overheid de informatie bewaart die voortkomt uit de verschillende werkprocessen, aan de hand van deze informatie de werkprocessen kunnen worden gereconstrueerd en kan worden nagegaan hoe besluiten tot stand zijn gekomen. De oordeelsvorming over hoe zaken zijn verlopen kan dan worden overgelaten aan anderen Non-discriminatie Verbod op ongelijke behandeling in gelijke omstandigheden. Discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht of op welke grond dan ook, is niet toegestaan. Verbod schenden Auteursrechten Bepaalde vormen van algoritmen en AI worden ontwikkeld op basis van grote hoeveelheden data. Deze data wordt gebruikt voor het trainingen en testen van algoritmen en AI. Deze data mag geen inbreuk maken op Auteursrechten. Ook de gegenereerde output van algoritmen en AI mag geen inbreuk maken op deze rechten. Kwaliteitsmanagementsysteem De  ontwikkelaar van een AI-systeem of een 'general purpose AI model' die deze op de markt plaatst zal een kwaliteitsmanagementsysteem toepassen waarmee wordt voldaan aan de verplichtingen die voortkomen uit de AI-verordening."},{"location":"thema/publieke%20inkoop/#nuttige-informatie","title":"Nuttige informatie","text":"<p>Europese modelcontractbepalingen AI-systemen (hoog risico)</p> <p>Europese modelcontractbepalingen AI-systemen (niet hoog risico)</p> <p>Contractvoorwaarden voor algoritmen gemeente Amsterdam</p>"},{"location":"thema/technische-robuustheid-en-veiligheid/","title":"Technische robuustheid en veiligheid","text":"<p>status:dit bouwblok gebruik ik nu als template</p> <p>Hier is plek voor een algemene beschrijving van dit bouwblok. Neem hier in ieder geval op:</p> <ul> <li>waar gaat dit bouwblok over</li> <li>zijn er eventueel deelonderwerpen die behoren tot dit bouwblok? Zo ja welke? En verwijzen indien dit een aparte pagina betreft.</li> <li>waarom is dit bouwblok belangrijk?</li> <li>eventueel definities of toelichting van bepaalde begrippen die relevant zijn voor dit bouwblok</li> </ul>"},{"location":"thema/technische-robuustheid-en-veiligheid/#technische-robuustheid-ten-opzichte-van-de-levenscyclus","title":"Technische robuustheid ten opzichte van de levenscyclus","text":"Fase levenscyclus Relevant ja/nee Toelichting Probleemanalyse Ontwerp Data verkennen en preparatie De vraag is of dit voldoende plek is voor een toelichting. Hoe veel tekst willen we hier precies kwijt? Je kan hier best een tijdje doortypen, maar deze vorm van weergeven is misschien niet heel geschikt als je hier heel veel meer tekst kwijt wilt. Ontwikkelen Validatie Implementatie Monitoren Archiveren vraag <p>Willen we hier onderscheid kunnen maken in wat voor soort algoritme we aan het ontwikkelen zijn?</p>"},{"location":"thema/technische-robuustheid-en-veiligheid/#vereisten","title":"Vereisten","text":"<p>Onderstaand bieden we een overzicht van alle normen die van toepassing zijn op data waaraan een overheidsorganisatie volgens geldende wet- en regelgeving aan moet voldoen bij het gebruik van algoritmes.</p> Vereisten Uitleg verplicht voor hoog-risico AI systemen (AI Act) verplicht voor impactvolle algoritmes verplicht voor niet-impactvolle algoritmes Continu\u00efteit Korte uitleg over deze norm Betrouwbare uitkomsten Data is representatief Doel en keuze algoritme Informatiebeveiliging vragen <ul> <li>Willen we deze normen ook kunnen koppelen aan de levenscyclus? Dat kunnen we misschien weer op de norm pagina doen?</li> <li>Willen we hier ook een bron vermelden? Als ik het goed begrijp komen alle normen die we nu hebben uit wettelijke verplichtingen?</li> <li>Willen we hier ook normen toevoegen die niet wettelijk verplicht zijn (of zijn dat dat aanvullende maatregelen)?</li> <li>Wat is precies het onderscheid dat we willen maken? Wanneer weet de IBW dit? Voor nu impactvol ja/nee genomen, maar we moeten sowieso ook hoog-risico AI act meenemen</li> </ul>"},{"location":"thema/technische-robuustheid-en-veiligheid/#aanvullende-maatregelen","title":"Aanvullende maatregelen","text":"Maatregel Uitleg van toepassing op impactvolle algoritmes van toepassing op niet-impactvolle algoritmes Maatregel Korte uitleg over maatregel Maatregel Korte uitleg over maatregel"},{"location":"thema/transparantie/","title":"Transparantie","text":"<p>status: dit bouwblok moet nog ontwikkeld worden</p>"},{"location":"vereisten/","title":"Vereisten","text":"<p>Een kernelement van het Algoritmekader is het beschrijven van de vereisten waar overheidsorganisaties aan moeten voldoen als zij algoritmen en AI (laten) ontwikkelen en gebruiken. Er is tal van wet- en regelgeving van toepassing op overheidsorganisaties als zij hun wettelijke taken uitvoeren. Dat geldt ook als algoritmen en AI worden ingezet ter ondersteuning van de bijbehorende werkprocessen. Hier kan worden gedacht aan de Algemene Wet Bestuursrecht, de Grondwet, de AI-verordening (vanaf inwerkingtreding), Auteurswet, de AVG en meer sectorspecifiek wet- en regelgeving. In het Algoritmekader wordt een overzicht gegeven van de vereisten die hieruit voortkomen van toepassing zijn op algoritmen en AI. </p> <p>In dit deel van het Algoritmekader kan worden genavigeerd door de verschillend vereisten. Wat precies van toepassing is, is sterk afhankelijk van de specifieke toepassing. Daarom zijn de vereisten hoogover gekoppeld aan het type technologie (rekenregel, machine learning of generatieve AI) en aan de risico classificatie (niet-impactvol, impactvol en hoge risico). Hier kan (spoedig) op worden 'gefilterd'. Dit moet gebruikers helpen om te duiden welke vereisten in welke situaties moeten worden nageleefd. </p> <p>Ter illustratie, ongeacht het type technologie, discriminerende algoritmen en AI zijn verboden en het vereisten van non-discriminatie moet in alle gevallen worden toegepast. De mate waarin dit speelt kan verschillen en het aantal te treffen maatregelen ook, maar organisaties zullen hier hoe dan ook aandacht aan moeten besteden. Dit is anders als het gaat om bijvoorbeeld het vereiste van het opnemen van algoritmen en AI in het Algoritmeregister. Dit is van belang bij impactvolle algoritmisch toepassingen en hoge risco AI-systemen. Voor de niet-impactvolle rekenregels is dit niet noodzakelijk en kan daardoor achterwege blijven. </p> Bouwblok Norm  Conformiteitsbeoordeling n.t.b.  Data n.t.b.  Duurzaamheid Bewerkstellig duurzaamheid  Fundamentele rechten Non-discriminatie  Governance Aantoonbaarheid  Governance Archiveren  Governance Data governance  Governance Eigenaarschap en beheer  Governance Kwaliteitsmanagementsysteem  Governance Mensenrechteneffectbeoordeling  Governance Risicobeheer  Governance Rollen en verantwoordelijkheden  Governance Zorgvuldigheidsbeginsel  Inkoop n.t.b.  Menselijke controle AI geletterheid  Menselijke controle Autonomie  Menselijke controle Klachtenafhandelingsprocedure  Menselijke controle Menselijke controle  Privacy en gegevensbescherming Rollen en verantwoordelijkheden  Privacy en gegevensbescherming GEB en DPIA  Privacy en gegevensbescherming Rechtmatigheid en grondslag  Privacy en gegevensbescherming Doelbinding  Privacy en gegevensbescherming Dataminimalisatie  Privacy en gegevensbescherming Geactualiseerde gegevens  Privacy en gegevensbescherming Opslagbeperking  Privacy en gegevensbescherming Bijzondere persoonsgegevens  Privacy en gegevensbescherming Privacyrechten  Privacy en gegevensbescherming Geautomatiseerde besluitvorming en profileren  Privacy en gegevensbescherming Privacy by design  Technische robuustheid en veiligheid Algoritme continuiteit  Technische robuustheid en veiligheid Betrouwbare algoritme uitkomsten  Technische robuustheid en veiligheid Data is representatief  Technische robuustheid en veiligheid Doel en keuze algoritme  Technische robuustheid en veiligheid Informatiebeveiliging  Transparantie Algoritmeregister  Transparantie Informeren over interactie  Transparantie Motiveringsbeginsel  Transparantie Traceerbaarheid  Transparantie Transparante besluitvorming <p>Nog te doen</p> <ul> <li>vereisten worden nog gekoppeld aan de levenscyclus</li> <li>vereisten krijgen nog een duidelijkere titel</li> <li>vereisten worden nog aangevuld met risico's, toelichting, etc. </li> </ul> <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/conformiteitsbeoordeling/","title":"Conformiteitsbeoordeling","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./","title":"n.t.b.","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#norm","title":"Norm","text":""},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#bronnen","title":"Bronnen","text":""},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#toelichting","title":"Toelichting","text":""},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#hoe","title":"Hoe?","text":""},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#best-practices","title":"Best practices","text":""},{"location":"vereisten/data/","title":"Data","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/data/n.t.b./","title":"n.t.b.","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/data/n.t.b./#norm","title":"Norm","text":""},{"location":"vereisten/data/n.t.b./#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/data/n.t.b./#bronnen","title":"Bronnen","text":""},{"location":"vereisten/data/n.t.b./#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/data/n.t.b./#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/data/n.t.b./#toelichting","title":"Toelichting","text":""},{"location":"vereisten/data/n.t.b./#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/data/n.t.b./#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/data/n.t.b./#best-practices","title":"Best practices","text":""},{"location":"vereisten/duurzaamheid/","title":"Duurzaamheid","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/","title":"Bewerkstellig duurzaamheid","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#norm","title":"Norm","text":"<p>Bewerkstellig duurzaamheid; ook in de ontwikkeling van algoritmen.</p>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#risico","title":"Risico","text":"<p>De impact van het model op het milieu is disproportioneel hoog.</p>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, recital 46a</li> </ul>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#toetsingskaders","title":"Toetsingskaders","text":"<ul> <li>SDG 11</li> <li>EC/AI HLEG April 2019 hoofdstuk II 1.6</li> <li>ADR DM.24</li> </ul>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#toelichting","title":"Toelichting","text":"<p>Het trainen van een neuraal netwerk kost bijv. meer energie dan een beslisboom. Er is meegenomen of de hoeveelheid gebruikte energie proportioneel is voor het doel dat van het algoritme. Daarnaast is nagedacht hoe de milieu-impact bij de ontwikkeling zo laag mogelijk kan worden gehouden. Parameters worden bijv. tijdens het trainen niet via trial and error bepaald als deze ook afgeleid kunnen worden.</p> <p>AI-systemen moeten worden ontwikkeld en gebruikt op een duurzame en milieuvriendelijke manier, evenals op een manier die ten goede komt aan alle mensen, terwijl de langetermijneffecten op het individu, de samenleving en de democratie worden gecontroleerd en beoordeeld.</p>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#maatregelen","title":"Maatregelen","text":"<p>Aanbeveling; geen maatregel: Inventariseer de impact op het milieu en neem deze mee bij de modelkeuze en ontwikkeling. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</p>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#best-practices","title":"Best practices","text":""},{"location":"vereisten/fundamentele%20rechten/","title":"Fundamentele rechten","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/","title":"Non discriminatie","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#norm","title":"Norm","text":"<p>Verbod op ongelijke behandeling in gelijke omstandigheden. Discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht of op welke grond dan ook, is niet toegestaan.</p>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#risico","title":"Risico","text":"<ul> <li> <p>Toepassing van het model leidt tot discriminatie op basis van beschermde persoonskenmerken. </p> </li> <li> <p>Andere data dan beschermde persoonskenmerken leiden tot discriminatie in de uitkomsten. </p> </li> <li> <p>Het gebruik van proxy variabelen leidt tot indirecte discriminatatie.</p> </li> <li> <p>Bias in het algoritme leidt tot discriminatie</p> </li> </ul>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Grondwet Art. 1</li> <li>EVRM Art. 1 en 14, jo. 21 HvEU jo. 1 GW</li> <li>Algemene wet gelijke behandeling, Protocol 12 2.2, Artikel 1 lid 1 sub c </li> <li>Aritkel 9 AVG</li> </ul>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#toetsingskaders","title":"Toetsingskaders","text":"<p>EC/AI HLEG April 2019 - hoofdstuk II. 1.1, 1.5</p>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#toelichting","title":"Toelichting","text":"<ul> <li>Er is sprake van een objectieve rechtvaardiging als sprake is van een legitiem doel en het middel dat wordt gebruikt om het doel te bereiken is passend, noodzakelijk en evenredig. Om te bepalen of een algoritme verboden onderscheid maakt, moet worden bekeken of door het algoritme sprake is van een ongelijke behandeling van een persoon of groep personen in verhouding tot anderen in een vergelijkbare situatie.</li> </ul> <p>Verdacht onderscheid op basis van onder andere:</p> <ul> <li>Burgerlijke staat</li> <li>Handicap/chronische ziekte</li> <li>Geslacht (incl. genderidentiteit)</li> <li>Godsdienst</li> <li>Leeftijd</li> <li>Levensovertuiging</li> <li>Nationaliteit</li> <li>Politieke gezindheid</li> <li>Ras/etniciteit</li> <li> <p>Seksuele gerichtheid</p> </li> <li> <p>Onvoldoende representativiteit in de trainingsdata kan leiden tot ongelijke uitkomsten Onvoldoende representativiteit in de trainingsdata kan leiden tot ongelijke uitkomsten. Kan bij voorspellende algoritmes ook leiden tot ongewenste feedbackloops. (Gebruik van data van bijvoorbeeld vroegere surveillances en criminaliteitscijfers in nieuwe algoritmes kan leiden tot link aan wijken, personen met een immigratieachtergrond. Indien het geval, is dit niet representatief en neutraal)</p> </li> <li> <p>Ogenschijnlijk neutrale data die op het eerste gezicht geen enkele link hebben met afkomst of nationaliteit kunnen leiden tot indirect onderscheid op grond van ras of nationaliteit. Voorbeelden zijn postcode, hoogte van inkomen, hoogte van inkomensafhankelijke toeslagen, kinderopvang door een gastouderbureau met een \u2018homogeen\u2019 klantenbestand, een familielid in het buitenland, kenteken en laaggeletterdheid. (ook black box opties zoal bias mitigation met adversarial networks zijn mogelijk)</p> </li> <li> <p>Van belang bij de gemete bias die duidt op discriminatie is het kijken vanuit wetgeving \u00e9n wenselijkheid.</p> </li> <li>Eerst moet duidelijk worden wat eerlijk is voor het proces. Dan kunnen fairness metrics worden opgesteld om eerlijkheid te meten</li> <li>Documentatie van de aanpak van bias bevordert de controleerbaarheid.</li> <li>De keuze voor een gewenste prestatie per groep is een ethische afweging. </li> <li>Bias in de trainingsdata kan leiden tot bias in het model. Regels in het model kan leiden tot bias. De beslissing van de eindgebruiker kan leiden tot bias. Bias in de inputdata kan doorwerken tot bias in de uitkomst.</li> <li>Een model kan gemiddeld goed presteren, maar kan voor bepaalde subgroepen die minder in de testset aanwezig waren verkeerde uitkomsten geven. Een ongebalanceerde dataset kan ervoor zorgen dat het model minder goed presteert voor sommige subgroepen in de data.</li> <li>Tijdens de ontwikkeling van het model kunnen methoden om bias te corrigeren helpen om uiteindelijk aan de prestatiecriteria te voldoen. Testresultaten op de uitkomtstbias tijdens het ontwikkelen zijn ook wenselijk. Merk op dat voor het meten van uitkomst bias alleen de inputdata en uitkomst van het model nodig is. Uitkomstbias kan zonder gelabelde dataset gemeten worden.</li> </ul>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#maatregelen","title":"Maatregelen","text":"<ul> <li>Stel vast of bij het doel, design of de uitkomst van het algoritme sprake is van mogelijk verdacht (direct of indirect) onderscheid. Maak bij de uitkomst ook gebruik van controlevariabelen (bijvoorbeeld nationaliteit/ras). Stel vervolgens vast of dit leid tot benadeling. Bepaal of er goede redenen zijn voor het maken van onderscheid zoals een wettelijke uitzondering of een objectieve rechtvaardiging.  Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</li> <li>Zorg voor gelijke mate van vertegenwoordiging relevante groepen. Selecteer een afgebakende toepassing om het systeem te testen; zorg dat deze afgebakende toepassing representatief is voor het gehele domein waarop het AI-systeem later wordt ingezet. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme. </li> <li>Documenteer de mate van afhankelijkheid van historische data. Weeg af of de geconstateerde afhankelijkheid wenselijk is en of deze op discriminatie duidt. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</li> <li>Identificeer bij een onrechtmatigheid in de uitkomst van het algoritme ogenschijnlijk neutrale data (proxies). Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</li> <li>Beoordeel of de geconstateerde bias wenselijk is en of deze op discriminatie duidt. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</li> <li>Documenteer in de funtionele eisen de definitie van acceptabele bias. In de documentatie waarin deze eisen tot meetbare prestatiecriteria zijn uitgewerkt is te vinden welke fairness metrics hierbij horen. Maak de consequenties expliciet.</li> <li>Documenteer in de functionele eisen de methoden van voorkomen, detecteren en corrigeren van bias. Maak de consequenties expliciet.</li> <li>Documenteer in de functionele eisen de doelstelling voor en definitie van de verschillende groepen en gewenste prestatie van het model voor deze groepen. Maak de consequenties expliciet en bespreek dit in het ethisch gesprek.</li> <li>Documenteer de mate van bias in de (trainings)data, dataverzameling en het model. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</li> <li>Beoordeel tijdens de ontwikkeling van het model of een verschil bestaat tussen prestatie van het model voor verschillende subgroepen. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</li> <li>Beoordeel of de uitkomstbias van de productiedata voor de verschillende subgroepen voldoet aan de productiecriteria. Doe dit ook met een testset gedurende het ontwikkelproces. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</li> </ul>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#best-practices","title":"Best practices","text":"<p>Het is aan te bevelen om hiervoor de handreiking non-discriminatie by design te gebruiken.</p> <p>Indien risicoprofielen worden ingezet en bestaat een risico op discriminatie, dan kan de Beslisboom van het College van de Rechten van de Mens worden gebruikt.</p>"},{"location":"vereisten/governance/","title":"Governance","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Aantoonbaarheid/","title":"Aantoonbaarheid","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Aantoonbaarheid/#norm","title":"Norm","text":"<p>Technische documentatie moet worden opgesteld op een manier die aantoont dat het hoog risico AI-systeem voldoet aan de eisen, en de nationale toezichthoudende autoriteiten en aangemelde instanties voorzien van de nodige informatie om de naleving van de eisen voor het AI-systeem te beoordelen.</p>"},{"location":"vereisten/governance/Aantoonbaarheid/#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/governance/Aantoonbaarheid/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/governance/Aantoonbaarheid/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, artikel 11</li> </ul>"},{"location":"vereisten/governance/Aantoonbaarheid/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/governance/Aantoonbaarheid/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/governance/Aantoonbaarheid/#maatregelen","title":"Maatregelen","text":"<p>Hierbij kan verwezen worden naar informatie over het algoritme in het Algoritmeregister. </p>"},{"location":"vereisten/governance/Aantoonbaarheid/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/governance/Aantoonbaarheid/#best-practices","title":"Best practices","text":"<p>Voorbeeld toevoegen van hoe er in een brief aan een burger verwezen wordt naar het Algoritmeregister. </p>"},{"location":"vereisten/governance/Archiveren/","title":"De Archiefwet is ook van toepassing op algoritmen en AI.","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Archiveren/#archiveren","title":"Archiveren","text":""},{"location":"vereisten/governance/Archiveren/#vereiste","title":"Vereiste","text":"<p>Overheidsorganen zijn verplicht de onder hen berustende archiefbescheiden in goede, geordende en toegankelijke staat te brengen en te bewaren, alsmede zorg te dragen voor de vernietiging van de daarvoor in aanmerking komende archiefbescheiden.</p>"},{"location":"vereisten/governance/Archiveren/#toelichting","title":"Toelichting","text":"<p>Volgens de Archiefwet moeten overheden informatie bewaren. Op basis van deze informatie moet  gereconstrueerd kunnen worden hoe besluiten, ook in de context van algoritmen en AI, tot stand zijn gekomen. Informatie over en van algoritmen en AI moet daarom ook bewaard en vernietigd worden.</p>"},{"location":"vereisten/governance/Archiveren/#bronnen","title":"Bronnen","text":"Type Bron Toelichting Wet- en regelgeving Art. 3 Archiefwet Wet- en regelgeving Art 15 lid 2 Archiefwet Wet- en regelgeving Archiefbesluit 1995 Wet- en regelgeving Archiefregeling"},{"location":"vereisten/governance/Archiveren/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"hoog-risico AI systemen (AI Act) impactvolle algoritmes niet-impactvolle algoritmes"},{"location":"vereisten/governance/Archiveren/#risico","title":"Risico","text":"<p>Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te reconstrueren en te controleren hoe besluiten, waar algoritmen en AI aan hebben bijgedragen, tot stand zijn gekomen. Het nalaten om archiefbescheiden na verloop van tijd te verwijderen brengt risico's met zich mee op het gebied van privacy en informatiebeveiliging </p>"},{"location":"vereisten/governance/Archiveren/#normen","title":"Normen","text":"<p>In afwachting van normalisatieproces</p>"},{"location":"vereisten/governance/Archiveren/#maatregelen","title":"Maatregelen","text":"<p>De aanbevolen maatregelen zijn afhankelijk van de gebruikte techiek van het algoritme. Selecteer hieronder de gebruikt techniek. </p> RekenregelsMachine learningGeneratieve AI MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader <p>opmerking</p> <p>Het kan zo zijn dat de te nemen maatregelen afhankelijk zijn van de gebruikte techniek. </p>"},{"location":"vereisten/governance/Data%20governance/","title":"Data governance","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Data%20governance/#norm","title":"Norm","text":"<p>Hoge risico AI systemen moeten een data governance system implementeren.</p>"},{"location":"vereisten/governance/Data%20governance/#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/governance/Data%20governance/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/governance/Data%20governance/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, artikel 10</li> </ul>"},{"location":"vereisten/governance/Data%20governance/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/governance/Data%20governance/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/governance/Data%20governance/#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/governance/Data%20governance/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/governance/Data%20governance/#best-practices","title":"Best practices","text":""},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/","title":"Eigenaarschap en beheer","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#norm","title":"Norm","text":"<p>Motiveer de deugdelijke inzet van algoritmen.</p>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#risico","title":"Risico","text":"<p>Afhankelijkheid van externe deskundigen die na het ontwikkelen van het algoritme met de betreffende kennis en ervaring weggaan, waardoor continu\u00efteit en beheersing daarna niet meer gewaarborgd is.</p>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<p>Art. 3.46 Awb (bij besluiten)</p>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#toetsingskaders","title":"Toetsingskaders","text":"<p>EC/AI HLEG April 2019 - hoofdstuk II. 1.1, 1.4 en 1.7 ADR SV.11, DM.10, SV.16, SV.17, SV.19 ARK 1.07, 2.01/2.02/2.03</p>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#toelichting","title":"Toelichting","text":"<ul> <li>Overeenkomst met betreffende partij met afspraken over o.a. eigenaarschap en beheer (bijv. SLA). Maatregelen om een te grote afhankelijkheid te voorkomen moeten zijn beschreven/getroffen, zoals het opstellen van een exitstrategie. Bij het maken van afspraken met leveranciers moet aandacht zijn voor het risico op vendor lock-in. Hiervan is sprake als de opdrachtgever afhankelijk wordt van een externe partij (ontwikkelaar), omdat deze niet in staat is om van partij te veranderen zonder substanti\u00eble omschakelingskosten of ongemak.</li> <li>De documentatie moet dusdanig begrijpelijk zijn dat het voor (nieuwe) medewerkers hoe een model gebruikt moet worden (collegiale uitlegbaarheid). Ook wanneer de ontwikkelaars van het model niet meer binnen de organisatie werken. Instructies over het gebruik van het model. Bij medewerkers navragen of de instructies bekend zijn. Het algoritme moet uitlegbaar zijn en er moet een afweging plaatsvinden tussen de uitlegbaarheid van het model en de prestatie van het model.</li> </ul>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#maatregelen","title":"Maatregelen","text":"<ul> <li>Bij uitbesteding van onderdelen of activiteiten met betrekking tot het algoritme zijn afspraken met betrokken externe partijen gemaakt en vastgelegd m.b.t. eigenaarschap, beheer, prestatiecriteria en reproduceerbaarheid van het algoritme</li> <li>De documentatie over het model (ontwerp, werking en voorwaarden) is beschikbaar en begrijpelijk voor ontwikkelaars, gebruikers en de eigenaar van het model.</li> </ul>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#best-practices","title":"Best practices","text":"<p>Overeenkomst met betreffende partij met afspraken over o.a. eigenaarschap en beheer (bijv. SLA). Maatregelen om een te grote afhankelijkheid te voorkomen zijn beschreven/getroffen, zoals het opstellen van een exitstrategie</p>"},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/","title":"Kwaliteitsmanagementsysteem","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#norm","title":"Norm","text":"<p>Hoge risico AI systemen moeten een Kwaliteitsmanagementsysteem implementeren.</p>"},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, artikel 17</li> </ul>"},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#best-practices","title":"Best practices","text":""},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/","title":"Mensenrechteneffectbeoordeling","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/#archiveren","title":"Archiveren","text":""},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/#vereiste","title":"Vereiste","text":"<p>Een mensenrechteneffectbeoordeling / Fundamental Right Impact Assessment is verplicht, indien een verwerking van persoonsgegevens waarschijnlijk een hoog risico inhoudt voor de rechten van natuurlijke personen</p>"},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/#bronnen","title":"Bronnen","text":"Type Bron Toelichting"},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"hoog-risico AI systemen (AI Act) impactvolle algoritmes niet-impactvolle algoritmes"},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/#risico","title":"Risico","text":""},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/#maatregelen","title":"Maatregelen","text":"<p>De aanbevolen maatregelen zijn afhankelijk van de gebruikte techiek van het algoritme. Selecteer hieronder de gebruikt techniek. </p> RekenregelsMachine learningGeneratieve AI MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader <p>opmerking</p> <p>Het kan zo zijn dat de te nemen maatregelen afhankelijk zijn van de gebruikte techniek. </p>"},{"location":"vereisten/governance/Risicobeheer/","title":"Risicobeheer","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Risicobeheer/#norm","title":"Norm","text":"<p>Er moet een risicobeheersysteem worden opgezet, ge\u00efmplementeerd, gedocumenteerd en onderhouden met betrekking tot hoog risico AI-systemen gedurende de volledige levenscyclus.</p>"},{"location":"vereisten/governance/Risicobeheer/#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/governance/Risicobeheer/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/governance/Risicobeheer/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, artikel 9</li> </ul>"},{"location":"vereisten/governance/Risicobeheer/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/governance/Risicobeheer/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/governance/Risicobeheer/#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/governance/Risicobeheer/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/governance/Risicobeheer/#best-practices","title":"Best practices","text":""},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/","title":"Rollen en verantwoordlijkheden","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#norm","title":"Norm","text":"<p>Rollen en verantwoordlijkheden m.b.t. de verwerking van persoonsgegevens zijn gespecificeerd.</p>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#risico","title":"Risico","text":"<p>Rollen en verantwoordelijkheden m.b.t. de verwerking van persoonsgegeven in het algoritme zijn niet helder belegd.</p>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 24,26,27, 28,29 AVG</li> </ul>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.1 ARK 3.09</p>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#toelichting","title":"Toelichting","text":"<p>De verwerkingsverantwoordelijke bepaalt de doeleinden waarvoor en de middelen waarmee persoonsgegevens worden verwerkt. Als uw organisatie dus beslist \u201ewaarom\u201d en \u201ehoe\u201d persoonsgegevens moeten worden verwerkt, is zij de verwerkingsverantwoordelijke. </p> <p>Uw organisatie is een gezamenlijke verwerkingsverantwoordelijke als zij samen met \u00e9\u00e9n of meer organisaties gezamenlijk bepaalt \u201ewaarom\u201d en \u201ehoe\u201d persoonsgegevens moeten worden verwerkt. Gezamenlijke verwerkingsverantwoordelijken dienen een regeling te treffen waarin hun respectieve verantwoordelijkheden voor de naleving van de AVG-regels worden vastgelegd.</p> <p>De verwerker verwerkt persoonsgegevens uitsluitend ten behoeve van de verwerkingsverantwoordelijke. De taken van de verwerker jegens de verwerkingsverantwoordelijke moeten in een verwerkersovereenkomst of een andere rechtshandeling worden gespecificeerd.</p>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#maatregelen","title":"Maatregelen","text":"<p>Ga van alle betrokken partijen na wat hun rol is en documenteer deze. Zorg ervoor dat met alle verwerkers een verwerkersovereenkomst is afgesloten. </p>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#best-practices","title":"Best practices","text":""},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/","title":"Zorgvuldigheidsbeginsel","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#norm","title":"Norm","text":"<p>Zorgvuldig omgaan bij de ontwikkeling en de inzet algoritmes.</p>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#risico","title":"Risico","text":"<ol> <li>Zonder eenduidigheid over het doel is geen sturing op en verantwoording over het algoritme mogelijk en is er een groter risico op fouten en/of verschillen in interpretatie</li> <li>De impact van het algoritme  is niet inzichtelijk, waardoor niet helder is welke maatregelen moeten worden getroffen om ongewenste effecten (zoals bias en discriminatie) te voorkomen.</li> <li>Zonder actueel beeld van risico's kan er geen goede afweging worden gemaakt of de voordelen van de toepassing van het algoritme opwegen tegen de nadelen. Risico's worden niet (tijdig) vastgesteld en adequaat geadresseerd en behandeld. </li> <li>Rollen en verantwoordelijkheden zijn niet duidelijk belegd of onvoldoende geborgd. </li> <li>Het algoritme kan negatieve gevolgen hebben voor grondrechten</li> <li>Zonder evaluatie van de kwaliteit van het algoritme is er geen goede sturing, beheersing en verantwoording mogelijk over de  inzet van het algoritme. </li> </ol>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, artikel 29</li> <li>Art. 3.2 Awb (bij besluiten)</li> </ul>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#toetsingskaders","title":"Toetsingskaders","text":"<ul> <li>EC/AI HLEG April 2019 - Hoofdstuk I. 1.1 &amp; Hoofdstuk II. 1.1,1.2, 1.5, 1.6 en 1.7 </li> <li>COBIT EDM03 / APO12 /  APO01.02 / EDM01</li> <li>ADR SV.1, SV.2, SV.3,SV.4,SV.13,SV.9 en SV. 10, SV.12</li> <li>ARK 1.01, 2.02,1.02, 1.08,1.05</li> </ul>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#toelichting","title":"Toelichting","text":"<ul> <li>Het doel van het algoritme moet helder zijn gedefinieerd, ook in relatie tot het maatschappelijke resultaat (outcome), en wordt gedeeld door de eigenaar, ontwikkelaar en gebruiker van het algoritme. Een bewuste afweging of het algoritme het juiste middel is om het probleem op doelmatige en doeltreffende wijze op te lossen is gemaakt en vastgelegd. De publieke waarden die met de inzet van algoritmes worden ingegeven, zoals gelijkwaardigheid en veiligheid, maar ook grondrechten die worden geraakt, zijn ge\u00efnventariseerd en gewogen. Ook de doeltreffendheid, subsidiariteit en proportionaliteit van het in te zetten algoritme zijn afgewogen.</li> <li>Het gaat om zowel de impact op personen of doelgroepen, als de bredere impact op de samenleving (vanuit sociaal, democratisch en milieu/ecologisch perspectief).</li> <li>Het gaat hier om het feit dat er over risico's wordt nagedacht. De organisatie moet beschikken over een ingericht en gedocumenteerd proces voor risicobeheersing.</li> <li>Duidelijkheid en borging van rollen en verantwoordelijkheden zorgen voor een effectief en verantwoord verloop van het proces rondom de inzet van een algoritme. Alle relevante belanghebbenden zijn bij de ontwikkeling en inzet van het algoritme betrokken. Het personeel (intern en extern) dat werkt met het algoritme moet over voldoende deskundigheid en competenties beschikken. Dit moet in ieder geval blijken uit de risicoanalyse, waarbij de organisatie maatregelen neemt om eventuele gaten te overbruggen. De organisatie heeft een goed beeld van de beschikbare resources (kwalitatief en kwantitatief) en stuurt daarop.</li> <li>In situaties wanneer dergelijke risico\u2019s bestaan, kan een effectbeoordeling worden uitgevoegd wat grondrechten betreft. Dit kan voorafgaand de ontwikkeling van het algoritme worden uitgevoerd en moet een evaluatie omvatten van de vraag of de risico\u2019s kunnen worden beperkt of gerechtvaardigd. De afwegingen tussen de verschillende beginselen en rechten moeten zijn vastgesteld en gedocumenteerd.</li> <li>Kwaliteit is o.a. doeltreffendheid, doelmatigheid, betrouwbaarheid en accuraatheid (geschiktheid) en non-discriminatie. Evaluatie kan bijv. worden gedaan d.m.v. peerreview. Een proces voor een periodieke evaluatie van de kwaliteit van het algoritme is gedocumenteerd en in werking. De resultaten worden met belanghebbenden gedeeld. De organisatie analyseert of (interne en externe) klachten en incidenten het gevolg kunnen zijn van het gebruik van het algoritme. De verantwoordelijke in de business legt verantwoording af over de ontwikkeling, inzet en werking van het algoritme.</li> </ul>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#maatregelen","title":"Maatregelen","text":"<ul> <li>Het doel en eventuele subdoelen van het algoritme moeten zo specifiek mogelijk zijn geformuleerd, en waar mogelijk gekwantificeerd.  Maak hiervoor gebruik van een multidisciplinaire aanpak en betrek hierbij meerdere gremia. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het niet inzetten van het algoritme.</li> <li>Onderzoek (aan de hand van een mensenrechtentoets) welke groepen kwetsbaar zijn voor een fout van het algoritme en welke impact dat heeft op deze groepen. Het betreft de \u2018menselijke maat\u2019 bij het nemen van beslissingen op basis van de output van het algoritme. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het niet inzetten van het algoritme.</li> <li>Zorg ervoor dat op vastgelegde (periodieke) momenten een afweging plaats vindt van de risico\u2019s over het gebruik van het algoritme. Alle stappen van risicomanagement zijn uitgevoerd en op het juiste niveau in de organisatie behandeld, waaronder het identificeren, analyseren, evalueren (t.a.v. risk appetite), behandelen (risicoreactie, o.a. maatregelen), monitoren &amp; beoordelen en communiceren &amp; rapporteren van risico's. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het niet inzetten of (tijdelijk) stopzetten van het algoritme.</li> <li>De rollen en verantwoordelijkheden bij de ontwikkeling en inzet van het algoritme zijn belegd en gedocumenteerd.</li> <li>Onderzoek of het algoritme een onrechtvaarigde inbreuk maakt op grondrechten (aan de hand van een mensenrechtentoets). Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het niet inzetten van het algoritme of het (tijdig) stopzetten.</li> <li>Er vindt periodiek een evaluatie plaatst van de op de werking en de kwaliteit van het algoritme. Er kunnen namelijk wijzigingen in de werking van het model of de inputdata zijn. De analyse van klachten en incidenten is hier ook onderdeel van. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het niet inzetten van het algoritme of het (tijdig) stopzetten.</li> </ul>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#best-practices","title":"Best practices","text":""},{"location":"vereisten/inkoop/","title":"Het inkopen van algoritmen en kunstmatige intelligentie door overheidsinstellingen","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/","title":"Verbod op schenden auteursrechten","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/#auteursrechten","title":"Auteursrechten","text":""},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/#vereiste","title":"Vereiste","text":"<p>Auteursrechten mogen niet geschonden worden bij het ontwikkelen en gebruiken van algoritmen en AI.</p>"},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/#toelichting","title":"Toelichting","text":"<p>Bepaalde vormen van algoritmen en AI worden ontwikkeld op basis van grote hoeveelheden data. Deze data wordt gebruikt voor het trainen en testen van algoritmen en AI. Het gebruiken van deze data mag geen inbreuk maken op Auteursrechten van diegene die deze rechten heeft. Ook de gegenereerde output van algoritmen en AI mag geen inbreuk maken op deze rechten.  </p>"},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/#bronnen","title":"Bronnen","text":"Type Bron Toelichting Wet- en regelgeving Art. 1, 4-9, 10, 13, 15n jo 15o Auteurswet Wet- en regelgeving Art. 3 en 4 DSM-Richtlijn"},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"hoog-risico AI systemen (AI Act) impactvolle algoritmes niet-impactvolle algoritmes"},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/#risico","title":"Risico","text":"<p>Het is onduidelijk of de ontwikkelaar van het algoritme of AI voldoende rekening heeft gehouden met de rechten van auteurs wiens werken al dan niet zijn gebruikt als trainingsdata voor het ontwikkelde algoritme of AI. Daardoor ontstaat het risico, bv. bij scraping van data van het internet, dat auteursrechten worden geschonden. </p>"},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/#maatregelen","title":"Maatregelen","text":"<p>De aanbevolen maatregelen zijn afhankelijk van de gebruikte techiek van het algoritme. Selecteer hieronder de gebruikt techniek. </p> RekenregelsMachine learningGeneratieve AI MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader <p>opmerking</p> <p>Het kan zo zijn dat de te nemen maatregelen afhankelijk zijn van de gebruikte techniek. </p>"},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/","title":"Verbod op schenden databankenrechten","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/#auteursrechten","title":"Auteursrechten","text":""},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/#vereiste","title":"Vereiste","text":"<p>Het is verboden onbevoegd data op te vragen of te hergebruiken uit een databank, wanneer deze systematisch zijn geordend en door een substanti\u00eble investering tot stand is gekomen. </p>"},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/#toelichting","title":"Toelichting","text":"<p>Databankenrecht beschermt tegen kopi\u00ebren of oneigenlijk gebruik van gegevens in een databank.. Degene die een substanti\u00eble financi\u00eble investering heeft verricht om de databank tot stand te brengen, krijgt een verbodsrecht en kan zo andere verbieden de databank te gebruiken. </p>"},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/#bronnen","title":"Bronnen","text":"Type Bron Toelichting Wet- en regelgeving Artikel 1 lid 1 onder a Databankenwet Hier nog ruimte om aan te geven wat de wetgeving precies zegt"},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"hoog-risico AI systemen (AI Act) impactvolle algoritmes niet-impactvolle algoritmes"},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/#risico","title":"Risico","text":"<p>Als een ontwikkelaar onbevoegd gebruik heeft gemaakt van data uit een databank bij de ontwikkeling van algoritmen en AI, wordt het databankenrecht geschonden van de eigenaar. Dit kan financi\u00eble gevolgen hebben voor ontwikkelaar en/of het kunnen gebruiken het algoritme of AI. </p>"},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/#maatregelen","title":"Maatregelen","text":"<p>De aanbevolen maatregelen zijn afhankelijk van de gebruikte techiek van het algoritme. Selecteer hieronder de gebruikt techniek. </p> RekenregelsMachine learningGeneratieve AI MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader <p>opmerking</p> <p>Het kan zo zijn dat de te nemen maatregelen afhankelijk zijn van de gebruikte techniek. </p>"},{"location":"vereisten/menselijke%20controle/","title":"Menselijke controle","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/","title":"AI geletterdheid","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#norm","title":"Norm","text":"<p>Aanbieders en gebruikers van AI-systemen moeten maatregelen nemen om ervoor te zorgen dat hun personeel en andere personen die betrokken zijn bij de werking en het gebruik van AI-systemen namens hen, een voldoende niveau van AI-geletterdheid hebben.</p>"},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, artikel 4</li> </ul>"},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#best-practices","title":"Best practices","text":""},{"location":"vereisten/menselijke%20controle/Autonomie/","title":"Autonomie","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/menselijke%20controle/Autonomie/#norm","title":"Norm","text":"<p>AI-systemen moeten worden ontwikkeld en gebruikt als een instrument dat mensen dient, de menselijke waardigheid en persoonlijke autonomie respecteert, en dat op een manier functioneert die op passende wijze kan worden gecontroleerd en overzien door mensen.</p>"},{"location":"vereisten/menselijke%20controle/Autonomie/#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/menselijke%20controle/Autonomie/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/menselijke%20controle/Autonomie/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, Recital 58a</li> </ul>"},{"location":"vereisten/menselijke%20controle/Autonomie/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/menselijke%20controle/Autonomie/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/menselijke%20controle/Autonomie/#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/menselijke%20controle/Autonomie/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p> <p>-</p>"},{"location":"vereisten/menselijke%20controle/Autonomie/#best-practices","title":"Best practices","text":""},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/","title":"Klachtenafhandelingsprocedure","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#norm","title":"Norm","text":"<p>Klachtenafhandelingsprocedures moeten aanwezig zijn.</p>"},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#risico","title":"Risico","text":"<p>Betrokkenen zijn niet op de hoogte dat hun persoonsgegevens worden verwerkt middels een algoritme, waardoor zij geen controle hebben.</p>"},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, recital 58a</li> </ul>"},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#best-practices","title":"Best practices","text":""},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/","title":"Menselijke controle","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#norm","title":"Norm","text":"<p>Er is een gepaste mate van menselijke controle voor het specifieke algoritme en de specifieke gebruikssituatie.</p>"},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/","title":"Privacy en gegevensbescherming","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/","title":"Bijzondere persoonsgegevens","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#norm","title":"Norm","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#het-algoritme-verwerkt-persoonsgegevens-die-alleen-op-basis-van-een-wettelijke-uitzondering-verwerkt-mogen-worden-zoals-bijzondere-persoonsgegevens-oa-gegevens-mbt-ras-of-afkomst-religie-gezondheid-of-seksuele-geaardheid-strafrechtelijke-gegevens-of-nationale-identificatienummers-oa-bsn","title":"Het algoritme verwerkt persoonsgegevens die alleen op basis van een wettelijke uitzondering verwerkt mogen worden, zoals bijzondere persoonsgegevens (o.a. gegevens m.b.t. ras of afkomst, religie, gezondheid of seksuele geaardheid), strafrechtelijke gegevens of nationale identificatienummers (o.a. BSN).","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#ai-verordening-uitzondering","title":"AI Verordening uitzondering:","text":"<p>Voor zover dit strikt noodzakelijk is met het oog op het waarborgen van de detectie en correctie van vooringenomenheid met betrekking tot AI-systemen kunnen de aanbieders van dergelijke systemen bij wijze van uitzondering bijzondere categorie\u00ebn van persoonlijke gegevens verwerken onder voorbehoud van passende waarborgen voor de fundamentele rechten en vrijheden van natuurlijke personen (zie art. 10 AI Act)</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#risico","title":"Risico","text":"<p>Verwerking van bijzondere persoonsgegevens (o.a. gegevens m.b.t. ras of afkomst, religie, gezondheid of seksuele geaardheid), strafrechtelijke gegevens of nationale identificatienummers (o.a. BSN) is alleen toegestaan als hierop een wettelijke uitzondering van toepassing is.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 9, 10 en 87 AVG, Hoofdstuk 3 UAVG en Wabb.</li> <li>Concept jan 2024 AI Act art. 10 lid 5 en 6</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.7</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#toelichting","title":"Toelichting","text":"<p>Bijzondere persoonsgegevens zijn gegevens m.b.t.: \u2022 ras of etnische afkomst \u2022 politieke opvattingen \u2022 religieuze of levensbeschouwelijke overtuigingen \u2022 lidmaatschap van een vakbond \u2022 genetische informatie \u2022 biometrische informatie met het oog op de unieke identificatie van een persoon, \u2022 gezondheid \u2022 seksueel gedrag of seksuele gerichtheid</p> <p>Verwerking hiervan is verboden tenzij hierop \u00e9\u00e9n van de wettelijke uitzonderingen van toepassing is die zijn genoemd in artikel 9 lid 2 AVG (verwerking door specifieke partijen voor specifieke doelen) of Hoofstuk 3 van de UAVG.</p> <p>De voorwaarden voor de verwerking van strafrechtelijke gegevens zijn vastgelegd in artikel 10 AVG en Paragraaf 3.2 UAVG, de voorwaarden voor de verwerking van een nationaal identificatienummer in artikel 87 AVG en Wet algemene bepalingen burgerservicenummer (Wabb)</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#maatregelen","title":"Maatregelen","text":"<p>Persoonsgegevens van bijzondere categorie\u00ebn mogen alleen worden verwerkt als aan een van de in artikel 9, lid 2, genoemde voorwaarden en aan een voorwaarde van artikel 6 is voldaan. Beoordeel en leg dit vast.</p> <p>Indien bij de geautomatiseerde besluitvorming (zoals beschreven in artikel 22 lid 1) de in artikel 9, lid 1, bedoelde bijzondere categorie\u00ebn van persoonsgegevens betrokken zijn, moet er ook voor worden gezorgd dat wordt voldaan aan de vereisten van artikel 22, lid 4.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/","title":"Dataminimalisatie","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#norm","title":"Norm","text":"<p>De verwerkte persoonsgegevens zijn toereikend, ter zake dienend en beperkt tot het noodzakelijke (dataminimalisatie).</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#risico","title":"Risico","text":"<p>De verwerkte persoonsgegevens zijn niet proportioneel en relevant in relatie tot het doel.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 5 lid 1 onder c AVG</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#toetsingskaders","title":"Toetsingskaders","text":"<p>ARK 2.18</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#toelichting","title":"Toelichting","text":"<p>Wanneer persoonsgegevens worden verwerkt dan moeten zij voor het doel toereikend en ter zake dienend zijn. Verder mogen er niet meer persoonsgegevens worden verwerkt dan noodzakelijk voor het doel. Met andere woorden: er mogen, gelet op het doel, niet te veel, maar ook niet te weinig gegevens worden verwerkt. Wanneer namelijk te weinig gegevens worden verwerkt, dan kan er ten onrechte een onvolledig beeld ontstaan van de betrokkene.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#maatregelen","title":"Maatregelen","text":"<p>Beoordeel welke persoonsgegevens voor het algoritme nodig zijn en hoe lang deze moeten worden bewaard. Gebruik waar mogelijk geanonimiseerde of gepseudonimiseerde gegevens te gebruiken. </p> <p>Documenteer deze analyse in de DPIA. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/","title":"Doelbinding","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#norm","title":"Norm","text":"<p>Persoonsgegevens mogen alleen voor welbepaalde, uitdrukkelijk omschreven en gerechtvaardigde doeleinden worden verzameld en mogen vervolgens niet verder op een met die doeleinden onverenigbare wijze worden verwerkt (doelbinding).</p> <p>AI Veordening uitzondering: Persoonsgegevens die rechtmatig zijn verzameld voor andere doeleinden mogen alleen worden verwerkt binnen een AI-regelgevingssandbox voor de ontwikkeling, training en testen van innovatieve AI-systemen, onder strikte voorwaarden.(zie art. 54 AI Act)</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#risico","title":"Risico","text":"<p>De verwerking van persoonsgegevens in het algoritme valt niet onder het doel waarvoor zij verzameld zijn of een hiermee verenigbaar doel. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), 5, lid 1, onder b AVG en Overweging 50 AVG</li> <li>Concept jan 2024 AI Act art. 54</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.4 ARK 3.08</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#toelichting","title":"Toelichting","text":"<p>In dat geval is er geen andere afzonderlijke rechtsgrond vereist dan die op grond waarvan de verzameling van persoonsgegevens werd toegestaan.</p> <p>Indien de verwerking noodzakelijk is voor de vervulling van een taak van algemeen belang of van een taak in het kader van de uitoefening van het openbaar gezag dat aan de verwerkingsverantwoordelijke is verleend, kan in het Unierecht of het lidstatelijke recht worden vastgesteld en gespecificeerd voor welke taken en doeleinden de verdere verwerking als rechtmatig en verenigbaar met de aanvankelijke doeleinden moet worden beschouwd.</p> <p>De verdere verwerking met het oog op archivering in het algemeen belang, wetenschappelijk of historisch onderzoek of statistische doeleinden, moet als een met de aanvankelijke doeleinden verenigbare rechtmatige verwerking worden beschouwd.</p> <p>De Unierechtelijke of lidstaatrechtelijke bepaling die als rechtsgrond voor de verwerking van persoonsgegevens dient, kan ook als rechtsgrond voor verdere verwerking dienen.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#maatregelen","title":"Maatregelen","text":"<p>Bij de inzet van algoritmes kunnen persoonsgegevens worden gebruikt die oorspronkelijk voor een ander doel zijn verzameld. Wanneer de verwerking gebaseerd is op Unierecht of lidstatelijk recht dat in een democratische samenleving een noodzakelijke en evenredige maatregel vormt voor met name het waarborgen van belangrijke doelstellingen van algemeen belang, moet de verwerkingsverantwoordelijke de mogelijkheid hebben de persoonsgegevens verder te verwerken, ongeacht of dat verenigbaar is met de doeleinden. Indien hiervan geen sprake is, dan moet bij hergebruik van persoonsgegevens voor andere doelen de verenigbaarheid van de verwerking uitdrukkelijk wordt onderbouwd . Of deze aanvullende verwerking verenigbaar is met de oorspronkelijke doelen waarvoor de gegevens werden verzameld, hangt af van een aantal factoren, onder andere welke informatie aanvankelijk aan de betrokkene is verstrekt. Deze factoren zijn opgenomen in de AVG en kunnen als volgt worden samengevat: \u2022 het verband tussen de doeleinden waarvoor de gegevens zijn verzameld, en de doeleinden van de verdere verwerking; \u2022 het kader waarin de gegevens zijn verzameld en de redelijke verwachtingen van de betrokkenen betreffende het verdere gebruik ervan; \u2022 de aard van de gegevens; \u2022 de gevolgen van de verdere verwerking voor de betrokkenen; en \u2022 de waarborgen die door de verwerkingsverantwoordelijke worden toegepast om voor eerlijke verwerking te zorgen en ongewenste gevolgen voor de betrokkenen te voorkomen.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/","title":"GEB/DPIA en voorafgaande raadpleging AP","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#norm","title":"Norm","text":"<p>Een gegevensbeschermingseffectbeoordeling / Data Protection Impact Assessment (GEB / DPIA) is verplicht, indien een verwerking van persoonsgegevens waarschijnlijk een hoog risico inhoudt voor de rechten en vrijheden van natuurlijke personen.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#risico","title":"Risico","text":"<p>Bij de verwerking van persoonsgegevens zijn de risico's voor de rechten en vrijheden van betrokkenen zijn niet bekend en niet gemitigeerd.  </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 35 AVG</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.2/PRI.3 ARK 3.03</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#toelichting","title":"Toelichting","text":"<p>In de AVG is op hoofdlijnen aangegeven wanneer een DPIA verplicht is. Dat is het geval als een gegevensverwerking waarschijnlijk een hoog privacyrisico oplevert voor de mensen van wie gegevens worden verwerkt.  De Autoriteit Persoonsgegevens (AP) heeft daarnaast een (niet uitputtende) lijst van soorten verwerkingen opgesteld waarvoor het uitvoeren van een DPIA verplicht is v\u00f3\u00f3rdat persoonsgegevens worden verwerkt. De inzet van machine learning en deep learning valt in veel gevallen onder \u2018gebruik van nieuwe technologie\u00ebn\u2019. Dat is een van de criteria voor een verplichte DPIA. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#maatregelen","title":"Maatregelen","text":"<p>Beoordeel of de gegevensverwerking waarschijnlijk een hoog privacyrisico oplevert voor de mensen van wie gegevens worden verwerkt. Gebruik hiervoor bijvoorbeeld de Pre-Scan DPIA van de Rijksoverheid of de DPIA Checklist van de AP. </p> <p>Indien blijkt dat de gegevensverwerking waarschijnlijk een hoog privacyrisico oplevert, dan moet een DPIA worden uitgevoerd. </p> <p>Een DPIA is een instrument om bij de verwerking van persoonsgegevens de risico\u2019s voor de rechten en vrijheden van betrokkenen in kaart te brengen en te beoordelen in hoeverre de huidige maatregelen voldoen en welke aanvullende maatregelen genomen moeten worden om de risico\u2019s zoveel mogelijk te verminderen. Hoewel een DPIA een verplichting is op basis van de AVG en voornamelijk ziet op het beoordelen van privacyrisico\u2019s, dient een DPIA dus breder opgevat te worden. Bij het bepalen van passende maatregelen die genomen dienen te worden om de naleving van de privacyregelgeving aan te tonen, dienen ook de uitkomsten van de DPIA in acht te worden genomen. De Rijksoverheid heeft het Model DPIA Rijksdienst ontwikkeld. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/","title":"Geactualisserde en juiste gegevens","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#norm","title":"Norm","text":"<p>De gegevens zijn juist en zo nodig geactualiseerd.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#risico","title":"Risico","text":"<p>De kwaliteit en integriteit van data is niet voldoende geborgd.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 5 lid 1 sub d AVG</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#toelichting","title":"Toelichting","text":"<p>Als de gegevens die in het algoritme worden gebruikt onjuist zijn, zullen ook besluiten of profielen die daaruit voortkomen onjuist zijn. Besluiten zijn mogelijk genomen op basis van verouderde gegevens of de onjuiste interpretatie van externe gegevens. Zelfs wanneer ruwe gegevens correct worden opgeslagen, is de gegevensreeks mogelijk niet geheel representatief of kunnen de analysegegevens ongemerkt vooroordelen bevatten.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#maatregelen","title":"Maatregelen","text":"<p>Verwerkingsverantwoordelijken moeten in alle stappen van het algoritmeproces juistheid in het oog houden, in het bijzonder bij: \u2022 het verzamelen van gegevens; \u2022 het analyseren van gegevens; \u2022 het opstellen van model; of \u2022 het toepassen van een model om een besluit met betrekking tot de persoon te nemen</p> <p>Documenteer de maatregelen in de DPIA. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/","title":"Geautomatiseerde besluitvorming en profileren","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#norm","title":"Norm","text":"<p>Betrokkenen hebben het recht om niet onderworpen te worden aan een enkel op geautomatiseerde verwerking, waaronder proflering, gebaseerd besluit, wanneer dit rechtsgevolgen heeft voor hen of het hen anderszins in aanzienlijke mate tref.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#risico","title":"Risico","text":"<p>Een betrokkene ondervindt aanmerkelijke gevolgen door een geautomatiseerd besluit, zonder dat deze een beroep op menselijke tussenkomst kan doen.  </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 22 AVG</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.10 ARK 2.06/3.04/3.05/3.11/3.13/3.14</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#toelichting","title":"Toelichting","text":"<p>Als regel geldt een algemeen verbod op uitsluitend geautomatiseerde individuele besluitvorming, met inbegrip van profilering waaraan voor de betrokkene juridische of  anderszins aanmerkelijke gevolgen zijn verbonden. </p> <p>Op grond van artikel 40 van de Uitvoeringswet AVG (UAVG) geldt het verbod op uitsluitend geautomatiseerde individuele besluitvorming, anders dan op basis van profilering, niet als deze besluitvorming noodzakelijk is om te voldoen aan een wettelijke plicht of als het noodzakelijk is om een taak van algemeen belang uit te voeren.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#maatregelen","title":"Maatregelen","text":"<p>\u200bBeoordeel of sprake is van uitsluitend geautomatiseerde besluitvorming , inclusief profilering, waaraan rechtsgevolgen zijn verbonden of dat anderszins in aanmerkelijke mate treft, zoals bedoeld in artikel 22, lid 1. Beoordeel of een van de uitzonderingen artikel 22 lid 2 AVG van toepassing is.  </p> <p>Neem passende maatregelen om de belangen van de burger te waarborgen, waaronder ten minste het recht om ge\u00efnformeerd te worden (behandeld in de artikelen 13 en 14 \u2013 in het bijzonder om noodzakelijke informatie te ontvangen over de onderliggende logica, het belang en de verwachte gevolgen voor de betrokkene), beschermingsmaatregelen, zoals het recht op menselijke tussenkomst, het recht om zijn standpunt kenbaar te maken en het recht om het besluit aan te vechten (behandeld in artikel 22, lid 3).</p> <p>Andere suggesties die volgen uit WP251 \u2022 Gegevensverzamelingen regelmatig beoordelen om te controleren of geen sprake is van vooroordelen, en manieren ontwikkelen om nadelige elementen, waaronder overmatig vertrouwen in verbanden, aan te pakken. \u2022 Systemen hanteren die algoritmen automatisch controleren.  \u2022 Evaluatie van algoritmen: het testen van de gebruikte en door machinaal lerende systemen ontwikkelde algoritmen om te bewijzen dat ze daadwerkelijk functioneren zoals bedoeld en geen discriminerende, onjuiste of ongerechtvaardigde resultaten genereren. \u2022 Regelmatige beoordelingen van de nauwkeurigheid en relevantie van geautomatiseerde besluitvorming, met inbegrip van profilering. \u2022 Auditors vereiste informatie verstrekken over werking algoritme of machinaal lerende systeem. \u2022 Hoge mate van transparantie, zoals: visualisatie- en interactieve technieken en gebruik van een mechanisme waarmee betrokkenen hun profiel kunnen controleren. \u2022 Contractuele waarborgen verkrijgen voor algoritmen van derden die bewijzen dat evaluaties en tests zijn uitgevoerd en het algoritme aan de overeengekomen normen voldoet.</p> <p>Indien bij de geautomatiseerde besluitvorming (zoals beschreven in artikel 22 lid 1) de in artikel 9, lid 1, bedoelde bijzondere categorie\u00ebn van persoonsgegevens betrokken zijn, moet er ook voor worden gezorgd dat wordt voldaan aan de vereisten van artikel 22, lid 4 AVG of artikel 40 van de UAVG. </p> <p>Bij elke verwerking die waarschijnlijk een hoog risico voor betrokkenen zal inhouden, is het verplicht zijn om een DPIA uit te voeren. Naast de beoordeling van andere risico's die aan de verwerking verbonden zijn, kan een DPIA in dit geval zeer nuttig zijn om bovenstaande stappen te documenteren. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/","title":"Opslagbeperking","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#norm","title":"Norm","text":"<p>Gegevens worden niet langer worden bewaard dan nodig (opslagbeperking).</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#risico","title":"Risico","text":"<p>Persoonsgegevens worden langer bewaard dan nodig. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 5, lid 1, onder e AVG, Archiefwet</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.11</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#toelichting","title":"Toelichting","text":"<p>Persoonsgegevens mogen niet langer bewaard worden dan noodzakelijk voor het doel van de verwerking.  Wanneer de gegevens niet langer noodzakelijk zijn, dan moeten zij worden vernietigd of gewist.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#maatregelen","title":"Maatregelen","text":"<p>Stel de bewaartermijnen vast. Zorg voor vernietigingsprocedure, een document waaruit blijkt dat dit ingeregeld en/of uitgevoerd is. </p> <p>Documenteer de maatregelen in de DPIA.  </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/","title":"Privacy by Design en by Default","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#norm","title":"Norm","text":"<p>Privacy en gegevensbescherming is meegenomen als eis bij het ontwerp van nieuwe systemen waarmee persoonsgegevens worden verwerkt. (\u2018privacy door ontwerp en standaardinstellingen/ Privacy by Design en Privacy by Default).</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#risico","title":"Risico","text":"<p>Ontwerp en opzet van het algoritme zijn onvoldoende gericht op  de bescherming van privacy.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 25 AVG</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#toetsingskaders","title":"Toetsingskaders","text":"<p>ARK 3.02</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#toelichting","title":"Toelichting","text":"<p>Zorg ervoor dat een zo klein mogelijke inbreuk op de persoonlijke levenssfeer wordt gemaakt bij de inzet van het algoritme (met verwerking van persoonsgegevens), bijvoorbeeld door het  toepassen van pseudonimisering en het inbouwen van andere technische waarborgen. </p> <p>Bij het bepalen van de verwerkingsmiddelen en de verwerking moet u rekening houden met de volgende elementen: \u2022   de stand van de techniek; \u2022   de uitvoeringskosten; \u2022   de aard, omvang, context en het doel van de verwerking; \u2022   de risico\u2019s voor de betrokkene. Deze elementen bepalen gezamenlijk welke technische en organisatorische maatregelen u moet nemen om de gegevensbeschermingsbeginselen (artikel 5 AVG) op een doeltreffende manier uit te voeren en de nodige waarborgen in te bouwen ter naleving van de eisen uit de AVG.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#maatregelen","title":"Maatregelen","text":"<p>Data geori\u00ebnteerde ontwerp strategie\u00ebn: \u2022   Minimaliseer: beperk zoveel mogelijk de verwerking van gegevens. Selecteer voor het verzamelen. Verwijder waar mogelijk. \u2022   Scheid: scheid persoonsgegevens zoveel mogelijk van elkaar en werk zo gedistribueerd mogelijk \u2022   Abstraheer: aggregeer tot het hoogst mogelijke niveau. Beperk zoveel mogelijk het detail waarin persoonsgegevens worden verwerkt \u2022   Bescherm/maak onherleidbaar: Voorkom dat gegevens openbaar worden. Beveilig gegevens. Verbreek waar mogelijk de link tussen personen en gegevens (anonimiseer en pseudonimiseer)</p> <p>Leg dit vast in de DPIA. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/","title":"Privacyrechten","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#norm","title":"Norm","text":"<p>Betrokkenen kunnen een beroep doen op hun privacyrechten.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#risico","title":"Risico","text":"<p>Betrokkenen hebben geen controle over hun persoonsgegevens doordat ze geen beroep kunnen doen op hun privacyrechten.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 15-21 AVG</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.9 ARK 3.12/3.15</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#toelichting","title":"Toelichting","text":"<p>De persoonsgegevens kunnen worden ingezien, gerectificeerd, verwijderd of beperkt om een juiste uitvoering te kunnen geven aan de rechten van betrokkenen.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#maatregelen","title":"Maatregelen","text":"<p>Geef aan hoe invulling wordt gegeven aan de rechten van betrokkenen. </p> <p>Stel een procedure vast waarmee o.a. aan verzoekers informatie kan worden verstrekt over geautomatiseerde verwerking van persoonsgegevens en de onderliggende logica en het belang en de verwachte gevolgen van de verwerking. </p> <p>Indien de rechten van de betrokkene worden beperkt, bepaal op grond van welke wettelijke uitzonderingen dat is toegestaan en leg dit vast. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/","title":"Rechtmatigheid en grondslag","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#norm","title":"Norm","text":"<p>De verwerking van persoonsgegevens is rechtmatig, behoorlijk en transparant. De verwerking (inclusief het verzamelen) is gebaseerd op \u00e9\u00e9n van de wettelijke grondslagen die zijn genoemd in de AVG.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#risico","title":"Risico","text":"<ul> <li>De verwerking van persoonsgegevens gebeurt niet rechtmatig, behoorlijk of transparant. </li> <li>De verwerking (inclusief het verzamelen) van de persoonsgegevens door het algoritme is niet gebaseerd op een wettelijke grondslag.</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 5, lid 1, onder a AVG, Artikel 12-14 AVG, Artikel 6 AVG</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.6 ARK 3.12/3.13/3.14/3.15</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#toelichting","title":"Toelichting","text":"<ul> <li>Uitgangspunt is dat persoonsgegevens alleen mogen worden verwerkt voor gerechtvaardigde doeleinden. Dit betekent dat de verwerking noodzakelijk moet zijn met het oog op het bereiken van specifieke doelen. Wanneer het gerechtvaardigd is om persoonsgegevens te verwerken, moet de verwerking ervan vervolgens netjes en verantwoord gebeuren. Ten slotte moet duidelijk zijn voor welke doelen persoonsgegevens worden verwerkt en hoe dat gebeurt. Transparantie van de verwerking is een fundamenteel vereiste van de AVG. De inzet van een algoritme is voor de betrokkene vaak onzichtbaar. De mate waarin mensen dergelijke processen begrijpen, verschilt per persoon. Voor sommigen kan het moeilijk zijn de complexe technieken te begrijpen.</li> <li>De AVG noemt de volgende wettelijke grondslagen:  \u2022   Uitvoering van een overeenkomst waarbij de betrokkene partij is \u2022   Voldoen aan een wettelijke verplichting \u2022   Noodzakelijk voor vitaal belang van betrokkene \u2022   Noodzakelijk voor vervulling van een taak van algemeen belang of uitoefening openbaar gezag \u2022   Gerechtvaardigd belang van verwerkingsverantwoordelijke of een derde</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#maatregelen","title":"Maatregelen","text":"<ul> <li>De betrokkenen zijn ge\u00efnformeerd over de verwerking van persoonsgegevens. Bijvoorbeeld middels een privacyverklaring op website en indien relevant opgenomen in individuele communicatie naar betrokkene(n).</li> </ul> <p>Organisaties die gegevens verwerken zoals bedoeld in artikel 22 AVG moeten naast de algemene vereisten nuttige informatie over de onderliggende logica verstrekken. Nuttige informatie over de onderliggende logica: - Niet noodzakelijkerwijs een ingewikkelde toelichting over de gebruikte algoritmen of een  uiteenzetting van het volledige algoritme.  - De verstrekte informatie moet echter volledig genoeg zijn voor de betrokkene om de redenen van het besluit te kunnen begrijpen. - Gedetailleerde informatie over de belangrijkste kenmerken die bij de besluitvorming in  beschouwing worden genomen, de bron van deze informatie en het belang ervan. Bijvoorbeeld: \u2022 de gegevenscategorie\u00ebn die zijn gebruikt of zullen worden gebruikt in het profilerings- of  besluitvormingsproces; \u2022 de redenen waarom deze categorie\u00ebn relevant worden geacht;  \u2022 de manier waarop de in het geautomatiseerde  besluitvormingsproces gebruikte profielen worden samengesteld, met inbegrip van statistieken die in de analyse worden gebruikt; \u2022 de redenen waarom dit profiel relevant  is voor het geautomatiseerde besluitvormingsproces; en \u2022 de manier waarop het voor een besluit over de betrokkene wordt gebruikt. Neem de analyse en genomen maatregelen op in de DPIA. </p> <ul> <li>Beoordeel en leg vast op elke rechtsgrondslag als genoemd in de AVG de verwerking is gebaseerd.  Een verwerking is gerechtvaardigd wanneer het doel van de verwerking kan worden gebaseerd op een rechtsgrondslag zoals opgenomen in  \u00e9\u00e9n van de zes rechtsgrondslagen die in de AVG worden gegeven. Kan dat niet, dan is het niet toegestaan persoonsgegevens te verwerken. De lijst van rechtsgrondslagen is limitatief, er kunnen geen andere gronden worden aangevoerd. Leg dit vast in de DPIA. </li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p> <p>-</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/","title":"Rollen en verantwoordlijkheden","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#norm","title":"Norm","text":"<p>Rollen en verantwoordlijkheden m.b.t. de verwerking van persoonsgegevens zijn gespecificeerd.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#risico","title":"Risico","text":"<p>Rollen en verantwoordelijkheden m.b.t. de verwerking van persoonsgegeven in het algoritme zijn niet helder belegd.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 24, 26,27, 28, 29</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.1</p> <p>ARK 3.09</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#toelichting","title":"Toelichting","text":"<p>De verwerkingsverantwoordelijke bepaalt de doeleinden waarvoor en de middelen waarmee persoonsgegevens worden verwerkt. Als uw organisatie dus beslist \u201ewaarom\u201d en \u201ehoe\u201d persoonsgegevens moeten worden verwerkt, is zij de verwerkingsverantwoordelijke. </p> <p>Uw organisatie is een gezamenlijke verwerkingsverantwoordelijke als zij samen met \u00e9\u00e9n of meer organisaties gezamenlijk bepaalt \u201ewaarom\u201d en \u201ehoe\u201d persoonsgegevens moeten worden verwerkt. Gezamenlijke verwerkingsverantwoordelijken dienen een regeling te treffen waarin hun respectieve verantwoordelijkheden voor de naleving van de AVG-regels worden vastgelegd.</p> <p>De verwerker verwerkt persoonsgegevens uitsluitend ten behoeve van de verwerkingsverantwoordelijke. De taken van de verwerker jegens de verwerkingsverantwoordelijke moeten in een verwerkersovereenkomst of een andere rechtshandeling worden gespecificeerd.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#maatregelen","title":"Maatregelen","text":"<p>Ga van alle betrokken partijen na wat hun rol is en documenteer deze. Zorg ervoor dat met alle verwerkers een verwerkersovereenkomst is afgesloten. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#best-practices","title":"Best practices","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/","title":"Technische robuustheid en veiligheid","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/","title":"Algoritme continu\u00efteit","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#de-continuiteit-van-het-algoritme-is-gewaarborgd","title":"De continu\u00efteit van het algoritme is gewaarborgd.","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#maatregelen","title":"Maatregelen","text":"<ul> <li>Alle gebruikte data moeten traceerbaar of reproduceerbaar zijn. In geval van uitbesteding van het beheer aan derden moeten hierover heldere afspraken gemaakt worden gemaakt.</li> <li>Richt een proces in rondom monitoring van het algoritme.</li> <li>Zorg voor heldere afspraken op het gebied van onderhoud en beheer op het algoritme, o.a. met betrekking tot de technische componenten, de gebruikte data, het model en de daarin gebruikte parameters.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#bronnen","title":"Bronnen","text":"Norm of beheersmaatregel Bron De organisatie heeft volledige controle of eigenaarschap over de data. Wanneer dit niet mogelijk is, zijn afspraken gemaakt om de functionele eisen te waarborgen. Onderzoekskader algoritmes ADR 2023, DM.23 Vastgelegde afspraken met externe partijen, waarborgen om lock-in en te grote afhankelijkheid te voorkomen. Inclusief exit-strategie. Denk ook aan eigenaarschap van gebruikte data voor het algoritme. Toetsingskader Algemene Rekenkamer, 1.07 Ingericht proces rondom monitoring op genoemde aspecten Toetsingskader Algemene Rekenkamer, 1.08 Voor alle databronnen/gebruikte data regelen dat er geen beperkingen/verplichtingen zijn Toetsingskader Algemene Rekenkamer, 2.17 Onderhoud en beheer op de technische componenten, het model, de gebruikte data, parameters, enzovoort Toetsingskader Algemene Rekenkamer, 2.24 vragen <p>Op welk niveau willen we de normen definieren? Ik vind zelf \"De continu\u00efteit van het algoritme is gewaarborgd\" wel heel erg vaag, terwijl de maatregelen daaronder eigenlijk best concreet zijn..? is dat niet eerder het niveau waar we op willen zitten?</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#risico","title":"Risico","text":"<ul> <li>De organisatie is voor de data of het model afhankelijk van derden en kan daardoor reproduceerbaarheid, prestatie, continu\u00efteit en beheersing niet garanderen, Onderzoekskader algoritmes ADR 2023, DM.23.</li> <li>Er vindt na ingebruikname van het algoritme onvoldoende monitoring plaats op de werking ervan, waardoor fouten of ongewenste effecten in de toepassinge ervan niet tijdig worden opgemerkt.</li> <li>Er vindt onvoldoende capaciteit in de beheerorganisatie, waardoor benodigde aanpassingen op het algoritme niet tijdig worden doorgevoerd.</li> </ul> <p>EC/AI HLEG April 2019 hoofdstuk II 1.7 COBIT APO11 / BAI04 / DSS04 / PO09 / APO14 / BAI06 AKR 2.17, 1.07, 1.08, 2.24</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#toelichting_1","title":"Toelichting","text":"<ul> <li>De data en het model zijn bij voorkeur in eigen beheer. Wanneer dit niet mogelijk is, zijn afspraken gemaakt om de functionele eisen te waarborgen.</li> <li>Na ingebruikname van een algoritme moet periodiek beoordeeld worden of het nog doet wat het zou moeten doen.  Je kunt hierbij denken aan monitoring op beschikbaarheid, prestaties/kwaliteit en of het algoritme voldoet aan actuele wet- en regelgeving.</li> <li>Het risico bestaat dat bij het in productie nemen van het algoritme onvoldoende aandacht wordt besteed aan de overdracht aan de beheersorganisatie. Gevolg hiervan kan zijn dat in de beheersorganisatie onvoldioende capaciteit en/of kennis beschikbaar is om eventuele aanpassingen tijdig door te voeren. </li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#maatregelen_1","title":"Maatregelen","text":"<ul> <li>Alle gebruikte data moet traceerbaarbaar of reproduceerbaar zijn. In geval van uitbesteding van het beheer aan derden moeten hierover heldere afspraken gemaakt worden gemaakt. </li> <li>Ingericht proces rondom monitoring op genoemde aspecten.</li> <li>Onderhoud en beheer op het algoritme vindt plaats op basis van heldere afspraken, o.a. met betrekking tot de technische componenten, de gebruikte data, het model en de daarin gebruikte parameters.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#best-practices","title":"Best practices","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/","title":"Betrouwbare algoritme uitkomsten","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#norm","title":"Norm","text":"<p>De uitkomsten van het algoritme zijn eenduidig en betrouwbaar.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#risico","title":"Risico","text":"<ul> <li>Als trainings-, test- en validatiedata door elkaar lopen, treedt overfitting op en lijkt het model beter te presteren dan deze in werkelijkheid het geval is.</li> <li>Het doel van het algoritme, de functionele eisen van het model en de performance metrics sluiten onvoldoende op elkaar aan, waardoor niet kan worden vastgesteld of het model voldoende presteert, of dat de kwaliteit op orde is. </li> <li>Door veranderingen in de data presteert het model niet meer zoals verwacht.</li> <li>Beslissingen worden genomen op basis van outputdata die verkeerd begrepen zijn.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#toetsingskaders","title":"Toetsingskaders","text":"<p>EC/AI HLEG April 2019 - hoofdstuk II. 1.1 t/m 1.6, 1.2, 2.1\u00a7100 ADR DM.1, DM.4, DM.8, DM.12, DM.5 ARK 2.19, 2.21, 2.22, 1.06, 2.15, 2.20</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#toelichting","title":"Toelichting","text":"<ul> <li>Vermennging van trainings-, test- en validatiedata leidt tot overfitting van het model, waardoor het goed werkt voor de data waarmee het getraind is, maar niet geschikt is voor nieuwe observaties.</li> <li>De functionele eisen moeten zijn uitgewerkt in meetbare eisen voor zowel de prestatie, de robuustheid, de bias en de uitlegbaarheid van het model. Deze eisen moeten passen bij de modelspecifieke context.</li> <li>Veranderingen in de data kunnen ertoe leiden dat de prestaties van het model achteruit gaan. Wanneer veranderingen in de data niet direct duidelijk zijn, zal periodieke evaluatie plaats moeten te vinden.</li> <li>De interpretatie van de uitkomsten van het model moet eenduidig zijn en onafhankelijk van de persoon die de beoordeling uitvoert.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#maatregelen","title":"Maatregelen","text":"<ul> <li>Scheiding en documentatie van de datasets voor training, testen en validatie van et model. Let in het bijzonder op wanneer het model ge\u00fcpdatet wordt aan de hand van (deels) eerder gebruikte data. </li> <li>Documentatieer alle prestatiecriteria, inclusief de relatie met de doelstellingen en de functionele eisen van het algoritme. Bewaar testresultaten waaruit blijkt dat het algoritme aan de criteria voldoet.</li> <li>Leg voor elk algoritme de kwaliteits- en prestatiedoelen vast. Stel een procesbeschrijving op voor het monitoren hiervan. Evalueer bij veranderingen in de data of het model nog aan de doelen voldoet en pas het zonodig aan.</li> <li>Eenduidige beschrijving van variabelen. Indien nodig extra toelichting in de metadata.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#best-practices","title":"Best practices","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/","title":"Data is representatief","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#norm","title":"Norm","text":"<p>De data die worden gebruikt is eenduidig en representatief voor de populatie waarop het algoritme wordt toegepast.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#risico","title":"Risico","text":"<ul> <li>De input- en outputdata voldoen qua kwaliteit, volledigheid en betrouwbaarheid niet aan de functionele eisen, waardoor verkeerde beslissingen genomen.</li> <li>Door training van het model met een niet-evenwichtige dataset presteert het model in de praktijk minder goed dan bij de tests.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#toetsingskaders","title":"Toetsingskaders","text":"<p>EC/AI HLEG April 2019 - hoofdstuk II. 1.2, 2.1\u00a7100, 1.3 ADR DM.6, DM.7, DM.9 ARK 2.12, 2.16, 2.10</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#toelichting","title":"Toelichting","text":"<ul> <li>Het model doet iets anders dan verwacht als inputvariabelen en outputdata een andere betekenis hebben dan verwacht. \u00a0</li> <li>De dataset waarmee het model getraind wordt moet passend zijn bij het beoogde gebruik van het model. Trainings-, test- en validatiedata moeten zijn afgestemd op de doelgroep van het algoritme en de subgroepen daarin. </li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#maatregelen","title":"Maatregelen","text":"<ul> <li>Ga voor alle data na of deze tijdig, volledig en definitief beschikbaar is, een herleidbare afkomst heeft, consistent gecodeerd is en  duidelijke metadata bij de variabelen bevat.</li> <li>Kijk daarnaast naar het risico op datavervuiling in het proces. Stel documentatie op waarin de functionele eisen zijn opgenomen, in combinatie met resultaten van een check op het voldoen aan deze eisen. Implementeer structurele controles op correcte werking. Vastlegging van de de keuzes zijn gemaakt bij het samenstellen van de datasets en hoe de kwaliteit hiervan gewaarborgd is. Dusdanig duidelijke omschrijving van de doelpopulatie dat deze statistisch gevalideerd kan worden. Samenvattende statistieken van inputdatasets die gebruikt zijn bij de onderbouwing van data en modelkeuze. Bij de keuze voor training- en testdata in de ontwikkelfase moet zijn gelet op zowel under- als  overfitting. </li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#best-practices","title":"Best practices","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/","title":"Doel en keuze algoritme","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#norm","title":"Norm","text":"<p>Het algoritme dat wordt gebruikt is geschikt voor het doel waarvoor het wordt ingezet.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#risico","title":"Risico","text":"<ul> <li>Het algoritme gebruikt een model, terwijl niet voldaan wordt aan de voorwaarden voor het gebruik ervan. </li> <li>De hyperparameters zijn niet goed gekozen, waardoor niet goed gestuurd kan worden op het leerproces en het model suboptimaal presteert. </li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#toetsingskaders","title":"Toetsingskaders","text":"<p>EC/AI HLEG April 2019 - hoofdstuk II. 1.2, 1.2 ADR DM.2, DM.3 ARK 2.06</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#toelichting","title":"Toelichting","text":"<ul> <li>Het moet duidelijk zijn onder welke voorwaarden het model wel of niet gebruikt kan worden. Denk hierbij bijvoorbeeld aan modeleisen voor de verdeling van data of afwijkingen van de productieset ten opzichte van de testset. Dit is dusdanig begrijpelijk dat de grenzen ook bekend zijn voor (nieuwe) medewerkers wanneer de ontwikkelaars van het model niet meer binnen de organisatie werkzaam zijn.</li> <li>Een hyperparameter is een parameter waarmee kan worden gestuurd op een trainings-/leerproces. Het uitvoeren van een peer review (4-ogen principe) en vastlegging van de code in Git kan hiervan een uitwerking zijn.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#maatregelen","title":"Maatregelen","text":"<ul> <li>Documenteer de grenzen van de toepasbaarheid van het model en de voorwaarden waaronder het kan worden gebruikt.</li> <li>Leg de keuze voor de hyperparameters vast en beargumenteer deze, bijvoorbeeld in Git en/of het technisch of functioneel ontwerp.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#best-practices","title":"Best practices","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/","title":"Informatiebeveiliging","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#norm","title":"Norm","text":"<p>De informatiebeveiliging is op orde.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#risico","title":"Risico","text":"<p>Indien de informatiebeveiliging onvoldoende op orde is, brengt dit grote risico's met mee voor de beschikbaarheid, de integriteit en de vertrouwelijkheid van gegevens. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#maatregelen","title":"Maatregelen","text":"<p>Zorg ervoor dat zowel bij de onrtwikkeling van het algoritme als bij het gebruik ervan voldaan wordt aan de eisen uit de BIO. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#toetsingskaders","title":"Toetsingskaders","text":"<p>Baseline Informatieveiligheid Overheid ADR IB.1 t/m IB 30</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#toelichting","title":"Toelichting","text":"<p>De gebruikte technische infrastructuur, de inrichting en het beheer ervan moeten voldoen aan de daarvoor geldende eisenn op het gebied van informatiebeveiliging. Voor de overheid zijn deze vastgelegd in de Baseline Informatieveilgheid Overheid (BIO). De BIO concretiseert een aantal normen tot verplichte overheidsmaatregelen. De BIO is in zijn geheel van toepassing. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#maatregelen_1","title":"Maatregelen","text":"<p>Zorg ervoor dat zowel bij de onrtwikkeling van het algoritme als bij het gebruik ervan voldaan wordt aan de eisen uit de BIO. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#best-practices","title":"Best practices","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/","title":"Informatie en informatiesystemen van de overheid moet worden beveiligd.","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/#informatiebeveiliging","title":"Informatiebeveiliging","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/#vereiste","title":"Vereiste","text":"<p>Informatie en informatiesystemen moeten op de juiste manier worden beveiligd.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/#toelichting","title":"Toelichting","text":"<p>Informatiebeveiliging is het proces van vaststellen van de vereiste beveiliging van informatiesystemen in termen van vertrouwelijkheid, beschikbaarheid en integriteit alsmede het treffen, onderhouden en controleren van een samenhangend pakket van bijbehorende maatregelen. In Nederland is besloten dat overheidsinstellingen de Baseline Informatiebeveiliging Overheid dienen toe te passen over hun informatie en informatiesystemen. De BIO beoogt de beveiliging van informatie(systemen) bij alle bestuurslagen en bestuursorganen van de overheid te bevorderen, zodat alle onderdelen erop kunnen vertrouwen dat onderling uitgewisselde gegevens, in lijn met wet- en regelgeving,  passend beveiligd zijn. De BIO concretiseert een aantal normen tot verplichte overheidsmaatregelen.</p> <p>Algoritmen en AI-systemen en hun output kunnen onderdeel worden van de informatie en informatiesystemen waar de BIO op van toepassing is. Het is van belang om algoritmische toepassingen en AI-systemen op de juiste manier te beveiligen.  </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/#bronnen","title":"Bronnen","text":"Type Bron Toelichting Beleid Baseline Informatiebeveiliging Overheid Beleid Besluit Besluit voorschrift informatiebeveiliging rijksdienst 2007"},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"hoog-risico AI systemen (AI Act) impactvolle algoritmes niet-impactvolle algoritmes { style=\"color: #4DB6AC\""},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/#risico","title":"Risico","text":"<p>Er kunnen risico's ontstaan zoals ongeautoriseerde toegang, vernietiging, verlies, wijziging of niet-toegestane verwerking van gegevens als de informatie en informatiesystemen onvoldoende zijn beveiligd.  </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/#maatregelen","title":"Maatregelen","text":"<p>De aanbevolen maatregelen zijn afhankelijk van de gebruikte techiek van het algoritme. Selecteer hieronder de gebruikt techniek. </p> RekenregelsMachine learningGeneratieve AI MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader <p>opmerking</p> <p>Het kan zo zijn dat de te nemen maatregelen afhankelijk zijn van de gebruikte techniek. </p>"},{"location":"vereisten/transparantie/","title":"Transparantie","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/transparantie/Algoritmeregister/","title":"Transparante werking","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/transparantie/Algoritmeregister/#de-werking-van-het-algoritme-en-ai-systeem-moet-transparant-zijn","title":"De werking van het algoritme en AI-systeem moet transparant zijn","text":"Norm Uitleg verplicht voor hoog-risico AI systemen (AI Act) verplicht voor impactvolle algoritmes verplicht voor niet-impactvolle algoritmes De werking van het algoritme en AI-systeem moet transparant zijn"},{"location":"vereisten/transparantie/Algoritmeregister/#risico","title":"Risico","text":"<p>Ontbreken transparantie voor burgers/bedrijven/stakeholders (belanghebbenden)</p>"},{"location":"vereisten/transparantie/Algoritmeregister/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/transparantie/Algoritmeregister/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, artikel 60</li> </ul>"},{"location":"vereisten/transparantie/Algoritmeregister/#toetsingskader","title":"Toetsingskader","text":"<ul> <li>EC/AI HLEG April 2019 - Hoofdstuk II.1.4</li> <li>ARK 2.23/2.07</li> </ul>"},{"location":"vereisten/transparantie/Algoritmeregister/#standaarden","title":"Standaarden","text":""},{"location":"vereisten/transparantie/Algoritmeregister/#maatregelen","title":"Maatregelen","text":"<p>Onderstaand overzicht laat zien welke denkbare maatregelen kunnen worden getroffen om te voldoen aan de normen. Deze maatregelen dienen ter inspiratie. Organisaties zullen zelf moeten bepalen of zij deze maatregelen toepassen. </p> <p>Selecteer eerst de gebruikte techniek</p> RekenregelsMachine learningGeneratieve AI <p>De maatregelen zijn afhankelijk van het risiconiveau van het algoritme. </p> impactvolniet impactvol Maatregelen bij norm: Transparantie Uitleg Fase Algoritme Levenscyclus Inkoopproces Betrokken actoren <p>je hoeft niks te doen</p> hoog risico AI Actimpactvolniet impactvol Maatregelen bij norm: Transparantie Uitleg Fase Algoritme Levenscyclus Inkoopproces Betrokken actoren Bij de output van het algoritme moet waar mogelijk worden getoond welke variabelen een stuwend of dalend effect hebben gehad op de voorspelling. Hiermee is het voor de gebruiker en belanghebbende inzichtelijker wat heeft bijgedragen aan een hogere of lagere voorspellende waarde. Ontwerp-, Ontwikkel-, Validatie- en Implementatiefase Selectiefase en Contractbeheer Data Engineer, Data Scientist, Product Owner, Behoeftesteller, Inkoopadviseur en Contractbeheerder Maatregelen bij norm: Transparantie Uitleg Fase Algoritme Levenscyclus Inkoopproces Betrokken actoren Bij de output van het algoritme moet waar mogelijk worden getoond welke variabelen een stuwend of dalend effect hebben gehad op de voorspelling. Hiermee is het voor de gebruiker en belanghebbende inzichtelijker wat heeft bijgedragen aan een hogere of lagere voorspellende waarde. Ontwerp-, Ontwikkel-, Validatie- en Implementatiefase Selectiefase en Contractbeheer Data Engineer, Data Scientist, Product Owner, Behoeftesteller, Inkoopadviseur en Contractbeheerder Maatregelen bij norm: Transparantie Uitleg Fase Algoritme Levenscyclus Inkoopproces Betrokken actoren hoog risico AIimpactvolniet impactvol Maatregelen bij norm: Transparantie Uitleg Fase Algoritme Levenscyclus Inkoopproces Betrokken actoren Maatregelen bij norm: Transparantie Uitleg Fase Algoritme Levenscyclus Inkoopproces Betrokken actoren Maatregelen bij norm: Transparantie Uitleg Fase Algoritme Levenscyclus Inkoopproces Betrokken actoren"},{"location":"vereisten/transparantie/Algoritmeregister/#toelichting","title":"Toelichting","text":"<p>Doel van publicatie van informatie over het algoritme is het bieden van transparantie naar betrokkenen. Het zorgt ervoor dat het voor  de vooraf bepaalde personen/doelgroepen duidelijk is dat zij met een algoritme te maken hebben, welke consequenties dat heeft en welke beperkingen het algoritme kent. De gewenste mate van transparantie (technische transparantie vs. uitlegbaarheid) is weloverwogen; het hangt af van 1) de impact van het algoritme op de beslissing,  uitkomst en burger, (2) de mate van autonomie bij de besluitvorming en (3) het type en de complexiteit van het algoritme. De informatie dient voldoende begrijpelijk te zijn voor de doelgroep(en).</p>"},{"location":"vereisten/transparantie/Algoritmeregister/#maatregelen_1","title":"Maatregelen","text":"<p>Belanghebbenden worden op een begrijpelijke manier ge\u00efnformeerd over onderliggende logica van het algoritme, alsmede het belang en de verwachte gevolgen van die verwerking voor de betrokkene.</p> <p>Model (code) publiceren op een site zoals github.com, inclusief beschrijving van werking, gebruikte data en/of beschrijving daarvan</p>"},{"location":"vereisten/transparantie/Algoritmeregister/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/transparantie/Algoritmeregister/#best-practices","title":"Best practices","text":""},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/","title":"Informeren over interactie met AI systemen","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#norm","title":"Norm","text":"<p>De gebruiker informeert de natuurlijke persoon die wordt blootgesteld aan een AI-systeem tijdig, duidelijk en begrijpelijk dat ze interageren met een AI-systeem, tenzij dit vanzelfsprekend is gezien de omstandigheden en de context van gebruik.</p>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#risico","title":"Risico","text":"<p>Betrokkenen zijn niet op de hoogte dat hun persoonsgegevens worden verwerkt middels een algoritme, waardoor zij geen controle hebben.</p>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li> <p>AI Act, artikel 52</p> </li> <li> <p>Algemene Verordening Gegevensbescherming (AVG), artikel 12-14</p> </li> </ul>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#toetsingskaders","title":"Toetsingskaders","text":"<ul> <li> <p>Toetsingskader Algemene Rekenkamer, 2.23</p> </li> <li> <p>Onderzoekskader Algoritmes, Auditdienst Rijk, PRI.8</p> </li> </ul>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#toelichting","title":"Toelichting","text":"<p>Het moet voor burgers die te maken hebben met algoritmes duidelijk zijn dat ze interageren met een AI-systeem, tenzij dit vanzelfsprekend is gezien de omstandigheden en de context van gebruik.</p>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#maatregelen","title":"Maatregelen","text":"<p>In de communicatie over besluiten die genomen zijn op basis van het algoritme kan worden opgenomen dat de besluitvorming tot stand is gekomen met behulp van een algoritme. Hierbij kan verwezen worden naar informatie over het algoritme in het Algoritmeregister. </p>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p> <ul> <li> <p>Communicatieadviseur: Betrek de communicatieadviseur om duidelijk te communiceren naar de burger. </p> </li> <li> <p>Projectleider: De projectleider kent de inhoud van het algoritme en de werking ervan. </p> </li> </ul>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#best-practices","title":"Best practices","text":""},{"location":"vereisten/transparantie/Motiveringsbeginsel/","title":"Motiveringsbeginsel","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/transparantie/Motiveringsbeginsel/#norm","title":"Norm","text":"<p>Een besluit berust op een deugdelijke motivering.</p>"},{"location":"vereisten/transparantie/Motiveringsbeginsel/#risico","title":"Risico","text":"<p>Het besluit is onvoldoende gemotiveerd.</p>"},{"location":"vereisten/transparantie/Motiveringsbeginsel/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/transparantie/Motiveringsbeginsel/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<p>Artikel 3:46 - 3:50 Awb, Jurisprudentie over AERIUS (ABRvS 18 juli 2018, ECLI:NL:RVS:2018:2454), Hof van Justitie C-274/18. </p>"},{"location":"vereisten/transparantie/Motiveringsbeginsel/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/transparantie/Motiveringsbeginsel/#toelichting","title":"Toelichting","text":"<p>Een besluit dient te berusten op een deugdelijke motivering. De motivering wordt vermeld bij de bekendmaking van het besluit. </p>"},{"location":"vereisten/transparantie/Motiveringsbeginsel/#maatregelen","title":"Maatregelen","text":"<p>Richt een procedure in waarmee bij een besluit uit eigen beweging gemaakte keuzes en gebruikte gegevens en aannames openbaar worden gemaakt.</p>"},{"location":"vereisten/transparantie/Motiveringsbeginsel/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/transparantie/Motiveringsbeginsel/#best-practices","title":"Best practices","text":""},{"location":"vereisten/transparantie/Traceerbaarheid/","title":"Traceerbaarheid","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/transparantie/Traceerbaarheid/#norm","title":"Norm","text":"<p>De besluitvorming door het algoritme is traceerbaar.</p>"},{"location":"vereisten/transparantie/Traceerbaarheid/#risico","title":"Risico","text":"<p>De besluitvorming door het algoritme is niet traceerbaar.</p>"},{"location":"vereisten/transparantie/Traceerbaarheid/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/transparantie/Traceerbaarheid/#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/transparantie/Traceerbaarheid/#toetsingskaders","title":"Toetsingskaders","text":"<p>EC/AI HLEG April 2019 - Hoofdstuk II.1.4 ADR SV.15 ARK 2.03/2.04/2.05</p>"},{"location":"vereisten/transparantie/Traceerbaarheid/#toelichting","title":"Toelichting","text":"<p>Indien de totstandkoming van een besluit dat met behulp van een algoritme is genomen niet traceerbaar is, kan het algoritme niet worden gecontoleerd. </p>"},{"location":"vereisten/transparantie/Traceerbaarheid/#maatregelen","title":"Maatregelen","text":"<p>\u2022   Neem maatregelen om de traceerbaarheid in de besluitvorming te waarborgen. Daarbij kan het gaan om de documentatie van: o   het ontwerp en de ontwikkeling van het algoritme gebruikte methoden.  o   het testen en valideren van het algoritme gebruikte methoden  o   resultaten van het algoritme  \u2022   Onderzoek in hoeverre de door het algoritme genomen beslissingen en dus het resultaat kunnen worden begrepen. \u2022   Zorg ervoor dat er voor alle gebruikers die een verklaring wensen, een voor hen begrijpelijke verklaring kan worden gemaakt  \u2022   Onderzoek in hoeverre de beslissingen van het systeem van invloed zijn op het besluitvormingsproces binnen de organisatie. \u2022   Onderzoek en toon aan welk model het eenvoudigst en het meest interpreteerbaar zou zijn voor de betreffende toepassing. \u2022   Controleer of trainings- en testgegevens kunnen worden geanalyseerd. Kunnen deze in de loop van de tijd worden veranderd en bijgewerkt. \u2022   Onderzoek of na de training en ontwikkeling van het model er mogelijkheden zijn om de interpreteerbaarheid te beoordelen en of er toegang is tot de interne werkstroom van het model.</p>"},{"location":"vereisten/transparantie/Traceerbaarheid/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/transparantie/Traceerbaarheid/#best-practices","title":"Best practices","text":""},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/","title":"Transparante besluitsvorming","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#norm","title":"Norm","text":"<p>Besluitvorming dient transparant te zijn en moet zorgvuldig tot stand komen.</p>"},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#risico","title":"Risico","text":"<p>Gebrek aan transparantie, waardoor niet kan worden achterhaald of aan een besluit een zorgvuldig proces vooraf is gegaan en of het voldoet aan andere vereisten.</p>"},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<p>Artikel 3:2 en 3:46 Awb, artikel 1.1 en 2.5 Woo</p>"},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#toelichting","title":"Toelichting","text":"<p>Bij de voorbereiding van een besluit dient het bestuursorgaan alle relevante informatie te verzamelen en de belangen van betrokkenen zorgvuldig af te wegen. Het besluit mag geen onredelijke of discriminerende gevolgen voor betrokkenen hebben.</p>"},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#maatregelen","title":"Maatregelen","text":"<p>Algoritmen en modellen dienen transparant, betrouwbaar en controleerbaar te zijn, zodat achterhaald kan worden op basis van welke afwegingen een besluit is genomen.  Richt een procedure in waardoor kan worden voldaan aan het recht op toegang tot publieke informatie.</p>"},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#best-practices","title":"Best practices","text":""}]}
\ No newline at end of file
+{"config":{"lang":["nl"],"separator":"[\\s\\-]+","pipeline":["stopWordFilter"]},"docs":[{"location":"","title":"Welkom bij het Algoritmekader!","text":"<p>Wil de overheid\u202feffectief en verantwoord gebruik kunnen maken van algoritmes en (daarmee) van Artifici\u00eble Intelligentie (AI), dan stelt dat eisen aan de manier waarop we daarmee omgaan.\u202fTegelijkertijd zien we ook dat wat nodig is voor verantwoorde inzet enorm in ontwikkeling is, bijvoorbeeld door de snelle opkomst van (generatieve) AI. In relatief korte tijd komen er veel nieuwe mogelijkheden, maar ook nieuwe wetten, regels, normen en instrumenten. Veel overheden zien soms door de bomen het bos niet meer. Want hoe voldoe je aan de minimale normen? Wanneer is er sprake van verantwoorde inzet? En: welk instrument pas je wanneer toe?  </p> <p>Met het Algoritmekader werken we als overheid samen aan de\u202fantwoorden daarop. Dat doen we open; iedereen kan deze ontwikkeling volgen en eraan bijdragen.\u202fWe maken bij de ontwikkeling gebruik van wat er al is: vereisten uit wet- en regelgeving, maatregelen uit de praktijk en standaardisatie, best practises en instrumenten. Het kader brengt dit samen op een logische manier. Zodat overheden in alle fasen van de levenscyclus van algoritmische en AI-toepassingen praktische handvatten hebben. Best practices, use cases en input van eindgebruikers helpen te komen tot een goed en gedragen Algoritmekader voor alle overheden.\u202fHet kader wordt een praktisch hulpmiddel om algoritmes en AI verantwoord te kunnen inzetten en te voldoen aan de (minimale) vereisten die wet- en regelgeving daaraan stellen.</p> <p>De informatie in het Algoritmekader is logisch aan elkaar gekoppeld, zodat gebruikers interactief door de informatie kunnen navigeren. Er kan worden gestart vanuit de algoritme levenscyclus, de vereisten, maatregelen en rollen via de bovenstaande tabs. De informatie is 'gelaagd' opgebouwd. Dat betekent dat kan worden doorgeklikt om meer gedetailleerde informatie te raadplegen. De zoekbalk kan eveneens worden benut en spoedig is het mogelijk om exports naar PDF te maken van de geraadpleegde informatie. </p> <p>Zie het tabje 'over het Algoritmekader' voor meer informatie over de (door)ontwikkeling van het Algoritmekader. </p> <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"#bijdragen-aan-het-algoritmekader","title":"Bijdragen aan het algoritmekader?","text":"<p>We ontwikkelen het Algoritmekader op een open manier via GitHub. Bekijk de ontwikkelomgeving van het Algoritmekader.</p>"},{"location":"#heb-je-een-vraag-of-opmerking","title":"Heb je een vraag of opmerking?","text":"<p>Neem contact op via GitHub (zie punt 4 of 5) of stuur een email naar algoritmes@minbzk.nl.</p> <p>Stuur een mail </p>"},{"location":"#heb-je-een-vraag-of-opmerking_1","title":"Heb je een vraag of opmerking?","text":"<p>Neem contact op via GitHub (zie punt 4 of 5) of stuur een email naar algoritmes@minbzk.nl.</p> <p>Stuur een mail </p>"},{"location":"instrumenten/","title":"Instrumenten","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p> <p>Het Algoritmekader is tot stand gekomen op basis van de volgende instrumenten:</p> Naam instrument Categorie Jaartal uitgebracht Verantwoordelijke organisatie Ontwikkeld door null null Ontwikkeld voor null null Voor overheidsorganisatie specfiek Volwassenheidsniveau Locatie Doel null null null Mogelijke wettelijke verplichting Toelichting doel Toepassing overheid wetenschap overig overheid wetenschap overig Informerend Sturend Normerend Faciliterend technologie algemeen Impact Assessment Mensenrechten en Algoritmes Impact Assessment 2021 Universiteit Utrecht ja ja ja ja In gebruik Internationaal \u00b1 - - + ja Dit impact assessment werkt in eerste instantie faciliterend voor het gesprek. Maar biedt ook veel informatie. \u00b1 Handreiking Non-discriminatie by Design Handleiking/leidraad 2021 Binnenlandse Zaken ja ja nee ja ja ja In gebruik Nationaal + + - \u00b1 nee Deze handreiking is bedoeld voor projectleiders die sturing geven aan systeembouwers, data-analisten en AI-experts op het gebied van het discriminatieverbod. - De Ethische Data Assistent (DEDA) Handleiking/leidraad 2022 Utrecht Data School nee ja nee ja ja ja In gebruik Nationaal + - - + nee DEDA helpt data-analisten, projectmanagers en beleidsmakers om samen ethische problemen in dataprojecten, datamanagement en databeleid te herkennen. - Toetsingskader Algoritmes Algemene Rekenkamer Toetsingskader 2020 Algemene Rekenkamer ja nee nee ja ja ja In gebruik Nationaal + + - - nee Dit toetsingskader is een instrument dat aandacht besteedt aan de relevante perspectieven op algoritmes. Met een vertaling van normenkaders en richtlijnen naar verschillende aspecten waarop algoritmes kunnen worden getoetst. Een instrument dat bovendien rekening houdt met de risico\u2019s en de onderzoeksvragen die in een toetsingskader aan bod moeten komen. - Baseline Informatiebeveiliging Overheid Wet- en regelgeving 2018 Binnenlandse Zaken ja nee nee ja nee nee In gebruik Nationaal - - + - ja De Baseline Informatiebeveiliging Overheid (BIO) is het basisnormenkader voor informatiebeveiliging binnen alle overheidslagen (Rijk, gemeenten, provincies en waterschappen). + Framework for Meaningful Engagement Handleiking/leidraad 2023 Action Coalition on Civic Engagement for AI (Denemarken) ja nee ja ja ja ja In gebruik Internationaal + \u00b1 - + nee Dit kader is gecre\u00eberd om iedereen die producten of diensten ontwerpt met behulp van AI, machine learning of op algoritme-gebaseerde gegegevensanalyse in staat te stellen belanghebbenden bij dat proces te betrekken. \u00b1 Waarborgen Selectie-Instrumenten voor de Belastingdienst Handleiking/leidraad 2023 Belastingdienst ja nee nee ja nee nee Financi\u00ebn (Fin) In gebruik Nationaal + + \u00b1 - nee Een waarborgenkader voor selectie-instrumenten waarmee de rechtmatigheid en transparantie van de instrumenten (beter) gegarandeerd kunnen worden. + Modelbepalingen en toelichting voor verantwoord gebruik van algoritme door de overheid (contractvoorwaarden) Handleiking/leidraad 2022 Gemeente Amsterdam ja nee nee ja nee nee Gemeenten In gebruik Nationaal + + \u00b1 - nee + AI Impact Assessment Handleiking/leidraad 2022 Infrastructuur en Waterstaat ja nee nee ja ja ja In gebruik Nationaal \u00b1 - - + nee Het AI Impact Assessment (AIIA) is een hulpmiddel voor het maken van afwegingen bij het inzetten van kunstmatige intelligentie (artificial intelligence, AI) in een project. Het AIIA dient als instrument voor het gesprek en het vastleggen van het denkproces zodat onder andere de verantwoording, kwaliteit en reproduceerbaarheid worden vergroot. - Artificial Intelligence Impact Assessment Handleiking/leidraad 2018 ECP nee nee ja ja ja ja In gebruik Nationaal \u00b1 - - + nee De Artificial Intelligence Impact Assessment (AIIA) helpt bedrijven artificial intelligence verantwoord in te zetten, nu slimme algoritmes steeds vaker taken van mensen overnemen. Aan de hand van een stappenplan, bestaande uit acht stappen, maken bedrijven inzichtelijk welke juridische en ethische normen een rol spelen bij de ontwikkeling en inzet van AI-toepassingen, en welke afwegingen ten grondslag liggen aan keuzes en besluiten. - Data Protection Impact Assessment Impact Assessment 2018 Autoriteit Persoonsgegevens ja nee nee ja ja ja In gebruik Nationaal - - + - ja Is een organisatie van plan persoonsgegevens te verwerken, maar levert dat waarschijnlijk een hoog privacyrisico op? Dan is de organisatie verplicht eerst een 'data protection impact assessment' (DPIA) uit te voeren. Een DPIA is een instrument om vooraf de privacyrisico\u2019s van een gegevensverwerking in kaart te brengen. + The Fairness Handbook Handleiking/leidraad 2022 Gemeente Amsterdam ja nee nee ja ja ja In gebruik Nationaal + \u00b1 - \u00b1 nee The Fairness Handbook is uitgebracht door de gemeente Amsterdam om bias in algoritmische systemen te minimaliseren en fairness te maximaliseren. Het handboek legt uit hoe vooroordelen en andere problemen rondom fairness tijdens de ontwikkeling van algoritmes kunnen voorkomen en wat hieraan gedaan kan worden. - Ethics Guideline for Trustworthy AI Handleiking/leidraad 2019 EU High-Level Expert Group on AI ja nee nee ja ja ja In gebruik Internationaal \u00b1 + - - nee Deze richtlijnen, opgesteld door leden van de 'high level expert group on AI', hebben als doel gebruikers te begeleiden in het ontwikkelen van betrouwbare AI. Hiervoor worden drie domeinen belicht; juridisch, ethisch en robuustheid. - Norea Guiding Principles Trustworthy AI Investigations Handleiking/leidraad 2021 Norea Beroepsorganisatie van IT-auditors nee nee ja ja ja ja In gebruik Internationaal \u00b1 + - - nee -"},{"location":"levenscyclus/","title":"Levenscyclus","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p> <p>Algoritmen en kunstmatige intelligentie zijn \u2018producten\u2019 die door overheidsinstellingen kunnen worden gebruikt om de uitvoering van wettelijke taken te ondersteunen. Deze producten doorlopen een zogenaamde levenscyclus. Een algoritme wordt ontwikkeld en na enige tijd van gebruik kan worden besloten het gebruik ervan te be\u00ebindigen. Omdat de \u2018algoritme levenscyclus\u2019 voor alle gevallen nagenoeg hetzelfde is het bruikbaar als leidraad om relevante informatie te structureren en te communiceren.</p>"},{"location":"levenscyclus/#verschillende-versies-levenscyclus","title":"Verschillende versies levenscyclus","text":"<p>De stappen in de levenscyclus van het algoritmekader zijn gebaseerd op een samenvoeging van meer dan tien verschillende levenscyclusmodellen. Zie hier een overzicht. Afhankelijk van hoe een organisatie het ontwikkelproces van AI inricht kan een levenscyclus model er net weer anders uitzien (als AI-ontwikkelaar verwacht je waarschijnlijk wat kleinere cycli in de grotere lifecycle te zien). De huidige opdeling is gekozen omdat deze het beste aansluit bij bestaande levenscyclusmodellen en bij de behoeftes en werkwijze van overheidsinstanties.</p>"},{"location":"levenscyclus/#fundamentele-principes","title":"Fundamentele principes","text":"<p>Om tot een wettige, ethisch verantwoorde en robuuste oplossing te komen zullen in elke fase van de algoritme levenscyclus specifieke handelingen of maatregelen moeten worden getroffen. Transparantie, veiligheid, privacy, risicomanagement, governance, en afweging van ethische aspecten zijn relevant in iedere stap van de levenscyclus. Om concreet te maken wat er dan moet gebeuren, kan het erg helpen om per stap in de levenscyclus helpen om te weten w\u00e1t er dan precies kan gebeuren. </p> <p></p>"},{"location":"levenscyclus/archiveren/","title":"Archiveren","text":"<p>Wanneer het AI-model niet langer nodig is of wordt vervangen door een wezelijk versie, wordt het gearchiveerd. Dit omvat het behouden van documentatie en eventuele relevante artefacten (zoals de parameters van het model).</p> <p>AI-modellen zijn bij te trainen, wat het model anders maakt en andere voorspellingen kan doen geven. Welke versies van een model precies gearchiveerd moeten worden is belangrijk om helder te hebben v\u00f3\u00f3r het einde van de levenscyclus. Archiveren is niet enkel relevant aan het einde van de levenscyclus.</p> <p>In de gehele AI-levenscyclus is van belang: - (Ethische) risico's zijn in kaart gebracht. - De AI governance is duidelijk. (Wie in de organisatie gaat over naleven van AI-wetgeving.) - Transparantie en navolgbaarheid van modellen en processen.</p> <p>Hieronder komen vereisten en maatregelen die relevant zijn tijdens deze fase in de levenscyclus:</p>"},{"location":"levenscyclus/archiveren/#vereisten","title":"Vereisten","text":""},{"location":"levenscyclus/archiveren/#maatregelen","title":"Maatregelen","text":"MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"levenscyclus/dataverkenning-en-datapreparatie/","title":"Dataverkenning en datapreparatie","text":"<p>In deze fase worden relevante datasets ge\u00efdentificeerd en wanneer nodig wordt nieuwe data verzameld; vervolgens worden deze datasets opgeschoond en geanalyseerd. </p> <p>Het is van belang dat dataverzameling op de juiste manier gebeurd, en dat bestaande datasets die gebruikt gaan worden van goede kwaliteit zijn. Daarbij is het van belang dat opschoning van datasets (een standaard stap in het proces data science) geen nieuwe onvoorziene effecten met zich meebrengt. </p> <p>In de gehele AI-levenscyclus is van belang: - (Ethische) risico's zijn in kaart gebracht. - De AI governance is duidelijk. (Wie in de organisatie gaat over naleven van AI-wetgeving.) - Transparantie en navolgbaarheid van modellen en processen.</p> <p>Hieronder komen vereisten en maatregelen die relevant zijn tijdens deze fase in de levenscyclus:</p>"},{"location":"levenscyclus/dataverkenning-en-datapreparatie/#vereisten","title":"Vereisten","text":""},{"location":"levenscyclus/dataverkenning-en-datapreparatie/#maatregelen","title":"Maatregelen","text":"MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeem <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"levenscyclus/implementatie/","title":"Implementatie","text":"<p>In deze fase wordt het AI-model in de praktijk gebracht en ge\u00efntegreerd in het bedrijfsproces. Het wordt operationeel en begint te werken met echte gegevens.</p>"},{"location":"levenscyclus/implementatie/#_1","title":"MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeem","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"levenscyclus/monitoren/","title":"Monitoren","text":"<p>Het AI-model wordt voortdurend gemonitord om ervoor te zorgen dat het blijft presteren zoals verwacht. Eventuele afwijkingen of degradatie van prestaties worden ge\u00efdentificeerd en aangepakt.</p> MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeem <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"levenscyclus/ontwerp/","title":"Ontwerp","text":"<p>Hier wordt het conceptuele ontwerp van het AI-systeem gemaakt. Dit omvat het bepalen van de architectuur, algoritmen en benodigde middelen voor de implementatie.</p> <ul> <li>Let hierbij op een goede afweging tussen technische benodigheden en vereisten. Bijvoorbeeld een simpeler algoritme is beter uitlegbaar.</li> <li>Als er nog data moet worden verzameld, let ook op risico's m.b.t. bias in dataverzameling </li> </ul> <p>In de gehele AI-levenscyclus is van belang: - (Ethische) risico's zijn in kaart gebracht. - De AI governance is duidelijk. (Wie in de organisatie gaat over naleven van AI-wetgeving.) - Transparantie en navolgbaarheid van modellen en processen.</p> <p>Hieronder komen vereisten en maatregelen die relevant zijn tijdens deze fase in de levenscyclus:</p>"},{"location":"levenscyclus/ontwerp/#vereisten","title":"Vereisten","text":""},{"location":"levenscyclus/ontwerp/#maatregelen","title":"Maatregelen","text":"MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"levenscyclus/ontwikkelen/","title":"Ontwikkelen","text":"<p>Dit is de fase waarin het AI-model of algoritme wordt gebouwd. Als het gaat om AI-modellen, omvat het trainen van modellen met behulp van de voorbereide gegevens.</p> <p>Het AI-model technisch correct ontwikkelen, inclusief de limitaties begrijpen, vraagt kennis en kunde van AI-specialisten. Manieren om dit na te gaan worden bijvoorbeeld beschreven in Aandacht voor Algoritmes van de Algemene Rekenkamer (onder \"Model &amp; Data\").</p> <p>In de gehele AI-levenscyclus is van belang: - (Ethische) risico's zijn in kaart gebracht. - De AI governance is duidelijk. (Wie in de organisatie gaat over naleven van AI-wetgeving.) - Transparantie en navolgbaarheid van modellen en processen.</p> <p>Hieronder komen vereisten en maatregelen die relevant zijn tijdens deze fase in de levenscyclus:</p>"},{"location":"levenscyclus/ontwikkelen/#vereisten","title":"Vereisten","text":""},{"location":"levenscyclus/ontwikkelen/#maatregelen","title":"Maatregelen","text":"MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemToepassen bewaartermijnenAlgoritmekaderDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekader <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"levenscyclus/probleemanalyse/","title":"Probleemanalyse","text":"<p>In deze fase wordt het probleem gedefinieerd dat moet worden opgelost. Het omvat het begrijpen van de vereisten, doelstellingen en beperkingen van het probleem.</p> <p>Bestaande instrumenten, zoals de IAMA, vragen om de probleemanalyse eerst goed uit te werken. </p> <p>Enkele vragen waar je aan kan denken: - Wat is het probleem wat opgelost moet worden met algoritmes/AI? - Hoe complex zijn de algoritmes die nodig zijn?  - Welke stakeholders moet je betrekken? Komt er gevoelige data bij kijken? - Zijn er goede voorbeelden om te volgen (zowel technisch als qua verantwoord werken)?</p> <p>In de gehele AI-levenscyclus is van belang: - (Ethische) risico's zijn in kaart gebracht. - De AI governance is duidelijk. (Wie in de organisatie gaat over naleven van AI-wetgeving.) - Transparantie en navolgbaarheid van modellen en processen.</p> <p>Hieronder komen vereisten en maatregelen die relevant zijn tijdens deze fase in de levenscyclus:</p>"},{"location":"levenscyclus/probleemanalyse/#vereisten","title":"Vereisten","text":""},{"location":"levenscyclus/probleemanalyse/#maatregelen","title":"Maatregelen","text":"MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekader <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"levenscyclus/validatie/","title":"Validatie","text":"<p>Nadat het model is ontwikkeld, wordt het gevalideerd om ervoor te zorgen dat het goed presteert op nieuwe, niet eerder geziene gegevens. Dit omvat het evalueren van de nauwkeurigheid en prestaties van het model. Validatie is een interatief proces dat plaatsvindt op verschillende momenten van de levenscyclus.</p>"},{"location":"levenscyclus/validatie/#onderwerpbouwblok","title":"Onderwerp/bouwblok","text":""},{"location":"levenscyclus/validatie/#vereisten","title":"Vereisten","text":""},{"location":"levenscyclus/validatie/#maatregelen","title":"Maatregelen","text":"MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeem <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"maatregelen/","title":"Maatregelen","text":"<p>De maatregelen die zijn opgenomen in het Algoritmekader geven aan 'hoe' overheidsorganisaties invulling kunnen geven aan specifieke vereisten. Deze laag is aan het Algoritmekader toegevoegd, omdat het organisaties inzichten kan geven om zelf op een betekenisvolle wijze invulling te geven aan de vereisten. Organisaties zijn niet verplicht om deze maatregelen te volgen, hoewel ze soms dermate sterk aan de vereisten zijn gekoppeld dat ze praktisch gezien wel moeten worden toegepast. </p> <p>Een maatregel kan bijvoorbeeld zijn 'onderzoek het ontwikkelde algoritme op onbewuste vooringenomenheid (discriminatie) door middel van een bias analyse'. Deze maatregel geeft invulling aan het vereiste van 'non-discriminatie'. Er kunnen meerdere maatregelen zijn die invulling geven aan het vereiste van non-discriminatie. Het is ook denkbaar dat bepaalde maatregelen aan meerdere vereisten kunnen worden gekoppeld. In het Algoritmekader zijn al deze maatregelen gekoppeld aan de algoritme levenscyclus, vereisten en rollen. Daarmee is inzichtelijk wanneer en met wie deze maatregelen logischerwijs in stelling kunnen worden gebracht. </p> <p>Om tot een overzicht van de maatregelen te komen is naar een aantal waardevolle bronnen gekeken. Het Toetsingskader Algoritmes van de Algemene Rekenkamer en het Onderzoekskader algoritmes van de Audit Dienst Rijk zijn daar goede voorbeelden van. Daarnaast is ook de kennis van experts binnen het team Algoritmekader toegevoegd om te kunnen duiden welke maatregelen in de praktijk kunnen worden getroffen om te voldoen aan de vereisten. </p> <p>Op nationaal, Europees en internationaal niveau wordt momenteel gewerkt aan de totstandkoming van standaarden. Deze standaarden worden opgesteld door gespecialiseerde organisaties (NEN, JTC21 en ISO) en ondergaan een uitgebreid proces. Dit proces zorgt uiteindelijk voor brede consensus voor de standaarden. Het naleven van deze standaarden door organisaties levert een vermoeden van conformiteit op, ofwel, door het naleven van standaarden is de kans groot dat organisaties voldoen aan de vereisten. De standaarden worden daarom een waardevolle bron voor het Algoritmekader. Waar mogelijk zullen de standaarden onderdeel worden van het Algoritmekader en tot uiting komen in de laag van 'maatregelen'. Er zal een verwijzing worden gemaakt naar de betreffende standaard. Hierover moeten nog nadere afspraken worden gemaakt met deze organisaties. </p> MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader"},{"location":"maatregelen/archiefwet-inkoopproces/","title":"Archiefwet onderdeel van inkoopproces","text":"<p>ProbleemanalyseProceseigenaarContractbeheerderAanbieder</p>"},{"location":"maatregelen/archiefwet-inkoopproces/#maatregel","title":"Maatregel","text":"<p>Maak de vereisten op grond van de Archiefwet en die zien op algoritmen en AI (systemen) onderdeel van het inkoopproces door deze te duiden en te communiceren met aanbieders. </p>"},{"location":"maatregelen/archiefwet-inkoopproces/#toelichting","title":"Toelichting","text":"<p>Het is van belang dat marktpartijen tijdig kunnen beoordelen of hun voorzieningen voldoet of kan gaan voldoen aan de vereisten uit de Archiefwet voor de betreffende toepassing. Dit kan kenbaar worden gemaakt bijvoorbeeld in het Programma van Eisen of met contractuele voorwaarden</p>"},{"location":"maatregelen/archiefwet-inkoopproces/#risico","title":"Risico","text":"<p>Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te controleren wat de werking van algoritmen en AI-systemen was.</p>"},{"location":"maatregelen/archiefwet-inkoopproces/#bronnen","title":"Bronnen","text":"<p>Algoritmekader</p>"},{"location":"maatregelen/archiefwet-inkoopproces/#voorbeeld","title":"Voorbeeld","text":"<p>Heb je een goed voorbeeld? Laat het ons weten!</p>"},{"location":"maatregelen/bewaartermijnen-onderliggende-systemen/","title":"Toepassen bewaartermijnen","text":"<p>OntwerpOntwikkelenArchiverenInformatiebeheerderProceseigenaarContractbeheerderAanbiederData scientist</p>"},{"location":"maatregelen/bewaartermijnen-onderliggende-systemen/#maatregel","title":"Maatregel","text":"<p>Zorg ervoor dat de vereisten met betrekking tot bewaartermijnen correct worden vertaald naar het algoritme of AI en de onderliggende systemen. Controleer of deze maatregel is getroffen en zorg dat dit aantoonbaar is.</p>"},{"location":"maatregelen/bewaartermijnen-onderliggende-systemen/#toelichting","title":"Toelichting","text":"<p>Hierbij kan worden gedacht aan het inrichten van de bewaartermijn voor logbestanden bij Cloudoplossingen of het bewaren van de output van algoritmen of AI in zaaksystemen. </p>"},{"location":"maatregelen/bewaartermijnen-onderliggende-systemen/#risico","title":"Risico","text":"<p>Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te controleren wat de werking van algoritmen en AI-systemen was.</p>"},{"location":"maatregelen/bewaartermijnen-onderliggende-systemen/#bronnen","title":"Bronnen","text":"<p>Algoritmekader</p>"},{"location":"maatregelen/bewaartermijnen-onderliggende-systemen/#voorbeeld","title":"Voorbeeld","text":"<p>Heb jij een goed voorbeeld? Laat het ons weten!</p>"},{"location":"maatregelen/bewaartermijnen/","title":"Duiden bewaartermijnen bij archiefbescheiden","text":"<p>OntwerpArchiverenInformatiebeheerderProceseigenaarContractbeheerder</p>"},{"location":"maatregelen/bewaartermijnen/#maatregel","title":"Maatregel","text":"<p>Stel de bewaartermijn vast voor de archiefbescheiden.  </p>"},{"location":"maatregelen/bewaartermijnen/#toelichting","title":"Toelichting","text":"<p>Overleg hierover met de verantwoordelijke binnen de organisatie voor het toepassen van de Archiefwet. </p>"},{"location":"maatregelen/bewaartermijnen/#risico","title":"Risico","text":"<p>Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te controleren wat de werking van algoritmen en AI-systemen was.</p>"},{"location":"maatregelen/bewaartermijnen/#bronnen","title":"Bronnen","text":"<p>4.01 ITGC Toetingskader Algemene rekenkamer</p>"},{"location":"maatregelen/bewaartermijnen/#voorbeeld","title":"Voorbeeld","text":"<p>Heb jij een goed voorbeeld? Laat het ons weten!</p>"},{"location":"maatregelen/duurzaam-toegankelijkheid-archiefbescheiden/","title":"Duurzame toegankelijkheid archiefbescheiden","text":"<p>OntwikkelenArchiverenInformatiebeheerderProceseigenaar</p>"},{"location":"maatregelen/duurzaam-toegankelijkheid-archiefbescheiden/#maatregel","title":"Maatregel","text":"<p>Stel vast hoe de archiefbescheiden op een duurzame wijze toegankelijk kunnen worden gemaakt. </p>"},{"location":"maatregelen/duurzaam-toegankelijkheid-archiefbescheiden/#toelichting","title":"Toelichting","text":"<p>Het moet mogelijk zijn dat archiefbescheiden daadwerkelijk overhandigd kunnen worden aan betrokken partijen. Denk hierbij aan burgers, onderneming, toezichthouder of rechters. Overleg hierover met de verantwoordelijke binnen de organisatie voor het toepassen van de Archiefwet.</p>"},{"location":"maatregelen/duurzaam-toegankelijkheid-archiefbescheiden/#risico","title":"Risico","text":"<p>Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te controleren wat de werking van algoritmen en AI-systemen was.</p>"},{"location":"maatregelen/duurzaam-toegankelijkheid-archiefbescheiden/#bronnen","title":"Bronnen","text":"<ul> <li>Algoritmekader</li> <li>Rekenen en rekenschap, Algoritme en de Archiefwet, Essay door Petra Helwig</li> </ul>"},{"location":"maatregelen/duurzaam-toegankelijkheid-archiefbescheiden/#voorbeeld","title":"Voorbeeld","text":"<p>Heb je een goed voorbeeld? Laat het ons weten!</p>"},{"location":"maatregelen/openbaarheid-archiefbescheiden/","title":"Openbaarheid van de archiefbescheiden","text":"<p>OntwerpOntwikkelenArchiverenInformatiebeheerderProceseigenaarContractbeheerder</p>"},{"location":"maatregelen/openbaarheid-archiefbescheiden/#maatregel","title":"Maatregel","text":"<p>Stel vast of beperkingen aan openbaarheid van de archiefbescheiden moeten worden gesteld.</p>"},{"location":"maatregelen/openbaarheid-archiefbescheiden/#toelichting","title":"Toelichting","text":"<p>Er zijn gevallen waarbij het openbaren van archiefbescheiden is uitgesloten. </p>"},{"location":"maatregelen/openbaarheid-archiefbescheiden/#risico","title":"Risico","text":"<p>Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te controleren wat de werking van algoritmen en AI-systemen was.</p>"},{"location":"maatregelen/openbaarheid-archiefbescheiden/#bronnen","title":"Bronnen","text":"<p>Art. 15 lid 2 Archiefwet</p>"},{"location":"maatregelen/openbaarheid-archiefbescheiden/#voorbeeld","title":"Voorbeeld","text":"<p>Heb je een goed voorbeeld? Laat het ons weten!</p>"},{"location":"maatregelen/vaststellen-archiefbescheiden/","title":"Vaststellen archiefbescheiden","text":"<p>OntwerpArchiverenInformatiebeheerderProceseigenaar</p>"},{"location":"maatregelen/vaststellen-archiefbescheiden/#maatregel","title":"Maatregel","text":"<p>Er moet worden vastgesteld welke documenten, data of informatie van het algoritme of het AI-systeem gelden als archiefbescheiden. </p>"},{"location":"maatregelen/vaststellen-archiefbescheiden/#toelichting","title":"Toelichting","text":"<p>Hierbij kan worden gedacht aan de broncode, trainings- en testdata, (technische) documentatie en de output. Overleg hierover met de verantwoordelijke binnen de organisatie voor het toepassen van de Archiefwet. </p>"},{"location":"maatregelen/vaststellen-archiefbescheiden/#risico","title":"Risico","text":"<p>Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te controleren wat de werking van algoritmen en AI-systemen was.</p>"},{"location":"maatregelen/vaststellen-archiefbescheiden/#bronnen","title":"Bronnen","text":""},{"location":"maatregelen/vaststellen-archiefbescheiden/#voorbeeld","title":"Voorbeeld","text":"<p>Heb jij een goed voorbeeld? Laat het ons weten!</p>"},{"location":"overhetalgoritmekader/","title":"Index","text":""},{"location":"overhetalgoritmekader/#over-het-algoritmekader","title":"Over het algoritmekader","text":"<p>In de afgelopen jaren is het steeds duidelijker geworden dat het van belang is dat algoritme en AI op een verantwoorde manier worden ontwikkeld en gebruikt. Er is sprake van een toename van wet- en regelgeving waar overheidsorganisatie aan gebonden zijn. Daarnaast is een duidelijk trend waar te nemen dat organisaties steeds meer vanuit publieke waarden en een ethische invalshoek deze materie benaderen. Deze ontwikkelingen dienen bij te dragen  aan het beschermen van de individuen en de maatschappij voor de mogelijk nadelige gevolgen van de inzet van algoritmen en AI. </p>"},{"location":"overhetalgoritmekader/#algoritme-levenscyclus-vereisten-maatregelen-en-rollen","title":"Algoritme levenscyclus, vereisten, maatregelen en rollen.","text":"<p>In het Algoritmekader wordt inzichtelijk gemaakt aan welke vereisten overheidsorganisaties moeten voldoen. Daarbij wordt ook aangegeven hoe zij hier op een betekenisvolle wijze invulling aan kunnen geven (maatregelen). Het Algoritmekader is zodanig ingericht dat gebruikers vanuit verschillende invalshoeken informatie kunnen raadplegen die voor hen relevant is. Zo kan vanuit de algoritme levenscyclus worden onderzocht in welke fase aan welke vereisten aandacht moet worden besteed. Ook de denkbare maatregelen worden hierbij getoond. Het is ook mogelijk om vanuit een specifieke rol, bijvoorbeeld een ethicus of data scientist, te raadplegen aan welke vereisten of maatregelen zij logischerwijs aandacht aan moeten besteden. </p>"},{"location":"overhetalgoritmekader/#type-technologie-en-risico-classificatie","title":"Type technologie en risico classificatie","text":"<p>Het Algoritmekader geeft gebruikers ook de mogelijkheid om informatie te 'filteren' op basis van type technologie en de risico classificatie. Zo kunnen gebruikers snel zien wat zij in een bepaalde situaties moeten doen. In het geval van een hoge risico AI-systeem waarbij persoonsgegeven worden verwerkt zullen aan meer vereisten moeten worden voldaan dan in het geval van een eenvoudige rekenregel die geen impact heeft op individuen of de maatschappij. </p>"},{"location":"overhetalgoritmekader/#kennisborging-en-standaarden","title":"Kennisborging en standaarden","text":"<p>Een belangrijk uitgangspunt van het Algoritmekader is dat bestaande kennis zoveel mogelijk wordt gebundeld en aansluiting wordt gezocht bij relevante ontwikkelingen. Door deze bundeling kunnen organisaties leren van elkaars ervaringen. Daarnaast is het proces van standaardisering op nationaal, Europees en Internationaal niveau gaande. De standaarden zullen in grote mate gaan duiden 'hoe' organisaties invulling kunnen geven aan specifieke vereisten. De kracht achter standaarden is dat deze door gespecialiseerde organisaties zijn opgesteld en gedragen zijn door bredere consensus. Het volgen van deze standaarden levert een 'vermoeden van conformiteit op' en is daarmee bijzonder waardevol om onderdeel te maken van het Algoritmekader. </p>"},{"location":"overhetalgoritmekader/#best-practises-en-instrumenten","title":"Best practises en instrumenten","text":"<p>In het Algoritmekader wordt geprobeerd om zoveel mogelijk 'best practises' te koppelen aan vereisten en maatregelen die organisaties kunnen treffen. Daarmee wordt de materie tastbaarder en praktischer. Zo zijn rapporten te vinden van uitgevoerde bias analyses, gepubliceerde broncode van door overheidsorganisatie ontwikkeld algoritmen, specifieke adviezen en belangrijke uitspraken. Er wordt ook een overzicht gegeven van bruikbare instrumenten die kunnen worden gehanteerd.  </p>"},{"location":"overhetalgoritmekader/#status-van-het-algoritmekader","title":"Status van het Algoritmekader","text":"<p>Het Algoritmekader is op zichzelf niet verplicht voor overheidsorganisaties om te gebruiken, maar het gaat wel uit van bestaande vereisten op basis van wet- en regelgeving waar deze organisaties aan gebonden zijn. </p> <p>Overheden wordt aanbevolen het kader te volgen, maar mogen te allen tijde zelf bepalen hoe zij invulling geven aan de vereisten, wie daarbij betrokken zijn, onder wiens verantwoordelijkheid en wanneer. Kortom, de vereisten zijn verplicht en de maatregelen (hoe kan hieraan worden voldaan aan de vereisten) zijn ter inspiratie om organisaties op weg te helpen. </p>"},{"location":"overhetalgoritmekader/#doorontwikkeling","title":"Doorontwikkeling","text":"<p>7 juli 2023 is het concept Implementatiekader naar de kamer verstuurd, vergezeld door de Kamerbrief 'Verzamelbrief Algoritmes Reguleren'. Dit kan worden beschouwd als de eerste versie van het Algoritmekader. Het implementatiekader verantwoorde inzet van algoritmen is in oktober 2023 hernoemd naar 'het Algoritmekader'.</p> <p>In oktober 2023 is gestart met de doorontwikkeling van het Algoritmekader, zowel op inhoud als op vorm. Dat betekent dat inhoudelijke toevoegingen moeten worden gedaan (denk aan hetgeen voortkomt uit de AI-verordening) en er moeten worden onderzocht hoe we de informatie zo optimaal mogelijk aan de gebruikers kunnen tonen. Het doel is namelijk dat het Algoritmekader gebruikers op een praktische wijze helpt bij het uitvoeren van hun werkzaamheden. Hierboven is globaal beschreven hoe hier nu invulling aan wordt gegeven en dit moet worden verfijnd. </p> <p>Eind 2024 zal de tweede versie van het Algoritmekader worden opgeleverd. Dan moeten de vereisten en de maatregelen zijn uitgewerkt voor zover dan bekend. Hierna zal het Algoritmekader in 'beheer' worden genomen. Dat betekent dat doorlopend de laatste ontwikkelingen, het liefst blijvend in afstemming met de omgeving, worden toegevoegd zodat het Algoritmekader actueel en betrouwbaar blijft. </p>"},{"location":"overhetalgoritmekader/#samenwerking-met-de-omgeving","title":"Samenwerking met de omgeving","text":"<p>Een belangrijk uitgangspunt van het Algoritmekader is dat het kader op een open en transparante manier wordt ontwikkeld. Dat betekent dat open communicatiekanalen worden ingezet en waar dit passend is worden bijvoorbeeld werkgroepen opgestart om bepaalde aspecten diepgaand te verkennen. In beginsel werkt het team Algoritmekader, al dan niet met werkgroepen en samenwerkingspartijen, informatie over algoritmen en AI uit. Zodra deze informatie op 'niveau' is, wordt dit in Github geplaatst en daarmee 'gepubliceerd'. Het doel hiervan is om enerzijds de omgeving van deze informatie te voorzien en anderzijds om de omgeving uit te nodig om hier feedback op te geven. </p> <p>Werken in Github is voor het team Algoritmekader nieuw en experimenteel. Het biedt de mogelijkheid voor alle ge\u00efnteresseerd om hun kennis en zienswijze te delen. Daarmee kan (nieuwe)kennis snel onderdeel worden gemaakt van het Algoritmekader waarmee idealiter het Algoritmekader doorlopende actueel wordt gehouden en mogelijk ook op basis van (brede) consensus.</p> <p>Tegelijkertijd vraagt dit om een aangepaste werkwijze en is hier bepaalde expertise voor nodig. Het begin is gemaakt en het team Algoritmekader is nog lerende om hier optimaal invulling aan te geven. Voor nu betekent dit concreet dat het langer kan duren voordat wordt gereageerd op suggesties of toevoegingen. Er wordt gewerkt aan het inrichten van goede processen om snel en kundig te reageren. </p> <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"overhetalgoritmekader/Begrippen-en-definities/","title":"Begrippen en definities","text":"Begrip of definitie Uitleg Bron Aanbieder een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem of een AI-model voor algemene doeleinden ontwikkelt of laat ontwikkelen en dat systeem of model in de handel brengt of het AI-systeem in gebruik stelt onder de eigen naam of merknaam, al dan niet tegen betaling AI-verordening AI-bureau de taak van de Commissie waarbij zij bijdraagt aan de uitvoering van, de monitoring van en het toezicht op AI-systemen en AI-governance door het bij het besluit van de Commissie van 24.1.2024 opgerichte Europees Bureau voor artifici\u00eble intelligentie; verwijzingen in deze verordening naar het AI-bureau worden begrepen als verwijzingen naar de Commissie AI-verordening AI-model voor algemene doeleinden een AI-model, ook wanneer het is getraind met een grote hoeveelheid gegevens met behulp van zelftoezicht op grote schaal, dat een aanzienlijk algemeen karakter vertoont en in staat is op competente wijze een breed scala aan verschillende taken uit te voeren, ongeacht de wijze waarop het model in de handel wordt gebracht, en dat kan worden ge\u00efntegreerd in een verscheidenheid aan downstreamsystemen of -toepassingen, met uitzondering van AI-modellen die worden gebruikt voor onderzoek, ontwikkeling of prototypingactiviteiten alvorens zij in de handel worden gebracht AI-verordening AI-testomgeving voor regelgeving een door een bevoegde autoriteit opgezet gecontroleerd kader dat aanbieders of toekomstige aanbieders van AI-systemen de mogelijkheid biedt een innovatief AI-systeem te ontwikkelen, trainen, valideren en testen, zo nodig onder re\u00eble omstandigheden, volgens een testomgevingsplan, voor een beperkte periode en onder regelgevend toezicht AI-verordening Auteursrecht Het auteursrecht is het uitsluitend recht van den maker van een werk van letterkunde, wetenschap of kunst, of van diens rechtverkrijgenden, om dit openbaar te maken en te verveelvoudigen, behoudens de beperkingen, bij de wet gesteld. Auteurswet Exploitant Een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteit AI-verordening Aangemelde instatie Een conformiteitsbeoordelingsinstantie die overeenkomstig deze verordening en andere relevante harmonisatiewetgeving van de Unie zoals opgenomen in bijlage I, deel B van de AI-verordening is aangemeld AI-verordening AI-geletterheid vaardigheden, kennis en begrip die aanbieders, exploitanten en betrokken personen, rekening houdend met hun respectieve rechten en plichten in het kader van deze verordening, in staat stellen met kennis van zaken AI-systemen in te zetten en zich bewuster te worden van de kansen en risico\u2019s van AI en de mogelijke schade die zij kan veroorzaken AI-verordening AI-systeem \u201cAI-systeem\u201d: een machinaal systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na de uitrol aanpassingsvermogen kan vertonen en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen AI-verordening AI-systeem voor algemene doeleinden een AI-systeem dat is gebaseerd op een AI-model voor algemene doeleinden, dat verschillende doeleinden kan dienen, zowel voor direct gebruik als voor integratie in andere AI-systemen AI-verordening Algoritme Een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden Algemene Rekenkamer Beoogd doel het gebruik waarvoor een AI-systeem door de aanbieder is bedoeld, met inbegrip van de specifieke context en voorwaarden van het gebruik, zoals gespecificeerd in de informatie die door de aanbieder in de gebruiksinstructies, reclame- of verkoopmaterialen en verklaringen, alsook in de technische documentatie is verstrekt AI-verordening Bijzondere categorie\u00ebn persoonsgegevens de categorie\u00ebn persoonsgegevens als bedoeld in artikel 9, lid 1, van Verordening (EU) 2016/679, artikel 10 van Richtlijn (EU) 2016/680 en artikel 10, lid 1, van Verordening (EU) 2018/1725 AI-verordening biometrische gegevens persoonsgegevens die het resultaat zijn van een specifieke technische verwerking met betrekking tot de fysieke, fysiologische of gedragsgerelateerde kenmerken van een natuurlijk persoon, zoals gezichtsafbeeldingen of vingerafdrukgegevens AI-verordening biometrische identificatie de geautomatiseerde herkenning van fysieke, fysiologische, gedragsgerelateerde of psychologische menselijke kenmerken om de identiteit van een natuurlijk persoon vast te stellen door biometrische gegevens van die persoon te vergelijken met in een databank opgeslagen biometrische gegevens van personen AI-verordening biometrische verificatie de geautomatiseerde \u00e9\u00e9n-op-\u00e9\u00e9nverificatie, met inbegrip van de authenticatie, van de identiteit van natuurlijke personen door hun biometrische gegevens te vergelijken met eerder verstrekte biometrische gegevens AI-verordening CE-markering een markering waarmee een aanbieder aangeeft dat een AI-systeem in overeenstemming is met de voorschriften van hoofdstuk II, afdeling 2, en andere in de lijst van bijlage I van de opgenomen toepasselijke harmonisatiewetgeving van de Unie, die in het aanbrengen ervan voorzien AI-verordening Capaciteiten met een grote impact capaciteiten die overeenkomen met of groter zijn dan de capaciteiten die worden opgetekend bij de meest geavanceerde AI-modellen voor algemene doeleinden AI-verordening Conformiteitsbeoordeling het proces waarbij de naleving wordt aangetoond van de voorschriften van hoofdstuk II, afdeling 2 van de AI-Verordening in verband met een AI-systeem met een hoog risico AI-verordening Conformiteitsbeoordelingsinstantie een instantie die als derde partij conformiteits-beoordelingsactiviteiten verricht, zoals onder meer testen, certificeren en inspecteren AI-verordening Deepfake door AI gegenereerd of gemanipuleerd beeld-, audio- of videomateriaal dat een gelijkenis vertoont met bestaande personen, voorwerpen, plaatsen of andere entiteiten of gebeurtenissen, en door een persoon ten onrechte voor authentiek of waarheidsgetrouw zou worden aangezien AI-verordening Direct onderscheid indien een persoon op een andere wijze wordt behandeld dan een ander in een vergelijkbare situatie wordt, is of zou worden behandeld, op grond van godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, nationaliteit, hetero- of homoseksuele gerichtheid of burgerlijke staat https://wetten.overheid.nl/BWBR0006502/2020-01-01 Directe discriminatie De ongelijke behandeling van een persoon of groep personen ten opzichte van andere personen in een vergelijkbare situatie, op grond van een beschermd persoonskenmerk (discriminatiegrond) https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce Discriminatiegrond Beschermde persoonskenmerken op basis waarvan het maken van onderscheid tussen personen verboden is. Bijvoorbeeld: ras, nationaliteit, religie, geslacht, seksuele gerichtheid, handicap of chronische ziekte. https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce Distributeur een andere natuurlijke persoon of rechtspersoon in de toeleveringsketen dan de aanbieder of de importeur, die een AI-systeem in de Unie op de markt aanbiedt AI-verordening Downstreamaanbieder een aanbieder van een AI-systeem, met inbegrip van een AI-systeem voor algemene doeleinden, waarin een AI-model is ge\u00efntegreerd, ongeacht of het model door hemzelf wordt verstrekt en verticaal ge\u00efntegreerd is of door een andere entiteit wordt aangeboden op basis van contractuele betrekkingen AI-verordening Ernstig incident een incident of gebrekkig functioneren van een AI-systeem dat direct of indirect leidt tot a)  het overlijden van een persoon of ernstige schade voor de gezondheid van een persoon b) een ernstige en onomkeerbare verstoring van het beheer of de exploitatie van kritieke infrastructuur c) een schending van de uit het recht van de Unie voortvloeiende verplichtingen ter bescherming van de grondrechten d) ernstige schade aan eigendommen of het milieu AI-verordening Etnisch profileren Het gebruik door overheidsinstanties van selectiecriteria als ras, huidskleur, taal, religie, nationaliteit of nationale of etnische afkomst bij de uitoefening van toezichts-, handhavings- en opsporingsbevoegdheden, zonder dat daarvoor een objectieve en redelijke rechtvaardiging bestaat https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce Exploitant Een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteit AI-verordening Gebruiksinstructies de door de aanbieder verstrekte informatie om de exploitant te informeren over met name het beoogde doel en juiste gebruik van een AI-systeem AI-verordening Geharmoniseerde norm een Europese norm die op verzoek van de Commissie is vastgesteld met het oog op de toepassing van harmonisatiewetgeving van de Unie AI-verordening Gemachtigde een natuurlijke of rechtspersoon die zich bevindt of gevestigd is in de Unie die een schriftelijke machtiging heeft gekregen en aanvaard van een aanbieder van een AI-systeem of een AI-model voor algemene doeleinden om namens die aanbieder de verplichtingen en procedures van deze verordening respectievelijk na te komen en uit te voeren AI-verordening Gemeenschappelijke specificatie een reeks technische specificaties zoals gedefinieerd in artikel 2, punt 4, van Verordening (EU) nr. 1025/2012, om te voldoen aan bepaalde voorschriften zoals vastgelegd in deze verordening AI-verordening Gevoelige operationele gegevens operationele gegevens met betrekking tot activiteiten op het gebied van preventie, opsporing, onderzoek of vervolging van strafbare feiten waarvan de openbaarmaking de integriteit van strafprocedures in het gedrang zou kunnen brengen AI-verordening Hoge risico AI-systeem \"Een AI-systeem is hoog-risico als het voldoet aan de volgende eisen: 1.  Het AI-systeem valt onder de definitie van AI-systemen in artikel 3 lid 1 van de verordening en moet o.a. autonome elementen bevatten,  2.  Het AI-systeem wordt in een van de toepassingsgebieden van ANNEX III ingezet zoals biometrie, kritieke infrastructuur en rechtshandhaving AI-verordening Impactvol algoritme Het betreft hier algoritmes die worden gebruikt in processen met impact op betrokkenen (burger, organisatie) \u2022 Het proces waarin het algoritme wordt gebruikt heeft directe rechtsgevolgen voor betrokkenen. Denk aan: opleggen van boete of weigeren subsidie \u2022 Het proces waarin het algoritme zich bevindt, draagt bij aan hoe de overheid een betrokkene of groep categoriseert of benadert. Denk aan: profilering of risico-indicatie voor controle. Handreiking Algoritmeregister Importeur een natuurlijke of rechtspersoon die zich bevindt of gevestigd is in de Unie die een AI-systeem in de handel brengt dat de naam of merknaam van een in een derde land gevestigde natuurlijke of rechtspersoon draagt AI-verordening In de handel brengen het voor het eerst in de Unie op de markt aanbieden van een AI-systeem of een AI-model voor algemene doeleinden AI-verordening In gebruik stellen de directe levering van een AI-systeem door de aanbieder aan de exploitant voor het eerste gebruik of voor eigen gebruik in de Unie voor het beoogde doel AI-verordening Indirect onderscheid indien een ogenschijnlijk neutrale bepaling, maatstaf of handelwijze personen met een bepaalde godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, nationaliteit, hetero- of homoseksuele gerichtheid of burgerlijke staat in vergelijking met andere personen bijzonder treft https://wetten.overheid.nl/BWBR0006502/2020-01-01 Indirecte discriminatie Wanneer een ogenschijnlijk neutrale bepaling, maatstaf of handelwijze personen met een bepaald beschermd persoonskenmerk (discriminatiegrond) in vergelijking met andere personen in het bijzonder benadeelt, tenzij hiervoor een objectieve rechtvaardiging bestaat https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce Inputdata data die in een AI-systeem worden ingevoerd of direct door een AI-systeem worden verkregen en op basis waarvan het systeem een output genereert AI-verordening kritieke infrastructuur kritieke infrastructuur zoals gedefinieerd in artikel 2, punt 4, van Richtlijn (EU) 2022/2557 AI-verordening Legaliteitsbeginsel Het legaliteitsbeginsel houdt in dat alle overheidsoptreden moet berusten op een overeenstemmen met - kenbare en voldoende specifieke - algemene regels F.J. van Ommeren, De verplichting verankerd, Zwolle 1996; dezelfde, Het legaliteitsbeginsel in het staats- en bestuursrecht: opkomst en ondergang van de ge\u00efmpliceerde bevoegdheden?,  RMTh 2002, blz. 123 e.v. Markttoezichtautoriteit de nationale autoriteit die de activiteiten verricht en maatregelen neemt als bedoeld in Verordening (EU) 2019/1020 AI-verordening Nationale bevoegde autoriteit een aanmeldende autoriteit of een de markttoezichtautoriteit AI-verordening Niet-persoonsgebonden gegevens andere gegevens dan persoonsgegevens zoals gedefinieerd in artikel 4, punt 1, van Verordening (EU) 2016/679 AI-verordening Norm Een norm is een vrijwillige afspraak tussen partijen over een product, dienst of proces. Normen zijn geen wetten, maar \u2019best practices\u2019. Iedereen kan - op vrijwillige basis - hier zijn voordeel mee doen. In zakelijke overeenkomsten hebben normen een belangrijke functie. Ze bieden marktpartijen duidelijkheid over en vertrouwen in producten, diensten of organisaties en dagen de maatschappij uit te innoveren. NEN-normen worden ontwikkeld door inhoudsexperts en specialisten op het gebied van normontwikkeling https://www.nen.nl/normontwikkeling Normalisatie Normalisatie is het proces om te komen tot een norm. Dit proces is open, transparant en gericht op consensus en vindt plaats in normcommissies die bestaan uit vertegenwoordigers van alle betrokken partijen. Dit gebeurt niet alleen op nationaal niveau, maar ook in Europees en mondiaal verband. Normontwikkeling (nen.nl) Objectieve rechtvaardiging Van een objectieve rechtvaardiging voor onderscheid is sprake wanneer onderscheid een legitiem doel nastreeft en er een redelijke relatie van evenredigheid bestaat tussen het gemaakte onderscheid en het nagestreefde doel https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce Op de markt aanbieden het in het kader van een handelsactiviteit, al dan niet tegen betaling, verstrekken van een AI-systeem of een AI-model voor algemene doeleinden met het oog op distributie of gebruik op de markt van de Unie AI-verordening Openbare ruimte een fysieke plek die in publieke of private handen is en toegankelijk is voor een onbepaald aantal natuurlijke personen, ongeacht of bepaalde voorwaarden voor de toegang van toepassing zijn, en ongeacht eventuele capaciteitsbeperkingen AI-verordening Operator een aanbieder, productfabrikant, exploitant, gemachtigde, importeur of distributeur AI-verordening Persoonsgegevens Prestaties van een AI-systeem het vermogen van een AI-systeem om het beoogde doel te verwezenlijken AI-verordening Proceseigenaar De proceseigenaar is verantwoordelijk voor de kwaliteit van het proces en de vastlegging daarvan in een processchema persoonsgegevens zoals gedefinieerd in artikel 4, punt 1, van Verordening (EU) 2016/679 Proefpersoon in het kader van tests onder re\u00eble omstandigheden: een natuurlijk persoon die deelneemt aan een test onder re\u00eble omstandigheden AI-verordening Profilering profilering zoals gedefinieerd in artikel 4, punt 4, van Verordening (EU) 2016/679, of in het geval van rechtshandhavingsinstanties, zoals gedefinieerd in artikel 3, punt 4, van Richtlijn (EU) 2016/680, of in het geval van instellingen, organen of instanties van de Unie, zoals gedefinieerd in artikel 3, punt 5, van Verordening (EU) 2018/1725 AI-verordening Publieke Inkoop De verwerving van werken, leveringen of diensten door een overheid of publieke organisatie, van de markt of een andere externe instantie, terwijl zij tegelijkertijd publieke waarde cre\u00ebren en waarborgen vanuit het perspectief van de eigen organisatie. J. Grandia, L. Kuitert, F. Schotanus, L Volker (2003). Publieke Inkoop \u2013 Een multidisciplinair overzicht van theorie\u00ebn, praktijken en instrumenten. Open Press TiU, 16. rechtshandhavingsinstanties iedere overheidsinstantie die bevoegd is voor de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid; of b) ieder ander orgaan dat of iedere andere entiteit die krachtens het recht van de lidstaten is gemachtigd openbaar gezag en openbare bevoegdheden uit te oefenen met het oog op de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid AI-verordening Rechtshandhaving activiteiten die worden verricht door of namens rechtshandhavings-instanties met het oog op de voorkoming, het onderzoek, de opsporing of de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid AI-verordening Redelijkerwijs te voorzien het gebruik van een AI-systeem op een wijze die niet in overeenstemming is met het beoogde doel, maar die kan voortvloeien uit redelijkerwijs te voorzien menselijk gedrag of redelijkerwijs te voorziene interactie met andere systemen, waaronder andere AI-systemen AI-verordening Risico De combinatie van de kans op schade en de ernst van die schade AI-Verordening Substanti\u00eble wijziging een verandering van een AI-systeem nadat dit in de handel is gebracht of in gebruik is gesteld, die door de aanbieder niet is voorzien of gepland in de initi\u00eble conformiteitsbeoordeling, waardoor de overeenstemming van het AI-systeem met de voorschriften van hoofdstuk II, afdeling 2 van de AI-verordening wordt be\u00efnvloed, of die leidt tot een wijziging van het beoogde doel waarvoor het AI-systeem is beoordeeld AI-verordening Systeem voor biometrische categorisering een AI-systeem dat is bedoeld voor het indelen van natuurlijke personen in specifieke categorie\u00ebn op basis van hun biometrische gegevens, tenzij dit een aanvulling vormt op een andere commerci\u00eble dienst en om objectieve technische redenen strikt noodzakelijk is Systeem voor biometrische identificatie op afstand een AI-systeem dat is bedoeld voor het identificeren van natuurlijke personen, zonder dat zij daar actief bij betrokken zijn en doorgaans van een afstand, door middel van vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens die zijn opgenomen in een referentiedatabank AI-verordening Systeem voor biometrische identificatie op afstand in real time een systeem voor biometrische identificatie op afstand waarbij het vastleggen van biometrische gegevens, de vergelijking en de identificatie zonder significante vertraging plaatsvinden en waarbij de identificatie niet enkel onmiddellijk, maar ook met beperkte korte vertragingen plaatsvindt, om omzeiling te voorkomen AI-verordening systeem voor biometrische identificatie op afstand een ander biometrisch systeem voor de identificatie op afstand dan een systeem voor biometrische identificatie op afstand in real time AI-verordening Systeem voor het herkennen van emoties een AI-systeem dat is bedoeld voor het vaststellen of afleiden van de emoties of intenties van natuurlijke personen op basis van hun biometrische gegevens AI-verordening Systeem voor monitoring na het in de handel brengen alle door aanbieders van AI-systemen verrichte activiteiten voor het verzamelen en evalueren van ervaringen met door hen in de handel gebrachte of in gebruik genomen AI-systemen, teneinde te kunnen vaststellen of er onmiddellijk corrigerende dan wel preventieve maatregelen nodig zijn AI-verordening Systeemrisico een risico dat specifiek is voor de capaciteiten met een grote impact van AI-modellen voor algemene doeleinden, die aanzienlijke gevolgen hebben voor de markt van de Unie vanwege hun bereik, of vanwege feitelijke of redelijkerwijs te voorziene negatieve gevolgen voor de gezondheid, de veiligheid, de openbare veiligheid, de grondrechten of de samenleving als geheel, en dat op grote schaal in de hele waardeketen kan worden verspreid AI-verordening Terugroepen van een AI-systeem een maatregel gericht op het retourneren aan de aanbieder, het buiten gebruik stellen of het onbruikbaar maken van een AI-systeem dat aan exploitanten ter beschikking is gesteld AI-verordening Testdata data die worden gebruikt voor het verrichten van een onafhankelijke evaluatie van het AI-systeem om de verwachte prestaties van dat systeem te bevestigen voordat het in de handel wordt gebracht of in gebruik wordt gesteld AI-verordening Testen onder re\u00eble omstandigheden het tijdelijk testen van een AI-systeem voor zijn beoogde doel onder re\u00eble omstandigheden buiten een laboratorium of anderszins gesimuleerde omgeving teneinde betrouwbare en robuuste gegevens te verkrijgen, en te beoordelen en te verifi\u00ebren of het AI-systeem overeenstemt met de voorschriften van deze verordening, waaronder niet wordt verstaan het in de handel brengen of in gebruik nemen van het AI-systeem in de zin van deze verordening, mits aan alle in artikel 57 of 60 vastgestelde voorwaarden is voldaan AI-verordening Toestemming met kennis van zaken de vrijelijk gegeven, specifieke, ondubbelzinnige en vrijwillige uiting door een proefpersoon van zijn of haar bereidheid deel te nemen aan een bepaalde test onder re\u00eble omstandigheden, na ge\u00efnformeerd te zijn over alle aspecten van de test die van belang zijn voor zijn of haar beslissing deel te nemen Trainingsdata data die worden gebruikt voor het trainen van een AI-systeem door de leerbare parameters hiervan aan te passen AI-verordening Uit de handel nemen van een AI-systeem een maatregel waarmee wordt beoogd te voorkomen dat een AI-systeem dat zich in de toeleveringsketen bevindt, op de markt wordt aangeboden AI-verordening Validatiedata data die worden gebruikt voor het verrichten van een evaluatie van het getrainde AI-systeem en voor het afstemmen van onder andere de niet-leerbare parameters en het leerproces ervan, om underfitting of overfitting te voorkomen AI-verordening validatiedatareeks een afzonderlijke datareeks of deel van de trainingsdatareeks, als vaste of variabele verdeling AI-verordening Veiligheidscomponent een component van een product of systeem die een veiligheids-functie voor dat product of systeem vervult of waarvan het falen of gebrekkig functioneren de gezondheid en veiligheid van personen of eigendom in gevaar brengt AI-verordening Verwerker Een [..] rechtspersoon, een overheidsinstantie, een dienst of een ander orgaan die/dat ten behoeve van de verwerkingsverantwoordelijke persoonsgegevens verwerkt. AVG Verwerkersverantwoordelijke Een rechtspersoon of overheidsinstantie die, alleen of samen met anderen, het doel van en de middelen voor de verwerking van persoonsgegevens vaststelt Art. 4 onderdeel 7 AVG Zwevendekommabewerking of floating-point operation (FLOP) elke wiskundige bewerking of toewijzing met zwevendekommagetallen, die een subset vormen van de re\u00eble getallen die gewoonlijk op computers worden weergegeven door een geheel getal met een vaste precisie, verheven door een gehele exponent van een vaste basis"},{"location":"overhetalgoritmekader/definities/","title":"Definities","text":"<p>Welke definities gebruikt het Algoritmekader? Je vindt een overzicht op deze pagina. Deze definities komen overeen met de definities van het het Algoritmeregister, zie daarvoor de Handreiking Algoritmeregister</p>"},{"location":"overhetalgoritmekader/definities/#definitie-van-een-algoritme","title":"Definitie van een algoritme","text":"<p>Er zijn veel definities van een algoritme. Voor het algoritmekader hanteren we de definitie van de Algemene Rekenkamer:</p> <p>'Een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden.\u2019</p> <p>Dit is een brede definitie die de maximale reikwijdte weergeeft van algoritmes waarvoor het Algoritmekader relevant is. Waar de definitie van de Algemene Rekenkamer schrijft \u201com een probleem op te lossen of een vraag te beantwoorden\u201d, verstaan we daar ook onder \u201com een taak of proces uit te voeren of tot een besluit te komen\u201d. In het uitvoeren van een taak of het komen tot een besluit kunnen \u00e9\u00e9n of meer algoritmes voorkomen. Daarnaast hebben we het bij het Algoritmekader over zowel Artifici\u00eble Intelligentie (AI) als algoritmes. De essentie is dat AI is opgebouwd uit algoritmes. Maar niet alle algoritmes zijn AI. </p> <p></p> <p>Gebruikte terminologie</p> <p>De termen hoog-risico, impactvol, AI en Algoritmes worden veel door elkaar gebruikt. Wij hanteren uitsluitend de volgende twee termen:</p> <ol> <li> <p>Hoog-risico AI (-systeem)  Hiermee bedoelen we altijd de definitie zoals deze in de AI-verordening wordt gehanteerd.</p> </li> <li> <p>Impactvolle algoritmes Dit betreft de minimale reikwijdte van het Algoritmekader. Het omvat de hoog-risico AI-systemen zoals gedefinieerd in de AI-verordening \u00e9n de algoritmes die we daarnaast als impactvol beschouwen. </p> </li> </ol>"},{"location":"overhetalgoritmekader/definities/#relatie-scope-algoritmekader-en-de-ai-verordening","title":"Relatie scope Algoritmekader en de AI-Verordening","text":"<p>Op dit moment wordt op EU-niveau de AI-verordening ontwikkeld, die naar verwachting van toepassing wordt op een deel van de algoritmes in gebruik bij de overheid. In de AI-verordening zijn AI-systemen onderverdeeld in verschillende categorie\u00ebn: verboden praktijken, hoog-risico AI-systemen, AI-systemen met manipulatierisico\u2019s en AI-systemen met geen/minimale risico\u2019s. Afhankelijk van de categorie waarin een AI-systeem valt, gelden zwaardere of minder zware eisen waar die systemen aan moeten voldoen.</p> <p>Het Algoritmekader is hoe dan ook relevant voor hoog-risico AI-systemen volgens de definitie van de AI-verordening. Een AI-systeem is hoog-risico als het voldoet aan de volgende eisen: 1. Het AI-systeem valt onder de definitie van AI-systemen in artikel 3 lid 1 van de verordening en moet o.a. autonome elementen bevatten, en</p> <ol> <li>Het AI-systeem wordt in een van de toepassingsgebieden van ANNEX III ingezet zoals biometrie, kritieke infrastructuur en rechtshandhaving. Bovenstaande betreft een versimpelde beschrijving van de AI-verordening. In bijlage 2 van de Handreiking Algoritmeregister is meer informatie te vinden over de AI-verordening. Aangezien de AI-verordening nog in onderhandeling is, bestaat de kans dat de classificatie van hoog-risico AI-systemen nog wordt aangepast. </li> </ol>"},{"location":"overhetalgoritmekader/definities/#definitie-van-impactvolle-algoritmes","title":"Definitie van impactvolle algoritmes","text":"<p>Om te bepalen of een algoritme in aanmerking komt voor publicatie in het Algoritmeregister, is een hulpmiddel 'Selectie' gemaakt. Het zijn dezelfde algoritmes die relevant zijn voor het Algoritmekader. Dit hulpmiddel wordt hieronder weergegeven in de figuur, en is ook leidend voor het Algoritmekader.</p> <p></p> <p>Voor meer toelichting over dit hulpmiddel verwijzen we naar de Handreiking Algoritmeregister.</p> <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"rollen/aanbieder/","title":"Aanbieder","text":"<p>Hier komt meer informatie over de rol </p>"},{"location":"rollen/contractbeheerder/","title":"Contractbeheerder","text":"<p>Hier komt meer informatie over de rol </p>"},{"location":"rollen/data-scientist/","title":"Data scientist","text":"<p>Hier komt meer informatie over de rol </p>"},{"location":"rollen/informatiebeheerder/","title":"Leverancier","text":"<p>Hier komt meer informatie over de rol </p>"},{"location":"rollen/leverancier/","title":"Leverancier","text":"<p>Hier komt meer informatie over de rol </p>"},{"location":"rollen/proceseigenaar/","title":"Proceseigenaar","text":"<p>Hier komt meer informatie over de rol </p>"},{"location":"thema/","title":"Thema's","text":"<p>Bij het algoritmekader hebben we 10 thema's gedefinieerd. Deze thema geven structuur aan het algoritmekader. </p> <p>Deze thema's worden \u00e9\u00e9n voor \u00e9\u00e9n opgepakt.</p>"},{"location":"thema/#thema-in-ontwikkeling","title":"thema in ontwikkeling","text":"<ul> <li> <p> Fundamentele rechten (in ontwikkeling)</p> <p>Het bouwblok fundamentele rechten is opgesplitst in verschillende delen</p> <p> Naar fundamentele rechten</p> <p> Naar bias en non-discriminatie</p> </li> <li> <p> Publieke inkoop (in ontwikkeling)</p> <p>Hier kunnen we een korte tekst kwijt over publieke inkoop</p> <p> Naar publieke inkoop</p> </li> <li> <p> Privacy en gegevensbescherming (in ontwikkeling)</p> <p>Hier kunnen we een korte tekst kwijt over privacy en gegevensbescherming</p> <p> Naar privacy en gegevensbescherming</p> </li> <li> <p> Transparantie (in ontwikkeling)</p> <p>Hier kunnen we een korte tekst kwijt over transparantie</p> <p> Naar transparantie</p> </li> </ul>"},{"location":"thema/#thema-nog-te-doen","title":"thema nog te doen","text":"<ul> <li> <p> Conformiteitsbeoordeling (nog te doen)</p> <p>Hier kunnen we een korte tekst kwijt over conformiteitsbeoordeling</p> <p> Naar conformiteitsbeoordeling</p> </li> <li> <p> Data (nog te doen)</p> <p>Hier kunnen we een korte tekst kwijt over data</p> <p> Naar data</p> </li> <li> <p> Duurzaamheid (nog te doen)</p> <p>Hier kunnen we een korte tekst kwijt over duurzaamheid</p> <p> Naar duurzaamheid</p> </li> <li> <p> Governance (nog te doen)</p> <p>Hier kunnen we een korte tekst kwijt over governance</p> <p> Naar governance</p> </li> <li> <p> Menselijke controle (nog te doen)</p> <p>Hier kunnen we een korte tekst kwijt over menselijke controle</p> <p> Naar menselijke controle</p> </li> <li> <p> Technische robuustheid en veiligheid (nog te doen)</p> <p>Hier kunnen we een korte tekst kwijt over technische robuustheid en veiligheid</p> <p> Naar technische robuustheid en veiligheid</p> </li> </ul> <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"thema/conformiteitsbeoordeling/","title":"Conformiteitsbeoordeling","text":"<p>status: dit bouwblok moet nog ontwikkeld worden</p>"},{"location":"thema/data/","title":"Data","text":"<p>status: dit bouwblok moet nog ontwikkeld worden</p> <p>Hier is plek voor een algemene beschrijving van dit bouwblok. Neem hier in ieder geval op:</p> <ul> <li>waar gaat dit bouwblok over</li> <li>zijn er eventueel deelonderwerpen die behoren tot dit bouwblok? Zo ja welke? En verwijzen indien dit een aparte pagina betreft.</li> <li>waarom is dit bouwblok belangrijk?</li> <li>eventueel definities of toelichting van bepaalde begrippen die relevant zijn voor dit bouwblok</li> </ul>"},{"location":"thema/data/#data-ten-opzichte-van-de-levenscyclus","title":"Data ten opzichte van de levenscyclus","text":"Fase levenscyclus Relevant ja/nee Toelichting Probleemanalyse Ontwerp Data verkennen en preparatie De vraag is of dit voldoende plek is voor een toelichting. Hoe veel tekst willen we hier precies kwijt? Je kan hier best een tijdje doortypen, maar deze vorm van weergeven is misschien niet heel geschikt als je hier heel veel meer tekst kwijt wilt. Ontwikkelen Validatie Implementatie Monitoren Archiveren vraag <p>Willen we hier onderscheid kunnen maken in wat voor soort algoritme we aan het ontwikkelen zijn?</p>"},{"location":"thema/data/#normen","title":"Normen","text":"<p>Onderstaand bieden we een overzicht van alle normen die van toepassing zijn op data waaraan een overheidsorganisatie volgens geldende wet- en regelgeving aan moet voldoen bij het gebruik van algoritmes.</p> Norm Uitleg verplicht voor hoog-risico AI systemen (AI Act) verplicht voor impactvolle algoritmes verplicht voor niet-impactvolle algoritmes n.t.b. Korte uitleg over deze norm vragen <ul> <li>Willen we deze normen ook kunnen koppelen aan de levenscyclus? Dat kunnen we misschien weer op de norm pagina doen?</li> <li>Willen we hier ook een bron vermelden? Als ik het goed begrijp komen alle normen die we nu hebben uit wettelijke verplichtingen?</li> <li>Willen we hier ook normen toevoegen die niet wettelijk verplicht zijn (of zijn dat dat aanvullende maatregelen)?</li> <li>Wat is precies het onderscheid dat we willen maken? Wanneer weet de IBW dit? Voor nu impactvol ja/nee genomen, maar we moeten sowieso ook hoog-risico AI act meenemen</li> </ul>"},{"location":"thema/data/#aanvullende-maatregelen","title":"Aanvullende maatregelen","text":"Maatregel Uitleg van toepassing op impactvolle algoritmes van toepassing op niet-impactvolle algoritmes Maatregel Korte uitleg over maatregel Maatregel Korte uitleg over maatregel"},{"location":"thema/duurzaamheid/","title":"Duurzaamheid","text":"<p>status: moet nog ontwikkeld worden</p>"},{"location":"thema/fundamentele%20rechten/","title":"Fundamenetele rechten","text":"<p>status: dit bouwblok moet nog ontwikkeld worden</p>"},{"location":"thema/fundamentele%20rechten/non-discriminatie/","title":"Bias en non-discriminatie","text":"<p>status: dit bouwblok is in ontwikkeling</p>"},{"location":"thema/fundamentele%20rechten/non-discriminatie/#waarom","title":"Waarom?","text":"<p>Schrijf hier een tekst over wat [title] is en waarom dit belangrijk is voor een verantwoord gebruik van algoritmes bij overheidsorganisaties. </p>"},{"location":"thema/fundamentele%20rechten/non-discriminatie/#levenscyclus","title":"Levenscyclus","text":"<p>Een overzicht van welke fasen van de levenscyclus relevant zijn voor dit bouwblok. </p> <ul> <li> Probleemanalyse</li> <li> Ontwerp</li> <li> Data verkenning en data preparatie</li> <li> Ontwikkelen</li> <li> Validatie  </li> <li> Implementatie</li> <li> Monitoren</li> <li> Archiveren</li> </ul>"},{"location":"thema/fundamentele%20rechten/non-discriminatie/#normen","title":"Normen","text":"<p>Onderstaand een overzicht van de minimale vereisten die volgen uit geldende wet- en regelgeving, toetingskaders en andere bronnen</p> Laag risicoHoog risico Norm Uitleg Bron Norm 2 Korte uitleg over norm 2 Norm Uitleg Bron Verbod op ongelijke behandeling in gelijke omstandigheden. Discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht of op welke grond dan ook, is niet toegestaan Korte uitleg over norm 1 Norm 2 Korte uitleg over norm 2 Norm 3 Korte uitleg over norm 3 Norm 4 Korte uitleg over norm 4"},{"location":"thema/fundamentele%20rechten/non-discriminatie/#rollen","title":"Rollen","text":"<p>Overzicht van welke rollen belangrijk zijn te betrekken bij dit bouwblok. </p> <ul> <li>technische expert bron: handreiking non-discriminatie by design</li> <li>projectleider bron: handreiking non-discriminatie by design</li> <li>jurist bron: handreiking non-discriminatie by design</li> <li>functionaris gegevensbescherming bron: handreiking non-discriminatie by design</li> <li>relevante stakeholders bron: handreiking non-discriminatie by design</li> <li>domein expert bron: handreiking non-discriminatie by design</li> <li>data steward bron: handreiking non-discriminatie by design</li> <li>data analist bron: handreiking non-discriminatie by design</li> <li>beleid bron: evaluatie handreiking non-discriminatie by design door ADR</li> </ul>"},{"location":"thema/fundamentele%20rechten/non-discriminatie/#aanbevelingen","title":"Aanbevelingen","text":"<p>Rathenau</p> <ul> <li>Geef als uitvoeringsorganisatie meer inzicht in hoe biastoetsing plaatsvindt </li> <li>Zet een nationaal kennisplatform voor biastoetsing op waar expertise kan worden ontwikkeld en gedeeld. Bepaal welke mate van standaardisatie gewenst is en of wettelijke eisen nodig zijn.</li> </ul> <p>ADR</p> <ul> <li>Plaats de handreiking in een kader in relatie tot andere instrumenten </li> <li>Overweeg een risicogerichte benadering voor de toepassing van de handreiking </li> <li>Werk aan het vergroten van bewustzijn voor algoritmen en (data-)ethiek in de organisatie </li> <li>Zorg voor duidelijkheid in taken en verantwoordelijkheden van verschillende betrokkenen </li> <li>Beleg verantwoordelijkheid voor de handreiking en borg de (blijvende) aandacht ervoor </li> <li>Verplichte toepassing van de handreiking kan bestaande initiatieven tenietdoen </li> </ul> <p>Toetsingskader ADR</p> <ul> <li>De definitie van de verschillende groepen en de gewenste prestatie van het model voor deze groepen zijn opgenomen in de functionele eisen.</li> <li>De mate van geaccepteerde bias in de uitkomst is opgenomen in de functionele eisen en uitgewerkt in meetbare prestatiecriteria.</li> <li>De methoden om bias te voorkomen, detecteren en corrigeren zijn vastgelegd.</li> <li>De mate van bias in de data, dataverzameling en het model zijn in kaart gebracht.</li> <li>Tijdens de ontwikkeling van het model is beoordeeld of er een verschil bestaat tussen de prestatie van het model tussen verschillende subgroepen. De prestatiemetrieken afleidbaar uit de confusionmatrix zijn vergeleken voor deze subgroepen.</li> <li>De uitkomstbias van productiedata is beoordeeld voor de verschillende subgroepen en voldoet aan de prestatiecriteria.</li> <li>Bij de geconstateerde bias is beoordeeld of deze op discriminatie duidt.</li> </ul> <p>College voor de Rechten van de Mens (Richtlijnen)</p> <ul> <li>Overheidsinstanties mogen bij opsporings- en handhavingsbevoegdheden, met het oog op effectiviteit, effici\u00ebntie en kostenbesparing, gebruik maken van risicoprofielen. Binnen deze risicoprofielen mogen ervaringsgegevens die tot een bepaalde vooronderstelling leiden een rol spelen, tenzij dit leidt tot discriminatie op grond van ras of nationaliteit</li> <li>Risicoprofielen die uitsluitend of in doorslaggevende mate gebaseerd zijn op ras (waaronder etniciteit en afkomst) zijn in strijd met het discriminatieverbod;</li> <li>Risicoprofielen die zich richten op \u00e9\u00e9n bepaalde afkomst of nationaliteit hebben een stigmatiserend effect en zijn daarom strijdig met het discriminatieverbod;</li> <li>Risicoprofielen die uitsluitend gebaseerd zijn op nationaliteit zijn zeer moeilijk te rechtvaardigen;</li> <li>Risicoprofielen waarin ras of nationaliteit mede een rol speelt, kunnen slechts gerechtvaardigd worden door zeer zwaarwegende redenen;</li> <li>Het gebruik van ras of nationaliteit als selectiecriterium binnen een risicoprofiel is nooit toegestaan als er geen objectieve relatie kan worden aangetoond tussen dit selectiecriterium en het legitieme doel van het profiel;</li> <li>In alle gevallen moeten de selectiecriteria  binnen een risicoprofiel samen voldoende relevant en objectief (geschikt) zijn om op een effectieve wijze bij te dragen aan de verwezenlijking van het nagestreefde legitieme doel;</li> <li>Het gebruik van ras of nationaliteit als selectiecriterium binnen een risicoprofiel moet daarnaast noodzakelijk zijn om het gewenste doel tebereiken.</li> <li>Selectiebeslissingen moeten te allen tijde uitlegbaar zijn.</li> </ul>"},{"location":"thema/fundamentele%20rechten/non-discriminatie/#mogelijke-hulpmiddelen-en-methoden","title":"Mogelijke hulpmiddelen en methoden","text":"<ul> <li>Fairness Handbook</li> </ul> <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"thema/governance/","title":"Governance","text":"<p>status: dit bouwblok moet nog ontwikkeld worden</p>"},{"location":"thema/menselijke%20controle/","title":"Menselijke controle","text":"<p>status: dit bouwblok moet nog ontwikkeld worden</p>"},{"location":"thema/privacy%20en%20gegevensbescherming/","title":"Privacy en gegevensbescherming","text":"<p>Hier komt een beschrijving van dit bouwblok</p> <p>status: dit bouwblok is in ontwikkeling</p> <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"thema/publieke%20inkoop/","title":"Publieke inkoop van algoritmen en AI","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p> <p>Door middel van publieke inkoop wordt door overheidsinstellingen software ingekocht. Deze software wordt ingekocht om ambtenaren te ondersteunen met hun werkzaamheden om zo maatschappelijk waarden te cre\u00ebren. Het kan bijvoorbeeld gaan om het inkopen van een systeem waarmee een aanvraag voor een subsidie of vergunning kan worden behandeld. Het virtueel vergaderen of het digitaal samenwerken aan documenten zijn hier ook voorbeelden van. </p> <p>Software met algoritmen  en AI wordt vaak ontwikkeld door gespecialiseerde aanbieders en bevat steeds meer algoritmen en AI. Het komt ook voor dat de overheid deze technologie zelf ontwikkelt. Deze algoritmen en AI kunnen eenvoudig van aard zijn, zoals het maken van een eenvoudige berekening. Zij kunnen complexer van aard zijn, zoals een voorspelling geven of het genereren van informatie. In het laatste geval kan worden gedacht aan ChatGPT, Google Bard of Co-Pilot. Er zijn verschillende type technologie\u00ebn die vallen onder het bereik van algoritmen en AI. In dit kader drukken we deze uit als \u2018rekenregel\u2019, \u2018machine learning\u2019 en \u2018generatieve AI\u2019. Elke technologie heeft eigen bijzondere aandachtspunten. Ook de bijbehorende risico\u2019s kunnen per type verschillen. Het identificeren van deze risico\u2019s en het treffen van beheersmaatregelen is daarbij van belang. Dat geldt in het bijzonder als algoritmen en AI bijdragen aan de totstandkoming van overheidsbesluitvorming en impactvolle beslissingen die burgers en ondernemingen raken. </p> <p>Door bij publieke inkoop van software met algoritmen en AI rekening te houden met vereisten die voorkomen uit wet- en regelgeving, toepassen van publieke waarden, het type algoritme of AI en de potenti\u00eble risico\u2019s die ontstaan bij het gebruiken ervan, kunnen negatieve gevolgen worden voorkomen. Publieke inkoop speelt daarom een belangrijke rol bij de totstandkoming van verantwoord ontwikkelde algoritmen en AI en het gebruik daarvan door ambtenaren.  In dit deel van het Algoritmekader wordt nader ingegaan op deze vereisten. Er worden suggesties gedaan hoe deze vereisten kunnen worden nageleefd en welke rollen daarbij betrokken kunnen zijn. Waar mogelijk worden concrete voorbeelden uit de praktijk gegeven en zal worden aangegeven bij welk type algoritmen of AI dit relevant is.</p> <p>Het publiek inkopen van algoritmen en AI wordt ook gekoppeld aan de algoritme levenscyclus. Dit geeft een beeld van wanneer bepaalde vereisten en maatregelen, bij het ontwikkelen van algoritmen en AI, moeten worden geadresseerd. Door deze vereisten ook te vertalen naar het inkoopproces, zullen de rollen binnen het inkoopproces beter in staat zijn om te duiden wanneer en hoe dit kan worden geadresseerd. Dit moet bijdragen aan een goed samenspel met aanbieders, zodat de kansen van algoritmen en AI worden benut en de negatieve gevolgen worden voorkomen.  </p>"},{"location":"thema/publieke%20inkoop/#algoritme-levenscyclus","title":"Algoritme levenscyclus","text":"<p>Algoritmen en AI kunnen een grote impact hebben op onze maatschappij. Daarom is het van belang dat deze op een verantwoorde manier worden ontwikkeld en gebruikt. Het toepassen van de algoritme levenscyclus is hierover een bruikbare leidraad. De algoritme levenscyclus bestaat uit meerdere fasen. De werkzaamheden die noodzakelijk zijn om een verantwoord algoritme of AI te ontwikkelen, kunnen logisch worden gekoppeld aan deze fasen.  Deze levenscyclus kan worden gebruikt voor alle typen algoritmen en AI. Het verschilt uiteraard wel per type wat moet worden gedaan en dit is mede afhankelijk van de risico classificatie. Bij hoge risico toepassing zal meer moeten worden gedaan om risico\u2019s te mitigeren dan als er sprake is van lage risico toepassingen. De levenscyclus geeft een bruikbaar overzicht voor leveranciers en opdrachtgevers wanneer welke werkzaamheden moeten worden uitgevoerd. Het laat ook zien welke werkzaamheden moeten zijn afgerond als algoritmen en AI in de markt mogen worden gezet en klaar zijn voor gebruik. </p> <p>Bij het publiek inkopen van software met bijbehorende algoritmen en AI zijn de wensen van de behoeftesteller en de doelstellingen van de organisatie van groot belang. Dit kan tot verschillende situaties leiden:</p> <p>\u2022   Een al ontwikkelde kant-en-klare oplossing voldoet direct aan deze wensen en doelstellingen;</p> <p>\u2022   Een al ontwikkelde oplossing moet eerst worden aangepast voordat deze kan worden gebruikt;</p> <p>\u2022   Er moet een nieuwe oplossing worden ontwikkeld om te voldoen aan de wensen. </p> <p>Deze inschatting is dus bepalend wat wel en niet van een product mag worden verwacht. Dit is relevant voor zowel de leverancier als de opdrachtgever. Het is aannemelijk dat als het om risicovolle (nog te ontwikkelen) algoritmen of AI gaat, de opdrachtgever een intensieve bijdrage moet leveren aan de samenwerking om het product te kunnen gebruiken. De opdrachtgever zal bijvoorbeeld moeten aangeven wat de juridische en ethische grenzen zijn van de uiteindelijk werking van het algoritme of AI. Als een kant-en-klare oplossing wordt afgenomen, dan zal de leverancier moeten laten zien dat de ontwikkelde algoritmen en AI voldoen aan alle vereisten en moet dit kunnen aantonen. </p> <p>De inzichten uit de algoritme levenscyclus kunnen ondersteunen bij bijvoorbeeld de behoeftestelling, het maken van make-or-buy beslissingen, de te hanteren aanbestedingsvorm, de totstandkoming van de selectie- en gunningseisen, contractspecificaties en de uitvoering en management van het contract. De algoritme levenscyclus kan worden geraadpleegd via het tabblad boven aan deze pagina. Per fase en per type algoritme of AI kan worden bekeken aan welke vereisten moet worden voldaan en welke beheersmaatregelen kunnen worden getroffen. </p>"},{"location":"thema/publieke%20inkoop/#vereisten","title":"Vereisten","text":"Vereisten Uitleg verplicht voor hoog-risico AI systemen (AI Act) verplicht voor impactvolle algoritmes verplicht voor niet-impactvolle algoritmes Archiveren De grondslag van de Archiefwet is dat, als de overheid de informatie bewaart die voortkomt uit de verschillende werkprocessen, aan de hand van deze informatie de werkprocessen kunnen worden gereconstrueerd en kan worden nagegaan hoe besluiten tot stand zijn gekomen. De oordeelsvorming over hoe zaken zijn verlopen kan dan worden overgelaten aan anderen Non-discriminatie Verbod op ongelijke behandeling in gelijke omstandigheden. Discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht of op welke grond dan ook, is niet toegestaan. Verbod schenden Auteursrechten Bepaalde vormen van algoritmen en AI worden ontwikkeld op basis van grote hoeveelheden data. Deze data wordt gebruikt voor het trainingen en testen van algoritmen en AI. Deze data mag geen inbreuk maken op Auteursrechten. Ook de gegenereerde output van algoritmen en AI mag geen inbreuk maken op deze rechten. Kwaliteitsmanagementsysteem De  ontwikkelaar van een AI-systeem of een 'general purpose AI model' die deze op de markt plaatst zal een kwaliteitsmanagementsysteem toepassen waarmee wordt voldaan aan de verplichtingen die voortkomen uit de AI-verordening."},{"location":"thema/publieke%20inkoop/#nuttige-informatie","title":"Nuttige informatie","text":"<p>Europese modelcontractbepalingen AI-systemen (hoog risico)</p> <p>Europese modelcontractbepalingen AI-systemen (niet hoog risico)</p> <p>Contractvoorwaarden voor algoritmen gemeente Amsterdam</p>"},{"location":"thema/technische-robuustheid-en-veiligheid/","title":"Technische robuustheid en veiligheid","text":"<p>status:dit bouwblok gebruik ik nu als template</p> <p>Hier is plek voor een algemene beschrijving van dit bouwblok. Neem hier in ieder geval op:</p> <ul> <li>waar gaat dit bouwblok over</li> <li>zijn er eventueel deelonderwerpen die behoren tot dit bouwblok? Zo ja welke? En verwijzen indien dit een aparte pagina betreft.</li> <li>waarom is dit bouwblok belangrijk?</li> <li>eventueel definities of toelichting van bepaalde begrippen die relevant zijn voor dit bouwblok</li> </ul>"},{"location":"thema/technische-robuustheid-en-veiligheid/#technische-robuustheid-ten-opzichte-van-de-levenscyclus","title":"Technische robuustheid ten opzichte van de levenscyclus","text":"Fase levenscyclus Relevant ja/nee Toelichting Probleemanalyse Ontwerp Data verkennen en preparatie De vraag is of dit voldoende plek is voor een toelichting. Hoe veel tekst willen we hier precies kwijt? Je kan hier best een tijdje doortypen, maar deze vorm van weergeven is misschien niet heel geschikt als je hier heel veel meer tekst kwijt wilt. Ontwikkelen Validatie Implementatie Monitoren Archiveren vraag <p>Willen we hier onderscheid kunnen maken in wat voor soort algoritme we aan het ontwikkelen zijn?</p>"},{"location":"thema/technische-robuustheid-en-veiligheid/#vereisten","title":"Vereisten","text":"<p>Onderstaand bieden we een overzicht van alle normen die van toepassing zijn op data waaraan een overheidsorganisatie volgens geldende wet- en regelgeving aan moet voldoen bij het gebruik van algoritmes.</p> Vereisten Uitleg verplicht voor hoog-risico AI systemen (AI Act) verplicht voor impactvolle algoritmes verplicht voor niet-impactvolle algoritmes Continu\u00efteit Korte uitleg over deze norm Betrouwbare uitkomsten Data is representatief Doel en keuze algoritme Informatiebeveiliging vragen <ul> <li>Willen we deze normen ook kunnen koppelen aan de levenscyclus? Dat kunnen we misschien weer op de norm pagina doen?</li> <li>Willen we hier ook een bron vermelden? Als ik het goed begrijp komen alle normen die we nu hebben uit wettelijke verplichtingen?</li> <li>Willen we hier ook normen toevoegen die niet wettelijk verplicht zijn (of zijn dat dat aanvullende maatregelen)?</li> <li>Wat is precies het onderscheid dat we willen maken? Wanneer weet de IBW dit? Voor nu impactvol ja/nee genomen, maar we moeten sowieso ook hoog-risico AI act meenemen</li> </ul>"},{"location":"thema/technische-robuustheid-en-veiligheid/#aanvullende-maatregelen","title":"Aanvullende maatregelen","text":"Maatregel Uitleg van toepassing op impactvolle algoritmes van toepassing op niet-impactvolle algoritmes Maatregel Korte uitleg over maatregel Maatregel Korte uitleg over maatregel"},{"location":"thema/transparantie/","title":"Transparantie","text":"<p>status: dit bouwblok moet nog ontwikkeld worden</p>"},{"location":"vereisten/","title":"Vereisten","text":"<p>Een kernelement van het Algoritmekader is het beschrijven van de vereisten waar overheidsorganisaties aan moeten voldoen als zij algoritmen en AI (laten) ontwikkelen en gebruiken. Er is tal van wet- en regelgeving van toepassing op overheidsorganisaties als zij hun wettelijke taken uitvoeren. Dat geldt ook als algoritmen en AI worden ingezet ter ondersteuning van de bijbehorende werkprocessen. Hier kan worden gedacht aan de Algemene Wet Bestuursrecht, de Grondwet, de AI-verordening (vanaf inwerkingtreding), Auteurswet, de AVG en meer sectorspecifiek wet- en regelgeving. In het Algoritmekader wordt een overzicht gegeven van de vereisten die hieruit voortkomen van toepassing zijn op algoritmen en AI. </p> <p>In dit deel van het Algoritmekader kan worden genavigeerd door de verschillend vereisten. Wat precies van toepassing is, is sterk afhankelijk van de specifieke toepassing. Daarom zijn de vereisten hoogover gekoppeld aan het type technologie (rekenregel, machine learning of generatieve AI) en aan de risico classificatie (niet-impactvol, impactvol en hoge risico). Hier kan (spoedig) op worden 'gefilterd'. Dit moet gebruikers helpen om te duiden welke vereisten in welke situaties moeten worden nageleefd. </p> <p>Ter illustratie, ongeacht het type technologie, discriminerende algoritmen en AI zijn verboden en het vereisten van non-discriminatie moet in alle gevallen worden toegepast. De mate waarin dit speelt kan verschillen en het aantal te treffen maatregelen ook, maar organisaties zullen hier hoe dan ook aandacht aan moeten besteden. Dit is anders als het gaat om bijvoorbeeld het vereiste van het opnemen van algoritmen en AI in het Algoritmeregister. Dit is van belang bij impactvolle algoritmisch toepassingen en hoge risco AI-systemen. Voor de niet-impactvolle rekenregels is dit niet noodzakelijk en kan daardoor achterwege blijven. </p> Bouwblok Norm  Conformiteitsbeoordeling n.t.b.  Data n.t.b.  Duurzaamheid Bewerkstellig duurzaamheid  Fundamentele rechten Non-discriminatie  Governance Aantoonbaarheid  Governance Archiveren  Governance Data governance  Governance Eigenaarschap en beheer  Governance Kwaliteitsmanagementsysteem  Governance Mensenrechteneffectbeoordeling  Governance Risicobeheer  Governance Rollen en verantwoordelijkheden  Governance Zorgvuldigheidsbeginsel  Inkoop n.t.b.  Menselijke controle AI geletterheid  Menselijke controle Autonomie  Menselijke controle Klachtenafhandelingsprocedure  Menselijke controle Menselijke controle  Privacy en gegevensbescherming Rollen en verantwoordelijkheden  Privacy en gegevensbescherming GEB en DPIA  Privacy en gegevensbescherming Rechtmatigheid en grondslag  Privacy en gegevensbescherming Doelbinding  Privacy en gegevensbescherming Dataminimalisatie  Privacy en gegevensbescherming Geactualiseerde gegevens  Privacy en gegevensbescherming Opslagbeperking  Privacy en gegevensbescherming Bijzondere persoonsgegevens  Privacy en gegevensbescherming Privacyrechten  Privacy en gegevensbescherming Geautomatiseerde besluitvorming en profileren  Privacy en gegevensbescherming Privacy by design  Technische robuustheid en veiligheid Algoritme continuiteit  Technische robuustheid en veiligheid Betrouwbare algoritme uitkomsten  Technische robuustheid en veiligheid Data is representatief  Technische robuustheid en veiligheid Doel en keuze algoritme  Technische robuustheid en veiligheid Informatiebeveiliging  Transparantie Algoritmeregister  Transparantie Informeren over interactie  Transparantie Motiveringsbeginsel  Transparantie Traceerbaarheid  Transparantie Transparante besluitvorming <p>Nog te doen</p> <ul> <li>vereisten worden nog gekoppeld aan de levenscyclus</li> <li>vereisten krijgen nog een duidelijkere titel</li> <li>vereisten worden nog aangevuld met risico's, toelichting, etc. </li> </ul> <p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/conformiteitsbeoordeling/","title":"Conformiteitsbeoordeling","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./","title":"n.t.b.","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#norm","title":"Norm","text":""},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#bronnen","title":"Bronnen","text":""},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#toelichting","title":"Toelichting","text":""},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#hoe","title":"Hoe?","text":""},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/conformiteitsbeoordeling/n.t.b./#best-practices","title":"Best practices","text":""},{"location":"vereisten/data/","title":"Data","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/data/n.t.b./","title":"n.t.b.","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/data/n.t.b./#norm","title":"Norm","text":""},{"location":"vereisten/data/n.t.b./#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/data/n.t.b./#bronnen","title":"Bronnen","text":""},{"location":"vereisten/data/n.t.b./#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/data/n.t.b./#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/data/n.t.b./#toelichting","title":"Toelichting","text":""},{"location":"vereisten/data/n.t.b./#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/data/n.t.b./#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/data/n.t.b./#best-practices","title":"Best practices","text":""},{"location":"vereisten/duurzaamheid/","title":"Duurzaamheid","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/","title":"Bewerkstellig duurzaamheid","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#norm","title":"Norm","text":"<p>Bewerkstellig duurzaamheid; ook in de ontwikkeling van algoritmen.</p>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#risico","title":"Risico","text":"<p>De impact van het model op het milieu is disproportioneel hoog.</p>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, recital 46a</li> </ul>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#toetsingskaders","title":"Toetsingskaders","text":"<ul> <li>SDG 11</li> <li>EC/AI HLEG April 2019 hoofdstuk II 1.6</li> <li>ADR DM.24</li> </ul>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#toelichting","title":"Toelichting","text":"<p>Het trainen van een neuraal netwerk kost bijv. meer energie dan een beslisboom. Er is meegenomen of de hoeveelheid gebruikte energie proportioneel is voor het doel dat van het algoritme. Daarnaast is nagedacht hoe de milieu-impact bij de ontwikkeling zo laag mogelijk kan worden gehouden. Parameters worden bijv. tijdens het trainen niet via trial and error bepaald als deze ook afgeleid kunnen worden.</p> <p>AI-systemen moeten worden ontwikkeld en gebruikt op een duurzame en milieuvriendelijke manier, evenals op een manier die ten goede komt aan alle mensen, terwijl de langetermijneffecten op het individu, de samenleving en de democratie worden gecontroleerd en beoordeeld.</p>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#maatregelen","title":"Maatregelen","text":"<p>Aanbeveling; geen maatregel: Inventariseer de impact op het milieu en neem deze mee bij de modelkeuze en ontwikkeling. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</p>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/duurzaamheid/Bewerkstellig%20duurzaamheid/#best-practices","title":"Best practices","text":""},{"location":"vereisten/fundamentele%20rechten/","title":"Fundamentele rechten","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/","title":"Non discriminatie","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#norm","title":"Norm","text":"<p>Verbod op ongelijke behandeling in gelijke omstandigheden. Discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht of op welke grond dan ook, is niet toegestaan.</p>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#risico","title":"Risico","text":"<ul> <li> <p>Toepassing van het model leidt tot discriminatie op basis van beschermde persoonskenmerken. </p> </li> <li> <p>Andere data dan beschermde persoonskenmerken leiden tot discriminatie in de uitkomsten. </p> </li> <li> <p>Het gebruik van proxy variabelen leidt tot indirecte discriminatatie.</p> </li> <li> <p>Bias in het algoritme leidt tot discriminatie</p> </li> </ul>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Grondwet Art. 1</li> <li>EVRM Art. 1 en 14, jo. 21 HvEU jo. 1 GW</li> <li>Algemene wet gelijke behandeling, Protocol 12 2.2, Artikel 1 lid 1 sub c </li> <li>Aritkel 9 AVG</li> </ul>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#toetsingskaders","title":"Toetsingskaders","text":"<p>EC/AI HLEG April 2019 - hoofdstuk II. 1.1, 1.5</p>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#toelichting","title":"Toelichting","text":"<ul> <li>Er is sprake van een objectieve rechtvaardiging als sprake is van een legitiem doel en het middel dat wordt gebruikt om het doel te bereiken is passend, noodzakelijk en evenredig. Om te bepalen of een algoritme verboden onderscheid maakt, moet worden bekeken of door het algoritme sprake is van een ongelijke behandeling van een persoon of groep personen in verhouding tot anderen in een vergelijkbare situatie.</li> </ul> <p>Verdacht onderscheid op basis van onder andere:</p> <ul> <li>Burgerlijke staat</li> <li>Handicap/chronische ziekte</li> <li>Geslacht (incl. genderidentiteit)</li> <li>Godsdienst</li> <li>Leeftijd</li> <li>Levensovertuiging</li> <li>Nationaliteit</li> <li>Politieke gezindheid</li> <li>Ras/etniciteit</li> <li> <p>Seksuele gerichtheid</p> </li> <li> <p>Onvoldoende representativiteit in de trainingsdata kan leiden tot ongelijke uitkomsten Onvoldoende representativiteit in de trainingsdata kan leiden tot ongelijke uitkomsten. Kan bij voorspellende algoritmes ook leiden tot ongewenste feedbackloops. (Gebruik van data van bijvoorbeeld vroegere surveillances en criminaliteitscijfers in nieuwe algoritmes kan leiden tot link aan wijken, personen met een immigratieachtergrond. Indien het geval, is dit niet representatief en neutraal)</p> </li> <li> <p>Ogenschijnlijk neutrale data die op het eerste gezicht geen enkele link hebben met afkomst of nationaliteit kunnen leiden tot indirect onderscheid op grond van ras of nationaliteit. Voorbeelden zijn postcode, hoogte van inkomen, hoogte van inkomensafhankelijke toeslagen, kinderopvang door een gastouderbureau met een \u2018homogeen\u2019 klantenbestand, een familielid in het buitenland, kenteken en laaggeletterdheid. (ook black box opties zoal bias mitigation met adversarial networks zijn mogelijk)</p> </li> <li> <p>Van belang bij de gemete bias die duidt op discriminatie is het kijken vanuit wetgeving \u00e9n wenselijkheid.</p> </li> <li>Eerst moet duidelijk worden wat eerlijk is voor het proces. Dan kunnen fairness metrics worden opgesteld om eerlijkheid te meten</li> <li>Documentatie van de aanpak van bias bevordert de controleerbaarheid.</li> <li>De keuze voor een gewenste prestatie per groep is een ethische afweging. </li> <li>Bias in de trainingsdata kan leiden tot bias in het model. Regels in het model kan leiden tot bias. De beslissing van de eindgebruiker kan leiden tot bias. Bias in de inputdata kan doorwerken tot bias in de uitkomst.</li> <li>Een model kan gemiddeld goed presteren, maar kan voor bepaalde subgroepen die minder in de testset aanwezig waren verkeerde uitkomsten geven. Een ongebalanceerde dataset kan ervoor zorgen dat het model minder goed presteert voor sommige subgroepen in de data.</li> <li>Tijdens de ontwikkeling van het model kunnen methoden om bias te corrigeren helpen om uiteindelijk aan de prestatiecriteria te voldoen. Testresultaten op de uitkomtstbias tijdens het ontwikkelen zijn ook wenselijk. Merk op dat voor het meten van uitkomst bias alleen de inputdata en uitkomst van het model nodig is. Uitkomstbias kan zonder gelabelde dataset gemeten worden.</li> </ul>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#maatregelen","title":"Maatregelen","text":"<ul> <li>Stel vast of bij het doel, design of de uitkomst van het algoritme sprake is van mogelijk verdacht (direct of indirect) onderscheid. Maak bij de uitkomst ook gebruik van controlevariabelen (bijvoorbeeld nationaliteit/ras). Stel vervolgens vast of dit leid tot benadeling. Bepaal of er goede redenen zijn voor het maken van onderscheid zoals een wettelijke uitzondering of een objectieve rechtvaardiging.  Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</li> <li>Zorg voor gelijke mate van vertegenwoordiging relevante groepen. Selecteer een afgebakende toepassing om het systeem te testen; zorg dat deze afgebakende toepassing representatief is voor het gehele domein waarop het AI-systeem later wordt ingezet. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme. </li> <li>Documenteer de mate van afhankelijkheid van historische data. Weeg af of de geconstateerde afhankelijkheid wenselijk is en of deze op discriminatie duidt. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</li> <li>Identificeer bij een onrechtmatigheid in de uitkomst van het algoritme ogenschijnlijk neutrale data (proxies). Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</li> <li>Beoordeel of de geconstateerde bias wenselijk is en of deze op discriminatie duidt. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</li> <li>Documenteer in de funtionele eisen de definitie van acceptabele bias. In de documentatie waarin deze eisen tot meetbare prestatiecriteria zijn uitgewerkt is te vinden welke fairness metrics hierbij horen. Maak de consequenties expliciet.</li> <li>Documenteer in de functionele eisen de methoden van voorkomen, detecteren en corrigeren van bias. Maak de consequenties expliciet.</li> <li>Documenteer in de functionele eisen de doelstelling voor en definitie van de verschillende groepen en gewenste prestatie van het model voor deze groepen. Maak de consequenties expliciet en bespreek dit in het ethisch gesprek.</li> <li>Documenteer de mate van bias in de (trainings)data, dataverzameling en het model. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</li> <li>Beoordeel tijdens de ontwikkeling van het model of een verschil bestaat tussen prestatie van het model voor verschillende subgroepen. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</li> <li>Beoordeel of de uitkomstbias van de productiedata voor de verschillende subgroepen voldoet aan de productiecriteria. Doe dit ook met een testset gedurende het ontwikkelproces. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het (tijdelijk) stopzetten van het algoritme.</li> </ul>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/fundamentele%20rechten/Non%20discriminatie/#best-practices","title":"Best practices","text":"<p>Het is aan te bevelen om hiervoor de handreiking non-discriminatie by design te gebruiken.</p> <p>Indien risicoprofielen worden ingezet en bestaat een risico op discriminatie, dan kan de Beslisboom van het College van de Rechten van de Mens worden gebruikt.</p>"},{"location":"vereisten/governance/","title":"Governance","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Aantoonbaarheid/","title":"Aantoonbaarheid","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Aantoonbaarheid/#norm","title":"Norm","text":"<p>Technische documentatie moet worden opgesteld op een manier die aantoont dat het hoog risico AI-systeem voldoet aan de eisen, en de nationale toezichthoudende autoriteiten en aangemelde instanties voorzien van de nodige informatie om de naleving van de eisen voor het AI-systeem te beoordelen.</p>"},{"location":"vereisten/governance/Aantoonbaarheid/#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/governance/Aantoonbaarheid/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/governance/Aantoonbaarheid/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, artikel 11</li> </ul>"},{"location":"vereisten/governance/Aantoonbaarheid/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/governance/Aantoonbaarheid/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/governance/Aantoonbaarheid/#maatregelen","title":"Maatregelen","text":"<p>Hierbij kan verwezen worden naar informatie over het algoritme in het Algoritmeregister. </p>"},{"location":"vereisten/governance/Aantoonbaarheid/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/governance/Aantoonbaarheid/#best-practices","title":"Best practices","text":"<p>Voorbeeld toevoegen van hoe er in een brief aan een burger verwezen wordt naar het Algoritmeregister. </p>"},{"location":"vereisten/governance/Archiveren/","title":"De Archiefwet is ook van toepassing op algoritmen en AI.","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Archiveren/#archiveren","title":"Archiveren","text":""},{"location":"vereisten/governance/Archiveren/#vereiste","title":"Vereiste","text":"<p>Overheidsorganen zijn verplicht de onder hen berustende archiefbescheiden in goede, geordende en toegankelijke staat te brengen en te bewaren, alsmede zorg te dragen voor de vernietiging van de daarvoor in aanmerking komende archiefbescheiden.</p>"},{"location":"vereisten/governance/Archiveren/#toelichting","title":"Toelichting","text":"<p>Volgens de Archiefwet moeten overheden informatie bewaren. Op basis van deze informatie moet  gereconstrueerd kunnen worden hoe besluiten, ook in de context van algoritmen en AI, tot stand zijn gekomen. Informatie over en van algoritmen en AI moet daarom ook bewaard en vernietigd worden.</p>"},{"location":"vereisten/governance/Archiveren/#bronnen","title":"Bronnen","text":"Type Bron Toelichting Wet- en regelgeving Art. 3 Archiefwet Wet- en regelgeving Art 15 lid 2 Archiefwet Wet- en regelgeving Archiefbesluit 1995 Wet- en regelgeving Archiefregeling"},{"location":"vereisten/governance/Archiveren/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"hoog-risico AI systemen (AI Act) impactvolle algoritmes niet-impactvolle algoritmes"},{"location":"vereisten/governance/Archiveren/#risico","title":"Risico","text":"<p>Zonder goede toepassing van de Archiefwet is het voor betrokkene(n) of derden niet mogelijk om achteraf te reconstrueren en te controleren hoe besluiten, waar algoritmen en AI aan hebben bijgedragen, tot stand zijn gekomen. Het nalaten om archiefbescheiden na verloop van tijd te verwijderen brengt risico's met zich mee op het gebied van privacy en informatiebeveiliging </p>"},{"location":"vereisten/governance/Archiveren/#normen","title":"Normen","text":"<p>In afwachting van normalisatieproces</p>"},{"location":"vereisten/governance/Archiveren/#maatregelen","title":"Maatregelen","text":"<p>De aanbevolen maatregelen zijn afhankelijk van de gebruikte techiek van het algoritme. Selecteer hieronder de gebruikt techniek. </p> RekenregelsMachine learningGeneratieve AI MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader <p>opmerking</p> <p>Het kan zo zijn dat de te nemen maatregelen afhankelijk zijn van de gebruikte techniek. </p>"},{"location":"vereisten/governance/Data%20governance/","title":"Data governance","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Data%20governance/#norm","title":"Norm","text":"<p>Hoge risico AI systemen moeten een data governance system implementeren.</p>"},{"location":"vereisten/governance/Data%20governance/#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/governance/Data%20governance/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/governance/Data%20governance/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, artikel 10</li> </ul>"},{"location":"vereisten/governance/Data%20governance/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/governance/Data%20governance/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/governance/Data%20governance/#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/governance/Data%20governance/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/governance/Data%20governance/#best-practices","title":"Best practices","text":""},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/","title":"Eigenaarschap en beheer","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#norm","title":"Norm","text":"<p>Motiveer de deugdelijke inzet van algoritmen.</p>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#risico","title":"Risico","text":"<p>Afhankelijkheid van externe deskundigen die na het ontwikkelen van het algoritme met de betreffende kennis en ervaring weggaan, waardoor continu\u00efteit en beheersing daarna niet meer gewaarborgd is.</p>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<p>Art. 3.46 Awb (bij besluiten)</p>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#toetsingskaders","title":"Toetsingskaders","text":"<p>EC/AI HLEG April 2019 - hoofdstuk II. 1.1, 1.4 en 1.7 ADR SV.11, DM.10, SV.16, SV.17, SV.19 ARK 1.07, 2.01/2.02/2.03</p>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#toelichting","title":"Toelichting","text":"<ul> <li>Overeenkomst met betreffende partij met afspraken over o.a. eigenaarschap en beheer (bijv. SLA). Maatregelen om een te grote afhankelijkheid te voorkomen moeten zijn beschreven/getroffen, zoals het opstellen van een exitstrategie. Bij het maken van afspraken met leveranciers moet aandacht zijn voor het risico op vendor lock-in. Hiervan is sprake als de opdrachtgever afhankelijk wordt van een externe partij (ontwikkelaar), omdat deze niet in staat is om van partij te veranderen zonder substanti\u00eble omschakelingskosten of ongemak.</li> <li>De documentatie moet dusdanig begrijpelijk zijn dat het voor (nieuwe) medewerkers hoe een model gebruikt moet worden (collegiale uitlegbaarheid). Ook wanneer de ontwikkelaars van het model niet meer binnen de organisatie werken. Instructies over het gebruik van het model. Bij medewerkers navragen of de instructies bekend zijn. Het algoritme moet uitlegbaar zijn en er moet een afweging plaatsvinden tussen de uitlegbaarheid van het model en de prestatie van het model.</li> </ul>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#maatregelen","title":"Maatregelen","text":"<ul> <li>Bij uitbesteding van onderdelen of activiteiten met betrekking tot het algoritme zijn afspraken met betrokken externe partijen gemaakt en vastgelegd m.b.t. eigenaarschap, beheer, prestatiecriteria en reproduceerbaarheid van het algoritme</li> <li>De documentatie over het model (ontwerp, werking en voorwaarden) is beschikbaar en begrijpelijk voor ontwikkelaars, gebruikers en de eigenaar van het model.</li> </ul>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/governance/Eigenaarschap%20en%20beheer/#best-practices","title":"Best practices","text":"<p>Overeenkomst met betreffende partij met afspraken over o.a. eigenaarschap en beheer (bijv. SLA). Maatregelen om een te grote afhankelijkheid te voorkomen zijn beschreven/getroffen, zoals het opstellen van een exitstrategie</p>"},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/","title":"Kwaliteitsmanagementsysteem","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#norm","title":"Norm","text":"<p>Hoge risico AI systemen moeten een Kwaliteitsmanagementsysteem implementeren.</p>"},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, artikel 17</li> </ul>"},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/governance/Kwaliteitsmanagementsysteem/#best-practices","title":"Best practices","text":""},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/","title":"Mensenrechteneffectbeoordeling","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/#archiveren","title":"Archiveren","text":""},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/#vereiste","title":"Vereiste","text":"<p>Een mensenrechteneffectbeoordeling / Fundamental Right Impact Assessment is verplicht, indien een verwerking van persoonsgegevens waarschijnlijk een hoog risico inhoudt voor de rechten van natuurlijke personen</p>"},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/#bronnen","title":"Bronnen","text":"Type Bron Toelichting"},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"hoog-risico AI systemen (AI Act) impactvolle algoritmes niet-impactvolle algoritmes"},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/#risico","title":"Risico","text":""},{"location":"vereisten/governance/Mensenrechteneffectbeoordeling/#maatregelen","title":"Maatregelen","text":"<p>De aanbevolen maatregelen zijn afhankelijk van de gebruikte techiek van het algoritme. Selecteer hieronder de gebruikt techniek. </p> RekenregelsMachine learningGeneratieve AI MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader <p>opmerking</p> <p>Het kan zo zijn dat de te nemen maatregelen afhankelijk zijn van de gebruikte techniek. </p>"},{"location":"vereisten/governance/Risicobeheer/","title":"Risicobeheer","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Risicobeheer/#norm","title":"Norm","text":"<p>Er moet een risicobeheersysteem worden opgezet, ge\u00efmplementeerd, gedocumenteerd en onderhouden met betrekking tot hoog risico AI-systemen gedurende de volledige levenscyclus.</p>"},{"location":"vereisten/governance/Risicobeheer/#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/governance/Risicobeheer/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/governance/Risicobeheer/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, artikel 9</li> </ul>"},{"location":"vereisten/governance/Risicobeheer/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/governance/Risicobeheer/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/governance/Risicobeheer/#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/governance/Risicobeheer/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/governance/Risicobeheer/#best-practices","title":"Best practices","text":""},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/","title":"Rollen en verantwoordlijkheden","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#norm","title":"Norm","text":"<p>Rollen en verantwoordlijkheden m.b.t. de verwerking van persoonsgegevens zijn gespecificeerd.</p>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#risico","title":"Risico","text":"<p>Rollen en verantwoordelijkheden m.b.t. de verwerking van persoonsgegeven in het algoritme zijn niet helder belegd.</p>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 24,26,27, 28,29 AVG</li> </ul>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.1 ARK 3.09</p>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#toelichting","title":"Toelichting","text":"<p>De verwerkingsverantwoordelijke bepaalt de doeleinden waarvoor en de middelen waarmee persoonsgegevens worden verwerkt. Als uw organisatie dus beslist \u201ewaarom\u201d en \u201ehoe\u201d persoonsgegevens moeten worden verwerkt, is zij de verwerkingsverantwoordelijke. </p> <p>Uw organisatie is een gezamenlijke verwerkingsverantwoordelijke als zij samen met \u00e9\u00e9n of meer organisaties gezamenlijk bepaalt \u201ewaarom\u201d en \u201ehoe\u201d persoonsgegevens moeten worden verwerkt. Gezamenlijke verwerkingsverantwoordelijken dienen een regeling te treffen waarin hun respectieve verantwoordelijkheden voor de naleving van de AVG-regels worden vastgelegd.</p> <p>De verwerker verwerkt persoonsgegevens uitsluitend ten behoeve van de verwerkingsverantwoordelijke. De taken van de verwerker jegens de verwerkingsverantwoordelijke moeten in een verwerkersovereenkomst of een andere rechtshandeling worden gespecificeerd.</p>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#maatregelen","title":"Maatregelen","text":"<p>Ga van alle betrokken partijen na wat hun rol is en documenteer deze. Zorg ervoor dat met alle verwerkers een verwerkersovereenkomst is afgesloten. </p>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/governance/Rollen%20en%20verantwoordelijkheden/#best-practices","title":"Best practices","text":""},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/","title":"Zorgvuldigheidsbeginsel","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#norm","title":"Norm","text":"<p>Zorgvuldig omgaan bij de ontwikkeling en de inzet algoritmes.</p>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#risico","title":"Risico","text":"<ol> <li>Zonder eenduidigheid over het doel is geen sturing op en verantwoording over het algoritme mogelijk en is er een groter risico op fouten en/of verschillen in interpretatie</li> <li>De impact van het algoritme  is niet inzichtelijk, waardoor niet helder is welke maatregelen moeten worden getroffen om ongewenste effecten (zoals bias en discriminatie) te voorkomen.</li> <li>Zonder actueel beeld van risico's kan er geen goede afweging worden gemaakt of de voordelen van de toepassing van het algoritme opwegen tegen de nadelen. Risico's worden niet (tijdig) vastgesteld en adequaat geadresseerd en behandeld. </li> <li>Rollen en verantwoordelijkheden zijn niet duidelijk belegd of onvoldoende geborgd. </li> <li>Het algoritme kan negatieve gevolgen hebben voor grondrechten</li> <li>Zonder evaluatie van de kwaliteit van het algoritme is er geen goede sturing, beheersing en verantwoording mogelijk over de  inzet van het algoritme. </li> </ol>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, artikel 29</li> <li>Art. 3.2 Awb (bij besluiten)</li> </ul>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#toetsingskaders","title":"Toetsingskaders","text":"<ul> <li>EC/AI HLEG April 2019 - Hoofdstuk I. 1.1 &amp; Hoofdstuk II. 1.1,1.2, 1.5, 1.6 en 1.7 </li> <li>COBIT EDM03 / APO12 /  APO01.02 / EDM01</li> <li>ADR SV.1, SV.2, SV.3,SV.4,SV.13,SV.9 en SV. 10, SV.12</li> <li>ARK 1.01, 2.02,1.02, 1.08,1.05</li> </ul>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#toelichting","title":"Toelichting","text":"<ul> <li>Het doel van het algoritme moet helder zijn gedefinieerd, ook in relatie tot het maatschappelijke resultaat (outcome), en wordt gedeeld door de eigenaar, ontwikkelaar en gebruiker van het algoritme. Een bewuste afweging of het algoritme het juiste middel is om het probleem op doelmatige en doeltreffende wijze op te lossen is gemaakt en vastgelegd. De publieke waarden die met de inzet van algoritmes worden ingegeven, zoals gelijkwaardigheid en veiligheid, maar ook grondrechten die worden geraakt, zijn ge\u00efnventariseerd en gewogen. Ook de doeltreffendheid, subsidiariteit en proportionaliteit van het in te zetten algoritme zijn afgewogen.</li> <li>Het gaat om zowel de impact op personen of doelgroepen, als de bredere impact op de samenleving (vanuit sociaal, democratisch en milieu/ecologisch perspectief).</li> <li>Het gaat hier om het feit dat er over risico's wordt nagedacht. De organisatie moet beschikken over een ingericht en gedocumenteerd proces voor risicobeheersing.</li> <li>Duidelijkheid en borging van rollen en verantwoordelijkheden zorgen voor een effectief en verantwoord verloop van het proces rondom de inzet van een algoritme. Alle relevante belanghebbenden zijn bij de ontwikkeling en inzet van het algoritme betrokken. Het personeel (intern en extern) dat werkt met het algoritme moet over voldoende deskundigheid en competenties beschikken. Dit moet in ieder geval blijken uit de risicoanalyse, waarbij de organisatie maatregelen neemt om eventuele gaten te overbruggen. De organisatie heeft een goed beeld van de beschikbare resources (kwalitatief en kwantitatief) en stuurt daarop.</li> <li>In situaties wanneer dergelijke risico\u2019s bestaan, kan een effectbeoordeling worden uitgevoegd wat grondrechten betreft. Dit kan voorafgaand de ontwikkeling van het algoritme worden uitgevoerd en moet een evaluatie omvatten van de vraag of de risico\u2019s kunnen worden beperkt of gerechtvaardigd. De afwegingen tussen de verschillende beginselen en rechten moeten zijn vastgesteld en gedocumenteerd.</li> <li>Kwaliteit is o.a. doeltreffendheid, doelmatigheid, betrouwbaarheid en accuraatheid (geschiktheid) en non-discriminatie. Evaluatie kan bijv. worden gedaan d.m.v. peerreview. Een proces voor een periodieke evaluatie van de kwaliteit van het algoritme is gedocumenteerd en in werking. De resultaten worden met belanghebbenden gedeeld. De organisatie analyseert of (interne en externe) klachten en incidenten het gevolg kunnen zijn van het gebruik van het algoritme. De verantwoordelijke in de business legt verantwoording af over de ontwikkeling, inzet en werking van het algoritme.</li> </ul>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#maatregelen","title":"Maatregelen","text":"<ul> <li>Het doel en eventuele subdoelen van het algoritme moeten zo specifiek mogelijk zijn geformuleerd, en waar mogelijk gekwantificeerd.  Maak hiervoor gebruik van een multidisciplinaire aanpak en betrek hierbij meerdere gremia. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het niet inzetten van het algoritme.</li> <li>Onderzoek (aan de hand van een mensenrechtentoets) welke groepen kwetsbaar zijn voor een fout van het algoritme en welke impact dat heeft op deze groepen. Het betreft de \u2018menselijke maat\u2019 bij het nemen van beslissingen op basis van de output van het algoritme. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het niet inzetten van het algoritme.</li> <li>Zorg ervoor dat op vastgelegde (periodieke) momenten een afweging plaats vindt van de risico\u2019s over het gebruik van het algoritme. Alle stappen van risicomanagement zijn uitgevoerd en op het juiste niveau in de organisatie behandeld, waaronder het identificeren, analyseren, evalueren (t.a.v. risk appetite), behandelen (risicoreactie, o.a. maatregelen), monitoren &amp; beoordelen en communiceren &amp; rapporteren van risico's. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het niet inzetten of (tijdelijk) stopzetten van het algoritme.</li> <li>De rollen en verantwoordelijkheden bij de ontwikkeling en inzet van het algoritme zijn belegd en gedocumenteerd.</li> <li>Onderzoek of het algoritme een onrechtvaarigde inbreuk maakt op grondrechten (aan de hand van een mensenrechtentoets). Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het niet inzetten van het algoritme of het (tijdig) stopzetten.</li> <li>Er vindt periodiek een evaluatie plaatst van de op de werking en de kwaliteit van het algoritme. Er kunnen namelijk wijzigingen in de werking van het model of de inputdata zijn. De analyse van klachten en incidenten is hier ook onderdeel van. Maak de consequentie expliciet en leg deze op het juiste niveau vast. Neem indien nodig tegenmaatregelen. Een ultimate tegenmaatregel kan zijn het niet inzetten van het algoritme of het (tijdig) stopzetten.</li> </ul>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/governance/Zorgvuldigheidsbeginsel/#best-practices","title":"Best practices","text":""},{"location":"vereisten/inkoop/","title":"Het inkopen van algoritmen en kunstmatige intelligentie door overheidsinstellingen","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/","title":"Verbod op schenden auteursrechten","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/#auteursrechten","title":"Auteursrechten","text":""},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/#vereiste","title":"Vereiste","text":"<p>Auteursrechten mogen niet geschonden worden bij het ontwikkelen en gebruiken van algoritmen en AI.</p>"},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/#toelichting","title":"Toelichting","text":"<p>Bepaalde vormen van algoritmen en AI worden ontwikkeld op basis van grote hoeveelheden data. Deze data wordt gebruikt voor het trainen en testen van algoritmen en AI. Het gebruiken van deze data mag geen inbreuk maken op Auteursrechten van diegene die deze rechten heeft. Ook de gegenereerde output van algoritmen en AI mag geen inbreuk maken op deze rechten.  </p>"},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/#bronnen","title":"Bronnen","text":"Type Bron Toelichting Wet- en regelgeving Art. 1, 4-9, 10, 13, 15n jo 15o Auteurswet Wet- en regelgeving Art. 3 en 4 DSM-Richtlijn"},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"hoog-risico AI systemen (AI Act) impactvolle algoritmes niet-impactvolle algoritmes"},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/#risico","title":"Risico","text":"<p>Het is onduidelijk of de ontwikkelaar van het algoritme of AI voldoende rekening heeft gehouden met de rechten van auteurs wiens werken al dan niet zijn gebruikt als trainingsdata voor het ontwikkelde algoritme of AI. Daardoor ontstaat het risico, bv. bij scraping van data van het internet, dat auteursrechten worden geschonden. </p>"},{"location":"vereisten/inkoop/verbod-op-schenden-auteursrechten/#maatregelen","title":"Maatregelen","text":"<p>De aanbevolen maatregelen zijn afhankelijk van de gebruikte techiek van het algoritme. Selecteer hieronder de gebruikt techniek. </p> RekenregelsMachine learningGeneratieve AI MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader <p>opmerking</p> <p>Het kan zo zijn dat de te nemen maatregelen afhankelijk zijn van de gebruikte techniek. </p>"},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/","title":"Verbod op schenden databankenrechten","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/#auteursrechten","title":"Auteursrechten","text":""},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/#vereiste","title":"Vereiste","text":"<p>Het is verboden onbevoegd data op te vragen of te hergebruiken uit een databank, wanneer deze systematisch zijn geordend en door een substanti\u00eble investering tot stand is gekomen. </p>"},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/#toelichting","title":"Toelichting","text":"<p>Databankenrecht beschermt tegen kopi\u00ebren of oneigenlijk gebruik van gegevens in een databank.. Degene die een substanti\u00eble financi\u00eble investering heeft verricht om de databank tot stand te brengen, krijgt een verbodsrecht en kan zo andere verbieden de databank te gebruiken. </p>"},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/#bronnen","title":"Bronnen","text":"Type Bron Toelichting Wet- en regelgeving Artikel 1 lid 1 onder a Databankenwet Hier nog ruimte om aan te geven wat de wetgeving precies zegt"},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"hoog-risico AI systemen (AI Act) impactvolle algoritmes niet-impactvolle algoritmes"},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/#risico","title":"Risico","text":"<p>Als een ontwikkelaar onbevoegd gebruik heeft gemaakt van data uit een databank bij de ontwikkeling van algoritmen en AI, wordt het databankenrecht geschonden van de eigenaar. Dit kan financi\u00eble gevolgen hebben voor ontwikkelaar en/of het kunnen gebruiken het algoritme of AI. </p>"},{"location":"vereisten/inkoop/verbod-op-schenden-databankenrechten/#maatregelen","title":"Maatregelen","text":"<p>De aanbevolen maatregelen zijn afhankelijk van de gebruikte techiek van het algoritme. Selecteer hieronder de gebruikt techniek. </p> RekenregelsMachine learningGeneratieve AI MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader <p>opmerking</p> <p>Het kan zo zijn dat de te nemen maatregelen afhankelijk zijn van de gebruikte techniek. </p>"},{"location":"vereisten/menselijke%20controle/","title":"Menselijke controle","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/","title":"AI geletterdheid","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#norm","title":"Norm","text":"<p>Aanbieders en gebruikers van AI-systemen moeten maatregelen nemen om ervoor te zorgen dat hun personeel en andere personen die betrokken zijn bij de werking en het gebruik van AI-systemen namens hen, een voldoende niveau van AI-geletterdheid hebben.</p>"},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, artikel 4</li> </ul>"},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/menselijke%20controle/AI%20geletterdheid/#best-practices","title":"Best practices","text":""},{"location":"vereisten/menselijke%20controle/Autonomie/","title":"Autonomie","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/menselijke%20controle/Autonomie/#norm","title":"Norm","text":"<p>AI-systemen moeten worden ontwikkeld en gebruikt als een instrument dat mensen dient, de menselijke waardigheid en persoonlijke autonomie respecteert, en dat op een manier functioneert die op passende wijze kan worden gecontroleerd en overzien door mensen.</p>"},{"location":"vereisten/menselijke%20controle/Autonomie/#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/menselijke%20controle/Autonomie/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/menselijke%20controle/Autonomie/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, Recital 58a</li> </ul>"},{"location":"vereisten/menselijke%20controle/Autonomie/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/menselijke%20controle/Autonomie/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/menselijke%20controle/Autonomie/#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/menselijke%20controle/Autonomie/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p> <p>-</p>"},{"location":"vereisten/menselijke%20controle/Autonomie/#best-practices","title":"Best practices","text":""},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/","title":"Klachtenafhandelingsprocedure","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#norm","title":"Norm","text":"<p>Klachtenafhandelingsprocedures moeten aanwezig zijn.</p>"},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#risico","title":"Risico","text":"<p>Betrokkenen zijn niet op de hoogte dat hun persoonsgegevens worden verwerkt middels een algoritme, waardoor zij geen controle hebben.</p>"},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, recital 58a</li> </ul>"},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/menselijke%20controle/Klachtenafhandelingsprocedure/#best-practices","title":"Best practices","text":""},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/","title":"Menselijke controle","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#norm","title":"Norm","text":"<p>Er is een gepaste mate van menselijke controle voor het specifieke algoritme en de specifieke gebruikssituatie.</p>"},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#risico","title":"Risico","text":"<p>In progress</p>"},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#maatregelen","title":"Maatregelen","text":""},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/menselijke%20controle/Menselijke%20controle/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/","title":"Privacy en gegevensbescherming","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/","title":"Bijzondere persoonsgegevens","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#norm","title":"Norm","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#het-algoritme-verwerkt-persoonsgegevens-die-alleen-op-basis-van-een-wettelijke-uitzondering-verwerkt-mogen-worden-zoals-bijzondere-persoonsgegevens-oa-gegevens-mbt-ras-of-afkomst-religie-gezondheid-of-seksuele-geaardheid-strafrechtelijke-gegevens-of-nationale-identificatienummers-oa-bsn","title":"Het algoritme verwerkt persoonsgegevens die alleen op basis van een wettelijke uitzondering verwerkt mogen worden, zoals bijzondere persoonsgegevens (o.a. gegevens m.b.t. ras of afkomst, religie, gezondheid of seksuele geaardheid), strafrechtelijke gegevens of nationale identificatienummers (o.a. BSN).","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#ai-verordening-uitzondering","title":"AI Verordening uitzondering:","text":"<p>Voor zover dit strikt noodzakelijk is met het oog op het waarborgen van de detectie en correctie van vooringenomenheid met betrekking tot AI-systemen kunnen de aanbieders van dergelijke systemen bij wijze van uitzondering bijzondere categorie\u00ebn van persoonlijke gegevens verwerken onder voorbehoud van passende waarborgen voor de fundamentele rechten en vrijheden van natuurlijke personen (zie art. 10 AI Act)</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#risico","title":"Risico","text":"<p>Verwerking van bijzondere persoonsgegevens (o.a. gegevens m.b.t. ras of afkomst, religie, gezondheid of seksuele geaardheid), strafrechtelijke gegevens of nationale identificatienummers (o.a. BSN) is alleen toegestaan als hierop een wettelijke uitzondering van toepassing is.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 9, 10 en 87 AVG, Hoofdstuk 3 UAVG en Wabb.</li> <li>Concept jan 2024 AI Act art. 10 lid 5 en 6</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.7</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#toelichting","title":"Toelichting","text":"<p>Bijzondere persoonsgegevens zijn gegevens m.b.t.: \u2022 ras of etnische afkomst \u2022 politieke opvattingen \u2022 religieuze of levensbeschouwelijke overtuigingen \u2022 lidmaatschap van een vakbond \u2022 genetische informatie \u2022 biometrische informatie met het oog op de unieke identificatie van een persoon, \u2022 gezondheid \u2022 seksueel gedrag of seksuele gerichtheid</p> <p>Verwerking hiervan is verboden tenzij hierop \u00e9\u00e9n van de wettelijke uitzonderingen van toepassing is die zijn genoemd in artikel 9 lid 2 AVG (verwerking door specifieke partijen voor specifieke doelen) of Hoofstuk 3 van de UAVG.</p> <p>De voorwaarden voor de verwerking van strafrechtelijke gegevens zijn vastgelegd in artikel 10 AVG en Paragraaf 3.2 UAVG, de voorwaarden voor de verwerking van een nationaal identificatienummer in artikel 87 AVG en Wet algemene bepalingen burgerservicenummer (Wabb)</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#maatregelen","title":"Maatregelen","text":"<p>Persoonsgegevens van bijzondere categorie\u00ebn mogen alleen worden verwerkt als aan een van de in artikel 9, lid 2, genoemde voorwaarden en aan een voorwaarde van artikel 6 is voldaan. Beoordeel en leg dit vast.</p> <p>Indien bij de geautomatiseerde besluitvorming (zoals beschreven in artikel 22 lid 1) de in artikel 9, lid 1, bedoelde bijzondere categorie\u00ebn van persoonsgegevens betrokken zijn, moet er ook voor worden gezorgd dat wordt voldaan aan de vereisten van artikel 22, lid 4.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Bijzondere%20persoonsgegevens/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/","title":"Dataminimalisatie","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#norm","title":"Norm","text":"<p>De verwerkte persoonsgegevens zijn toereikend, ter zake dienend en beperkt tot het noodzakelijke (dataminimalisatie).</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#risico","title":"Risico","text":"<p>De verwerkte persoonsgegevens zijn niet proportioneel en relevant in relatie tot het doel.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 5 lid 1 onder c AVG</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#toetsingskaders","title":"Toetsingskaders","text":"<p>ARK 2.18</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#toelichting","title":"Toelichting","text":"<p>Wanneer persoonsgegevens worden verwerkt dan moeten zij voor het doel toereikend en ter zake dienend zijn. Verder mogen er niet meer persoonsgegevens worden verwerkt dan noodzakelijk voor het doel. Met andere woorden: er mogen, gelet op het doel, niet te veel, maar ook niet te weinig gegevens worden verwerkt. Wanneer namelijk te weinig gegevens worden verwerkt, dan kan er ten onrechte een onvolledig beeld ontstaan van de betrokkene.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#maatregelen","title":"Maatregelen","text":"<p>Beoordeel welke persoonsgegevens voor het algoritme nodig zijn en hoe lang deze moeten worden bewaard. Gebruik waar mogelijk geanonimiseerde of gepseudonimiseerde gegevens te gebruiken. </p> <p>Documenteer deze analyse in de DPIA. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Dataminimalisatie/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/","title":"Doelbinding","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#norm","title":"Norm","text":"<p>Persoonsgegevens mogen alleen voor welbepaalde, uitdrukkelijk omschreven en gerechtvaardigde doeleinden worden verzameld en mogen vervolgens niet verder op een met die doeleinden onverenigbare wijze worden verwerkt (doelbinding).</p> <p>AI Veordening uitzondering: Persoonsgegevens die rechtmatig zijn verzameld voor andere doeleinden mogen alleen worden verwerkt binnen een AI-regelgevingssandbox voor de ontwikkeling, training en testen van innovatieve AI-systemen, onder strikte voorwaarden.(zie art. 54 AI Act)</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#risico","title":"Risico","text":"<p>De verwerking van persoonsgegevens in het algoritme valt niet onder het doel waarvoor zij verzameld zijn of een hiermee verenigbaar doel. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), 5, lid 1, onder b AVG en Overweging 50 AVG</li> <li>Concept jan 2024 AI Act art. 54</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.4 ARK 3.08</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#toelichting","title":"Toelichting","text":"<p>In dat geval is er geen andere afzonderlijke rechtsgrond vereist dan die op grond waarvan de verzameling van persoonsgegevens werd toegestaan.</p> <p>Indien de verwerking noodzakelijk is voor de vervulling van een taak van algemeen belang of van een taak in het kader van de uitoefening van het openbaar gezag dat aan de verwerkingsverantwoordelijke is verleend, kan in het Unierecht of het lidstatelijke recht worden vastgesteld en gespecificeerd voor welke taken en doeleinden de verdere verwerking als rechtmatig en verenigbaar met de aanvankelijke doeleinden moet worden beschouwd.</p> <p>De verdere verwerking met het oog op archivering in het algemeen belang, wetenschappelijk of historisch onderzoek of statistische doeleinden, moet als een met de aanvankelijke doeleinden verenigbare rechtmatige verwerking worden beschouwd.</p> <p>De Unierechtelijke of lidstaatrechtelijke bepaling die als rechtsgrond voor de verwerking van persoonsgegevens dient, kan ook als rechtsgrond voor verdere verwerking dienen.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#maatregelen","title":"Maatregelen","text":"<p>Bij de inzet van algoritmes kunnen persoonsgegevens worden gebruikt die oorspronkelijk voor een ander doel zijn verzameld. Wanneer de verwerking gebaseerd is op Unierecht of lidstatelijk recht dat in een democratische samenleving een noodzakelijke en evenredige maatregel vormt voor met name het waarborgen van belangrijke doelstellingen van algemeen belang, moet de verwerkingsverantwoordelijke de mogelijkheid hebben de persoonsgegevens verder te verwerken, ongeacht of dat verenigbaar is met de doeleinden. Indien hiervan geen sprake is, dan moet bij hergebruik van persoonsgegevens voor andere doelen de verenigbaarheid van de verwerking uitdrukkelijk wordt onderbouwd . Of deze aanvullende verwerking verenigbaar is met de oorspronkelijke doelen waarvoor de gegevens werden verzameld, hangt af van een aantal factoren, onder andere welke informatie aanvankelijk aan de betrokkene is verstrekt. Deze factoren zijn opgenomen in de AVG en kunnen als volgt worden samengevat: \u2022 het verband tussen de doeleinden waarvoor de gegevens zijn verzameld, en de doeleinden van de verdere verwerking; \u2022 het kader waarin de gegevens zijn verzameld en de redelijke verwachtingen van de betrokkenen betreffende het verdere gebruik ervan; \u2022 de aard van de gegevens; \u2022 de gevolgen van de verdere verwerking voor de betrokkenen; en \u2022 de waarborgen die door de verwerkingsverantwoordelijke worden toegepast om voor eerlijke verwerking te zorgen en ongewenste gevolgen voor de betrokkenen te voorkomen.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Doelbinding/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/","title":"GEB/DPIA en voorafgaande raadpleging AP","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#norm","title":"Norm","text":"<p>Een gegevensbeschermingseffectbeoordeling / Data Protection Impact Assessment (GEB / DPIA) is verplicht, indien een verwerking van persoonsgegevens waarschijnlijk een hoog risico inhoudt voor de rechten en vrijheden van natuurlijke personen.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#risico","title":"Risico","text":"<p>Bij de verwerking van persoonsgegevens zijn de risico's voor de rechten en vrijheden van betrokkenen zijn niet bekend en niet gemitigeerd.  </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 35 AVG</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.2/PRI.3 ARK 3.03</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#toelichting","title":"Toelichting","text":"<p>In de AVG is op hoofdlijnen aangegeven wanneer een DPIA verplicht is. Dat is het geval als een gegevensverwerking waarschijnlijk een hoog privacyrisico oplevert voor de mensen van wie gegevens worden verwerkt.  De Autoriteit Persoonsgegevens (AP) heeft daarnaast een (niet uitputtende) lijst van soorten verwerkingen opgesteld waarvoor het uitvoeren van een DPIA verplicht is v\u00f3\u00f3rdat persoonsgegevens worden verwerkt. De inzet van machine learning en deep learning valt in veel gevallen onder \u2018gebruik van nieuwe technologie\u00ebn\u2019. Dat is een van de criteria voor een verplichte DPIA. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#maatregelen","title":"Maatregelen","text":"<p>Beoordeel of de gegevensverwerking waarschijnlijk een hoog privacyrisico oplevert voor de mensen van wie gegevens worden verwerkt. Gebruik hiervoor bijvoorbeeld de Pre-Scan DPIA van de Rijksoverheid of de DPIA Checklist van de AP. </p> <p>Indien blijkt dat de gegevensverwerking waarschijnlijk een hoog privacyrisico oplevert, dan moet een DPIA worden uitgevoerd. </p> <p>Een DPIA is een instrument om bij de verwerking van persoonsgegevens de risico\u2019s voor de rechten en vrijheden van betrokkenen in kaart te brengen en te beoordelen in hoeverre de huidige maatregelen voldoen en welke aanvullende maatregelen genomen moeten worden om de risico\u2019s zoveel mogelijk te verminderen. Hoewel een DPIA een verplichting is op basis van de AVG en voornamelijk ziet op het beoordelen van privacyrisico\u2019s, dient een DPIA dus breder opgevat te worden. Bij het bepalen van passende maatregelen die genomen dienen te worden om de naleving van de privacyregelgeving aan te tonen, dienen ook de uitkomsten van de DPIA in acht te worden genomen. De Rijksoverheid heeft het Model DPIA Rijksdienst ontwikkeld. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/GEB%20DPIA%20en%20voorafgaande%20raadpleging%20AP%20/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/","title":"Geactualisserde en juiste gegevens","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#norm","title":"Norm","text":"<p>De gegevens zijn juist en zo nodig geactualiseerd.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#risico","title":"Risico","text":"<p>De kwaliteit en integriteit van data is niet voldoende geborgd.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 5 lid 1 sub d AVG</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#toelichting","title":"Toelichting","text":"<p>Als de gegevens die in het algoritme worden gebruikt onjuist zijn, zullen ook besluiten of profielen die daaruit voortkomen onjuist zijn. Besluiten zijn mogelijk genomen op basis van verouderde gegevens of de onjuiste interpretatie van externe gegevens. Zelfs wanneer ruwe gegevens correct worden opgeslagen, is de gegevensreeks mogelijk niet geheel representatief of kunnen de analysegegevens ongemerkt vooroordelen bevatten.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#maatregelen","title":"Maatregelen","text":"<p>Verwerkingsverantwoordelijken moeten in alle stappen van het algoritmeproces juistheid in het oog houden, in het bijzonder bij: \u2022 het verzamelen van gegevens; \u2022 het analyseren van gegevens; \u2022 het opstellen van model; of \u2022 het toepassen van een model om een besluit met betrekking tot de persoon te nemen</p> <p>Documenteer de maatregelen in de DPIA. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geactualisserde%20en%20juiste%20gegevens/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/","title":"Geautomatiseerde besluitvorming en profileren","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#norm","title":"Norm","text":"<p>Betrokkenen hebben het recht om niet onderworpen te worden aan een enkel op geautomatiseerde verwerking, waaronder proflering, gebaseerd besluit, wanneer dit rechtsgevolgen heeft voor hen of het hen anderszins in aanzienlijke mate tref.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#risico","title":"Risico","text":"<p>Een betrokkene ondervindt aanmerkelijke gevolgen door een geautomatiseerd besluit, zonder dat deze een beroep op menselijke tussenkomst kan doen.  </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 22 AVG</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.10 ARK 2.06/3.04/3.05/3.11/3.13/3.14</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#toelichting","title":"Toelichting","text":"<p>Als regel geldt een algemeen verbod op uitsluitend geautomatiseerde individuele besluitvorming, met inbegrip van profilering waaraan voor de betrokkene juridische of  anderszins aanmerkelijke gevolgen zijn verbonden. </p> <p>Op grond van artikel 40 van de Uitvoeringswet AVG (UAVG) geldt het verbod op uitsluitend geautomatiseerde individuele besluitvorming, anders dan op basis van profilering, niet als deze besluitvorming noodzakelijk is om te voldoen aan een wettelijke plicht of als het noodzakelijk is om een taak van algemeen belang uit te voeren.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#maatregelen","title":"Maatregelen","text":"<p>\u200bBeoordeel of sprake is van uitsluitend geautomatiseerde besluitvorming , inclusief profilering, waaraan rechtsgevolgen zijn verbonden of dat anderszins in aanmerkelijke mate treft, zoals bedoeld in artikel 22, lid 1. Beoordeel of een van de uitzonderingen artikel 22 lid 2 AVG van toepassing is.  </p> <p>Neem passende maatregelen om de belangen van de burger te waarborgen, waaronder ten minste het recht om ge\u00efnformeerd te worden (behandeld in de artikelen 13 en 14 \u2013 in het bijzonder om noodzakelijke informatie te ontvangen over de onderliggende logica, het belang en de verwachte gevolgen voor de betrokkene), beschermingsmaatregelen, zoals het recht op menselijke tussenkomst, het recht om zijn standpunt kenbaar te maken en het recht om het besluit aan te vechten (behandeld in artikel 22, lid 3).</p> <p>Andere suggesties die volgen uit WP251 \u2022 Gegevensverzamelingen regelmatig beoordelen om te controleren of geen sprake is van vooroordelen, en manieren ontwikkelen om nadelige elementen, waaronder overmatig vertrouwen in verbanden, aan te pakken. \u2022 Systemen hanteren die algoritmen automatisch controleren.  \u2022 Evaluatie van algoritmen: het testen van de gebruikte en door machinaal lerende systemen ontwikkelde algoritmen om te bewijzen dat ze daadwerkelijk functioneren zoals bedoeld en geen discriminerende, onjuiste of ongerechtvaardigde resultaten genereren. \u2022 Regelmatige beoordelingen van de nauwkeurigheid en relevantie van geautomatiseerde besluitvorming, met inbegrip van profilering. \u2022 Auditors vereiste informatie verstrekken over werking algoritme of machinaal lerende systeem. \u2022 Hoge mate van transparantie, zoals: visualisatie- en interactieve technieken en gebruik van een mechanisme waarmee betrokkenen hun profiel kunnen controleren. \u2022 Contractuele waarborgen verkrijgen voor algoritmen van derden die bewijzen dat evaluaties en tests zijn uitgevoerd en het algoritme aan de overeengekomen normen voldoet.</p> <p>Indien bij de geautomatiseerde besluitvorming (zoals beschreven in artikel 22 lid 1) de in artikel 9, lid 1, bedoelde bijzondere categorie\u00ebn van persoonsgegevens betrokken zijn, moet er ook voor worden gezorgd dat wordt voldaan aan de vereisten van artikel 22, lid 4 AVG of artikel 40 van de UAVG. </p> <p>Bij elke verwerking die waarschijnlijk een hoog risico voor betrokkenen zal inhouden, is het verplicht zijn om een DPIA uit te voeren. Naast de beoordeling van andere risico's die aan de verwerking verbonden zijn, kan een DPIA in dit geval zeer nuttig zijn om bovenstaande stappen te documenteren. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Geautomatiseerde%20besluitvorming%20en%20profileren/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/","title":"Opslagbeperking","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#norm","title":"Norm","text":"<p>Gegevens worden niet langer worden bewaard dan nodig (opslagbeperking).</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#risico","title":"Risico","text":"<p>Persoonsgegevens worden langer bewaard dan nodig. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 5, lid 1, onder e AVG, Archiefwet</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.11</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#toelichting","title":"Toelichting","text":"<p>Persoonsgegevens mogen niet langer bewaard worden dan noodzakelijk voor het doel van de verwerking.  Wanneer de gegevens niet langer noodzakelijk zijn, dan moeten zij worden vernietigd of gewist.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#maatregelen","title":"Maatregelen","text":"<p>Stel de bewaartermijnen vast. Zorg voor vernietigingsprocedure, een document waaruit blijkt dat dit ingeregeld en/of uitgevoerd is. </p> <p>Documenteer de maatregelen in de DPIA.  </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Opslagbeperking/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/","title":"Privacy by Design en by Default","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#norm","title":"Norm","text":"<p>Privacy en gegevensbescherming is meegenomen als eis bij het ontwerp van nieuwe systemen waarmee persoonsgegevens worden verwerkt. (\u2018privacy door ontwerp en standaardinstellingen/ Privacy by Design en Privacy by Default).</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#risico","title":"Risico","text":"<p>Ontwerp en opzet van het algoritme zijn onvoldoende gericht op  de bescherming van privacy.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 25 AVG</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#toetsingskaders","title":"Toetsingskaders","text":"<p>ARK 3.02</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#toelichting","title":"Toelichting","text":"<p>Zorg ervoor dat een zo klein mogelijke inbreuk op de persoonlijke levenssfeer wordt gemaakt bij de inzet van het algoritme (met verwerking van persoonsgegevens), bijvoorbeeld door het  toepassen van pseudonimisering en het inbouwen van andere technische waarborgen. </p> <p>Bij het bepalen van de verwerkingsmiddelen en de verwerking moet u rekening houden met de volgende elementen: \u2022   de stand van de techniek; \u2022   de uitvoeringskosten; \u2022   de aard, omvang, context en het doel van de verwerking; \u2022   de risico\u2019s voor de betrokkene. Deze elementen bepalen gezamenlijk welke technische en organisatorische maatregelen u moet nemen om de gegevensbeschermingsbeginselen (artikel 5 AVG) op een doeltreffende manier uit te voeren en de nodige waarborgen in te bouwen ter naleving van de eisen uit de AVG.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#maatregelen","title":"Maatregelen","text":"<p>Data geori\u00ebnteerde ontwerp strategie\u00ebn: \u2022   Minimaliseer: beperk zoveel mogelijk de verwerking van gegevens. Selecteer voor het verzamelen. Verwijder waar mogelijk. \u2022   Scheid: scheid persoonsgegevens zoveel mogelijk van elkaar en werk zo gedistribueerd mogelijk \u2022   Abstraheer: aggregeer tot het hoogst mogelijke niveau. Beperk zoveel mogelijk het detail waarin persoonsgegevens worden verwerkt \u2022   Bescherm/maak onherleidbaar: Voorkom dat gegevens openbaar worden. Beveilig gegevens. Verbreek waar mogelijk de link tussen personen en gegevens (anonimiseer en pseudonimiseer)</p> <p>Leg dit vast in de DPIA. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacy%20by%20Design%20en%20by%20Default/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/","title":"Privacyrechten","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#norm","title":"Norm","text":"<p>Betrokkenen kunnen een beroep doen op hun privacyrechten.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#risico","title":"Risico","text":"<p>Betrokkenen hebben geen controle over hun persoonsgegevens doordat ze geen beroep kunnen doen op hun privacyrechten.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 15-21 AVG</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.9 ARK 3.12/3.15</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#toelichting","title":"Toelichting","text":"<p>De persoonsgegevens kunnen worden ingezien, gerectificeerd, verwijderd of beperkt om een juiste uitvoering te kunnen geven aan de rechten van betrokkenen.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#maatregelen","title":"Maatregelen","text":"<p>Geef aan hoe invulling wordt gegeven aan de rechten van betrokkenen. </p> <p>Stel een procedure vast waarmee o.a. aan verzoekers informatie kan worden verstrekt over geautomatiseerde verwerking van persoonsgegevens en de onderliggende logica en het belang en de verwachte gevolgen van de verwerking. </p> <p>Indien de rechten van de betrokkene worden beperkt, bepaal op grond van welke wettelijke uitzonderingen dat is toegestaan en leg dit vast. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Privacyrechten/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/","title":"Rechtmatigheid en grondslag","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#norm","title":"Norm","text":"<p>De verwerking van persoonsgegevens is rechtmatig, behoorlijk en transparant. De verwerking (inclusief het verzamelen) is gebaseerd op \u00e9\u00e9n van de wettelijke grondslagen die zijn genoemd in de AVG.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#risico","title":"Risico","text":"<ul> <li>De verwerking van persoonsgegevens gebeurt niet rechtmatig, behoorlijk of transparant. </li> <li>De verwerking (inclusief het verzamelen) van de persoonsgegevens door het algoritme is niet gebaseerd op een wettelijke grondslag.</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 5, lid 1, onder a AVG, Artikel 12-14 AVG, Artikel 6 AVG</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.6 ARK 3.12/3.13/3.14/3.15</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#toelichting","title":"Toelichting","text":"<ul> <li>Uitgangspunt is dat persoonsgegevens alleen mogen worden verwerkt voor gerechtvaardigde doeleinden. Dit betekent dat de verwerking noodzakelijk moet zijn met het oog op het bereiken van specifieke doelen. Wanneer het gerechtvaardigd is om persoonsgegevens te verwerken, moet de verwerking ervan vervolgens netjes en verantwoord gebeuren. Ten slotte moet duidelijk zijn voor welke doelen persoonsgegevens worden verwerkt en hoe dat gebeurt. Transparantie van de verwerking is een fundamenteel vereiste van de AVG. De inzet van een algoritme is voor de betrokkene vaak onzichtbaar. De mate waarin mensen dergelijke processen begrijpen, verschilt per persoon. Voor sommigen kan het moeilijk zijn de complexe technieken te begrijpen.</li> <li>De AVG noemt de volgende wettelijke grondslagen:  \u2022   Uitvoering van een overeenkomst waarbij de betrokkene partij is \u2022   Voldoen aan een wettelijke verplichting \u2022   Noodzakelijk voor vitaal belang van betrokkene \u2022   Noodzakelijk voor vervulling van een taak van algemeen belang of uitoefening openbaar gezag \u2022   Gerechtvaardigd belang van verwerkingsverantwoordelijke of een derde</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#maatregelen","title":"Maatregelen","text":"<ul> <li>De betrokkenen zijn ge\u00efnformeerd over de verwerking van persoonsgegevens. Bijvoorbeeld middels een privacyverklaring op website en indien relevant opgenomen in individuele communicatie naar betrokkene(n).</li> </ul> <p>Organisaties die gegevens verwerken zoals bedoeld in artikel 22 AVG moeten naast de algemene vereisten nuttige informatie over de onderliggende logica verstrekken. Nuttige informatie over de onderliggende logica: - Niet noodzakelijkerwijs een ingewikkelde toelichting over de gebruikte algoritmen of een  uiteenzetting van het volledige algoritme.  - De verstrekte informatie moet echter volledig genoeg zijn voor de betrokkene om de redenen van het besluit te kunnen begrijpen. - Gedetailleerde informatie over de belangrijkste kenmerken die bij de besluitvorming in  beschouwing worden genomen, de bron van deze informatie en het belang ervan. Bijvoorbeeld: \u2022 de gegevenscategorie\u00ebn die zijn gebruikt of zullen worden gebruikt in het profilerings- of  besluitvormingsproces; \u2022 de redenen waarom deze categorie\u00ebn relevant worden geacht;  \u2022 de manier waarop de in het geautomatiseerde  besluitvormingsproces gebruikte profielen worden samengesteld, met inbegrip van statistieken die in de analyse worden gebruikt; \u2022 de redenen waarom dit profiel relevant  is voor het geautomatiseerde besluitvormingsproces; en \u2022 de manier waarop het voor een besluit over de betrokkene wordt gebruikt. Neem de analyse en genomen maatregelen op in de DPIA. </p> <ul> <li>Beoordeel en leg vast op elke rechtsgrondslag als genoemd in de AVG de verwerking is gebaseerd.  Een verwerking is gerechtvaardigd wanneer het doel van de verwerking kan worden gebaseerd op een rechtsgrondslag zoals opgenomen in  \u00e9\u00e9n van de zes rechtsgrondslagen die in de AVG worden gegeven. Kan dat niet, dan is het niet toegestaan persoonsgegevens te verwerken. De lijst van rechtsgrondslagen is limitatief, er kunnen geen andere gronden worden aangevoerd. Leg dit vast in de DPIA. </li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p> <p>-</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rechtmatigheid%20en%20grondslag/#best-practices","title":"Best practices","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/","title":"Rollen en verantwoordlijkheden","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#norm","title":"Norm","text":"<p>Rollen en verantwoordlijkheden m.b.t. de verwerking van persoonsgegevens zijn gespecificeerd.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#risico","title":"Risico","text":"<p>Rollen en verantwoordelijkheden m.b.t. de verwerking van persoonsgegeven in het algoritme zijn niet helder belegd.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>Algemene Verordening Gegevensbescherming (AVG), artikel 24, 26,27, 28, 29</li> </ul>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#toetsingskaders","title":"Toetsingskaders","text":"<p>ADR PRI.1</p> <p>ARK 3.09</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#toelichting","title":"Toelichting","text":"<p>De verwerkingsverantwoordelijke bepaalt de doeleinden waarvoor en de middelen waarmee persoonsgegevens worden verwerkt. Als uw organisatie dus beslist \u201ewaarom\u201d en \u201ehoe\u201d persoonsgegevens moeten worden verwerkt, is zij de verwerkingsverantwoordelijke. </p> <p>Uw organisatie is een gezamenlijke verwerkingsverantwoordelijke als zij samen met \u00e9\u00e9n of meer organisaties gezamenlijk bepaalt \u201ewaarom\u201d en \u201ehoe\u201d persoonsgegevens moeten worden verwerkt. Gezamenlijke verwerkingsverantwoordelijken dienen een regeling te treffen waarin hun respectieve verantwoordelijkheden voor de naleving van de AVG-regels worden vastgelegd.</p> <p>De verwerker verwerkt persoonsgegevens uitsluitend ten behoeve van de verwerkingsverantwoordelijke. De taken van de verwerker jegens de verwerkingsverantwoordelijke moeten in een verwerkersovereenkomst of een andere rechtshandeling worden gespecificeerd.</p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#maatregelen","title":"Maatregelen","text":"<p>Ga van alle betrokken partijen na wat hun rol is en documenteer deze. Zorg ervoor dat met alle verwerkers een verwerkersovereenkomst is afgesloten. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/privacy%20en%20gegevensbescherming/Rollen%20en%20verantwoordelijkheden/#best-practices","title":"Best practices","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/","title":"Technische robuustheid en veiligheid","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/","title":"Algoritme continu\u00efteit","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#de-continuiteit-van-het-algoritme-is-gewaarborgd","title":"De continu\u00efteit van het algoritme is gewaarborgd.","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#toelichting","title":"Toelichting","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#maatregelen","title":"Maatregelen","text":"<ul> <li>Alle gebruikte data moeten traceerbaar of reproduceerbaar zijn. In geval van uitbesteding van het beheer aan derden moeten hierover heldere afspraken gemaakt worden gemaakt.</li> <li>Richt een proces in rondom monitoring van het algoritme.</li> <li>Zorg voor heldere afspraken op het gebied van onderhoud en beheer op het algoritme, o.a. met betrekking tot de technische componenten, de gebruikte data, het model en de daarin gebruikte parameters.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#bronnen","title":"Bronnen","text":"Norm of beheersmaatregel Bron De organisatie heeft volledige controle of eigenaarschap over de data. Wanneer dit niet mogelijk is, zijn afspraken gemaakt om de functionele eisen te waarborgen. Onderzoekskader algoritmes ADR 2023, DM.23 Vastgelegde afspraken met externe partijen, waarborgen om lock-in en te grote afhankelijkheid te voorkomen. Inclusief exit-strategie. Denk ook aan eigenaarschap van gebruikte data voor het algoritme. Toetsingskader Algemene Rekenkamer, 1.07 Ingericht proces rondom monitoring op genoemde aspecten Toetsingskader Algemene Rekenkamer, 1.08 Voor alle databronnen/gebruikte data regelen dat er geen beperkingen/verplichtingen zijn Toetsingskader Algemene Rekenkamer, 2.17 Onderhoud en beheer op de technische componenten, het model, de gebruikte data, parameters, enzovoort Toetsingskader Algemene Rekenkamer, 2.24 vragen <p>Op welk niveau willen we de normen definieren? Ik vind zelf \"De continu\u00efteit van het algoritme is gewaarborgd\" wel heel erg vaag, terwijl de maatregelen daaronder eigenlijk best concreet zijn..? is dat niet eerder het niveau waar we op willen zitten?</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#risico","title":"Risico","text":"<ul> <li>De organisatie is voor de data of het model afhankelijk van derden en kan daardoor reproduceerbaarheid, prestatie, continu\u00efteit en beheersing niet garanderen, Onderzoekskader algoritmes ADR 2023, DM.23.</li> <li>Er vindt na ingebruikname van het algoritme onvoldoende monitoring plaats op de werking ervan, waardoor fouten of ongewenste effecten in de toepassinge ervan niet tijdig worden opgemerkt.</li> <li>Er vindt onvoldoende capaciteit in de beheerorganisatie, waardoor benodigde aanpassingen op het algoritme niet tijdig worden doorgevoerd.</li> </ul> <p>EC/AI HLEG April 2019 hoofdstuk II 1.7 COBIT APO11 / BAI04 / DSS04 / PO09 / APO14 / BAI06 AKR 2.17, 1.07, 1.08, 2.24</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#toelichting_1","title":"Toelichting","text":"<ul> <li>De data en het model zijn bij voorkeur in eigen beheer. Wanneer dit niet mogelijk is, zijn afspraken gemaakt om de functionele eisen te waarborgen.</li> <li>Na ingebruikname van een algoritme moet periodiek beoordeeld worden of het nog doet wat het zou moeten doen.  Je kunt hierbij denken aan monitoring op beschikbaarheid, prestaties/kwaliteit en of het algoritme voldoet aan actuele wet- en regelgeving.</li> <li>Het risico bestaat dat bij het in productie nemen van het algoritme onvoldoende aandacht wordt besteed aan de overdracht aan de beheersorganisatie. Gevolg hiervan kan zijn dat in de beheersorganisatie onvoldioende capaciteit en/of kennis beschikbaar is om eventuele aanpassingen tijdig door te voeren. </li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#maatregelen_1","title":"Maatregelen","text":"<ul> <li>Alle gebruikte data moet traceerbaarbaar of reproduceerbaar zijn. In geval van uitbesteding van het beheer aan derden moeten hierover heldere afspraken gemaakt worden gemaakt. </li> <li>Ingericht proces rondom monitoring op genoemde aspecten.</li> <li>Onderhoud en beheer op het algoritme vindt plaats op basis van heldere afspraken, o.a. met betrekking tot de technische componenten, de gebruikte data, het model en de daarin gebruikte parameters.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Algoritme%20continu%C3%AFteit/#best-practices","title":"Best practices","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/","title":"Betrouwbare algoritme uitkomsten","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#norm","title":"Norm","text":"<p>De uitkomsten van het algoritme zijn eenduidig en betrouwbaar.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#risico","title":"Risico","text":"<ul> <li>Als trainings-, test- en validatiedata door elkaar lopen, treedt overfitting op en lijkt het model beter te presteren dan deze in werkelijkheid het geval is.</li> <li>Het doel van het algoritme, de functionele eisen van het model en de performance metrics sluiten onvoldoende op elkaar aan, waardoor niet kan worden vastgesteld of het model voldoende presteert, of dat de kwaliteit op orde is. </li> <li>Door veranderingen in de data presteert het model niet meer zoals verwacht.</li> <li>Beslissingen worden genomen op basis van outputdata die verkeerd begrepen zijn.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#toetsingskaders","title":"Toetsingskaders","text":"<p>EC/AI HLEG April 2019 - hoofdstuk II. 1.1 t/m 1.6, 1.2, 2.1\u00a7100 ADR DM.1, DM.4, DM.8, DM.12, DM.5 ARK 2.19, 2.21, 2.22, 1.06, 2.15, 2.20</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#toelichting","title":"Toelichting","text":"<ul> <li>Vermennging van trainings-, test- en validatiedata leidt tot overfitting van het model, waardoor het goed werkt voor de data waarmee het getraind is, maar niet geschikt is voor nieuwe observaties.</li> <li>De functionele eisen moeten zijn uitgewerkt in meetbare eisen voor zowel de prestatie, de robuustheid, de bias en de uitlegbaarheid van het model. Deze eisen moeten passen bij de modelspecifieke context.</li> <li>Veranderingen in de data kunnen ertoe leiden dat de prestaties van het model achteruit gaan. Wanneer veranderingen in de data niet direct duidelijk zijn, zal periodieke evaluatie plaats moeten te vinden.</li> <li>De interpretatie van de uitkomsten van het model moet eenduidig zijn en onafhankelijk van de persoon die de beoordeling uitvoert.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#maatregelen","title":"Maatregelen","text":"<ul> <li>Scheiding en documentatie van de datasets voor training, testen en validatie van et model. Let in het bijzonder op wanneer het model ge\u00fcpdatet wordt aan de hand van (deels) eerder gebruikte data. </li> <li>Documentatieer alle prestatiecriteria, inclusief de relatie met de doelstellingen en de functionele eisen van het algoritme. Bewaar testresultaten waaruit blijkt dat het algoritme aan de criteria voldoet.</li> <li>Leg voor elk algoritme de kwaliteits- en prestatiedoelen vast. Stel een procesbeschrijving op voor het monitoren hiervan. Evalueer bij veranderingen in de data of het model nog aan de doelen voldoet en pas het zonodig aan.</li> <li>Eenduidige beschrijving van variabelen. Indien nodig extra toelichting in de metadata.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Betrouwbare%20algoritme%20uitkomsten/#best-practices","title":"Best practices","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/","title":"Data is representatief","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#norm","title":"Norm","text":"<p>De data die worden gebruikt is eenduidig en representatief voor de populatie waarop het algoritme wordt toegepast.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#risico","title":"Risico","text":"<ul> <li>De input- en outputdata voldoen qua kwaliteit, volledigheid en betrouwbaarheid niet aan de functionele eisen, waardoor verkeerde beslissingen genomen.</li> <li>Door training van het model met een niet-evenwichtige dataset presteert het model in de praktijk minder goed dan bij de tests.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#toetsingskaders","title":"Toetsingskaders","text":"<p>EC/AI HLEG April 2019 - hoofdstuk II. 1.2, 2.1\u00a7100, 1.3 ADR DM.6, DM.7, DM.9 ARK 2.12, 2.16, 2.10</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#toelichting","title":"Toelichting","text":"<ul> <li>Het model doet iets anders dan verwacht als inputvariabelen en outputdata een andere betekenis hebben dan verwacht. \u00a0</li> <li>De dataset waarmee het model getraind wordt moet passend zijn bij het beoogde gebruik van het model. Trainings-, test- en validatiedata moeten zijn afgestemd op de doelgroep van het algoritme en de subgroepen daarin. </li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#maatregelen","title":"Maatregelen","text":"<ul> <li>Ga voor alle data na of deze tijdig, volledig en definitief beschikbaar is, een herleidbare afkomst heeft, consistent gecodeerd is en  duidelijke metadata bij de variabelen bevat.</li> <li>Kijk daarnaast naar het risico op datavervuiling in het proces. Stel documentatie op waarin de functionele eisen zijn opgenomen, in combinatie met resultaten van een check op het voldoen aan deze eisen. Implementeer structurele controles op correcte werking. Vastlegging van de de keuzes zijn gemaakt bij het samenstellen van de datasets en hoe de kwaliteit hiervan gewaarborgd is. Dusdanig duidelijke omschrijving van de doelpopulatie dat deze statistisch gevalideerd kan worden. Samenvattende statistieken van inputdatasets die gebruikt zijn bij de onderbouwing van data en modelkeuze. Bij de keuze voor training- en testdata in de ontwikkelfase moet zijn gelet op zowel under- als  overfitting. </li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Data%20is%20representatief/#best-practices","title":"Best practices","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/","title":"Doel en keuze algoritme","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#norm","title":"Norm","text":"<p>Het algoritme dat wordt gebruikt is geschikt voor het doel waarvoor het wordt ingezet.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#risico","title":"Risico","text":"<ul> <li>Het algoritme gebruikt een model, terwijl niet voldaan wordt aan de voorwaarden voor het gebruik ervan. </li> <li>De hyperparameters zijn niet goed gekozen, waardoor niet goed gestuurd kan worden op het leerproces en het model suboptimaal presteert. </li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#toetsingskaders","title":"Toetsingskaders","text":"<p>EC/AI HLEG April 2019 - hoofdstuk II. 1.2, 1.2 ADR DM.2, DM.3 ARK 2.06</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#toelichting","title":"Toelichting","text":"<ul> <li>Het moet duidelijk zijn onder welke voorwaarden het model wel of niet gebruikt kan worden. Denk hierbij bijvoorbeeld aan modeleisen voor de verdeling van data of afwijkingen van de productieset ten opzichte van de testset. Dit is dusdanig begrijpelijk dat de grenzen ook bekend zijn voor (nieuwe) medewerkers wanneer de ontwikkelaars van het model niet meer binnen de organisatie werkzaam zijn.</li> <li>Een hyperparameter is een parameter waarmee kan worden gestuurd op een trainings-/leerproces. Het uitvoeren van een peer review (4-ogen principe) en vastlegging van de code in Git kan hiervan een uitwerking zijn.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#maatregelen","title":"Maatregelen","text":"<ul> <li>Documenteer de grenzen van de toepasbaarheid van het model en de voorwaarden waaronder het kan worden gebruikt.</li> <li>Leg de keuze voor de hyperparameters vast en beargumenteer deze, bijvoorbeeld in Git en/of het technisch of functioneel ontwerp.</li> </ul>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Doel%20en%20keuze%20algoritme/#best-practices","title":"Best practices","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/","title":"Informatiebeveiliging","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#norm","title":"Norm","text":"<p>De informatiebeveiliging is op orde.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#risico","title":"Risico","text":"<p>Indien de informatiebeveiliging onvoldoende op orde is, brengt dit grote risico's met mee voor de beschikbaarheid, de integriteit en de vertrouwelijkheid van gegevens. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#maatregelen","title":"Maatregelen","text":"<p>Zorg ervoor dat zowel bij de onrtwikkeling van het algoritme als bij het gebruik ervan voldaan wordt aan de eisen uit de BIO. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#toetsingskaders","title":"Toetsingskaders","text":"<p>Baseline Informatieveiligheid Overheid ADR IB.1 t/m IB 30</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#toelichting","title":"Toelichting","text":"<p>De gebruikte technische infrastructuur, de inrichting en het beheer ervan moeten voldoen aan de daarvoor geldende eisenn op het gebied van informatiebeveiliging. Voor de overheid zijn deze vastgelegd in de Baseline Informatieveilgheid Overheid (BIO). De BIO concretiseert een aantal normen tot verplichte overheidsmaatregelen. De BIO is in zijn geheel van toepassing. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#maatregelen_1","title":"Maatregelen","text":"<p>Zorg ervoor dat zowel bij de onrtwikkeling van het algoritme als bij het gebruik ervan voldaan wordt aan de eisen uit de BIO. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/Informatiebeveiliging/#best-practices","title":"Best practices","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/","title":"Informatie en informatiesystemen van de overheid moet worden beveiligd.","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/#informatiebeveiliging","title":"Informatiebeveiliging","text":""},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/#vereiste","title":"Vereiste","text":"<p>Informatie en informatiesystemen moeten op de juiste manier worden beveiligd.</p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/#toelichting","title":"Toelichting","text":"<p>Informatiebeveiliging is het proces van vaststellen van de vereiste beveiliging van informatiesystemen in termen van vertrouwelijkheid, beschikbaarheid en integriteit alsmede het treffen, onderhouden en controleren van een samenhangend pakket van bijbehorende maatregelen. In Nederland is besloten dat overheidsinstellingen de Baseline Informatiebeveiliging Overheid dienen toe te passen over hun informatie en informatiesystemen. De BIO beoogt de beveiliging van informatie(systemen) bij alle bestuurslagen en bestuursorganen van de overheid te bevorderen, zodat alle onderdelen erop kunnen vertrouwen dat onderling uitgewisselde gegevens, in lijn met wet- en regelgeving,  passend beveiligd zijn. De BIO concretiseert een aantal normen tot verplichte overheidsmaatregelen.</p> <p>Algoritmen en AI-systemen en hun output kunnen onderdeel worden van de informatie en informatiesystemen waar de BIO op van toepassing is. Het is van belang om algoritmische toepassingen en AI-systemen op de juiste manier te beveiligen.  </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/#bronnen","title":"Bronnen","text":"Type Bron Toelichting Beleid Baseline Informatiebeveiliging Overheid Beleid Besluit Besluit voorschrift informatiebeveiliging rijksdienst 2007"},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/#wanneer-van-toepassing","title":"Wanneer van toepassing?","text":"hoog-risico AI systemen (AI Act) impactvolle algoritmes niet-impactvolle algoritmes { style=\"color: #4DB6AC\""},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/#risico","title":"Risico","text":"<p>Er kunnen risico's ontstaan zoals ongeautoriseerde toegang, vernietiging, verlies, wijziging of niet-toegestane verwerking van gegevens als de informatie en informatiesystemen onvoldoende zijn beveiligd.  </p>"},{"location":"vereisten/technische-robuustheid-en-veiligheid/beveiliging-informatie-en-informatiesystemen/#maatregelen","title":"Maatregelen","text":"<p>De aanbevolen maatregelen zijn afhankelijk van de gebruikte techiek van het algoritme. Selecteer hieronder de gebruikt techniek. </p> RekenregelsMachine learningGeneratieve AI MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader MaatregelBronVan toepassing op niet-impactvolle algoritmesVan toepassing op impactvolle algoritmesVan toepassing bij hoog-risico AI systeemArchiefwet onderdeel van inkoopprocesAlgoritmekaderToepassen bewaartermijnenAlgoritmekaderDuiden bewaartermijnen bij archiefbescheiden4.01 ITGC Toetingskader Algemene rekenkamerDuurzame toegankelijkheid archiefbescheidenAlgoritmekaderOpenbaarheid van de archiefbescheidenAlgoritmekaderVaststellen archiefbescheidenAlgoritmekader <p>opmerking</p> <p>Het kan zo zijn dat de te nemen maatregelen afhankelijk zijn van de gebruikte techniek. </p>"},{"location":"vereisten/transparantie/","title":"Transparantie","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/transparantie/Algoritmeregister/","title":"Transparante werking","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/transparantie/Algoritmeregister/#de-werking-van-het-algoritme-en-ai-systeem-moet-transparant-zijn","title":"De werking van het algoritme en AI-systeem moet transparant zijn","text":"Norm Uitleg verplicht voor hoog-risico AI systemen (AI Act) verplicht voor impactvolle algoritmes verplicht voor niet-impactvolle algoritmes De werking van het algoritme en AI-systeem moet transparant zijn"},{"location":"vereisten/transparantie/Algoritmeregister/#risico","title":"Risico","text":"<p>Ontbreken transparantie voor burgers/bedrijven/stakeholders (belanghebbenden)</p>"},{"location":"vereisten/transparantie/Algoritmeregister/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/transparantie/Algoritmeregister/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li>AI Act, artikel 60</li> </ul>"},{"location":"vereisten/transparantie/Algoritmeregister/#toetsingskader","title":"Toetsingskader","text":"<ul> <li>EC/AI HLEG April 2019 - Hoofdstuk II.1.4</li> <li>ARK 2.23/2.07</li> </ul>"},{"location":"vereisten/transparantie/Algoritmeregister/#standaarden","title":"Standaarden","text":""},{"location":"vereisten/transparantie/Algoritmeregister/#maatregelen","title":"Maatregelen","text":"<p>Onderstaand overzicht laat zien welke denkbare maatregelen kunnen worden getroffen om te voldoen aan de normen. Deze maatregelen dienen ter inspiratie. Organisaties zullen zelf moeten bepalen of zij deze maatregelen toepassen. </p> <p>Selecteer eerst de gebruikte techniek</p> RekenregelsMachine learningGeneratieve AI <p>De maatregelen zijn afhankelijk van het risiconiveau van het algoritme. </p> impactvolniet impactvol Maatregelen bij norm: Transparantie Uitleg Fase Algoritme Levenscyclus Inkoopproces Betrokken actoren <p>je hoeft niks te doen</p> hoog risico AI Actimpactvolniet impactvol Maatregelen bij norm: Transparantie Uitleg Fase Algoritme Levenscyclus Inkoopproces Betrokken actoren Bij de output van het algoritme moet waar mogelijk worden getoond welke variabelen een stuwend of dalend effect hebben gehad op de voorspelling. Hiermee is het voor de gebruiker en belanghebbende inzichtelijker wat heeft bijgedragen aan een hogere of lagere voorspellende waarde. Ontwerp-, Ontwikkel-, Validatie- en Implementatiefase Selectiefase en Contractbeheer Data Engineer, Data Scientist, Product Owner, Behoeftesteller, Inkoopadviseur en Contractbeheerder Maatregelen bij norm: Transparantie Uitleg Fase Algoritme Levenscyclus Inkoopproces Betrokken actoren Bij de output van het algoritme moet waar mogelijk worden getoond welke variabelen een stuwend of dalend effect hebben gehad op de voorspelling. Hiermee is het voor de gebruiker en belanghebbende inzichtelijker wat heeft bijgedragen aan een hogere of lagere voorspellende waarde. Ontwerp-, Ontwikkel-, Validatie- en Implementatiefase Selectiefase en Contractbeheer Data Engineer, Data Scientist, Product Owner, Behoeftesteller, Inkoopadviseur en Contractbeheerder Maatregelen bij norm: Transparantie Uitleg Fase Algoritme Levenscyclus Inkoopproces Betrokken actoren hoog risico AIimpactvolniet impactvol Maatregelen bij norm: Transparantie Uitleg Fase Algoritme Levenscyclus Inkoopproces Betrokken actoren Maatregelen bij norm: Transparantie Uitleg Fase Algoritme Levenscyclus Inkoopproces Betrokken actoren Maatregelen bij norm: Transparantie Uitleg Fase Algoritme Levenscyclus Inkoopproces Betrokken actoren"},{"location":"vereisten/transparantie/Algoritmeregister/#toelichting","title":"Toelichting","text":"<p>Doel van publicatie van informatie over het algoritme is het bieden van transparantie naar betrokkenen. Het zorgt ervoor dat het voor  de vooraf bepaalde personen/doelgroepen duidelijk is dat zij met een algoritme te maken hebben, welke consequenties dat heeft en welke beperkingen het algoritme kent. De gewenste mate van transparantie (technische transparantie vs. uitlegbaarheid) is weloverwogen; het hangt af van 1) de impact van het algoritme op de beslissing,  uitkomst en burger, (2) de mate van autonomie bij de besluitvorming en (3) het type en de complexiteit van het algoritme. De informatie dient voldoende begrijpelijk te zijn voor de doelgroep(en).</p>"},{"location":"vereisten/transparantie/Algoritmeregister/#maatregelen_1","title":"Maatregelen","text":"<p>Belanghebbenden worden op een begrijpelijke manier ge\u00efnformeerd over onderliggende logica van het algoritme, alsmede het belang en de verwachte gevolgen van die verwerking voor de betrokkene.</p> <p>Model (code) publiceren op een site zoals github.com, inclusief beschrijving van werking, gebruikte data en/of beschrijving daarvan</p>"},{"location":"vereisten/transparantie/Algoritmeregister/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/transparantie/Algoritmeregister/#best-practices","title":"Best practices","text":""},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/","title":"Informeren over interactie met AI systemen","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#norm","title":"Norm","text":"<p>De gebruiker informeert de natuurlijke persoon die wordt blootgesteld aan een AI-systeem tijdig, duidelijk en begrijpelijk dat ze interageren met een AI-systeem, tenzij dit vanzelfsprekend is gezien de omstandigheden en de context van gebruik.</p>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#risico","title":"Risico","text":"<p>Betrokkenen zijn niet op de hoogte dat hun persoonsgegevens worden verwerkt middels een algoritme, waardoor zij geen controle hebben.</p>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<ul> <li> <p>AI Act, artikel 52</p> </li> <li> <p>Algemene Verordening Gegevensbescherming (AVG), artikel 12-14</p> </li> </ul>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#toetsingskaders","title":"Toetsingskaders","text":"<ul> <li> <p>Toetsingskader Algemene Rekenkamer, 2.23</p> </li> <li> <p>Onderzoekskader Algoritmes, Auditdienst Rijk, PRI.8</p> </li> </ul>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#toelichting","title":"Toelichting","text":"<p>Het moet voor burgers die te maken hebben met algoritmes duidelijk zijn dat ze interageren met een AI-systeem, tenzij dit vanzelfsprekend is gezien de omstandigheden en de context van gebruik.</p>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#maatregelen","title":"Maatregelen","text":"<p>In de communicatie over besluiten die genomen zijn op basis van het algoritme kan worden opgenomen dat de besluitvorming tot stand is gekomen met behulp van een algoritme. Hierbij kan verwezen worden naar informatie over het algoritme in het Algoritmeregister. </p>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p> <ul> <li> <p>Communicatieadviseur: Betrek de communicatieadviseur om duidelijk te communiceren naar de burger. </p> </li> <li> <p>Projectleider: De projectleider kent de inhoud van het algoritme en de werking ervan. </p> </li> </ul>"},{"location":"vereisten/transparantie/Informeren%20over%20interactie%20met%20AI%20systemen/#best-practices","title":"Best practices","text":""},{"location":"vereisten/transparantie/Motiveringsbeginsel/","title":"Motiveringsbeginsel","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/transparantie/Motiveringsbeginsel/#norm","title":"Norm","text":"<p>Een besluit berust op een deugdelijke motivering.</p>"},{"location":"vereisten/transparantie/Motiveringsbeginsel/#risico","title":"Risico","text":"<p>Het besluit is onvoldoende gemotiveerd.</p>"},{"location":"vereisten/transparantie/Motiveringsbeginsel/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/transparantie/Motiveringsbeginsel/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<p>Artikel 3:46 - 3:50 Awb, Jurisprudentie over AERIUS (ABRvS 18 juli 2018, ECLI:NL:RVS:2018:2454), Hof van Justitie C-274/18. </p>"},{"location":"vereisten/transparantie/Motiveringsbeginsel/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/transparantie/Motiveringsbeginsel/#toelichting","title":"Toelichting","text":"<p>Een besluit dient te berusten op een deugdelijke motivering. De motivering wordt vermeld bij de bekendmaking van het besluit. </p>"},{"location":"vereisten/transparantie/Motiveringsbeginsel/#maatregelen","title":"Maatregelen","text":"<p>Richt een procedure in waarmee bij een besluit uit eigen beweging gemaakte keuzes en gebruikte gegevens en aannames openbaar worden gemaakt.</p>"},{"location":"vereisten/transparantie/Motiveringsbeginsel/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/transparantie/Motiveringsbeginsel/#best-practices","title":"Best practices","text":""},{"location":"vereisten/transparantie/Traceerbaarheid/","title":"Traceerbaarheid","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/transparantie/Traceerbaarheid/#norm","title":"Norm","text":"<p>De besluitvorming door het algoritme is traceerbaar.</p>"},{"location":"vereisten/transparantie/Traceerbaarheid/#risico","title":"Risico","text":"<p>De besluitvorming door het algoritme is niet traceerbaar.</p>"},{"location":"vereisten/transparantie/Traceerbaarheid/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/transparantie/Traceerbaarheid/#wet-en-regelgeving","title":"Wet- en regelgeving","text":""},{"location":"vereisten/transparantie/Traceerbaarheid/#toetsingskaders","title":"Toetsingskaders","text":"<p>EC/AI HLEG April 2019 - Hoofdstuk II.1.4 ADR SV.15 ARK 2.03/2.04/2.05</p>"},{"location":"vereisten/transparantie/Traceerbaarheid/#toelichting","title":"Toelichting","text":"<p>Indien de totstandkoming van een besluit dat met behulp van een algoritme is genomen niet traceerbaar is, kan het algoritme niet worden gecontoleerd. </p>"},{"location":"vereisten/transparantie/Traceerbaarheid/#maatregelen","title":"Maatregelen","text":"<p>\u2022   Neem maatregelen om de traceerbaarheid in de besluitvorming te waarborgen. Daarbij kan het gaan om de documentatie van: o   het ontwerp en de ontwikkeling van het algoritme gebruikte methoden.  o   het testen en valideren van het algoritme gebruikte methoden  o   resultaten van het algoritme  \u2022   Onderzoek in hoeverre de door het algoritme genomen beslissingen en dus het resultaat kunnen worden begrepen. \u2022   Zorg ervoor dat er voor alle gebruikers die een verklaring wensen, een voor hen begrijpelijke verklaring kan worden gemaakt  \u2022   Onderzoek in hoeverre de beslissingen van het systeem van invloed zijn op het besluitvormingsproces binnen de organisatie. \u2022   Onderzoek en toon aan welk model het eenvoudigst en het meest interpreteerbaar zou zijn voor de betreffende toepassing. \u2022   Controleer of trainings- en testgegevens kunnen worden geanalyseerd. Kunnen deze in de loop van de tijd worden veranderd en bijgewerkt. \u2022   Onderzoek of na de training en ontwikkeling van het model er mogelijkheden zijn om de interpreteerbaarheid te beoordelen en of er toegang is tot de interne werkstroom van het model.</p>"},{"location":"vereisten/transparantie/Traceerbaarheid/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/transparantie/Traceerbaarheid/#best-practices","title":"Best practices","text":""},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/","title":"Transparante besluitsvorming","text":"<p>Disclaimer</p> <p>Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.</p>"},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#norm","title":"Norm","text":"<p>Besluitvorming dient transparant te zijn en moet zorgvuldig tot stand komen.</p>"},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#risico","title":"Risico","text":"<p>Gebrek aan transparantie, waardoor niet kan worden achterhaald of aan een besluit een zorgvuldig proces vooraf is gegaan en of het voldoet aan andere vereisten.</p>"},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#bronnen","title":"Bronnen","text":""},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#wet-en-regelgeving","title":"Wet- en regelgeving","text":"<p>Artikel 3:2 en 3:46 Awb, artikel 1.1 en 2.5 Woo</p>"},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#toetsingskaders","title":"Toetsingskaders","text":""},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#toelichting","title":"Toelichting","text":"<p>Bij de voorbereiding van een besluit dient het bestuursorgaan alle relevante informatie te verzamelen en de belangen van betrokkenen zorgvuldig af te wegen. Het besluit mag geen onredelijke of discriminerende gevolgen voor betrokkenen hebben.</p>"},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#maatregelen","title":"Maatregelen","text":"<p>Algoritmen en modellen dienen transparant, betrouwbaar en controleerbaar te zijn, zodat achterhaald kan worden op basis van welke afwegingen een besluit is genomen.  Richt een procedure in waardoor kan worden voldaan aan het recht op toegang tot publieke informatie.</p>"},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#rollen","title":"Rollen","text":"<p>Hieronder beschrijven we welke rollen er betrokken kunnen worden bij de uitvoering van deze norm. </p>"},{"location":"vereisten/transparantie/Transparante%20besluitsvorming/#best-practices","title":"Best practices","text":""}]}
\ No newline at end of file
diff --git a/pr-preview/pr-69/sitemap.xml.gz b/pr-preview/pr-69/sitemap.xml.gz
index 0060ad4ac4a8c9adf4b9be4b38a161a0a2aa2649..cdbfc0f1b42220ebdd96956989b24d2fee9a2258 100644
GIT binary patch
delta 16
XcmX@fb&`u+zMF%iia}%}yAvw_CvgMy

delta 16
XcmX@fb&`u+zMF%?^M~+8b|+Q<E9C^c