Governance werkgroep (#260)

Co-authored-by: BartdeVisser <[email protected]>
Co-authored-by: OXKuiperBZK <[email protected]>
Co-authored-by: BdV724 <[email protected]>
Co-authored-by: StefanieC129 <[email protected]>
Co-authored-by: Sicco Pier van Gosliga <[email protected]>
Co-authored-by: Jasper van der Heide <[email protected]>

docs/governance/governance-realiseren/governance-per-risicogroep.md

@@ -0,0 +1,21 @@
+---
+title: Governance en risio classificatie
+---
+
+Er is verschil in de vereisten en maatregelen die nodig zijn afhankelijk van het type risico en impact van algoritmen. Meer risicovolle AI vraagt om meer uitgebreide processen, en dus een meer uitgebreide governance in de zin dat de processen die doorlopen moeten worden uitgebreider zijn. Bijvoorbeeld vereisten toetsen die alleen gelden voor generatieve AI en bij simpele beslisregels maken de processen niet onnodig complex en zwaar maken.
+
+Afgeleid van de term "minimum viable product" wordt de processen van compliance doen aansluiten op wat nodig is ook wel "minimum viable compliance" genoemd.
+
+Als voorbeeld: De gemeente Rotterdam kiest ervoor om de algoritme en AI governance alleen in te zetten bij hoog-risico AI-toepassingen. Deze risicoclassificatie volgt de AI verordening Voor laag-risico toepassingen geldt de standaard governance van de gemeente: de informatiebeveiligings- en privacy governance (Kleur Bekennen, Rekenkamer Rotterdam, 2024, p.71). Tabel 1 geeft inzicht in verschillende typen algoritmen en AI-toepassingen. De afbeelding uit hetzelfde rapport geeft een flowchart van hoe de governance anders is afhankelijk van de risico-categorie. 
+
+![Afbeelding](../../afbeeldingen/rotterdam_risico_classificatie_governance.png)
+
+Kijk zelf goed wat passend is voor jouw organisatie. 
+
+## Aandachts- en actiepunten
+
+## Bronnen
+[Kleur bekennen - vervolgonderzoek algoritmes](https://rekenkamer.rotterdam.nl/onderzoeken/kleur-bekennen/) 
+
+
+

docs/governance/governance-realiseren/governance-structuur.md

@@ -0,0 +1,28 @@
+---
+title: Governance structuur
+---
+
+Een mogelijke inrichting van algoritme en AI governance die vaak wordt toegepast is het three lines of defence model:
+
+- De eerste linie gaat over eigenaarschap, ontwikkeling, gebruik en risicobeheersing van algoritme en AI toepassingen.
+- De tweede linie identificeert, beoordeelt en rapporteert over risico’s en het uitgevoerde gebruik algoritmes en AI toepassingen.
+- De derde verdedigingslinie controleert de werking van de governance en betreft interne advisering en toetsing. 
+
+Schuett (2022) presenteert het three lines of defence model als volgt:
+![Three Lines of Defence Model](https://github.com/user-attachments/assets/4974f07d-9810-44e0-a0bb-56f1b1061732)
+
+Als voorbeeld: Onder andere UWV en de Gemeente Rotterdam hanteren dit model met drie linies. Rekenkamer Rotterdam rapport vat three lines of defence model als volgt samen: “eerste lijn is verantwoordelijk voor het realiseren van doelen. De tweede lijn is, onafhankelijk van de eerste lijn verantwoordelijk voor kaders en adviezen. De derde lijn controleert of de eerste en tweede lijn gezamenlijk doelmatig, doeltreffend en rechtmatig hebben gefunctioneerd.” 
+
+Bij de gemeente Rotterdam zijn bijvoorbeeld de drie lijnen ingevuld via de volgende rollen en verantwoordelijkheden: “De eerste lijn bestaat uit de proceseigenaren en de operationeel verantwoordelijken. Proceseigenaren zijn verantwoordelijk voor de gehele algoritmetoepassing en de operationeel verantwoordelijken voor de ontwikkeling. De tweede lijn is de algoritme expert, die een onafhankelijke toezicht- en adviestaak heeft. De derde lijn wordt volgens de stukken die gaan over de algoritme governance vervuld door Financial audit.” (Rekenkamer Rotterdam, 2024) 
+
+De algoritmegovernance van de [Gemeente Rotterdam](https://rekenkamer.rotterdam.nl/wp-content/uploads/2024/05/RO2205-kleur-bekennen-vervolgonderzoek-algoritmes-rekenkamer-rotterdam.pdf) bestaat uit de volgende onderdelen: 
+
+1. een visie op de inzet van algoritmes;
+2. instrumentarium voor risicobeheersing dat onder andere bestaat uit een risico-assessment en een mensenrechtenassessment; 
+3. een uiteenzetting van rollen en verantwoordelijkheden en; 
+4. een omschrijving van de verantwoordelijkheden voor controle en advies.
+
+## Aandachts- en actiepunten
+
+## Bronnen
+[Kleur bekennen - vervolgonderzoek algoritmes](https://rekenkamer.rotterdam.nl/onderzoeken/kleur-bekennen/) 

docs/governance/governance-realiseren/interactie-burgers-en-omgeving.md

@@ -0,0 +1,20 @@
+---
+title: Interactie met burgers en omgeving
+---
+
+Bij het vormgeven van de algoritme en AI governance is het van belang om na te denken over de interactie met burgers en andere belangrijke stakeholders, zowel binnen als buiten de organisatie. Er moet worden nagedacht in welke gevallen dit passend is en welke processen, mechanismen en structuren hierbij kunnen helpen. Bijvoorbeeld het instellen van een centraal contactpunt voor vragen, en de wijze waarop een burger in beroep kan gaan op een besluit.
+
+## Aandachts- en actiepunten
+
+- [Onderzoek of je burgers en/of omgeving wil betrekken](../../maatregelen/betrek_belanghebbenden.md) bij de AI-governance in je organisatie, en op welke manier. 
+- Dit kan strategisch (in het vaststellen van de waardes van je organisatie) op meer in operationele processen (op een vast punt in de AI-levenscyclus). 
+- Zie ter inspiratie [Citizen Participation Methods for Artificial Intelligence](https://openresearch.amsterdam/en/page/110361/citizen-participation-methods-for-artificial-intelligence)
+
+
+## Relevante documenten
+- [Citizen Participation Methods for Artificial Intelligence](https://openresearch.amsterdam/en/page/110361/citizen-participation-methods-for-artificial-intelligence)
+- [Framework for Meaningfull Engagement](https://ecnl.org/sites/default/files/2023-03/Final%20Version%20FME%20with%20Copyright%20%282%29.pdf) 
+
+## Voorbeeld
+
+

docs/governance/governance-realiseren/interactie-met-levenscyclus.md

@@ -0,0 +1,46 @@
+---
+title: Interactie met de levenscyclus
+---
+
+Voor effectieve governance van algoritmen en AI-modellen is het essentieel om bij de ontwikkeling en gebruik van algoritmen en AI-modellen heldere afspraken te hebben over de interactie en informatie-uitwisseling die vereist is om aan de verantwoording te voldoen. Dit moet gebeuren in iedere fase van de levenscyclus, tussen de direct betrokkenen en de stakeholders binnen en buiten de organisatie. Dit vindt plaats via de [rollen en verantwoordelijkheden](rollen-en-verantwoordelijkheden.md) per levenscyclusstap.
+
+Het gaat enerzijds om top-down betrokkenheid en verantwoordelijkheid, waarbij wordt gestuurd op de juiste doelstellingen, waarden en principes. Daarnaast worden passende middelen en randvoorwaarden gealloceerd om verantwoorde inzet te waarborgen. Anderzijds gaat het om bottom-up betrokkenheid van de juiste stakeholders binnen de organisatie. Hierbij wordt de benodigde informatie verschaft en worden afwegingen en uitdagingen voorgelegd om de verantwoorde inzet van algoritmen en AI mogelijk te maken.
+
+In elke type levenscyclus vind je een ontwerpfase, een ontwikkelfase en een deployfase (in gebruik nemen).
+
+Veel organisaties hebben al een levenscyclus voor AI-ontwikkeling. AI-governance kan hierop aansluiten door 'gates' of controlepunten in te voeren tussen de verschillende stappen in de levenscyclus waar bepaalde processen worden uitgevoerd door verantwoordelijken, zoals het aanleveren van documenten, het uitvoeren van controles en het maken van afwegingen. 
+
+Houd er rekening mee dat de 'gates' niet altijd hetzelfde hoeven te zijn tussen verschillende projecten. Zo vereist een algoritme met een hoog-risicoclassificatie andere governance dan minder impactvolle algoritmes. Eveneens vraagt het inkoopproces van een off-the-shelf AI-systeem of SaaS om andere procedures dan de inkoop van software die nog verder ontwikkeld wordt.
+
+Hieronder volgen twee voorbeelden van hoe governance effectief kan worden geïntegreerd in de levenscyclus van algoritmen en AI-modellen:
+
+!!! example "Ministerie VWS In de levenscyclus"
+
+    In het [hulpmiddel handelingsruimte waardevolle AI in de zorg](https://nlaic.com/wp-content/uploads/2022/06/04a.-Hulpmiddel-Handelingsruimte-Waardevolle-AI-voor-gezondheid-en-zorg.pdf#page=3) is tussen elke fase in de levenscyclus een ‘gate’ geplaatst. Tussen de afronding van een fase en de start van de daaropvolgende fase wordt een formele poort geplaatst. Om door deze poort te gaan, moet de voorgaande fase volledig zijn afgerond: vraagstukken dienen beantwoord te zijn, activiteiten uitgevoerd en aan interne en externe vereisten dient te zijn voldaan. Deze zaken kunnen in de vorm van documentatie aan de organisatie worden opgeleverd, waarna een gesprek of review kan plaatsvinden.
+
+    Het vormgeven van deze overgangen geeft verantwoordelijke stakeholders binnen de organisatie een structuur om de ontwikkeling en inzet van algoritmen en AI in elke fase te beoordelen en bij te sturen. De gezamenlijke kernvraag voor alle betrokkenen in de gates is: Geloven we dat de voordelen van de inzet (en ontwikkeling) van dit algoritme of AI-model opwegen tegen eventueel te verwachten nadelen? En hoe gaan we om met deze dilemma's? Daarbij kunnen opvolgende fasen in de levenscyclus een eigen accentvraag kennen, zoals “Is het beoogde algoritme wenselijk?” in de probleemanalyse fase tot “Levert het algoritme nog de waarde op die we beogen?” tijdens de monitoring- en beheerfase.
+
+    ![Afbeelding](../../afbeeldingen/levenscyclus/modellevenscyclus_vws.png)\
+
+!!! example "Voorbeeld: Het UWV" 
+
+    In haar modellevenscyclus [^3] maakt het UWV gebruik van een gelaagdheid in de “gates” door gebruik te maken van een zachte en harde knip tussen de opvolgende fasen. Enerzijds is er een zachte knip voorzien door aan het eind van elke fase de mogelijkheid te laten om een stap terug te zetten in de levenscyclus. Mocht het onduidelijk zijn wat de beoogde voordelen zijn ten opzichte van de nadelen, of er onvoldoende invulling gegeven is aan de vereisten/activiteiten, dan kan het algoritme of AI-model ontwikkelproces bij een zachte knip een stap terugnemen in de levenscyclus. Anderzijds zijn er 4 harde grenzen in de levenscyclus aangebracht waarin formele vereisten aan het ontwikkeltraject worden opgelegd.
+
+    ![Afbeelding](../../afbeeldingen/levenscyclus/modellevenscyclus_uwv.png)
+
+#### Aandachts- en actiepunten
+- Introduceer ‘gates’ tussen fases in de AI-lifecycle; voor de cyclus verder kan gaan moeten handelingen worden uitgevoerd door verantwoordelijken zoals: documenten aanleveren, (ethische) afwegingen, rapportages.
+- De levencyclus bij inkoop is waarschijnlijk anders, maar heeft ook 'gates' en procedures nodig.
+
+
+## Bronnen
+
+[^2]: Hulpmiddel handelingsruimte waardevolle AI in de zorg ([presentatie](https://nlaic.com/wp-content/uploads/2022/06/04a.-Hulpmiddel-Handelingsruimte-Waardevolle-AI-voor-gezondheid-en-zorg.pdf))([samenvatting](https://nlaic.com/wp-content/uploads/2022/08/NLAIC_AI-Lifecycle-management-in-de-zorg-samenvatting_V1.2.pdf)) is beschikbaar via de [NL AI Coalitie](https://nlaic.com/toepassingsgebied/gezondheid-en-zorg/) en [Data voor gezondheid](https://www.datavoorgezondheid.nl/wegwijzer-ai-in-de-zorg/documenten/publicaties/2021/07/15/hulpmiddel-handelingsruimte-waardevolle-ai-voor-gezondheid)
+
+[^3]: UWV Beleidsdocument model risico management, Modellevenscyclus (blz 21), 29 september 2021
+
+
+
+
+
+

docs/governance/governance-realiseren/rollen-en-verantwoordelijkheden.md

@@ -0,0 +1,29 @@
+---
+title: Rollen en verantwoordelijkheden
+---
+
+Binnen het vormgeven van effectieve en efficiente governance van algoritmen/AI zijn het beleggen van expliciete rollen en verantwoordelijkheden cruciaal. Het beleggen van deze rollen zorgt voor een actiegerichte structuur waarin zo weinig mogelijk verwarring/onduidelijkheid bestaat over wie wanneer aan zet is. Informatie-uitwisseling en besluitvorming tussen deze rollen zal effectief plaatsvinden. 
+
+Binnen het Algoritmekader is idealiter ook een 'blauwdruk' RACI model opgenomen die voor alle vereisten/maatregelen in elke fase van de levenscyclus expliciet maakt waar welke rol ligt: zie hieronder een schets van hoe dit eruit kan zien. 
+
+![Format](https://github.com/user-attachments/assets/3debe7b6-0c42-40f5-a366-9cc5cc90cd3e)
+
+
+### Voorbeelden van rollen en verantwoordelijkheden inrichten
+
+Het [three lines of defence model](governance-structuur.md) dat zowel de gemeente Rotterdam als het UWV hanteert biedt hiervoor handvatten. De essentie van dit model is het scheiden van drie niveau’s in verantwoordelijkheden om effectieve governance mogelijk te maken. Daarnaast wordt in veel governance structuren een RACI model opgesteld om rollen en verantwoordelijkheden expliciet te maken. RACI is de afkorting voor Responsible (Verantwoordelijk – uitvoerder van de taak), Accountable (Aanspreekbaar – eigenaar van de taak), Consulted (Geconsulteerd) en Informed (Geïnformeerd). De gemeente Rotterdam heeft de interactie tussen rollen/verantwoordelijkheden van algoritme/AI governance en de volledige datamanagement structuur in een RACI model vormgegeven: 
+
+![RACI model gemeente Rotterdam](https://github.com/user-attachments/assets/481cb81d-f098-4563-9718-5d625384c024)
+
+
+## Aandachts- en actiepunten
+- RACI matrix Rotterdam interessant ter inspiratie, maar men begint niet bij nul.
+- Onderzoek welke verantwoordlijkheden aanvullend zijn. Passen deze al bij bestaande rollen in de organisatie.
+- Net als in onderdeel [bestaande govenrance structuren](governance-structuur.md) is het wijs niet opnieuw het wiel uit te vinden.
+- Het koppelen van verantwoordelijkheden aan *functies* is vaak complex en erg organisatieafhankelijk. Kijk eerst naar welke verantwoordelijkheden bij welke rollen passen. Een individu met een specifieke functie kan afhankelijk van de organisatie (en diens formaat) verschillende rollen vervullen
+
+## Bronnen 
+
+
+
+

docs/governance/huidige-situatie/politiek-bestuurlijke-verantwoordelijkheden.md

@@ -0,0 +1,21 @@
+---
+title: Politiek-bestuurlijke verantwoordelijkheden
+---
+
+## Belang bestuurlijke en politiek verantwoordelijkheid 
+
+Voor een passende algoritmegovernance is politiek-bestuurlijk bewustzijn, betrokkenheid en verantwoordelijkheid essentieel. De kernvraag voor publieke organisaties bij de inzet van algoritmen is altijd: Hoe wegen we (als publieke organisatie of samenleving) de voordelen en nadelen van de inzet van algoritmen? 
+
+Dit is per definitie een kwalitatieve en politieke vraag. Dit gaat niet alleen over direct opbrengsten maar ook over lange termijn en indirecte effecten, de mate waarin de inzet van technologie bijdraagt aan de legitimiteit van publieke organisatie en hoe burgers met deze technologie worden bejegend. 
+
+!!! example "Voorbeeld gemeente Rotterdam"
+
+    Een van de belangrijkste hoofdconclusies van het rapport [Kleur Bekennen](https://rekenkamer.rotterdam.nl/wp-content/uploads/2024/05/RO2205-kleur-bekennen-vervolgonderzoek-algoritmes-rekenkamer-rotterdam.pdf) van de gemeente Rotterdam, opgesteld door de Algemene Rekenkamer, onderstreept het belang van actief bestuur binnen algoritme en AI governance: 
+
+> "Het ontbreekt aan een politiek-bestuurlijk kader dat duidelijk maakt welke normen en principes leidend zijn bij de ontwikkeling en het gebruik van algoritmes. Dit heeft als effect dat belangrijke besluit over bijvoorbeeld wenselijkheid, haalbaarheid, transparantie en bias bij de ambtelijke organistie komen te liggen. Deze besluiten vragen echt om een politieke afweging". 
+
+## Aandachts- en actiepunten
+* Een meerjarenbeleidsplan of een strategie- of visedocument kan richting geven in helpen met latere afwegingen maken.
+
+## Bronnen
+[Kleur bekennen - vervolgonderzoek algoritmes](https://rekenkamer.rotterdam.nl/onderzoeken/kleur-bekennen/)

docs/governance/huidige-situatie/samenhang-governancestructuren.md

@@ -0,0 +1,41 @@
+---
+title: Samenhang en samenwerking bestaande governance
+---
+
+Bij de vormgeving van een algoritmegovernance van een organisatie is het van belang om aansluiting en samenwerking te bewerkstelligen met huidige governancestructuren binnen de organisatie, zoals IT, data, informatiebeveiliging en privacy governance waar dit onlosmakelijk mee verbonden is. 
+
+In veel organisaties werken privacy- en informatiebeveiliging nauw samen van strategisch organisatieniveau tot operationeel omdat deze onderwerpen raken en beide domeinen. Dit geldt in nog grotere mate voor AI-vraagstukken die vragen om samenwerking en expertise vanuit veel verschillende invalshoeken.
+
+Communicatie en vindbaarheid tussen de verschillende domeinen is hierin essentieel. De eindverantwoordelijkheid voor algoritmes moet bij één entiteit belegd worden, die let op het betrekken van de juiste (interne) partijen. 
+
+Bij algoritme governance moet rekening worden gehouden met mogelijk conflicterende belangen. Bijvoorbeeld, het kan voorkomen dat de business of IT-teams innovatie willen nastreven, terwijl compliance teams juist vragen om het afremmen van innovatie. Een algortime-eindverantwoordelijke dient hierin de afwegingen te maken, in samenspraak. Een strategie of visie zoals vastgelegd in een meerjarenbeleidsplan sturing geven en bestuurlijke steun opleveren in het maken van afwegingen.
+
+Mocht een visie op AI ontbreken, dan kan iets als de IAMA (die zich ook richt op het afwegen van fundamentele rechten) een keer grondig doorlopen voor een AI-toepassing input geven voor de organisatievisie. 
+
+Een concreet voorbeeld van samen optrekken is [deze handreiking](https://www.cip-overheid.nl/media/av0dmahv/20230614-gezamenlijk-gebruik-iama-en-model-dpia-rijksdienst-v1-0.pdf) om de IAMA en DPIA gezamelijk uit te voeren.
+
+
+
+### Normen 
+
+Normen en standaarden kunnen op twee manieren van belang zijn in deze fase van het werken naar een algortime governance. 
+1) Er zijn normen in de maak die kunnen ondersteunen bij het inrichten van AI-governance.
+  * De ISO/IEC 42001:2023 voor AI risk management framework (helaas zijn ISO-normen niet vrij beschikbaar).
+      * Deze norm richt zich op ethiek, transparantie, verantwoordelijkheid en veiligheid bij de ontwikkeling en inzet van AI-systemen.
+      * Later uitgebrachte normen zullen worden gelinkt aan deze norm om meer invulling te geven aan onderdelen ervan.
+  * Ook is er een oproep vanuit de EU om standaarden te ontwikkelen die direct aansluiten bij de AI-verordening. Deze worden verwacht april 2025, meer informatie is te vinden [op deze website over de AI-Verordening](https://artificialintelligenceact.eu/standard-setting/).
+2) Aan AI-verwante thema's, zoals privacy en data, hebben ook te maken met normen, standaarden, en wetgeving. 
+  * De inzet van algoritmes raakt aan deze thema's, dus passende samenwerking is vereist.
+  * Vanuit de (implementatie van de) AVG en bijbehorende privacygovernance kunnen lessen zijn geleerd die zich vertalen naar algoritme governance. Een belangrijke standaard m.b.t. de AVG is de ISO-27001.
+
+
+## Aandachts- en actiepunten
+* Welke lessen zijn geleerd met de implementatie van de AVG?
+* Is er iemand intern verantwoordelijk gemaakt voor (toezicht op) AI & algoritmes?
+* Hoe communiceren verschillende groepen die aan AI-thema’s raken, zoals privacy of data, op dit moment?
+* Een RACI-model kan ook helpen hierbij (zie het hoofdstuk over rollen en verantwoordelijkheden).
+* Hoe worden afwegingen gemaakt in de organisatie tussen innovatie en compliance?
+* Welke normen en standaarden zijn nu al in gebruik, of kunnen helpen met het vormgeven van algoritmegovernance?
+
+
+## Bronnen