diff --git a/docs/afbeeldingen/levenscyclus/modellevenscyclus_uwv.png b/docs/afbeeldingen/levenscyclus/modellevenscyclus_uwv.png new file mode 100644 index 0000000000..5e7e48e61a Binary files /dev/null and b/docs/afbeeldingen/levenscyclus/modellevenscyclus_uwv.png differ diff --git a/docs/afbeeldingen/levenscyclus/modellevenscyclus_vws.png b/docs/afbeeldingen/levenscyclus/modellevenscyclus_vws.png new file mode 100644 index 0000000000..ef84d7ed94 Binary files /dev/null and b/docs/afbeeldingen/levenscyclus/modellevenscyclus_vws.png differ diff --git a/docs/afbeeldingen/rotterdam_risico_classificatie_governance.png b/docs/afbeeldingen/rotterdam_risico_classificatie_governance.png new file mode 100644 index 0000000000..64e903f2b1 Binary files /dev/null and b/docs/afbeeldingen/rotterdam_risico_classificatie_governance.png differ diff --git a/docs/governance/governance-realiseren/governance-per-risicogroep.md b/docs/governance/governance-realiseren/governance-per-risicogroep.md new file mode 100644 index 0000000000..bc1ba81342 --- /dev/null +++ b/docs/governance/governance-realiseren/governance-per-risicogroep.md @@ -0,0 +1,21 @@ +--- +title: Governance en risio classificatie +--- + +Er is verschil in de vereisten en maatregelen die nodig zijn afhankelijk van het type risico en impact van algoritmen. Meer risicovolle AI vraagt om meer uitgebreide processen, en dus een meer uitgebreide governance in de zin dat de processen die doorlopen moeten worden uitgebreider zijn. Bijvoorbeeld vereisten toetsen die alleen gelden voor generatieve AI en bij simpele beslisregels maken de processen niet onnodig complex en zwaar maken. + +Afgeleid van de term "minimum viable product" wordt de processen van compliance doen aansluiten op wat nodig is ook wel "minimum viable compliance" genoemd. + +Als voorbeeld: De gemeente Rotterdam kiest ervoor om de algoritme en AI governance alleen in te zetten bij hoog-risico AI-toepassingen. Deze risicoclassificatie volgt de AI verordening Voor laag-risico toepassingen geldt de standaard governance van de gemeente: de informatiebeveiligings- en privacy governance (Kleur Bekennen, Rekenkamer Rotterdam, 2024, p.71). Tabel 1 geeft inzicht in verschillende typen algoritmen en AI-toepassingen. De afbeelding uit hetzelfde rapport geeft een flowchart van hoe de governance anders is afhankelijk van de risico-categorie. + +![Afbeelding](../../afbeeldingen/rotterdam_risico_classificatie_governance.png) + +Kijk zelf goed wat passend is voor jouw organisatie. + +## Aandachts- en actiepunten + +## Bronnen +[Kleur bekennen - vervolgonderzoek algoritmes](https://rekenkamer.rotterdam.nl/onderzoeken/kleur-bekennen/) + + + diff --git a/docs/governance/governance-realiseren/governance-structuur.md b/docs/governance/governance-realiseren/governance-structuur.md new file mode 100644 index 0000000000..cf8a29f0a5 --- /dev/null +++ b/docs/governance/governance-realiseren/governance-structuur.md @@ -0,0 +1,28 @@ +--- +title: Governance structuur +--- + +Een mogelijke inrichting van algoritme en AI governance die vaak wordt toegepast is het three lines of defence model: + +- De eerste linie gaat over eigenaarschap, ontwikkeling, gebruik en risicobeheersing van algoritme en AI toepassingen. +- De tweede linie identificeert, beoordeelt en rapporteert over risico’s en het uitgevoerde gebruik algoritmes en AI toepassingen. +- De derde verdedigingslinie controleert de werking van de governance en betreft interne advisering en toetsing. + +Schuett (2022) presenteert het three lines of defence model als volgt: +![Three Lines of Defence Model](https://github.com/user-attachments/assets/4974f07d-9810-44e0-a0bb-56f1b1061732) + +Als voorbeeld: Onder andere UWV en de Gemeente Rotterdam hanteren dit model met drie linies. Rekenkamer Rotterdam rapport vat three lines of defence model als volgt samen: “eerste lijn is verantwoordelijk voor het realiseren van doelen. De tweede lijn is, onafhankelijk van de eerste lijn verantwoordelijk voor kaders en adviezen. De derde lijn controleert of de eerste en tweede lijn gezamenlijk doelmatig, doeltreffend en rechtmatig hebben gefunctioneerd.” + +Bij de gemeente Rotterdam zijn bijvoorbeeld de drie lijnen ingevuld via de volgende rollen en verantwoordelijkheden: “De eerste lijn bestaat uit de proceseigenaren en de operationeel verantwoordelijken. Proceseigenaren zijn verantwoordelijk voor de gehele algoritmetoepassing en de operationeel verantwoordelijken voor de ontwikkeling. De tweede lijn is de algoritme expert, die een onafhankelijke toezicht- en adviestaak heeft. De derde lijn wordt volgens de stukken die gaan over de algoritme governance vervuld door Financial audit.” (Rekenkamer Rotterdam, 2024) + +De algoritmegovernance van de [Gemeente Rotterdam](https://rekenkamer.rotterdam.nl/wp-content/uploads/2024/05/RO2205-kleur-bekennen-vervolgonderzoek-algoritmes-rekenkamer-rotterdam.pdf) bestaat uit de volgende onderdelen: + +1. een visie op de inzet van algoritmes; +2. instrumentarium voor risicobeheersing dat onder andere bestaat uit een risico-assessment en een mensenrechtenassessment; +3. een uiteenzetting van rollen en verantwoordelijkheden en; +4. een omschrijving van de verantwoordelijkheden voor controle en advies. + +## Aandachts- en actiepunten + +## Bronnen +[Kleur bekennen - vervolgonderzoek algoritmes](https://rekenkamer.rotterdam.nl/onderzoeken/kleur-bekennen/) diff --git a/docs/governance/governance-realiseren/interactie-burgers-en-omgeving.md b/docs/governance/governance-realiseren/interactie-burgers-en-omgeving.md new file mode 100644 index 0000000000..f845a98a40 --- /dev/null +++ b/docs/governance/governance-realiseren/interactie-burgers-en-omgeving.md @@ -0,0 +1,20 @@ +--- +title: Interactie met burgers en omgeving +--- + +Bij het vormgeven van de algoritme en AI governance is het van belang om na te denken over de interactie met burgers en andere belangrijke stakeholders, zowel binnen als buiten de organisatie. Er moet worden nagedacht in welke gevallen dit passend is en welke processen, mechanismen en structuren hierbij kunnen helpen. Bijvoorbeeld het instellen van een centraal contactpunt voor vragen, en de wijze waarop een burger in beroep kan gaan op een besluit. + +## Aandachts- en actiepunten + +- [Onderzoek of je burgers en/of omgeving wil betrekken](../../maatregelen/betrek_belanghebbenden.md) bij de AI-governance in je organisatie, en op welke manier. +- Dit kan strategisch (in het vaststellen van de waardes van je organisatie) op meer in operationele processen (op een vast punt in de AI-levenscyclus). +- Zie ter inspiratie [Citizen Participation Methods for Artificial Intelligence](https://openresearch.amsterdam/en/page/110361/citizen-participation-methods-for-artificial-intelligence) + + +## Relevante documenten +- [Citizen Participation Methods for Artificial Intelligence](https://openresearch.amsterdam/en/page/110361/citizen-participation-methods-for-artificial-intelligence) +- [Framework for Meaningfull Engagement](https://ecnl.org/sites/default/files/2023-03/Final%20Version%20FME%20with%20Copyright%20%282%29.pdf) + +## Voorbeeld + + diff --git a/docs/governance/governance-realiseren/interactie-met-levenscyclus.md b/docs/governance/governance-realiseren/interactie-met-levenscyclus.md new file mode 100644 index 0000000000..8fb50a1426 --- /dev/null +++ b/docs/governance/governance-realiseren/interactie-met-levenscyclus.md @@ -0,0 +1,46 @@ +--- +title: Interactie met de levenscyclus +--- + +Voor effectieve governance van algoritmen en AI-modellen is het essentieel om bij de ontwikkeling en gebruik van algoritmen en AI-modellen heldere afspraken te hebben over de interactie en informatie-uitwisseling die vereist is om aan de verantwoording te voldoen. Dit moet gebeuren in iedere fase van de levenscyclus, tussen de direct betrokkenen en de stakeholders binnen en buiten de organisatie. Dit vindt plaats via de [rollen en verantwoordelijkheden](rollen-en-verantwoordelijkheden.md) per levenscyclusstap. + +Het gaat enerzijds om top-down betrokkenheid en verantwoordelijkheid, waarbij wordt gestuurd op de juiste doelstellingen, waarden en principes. Daarnaast worden passende middelen en randvoorwaarden gealloceerd om verantwoorde inzet te waarborgen. Anderzijds gaat het om bottom-up betrokkenheid van de juiste stakeholders binnen de organisatie. Hierbij wordt de benodigde informatie verschaft en worden afwegingen en uitdagingen voorgelegd om de verantwoorde inzet van algoritmen en AI mogelijk te maken. + +In elke type levenscyclus vind je een ontwerpfase, een ontwikkelfase en een deployfase (in gebruik nemen). + +Veel organisaties hebben al een levenscyclus voor AI-ontwikkeling. AI-governance kan hierop aansluiten door 'gates' of controlepunten in te voeren tussen de verschillende stappen in de levenscyclus waar bepaalde processen worden uitgevoerd door verantwoordelijken, zoals het aanleveren van documenten, het uitvoeren van controles en het maken van afwegingen. + +Houd er rekening mee dat de 'gates' niet altijd hetzelfde hoeven te zijn tussen verschillende projecten. Zo vereist een algoritme met een hoog-risicoclassificatie andere governance dan minder impactvolle algoritmes. Eveneens vraagt het inkoopproces van een off-the-shelf AI-systeem of SaaS om andere procedures dan de inkoop van software die nog verder ontwikkeld wordt. + +Hieronder volgen twee voorbeelden van hoe governance effectief kan worden geïntegreerd in de levenscyclus van algoritmen en AI-modellen: + +!!! example "Ministerie VWS In de levenscyclus" + + In het [hulpmiddel handelingsruimte waardevolle AI in de zorg](https://nlaic.com/wp-content/uploads/2022/06/04a.-Hulpmiddel-Handelingsruimte-Waardevolle-AI-voor-gezondheid-en-zorg.pdf#page=3) is tussen elke fase in de levenscyclus een ‘gate’ geplaatst. Tussen de afronding van een fase en de start van de daaropvolgende fase wordt een formele poort geplaatst. Om door deze poort te gaan, moet de voorgaande fase volledig zijn afgerond: vraagstukken dienen beantwoord te zijn, activiteiten uitgevoerd en aan interne en externe vereisten dient te zijn voldaan. Deze zaken kunnen in de vorm van documentatie aan de organisatie worden opgeleverd, waarna een gesprek of review kan plaatsvinden. + + Het vormgeven van deze overgangen geeft verantwoordelijke stakeholders binnen de organisatie een structuur om de ontwikkeling en inzet van algoritmen en AI in elke fase te beoordelen en bij te sturen. De gezamenlijke kernvraag voor alle betrokkenen in de gates is: Geloven we dat de voordelen van de inzet (en ontwikkeling) van dit algoritme of AI-model opwegen tegen eventueel te verwachten nadelen? En hoe gaan we om met deze dilemma's? Daarbij kunnen opvolgende fasen in de levenscyclus een eigen accentvraag kennen, zoals “Is het beoogde algoritme wenselijk?” in de probleemanalyse fase tot “Levert het algoritme nog de waarde op die we beogen?” tijdens de monitoring- en beheerfase. + + ![Afbeelding](../../afbeeldingen/levenscyclus/modellevenscyclus_vws.png)\ + +!!! example "Voorbeeld: Het UWV" + + In haar modellevenscyclus [^3] maakt het UWV gebruik van een gelaagdheid in de “gates” door gebruik te maken van een zachte en harde knip tussen de opvolgende fasen. Enerzijds is er een zachte knip voorzien door aan het eind van elke fase de mogelijkheid te laten om een stap terug te zetten in de levenscyclus. Mocht het onduidelijk zijn wat de beoogde voordelen zijn ten opzichte van de nadelen, of er onvoldoende invulling gegeven is aan de vereisten/activiteiten, dan kan het algoritme of AI-model ontwikkelproces bij een zachte knip een stap terugnemen in de levenscyclus. Anderzijds zijn er 4 harde grenzen in de levenscyclus aangebracht waarin formele vereisten aan het ontwikkeltraject worden opgelegd. + + ![Afbeelding](../../afbeeldingen/levenscyclus/modellevenscyclus_uwv.png) + +#### Aandachts- en actiepunten +- Introduceer ‘gates’ tussen fases in de AI-lifecycle; voor de cyclus verder kan gaan moeten handelingen worden uitgevoerd door verantwoordelijken zoals: documenten aanleveren, (ethische) afwegingen, rapportages. +- De levencyclus bij inkoop is waarschijnlijk anders, maar heeft ook 'gates' en procedures nodig. + + +## Bronnen + +[^2]: Hulpmiddel handelingsruimte waardevolle AI in de zorg ([presentatie](https://nlaic.com/wp-content/uploads/2022/06/04a.-Hulpmiddel-Handelingsruimte-Waardevolle-AI-voor-gezondheid-en-zorg.pdf))([samenvatting](https://nlaic.com/wp-content/uploads/2022/08/NLAIC_AI-Lifecycle-management-in-de-zorg-samenvatting_V1.2.pdf)) is beschikbaar via de [NL AI Coalitie](https://nlaic.com/toepassingsgebied/gezondheid-en-zorg/) en [Data voor gezondheid](https://www.datavoorgezondheid.nl/wegwijzer-ai-in-de-zorg/documenten/publicaties/2021/07/15/hulpmiddel-handelingsruimte-waardevolle-ai-voor-gezondheid) + +[^3]: UWV Beleidsdocument model risico management, Modellevenscyclus (blz 21), 29 september 2021 + + + + + + diff --git a/docs/governance/governance-realiseren/rollen-en-verantwoordelijkheden.md b/docs/governance/governance-realiseren/rollen-en-verantwoordelijkheden.md new file mode 100644 index 0000000000..975804bbfe --- /dev/null +++ b/docs/governance/governance-realiseren/rollen-en-verantwoordelijkheden.md @@ -0,0 +1,29 @@ +--- +title: Rollen en verantwoordelijkheden +--- + +Binnen het vormgeven van effectieve en efficiente governance van algoritmen/AI zijn het beleggen van expliciete rollen en verantwoordelijkheden cruciaal. Het beleggen van deze rollen zorgt voor een actiegerichte structuur waarin zo weinig mogelijk verwarring/onduidelijkheid bestaat over wie wanneer aan zet is. Informatie-uitwisseling en besluitvorming tussen deze rollen zal effectief plaatsvinden. + +Binnen het Algoritmekader is idealiter ook een 'blauwdruk' RACI model opgenomen die voor alle vereisten/maatregelen in elke fase van de levenscyclus expliciet maakt waar welke rol ligt: zie hieronder een schets van hoe dit eruit kan zien. + +![Format](https://github.com/user-attachments/assets/3debe7b6-0c42-40f5-a366-9cc5cc90cd3e) + + +### Voorbeelden van rollen en verantwoordelijkheden inrichten + +Het [three lines of defence model](governance-structuur.md) dat zowel de gemeente Rotterdam als het UWV hanteert biedt hiervoor handvatten. De essentie van dit model is het scheiden van drie niveau’s in verantwoordelijkheden om effectieve governance mogelijk te maken. Daarnaast wordt in veel governance structuren een RACI model opgesteld om rollen en verantwoordelijkheden expliciet te maken. RACI is de afkorting voor Responsible (Verantwoordelijk – uitvoerder van de taak), Accountable (Aanspreekbaar – eigenaar van de taak), Consulted (Geconsulteerd) en Informed (Geïnformeerd). De gemeente Rotterdam heeft de interactie tussen rollen/verantwoordelijkheden van algoritme/AI governance en de volledige datamanagement structuur in een RACI model vormgegeven: + +![RACI model gemeente Rotterdam](https://github.com/user-attachments/assets/481cb81d-f098-4563-9718-5d625384c024) + + +## Aandachts- en actiepunten +- RACI matrix Rotterdam interessant ter inspiratie, maar men begint niet bij nul. +- Onderzoek welke verantwoordlijkheden aanvullend zijn. Passen deze al bij bestaande rollen in de organisatie. +- Net als in onderdeel [bestaande govenrance structuren](governance-structuur.md) is het wijs niet opnieuw het wiel uit te vinden. +- Het koppelen van verantwoordelijkheden aan *functies* is vaak complex en erg organisatieafhankelijk. Kijk eerst naar welke verantwoordelijkheden bij welke rollen passen. Een individu met een specifieke functie kan afhankelijk van de organisatie (en diens formaat) verschillende rollen vervullen + +## Bronnen  + + + + diff --git a/docs/governance/governance-structuur.md b/docs/governance/governance-structuur.md deleted file mode 100644 index 2dcf8acada..0000000000 --- a/docs/governance/governance-structuur.md +++ /dev/null @@ -1,5 +0,0 @@ ---- -title: Governance structuur ---- - -Hier komt een tekst. \ No newline at end of file diff --git a/docs/governance/huidige-situatie/politiek-bestuurlijke-verantwoordelijkheden.md b/docs/governance/huidige-situatie/politiek-bestuurlijke-verantwoordelijkheden.md new file mode 100644 index 0000000000..be1bb4443e --- /dev/null +++ b/docs/governance/huidige-situatie/politiek-bestuurlijke-verantwoordelijkheden.md @@ -0,0 +1,21 @@ +--- +title: Politiek-bestuurlijke verantwoordelijkheden +--- + +## Belang bestuurlijke en politiek verantwoordelijkheid + +Voor een passende algoritmegovernance is politiek-bestuurlijk bewustzijn, betrokkenheid en verantwoordelijkheid essentieel. De kernvraag voor publieke organisaties bij de inzet van algoritmen is altijd: Hoe wegen we (als publieke organisatie of samenleving) de voordelen en nadelen van de inzet van algoritmen? + +Dit is per definitie een kwalitatieve en politieke vraag. Dit gaat niet alleen over direct opbrengsten maar ook over lange termijn en indirecte effecten, de mate waarin de inzet van technologie bijdraagt aan de legitimiteit van publieke organisatie en hoe burgers met deze technologie worden bejegend. + +!!! example "Voorbeeld gemeente Rotterdam" + + Een van de belangrijkste hoofdconclusies van het rapport [Kleur Bekennen](https://rekenkamer.rotterdam.nl/wp-content/uploads/2024/05/RO2205-kleur-bekennen-vervolgonderzoek-algoritmes-rekenkamer-rotterdam.pdf) van de gemeente Rotterdam, opgesteld door de Algemene Rekenkamer, onderstreept het belang van actief bestuur binnen algoritme en AI governance: + +> "Het ontbreekt aan een politiek-bestuurlijk kader dat duidelijk maakt welke normen en principes leidend zijn bij de ontwikkeling en het gebruik van algoritmes. Dit heeft als effect dat belangrijke besluit over bijvoorbeeld wenselijkheid, haalbaarheid, transparantie en bias bij de ambtelijke organistie komen te liggen. Deze besluiten vragen echt om een politieke afweging". + +## Aandachts- en actiepunten +* Een meerjarenbeleidsplan of een strategie- of visedocument kan richting geven in helpen met latere afwegingen maken. + +## Bronnen +[Kleur bekennen - vervolgonderzoek algoritmes](https://rekenkamer.rotterdam.nl/onderzoeken/kleur-bekennen/) diff --git a/docs/governance/huidige-situatie/samenhang-governancestructuren.md b/docs/governance/huidige-situatie/samenhang-governancestructuren.md new file mode 100644 index 0000000000..282a9d5e0f --- /dev/null +++ b/docs/governance/huidige-situatie/samenhang-governancestructuren.md @@ -0,0 +1,41 @@ +--- +title: Samenhang en samenwerking bestaande governance +--- + +Bij de vormgeving van een algoritmegovernance van een organisatie is het van belang om aansluiting en samenwerking te bewerkstelligen met huidige governancestructuren binnen de organisatie, zoals IT, data, informatiebeveiliging en privacy governance waar dit onlosmakelijk mee verbonden is. + +In veel organisaties werken privacy- en informatiebeveiliging nauw samen van strategisch organisatieniveau tot operationeel omdat deze onderwerpen raken en beide domeinen. Dit geldt in nog grotere mate voor AI-vraagstukken die vragen om samenwerking en expertise vanuit veel verschillende invalshoeken. + +Communicatie en vindbaarheid tussen de verschillende domeinen is hierin essentieel. De eindverantwoordelijkheid voor algoritmes moet bij één entiteit belegd worden, die let op het betrekken van de juiste (interne) partijen. + +Bij algoritme governance moet rekening worden gehouden met mogelijk conflicterende belangen. Bijvoorbeeld, het kan voorkomen dat de business of IT-teams innovatie willen nastreven, terwijl compliance teams juist vragen om het afremmen van innovatie. Een algortime-eindverantwoordelijke dient hierin de afwegingen te maken, in samenspraak. Een strategie of visie zoals vastgelegd in een meerjarenbeleidsplan sturing geven en bestuurlijke steun opleveren in het maken van afwegingen. + +Mocht een visie op AI ontbreken, dan kan iets als de IAMA (die zich ook richt op het afwegen van fundamentele rechten) een keer grondig doorlopen voor een AI-toepassing input geven voor de organisatievisie. + +Een concreet voorbeeld van samen optrekken is [deze handreiking](https://www.cip-overheid.nl/media/av0dmahv/20230614-gezamenlijk-gebruik-iama-en-model-dpia-rijksdienst-v1-0.pdf) om de IAMA en DPIA gezamelijk uit te voeren. + + + +### Normen + +Normen en standaarden kunnen op twee manieren van belang zijn in deze fase van het werken naar een algortime governance. +1) Er zijn normen in de maak die kunnen ondersteunen bij het inrichten van AI-governance. + * De ISO/IEC 42001:2023 voor AI risk management framework (helaas zijn ISO-normen niet vrij beschikbaar). + * Deze norm richt zich op ethiek, transparantie, verantwoordelijkheid en veiligheid bij de ontwikkeling en inzet van AI-systemen. + * Later uitgebrachte normen zullen worden gelinkt aan deze norm om meer invulling te geven aan onderdelen ervan. + * Ook is er een oproep vanuit de EU om standaarden te ontwikkelen die direct aansluiten bij de AI-verordening. Deze worden verwacht april 2025, meer informatie is te vinden [op deze website over de AI-Verordening](https://artificialintelligenceact.eu/standard-setting/). +2) Aan AI-verwante thema's, zoals privacy en data, hebben ook te maken met normen, standaarden, en wetgeving. + * De inzet van algoritmes raakt aan deze thema's, dus passende samenwerking is vereist. + * Vanuit de (implementatie van de) AVG en bijbehorende privacygovernance kunnen lessen zijn geleerd die zich vertalen naar algoritme governance. Een belangrijke standaard m.b.t. de AVG is de ISO-27001. + + +## Aandachts- en actiepunten +* Welke lessen zijn geleerd met de implementatie van de AVG? +* Is er iemand intern verantwoordelijk gemaakt voor (toezicht op) AI & algoritmes? +* Hoe communiceren verschillende groepen die aan AI-thema’s raken, zoals privacy of data, op dit moment? +* Een RACI-model kan ook helpen hierbij (zie het hoofdstuk over rollen en verantwoordelijkheden). +* Hoe worden afwegingen gemaakt in de organisatie tussen innovatie en compliance? +* Welke normen en standaarden zijn nu al in gebruik, of kunnen helpen met het vormgeven van algoritmegovernance? + + +## Bronnen diff --git a/docs/governance/huidige-situatie/volwassenheidsniveau.md b/docs/governance/huidige-situatie/volwassenheidsniveau.md new file mode 100644 index 0000000000..fc2f4671d2 --- /dev/null +++ b/docs/governance/huidige-situatie/volwassenheidsniveau.md @@ -0,0 +1,57 @@ +--- +title: Volwassenheidsniveau +--- + +Om tot een passende algoritmegovernance voor een organisatie te komen, moet eerst worden vastgesteld wat op dit moment al is ingericht op het gebied van AI en algoritmes. +Dit wordt het bepalen van het zogenaamde 'volwassenheidsniveau' genoemd. +Op basis hiervan kunnen vervolgstappen worden gedefinieerd waar een organisatie aan kan gaan werken om zich naar de volgende niveaus voor algoritmegovernance door te ontwikkelen. + +Er zijn verschillende volwassenheidsmodellen hiervoor te gebruiken. Enkele voorbeelden zijn hieronder beschreven. +Deze modellen richten zich niet altijd expliciet op algoritmegovernance, maar kijken naar algoritmes in de organisatie in brede zin of naar “AI-ethics”. +Governance is echter altijd een onderdeel van deze volwassenheidsmodellen. + +## Voorbeelden van volwassenheidsmodellen + +### AI ethics maturity model van Krijger, Thuis, de Ruiter, Ligthart & Broekman (2023) +Het [AI ethics maturity model van Krijger, Thuis, de Ruiter, Ligthart & Broekman (2023)](https://link.springer.com/article/10.1007/s43681-022-00228-7) is op basis van zes categorieën (awareness & culture, Policy, Governance, Communication & Training, Development Proces, en Tooling) op verschillende niveau’s. + +![Krijger, J., Thuis, T., de Ruiter, M. et al. The AI ethics maturity model: a holistic approach to advancing ethical data science in organizations. AI Ethics 3, 355–367 (2023)](https://github.com/user-attachments/assets/07860cdc-9d6c-46f4-aace-cfcdf71e114d) + + +#### Het Datavolwassenheidsmodel van de IBDS +Richt zich op datavolwassenheid, maar heeft daarin veel raakvlakken met AI waarvoor data een belangrijk component is. +Heeft een eigen [beslishulp datavolwassenheid](https://realisatieibds.nl/groups/view/c23ab74c-adb4-424e-917d-773a37968efe/kenniscentrum-van-de-ibds/wiki/view/2447d2a8-6c48-468d-9739-00772688853f/beslishulp-datavolwassenheid) maar ook een [meetgids](https://realisatieibds.nl/page/view/ad94d97c-4d48-443c-aedd-235b2d0ca8b6/wegwijzer-volwassenheidsmodellen) met verschillende methoden. + +### [Flexible Maturity Model for AI Governance Based on the NIST AI Risk Management Framework van de IEEE-USA](https://ieeeusa.org/product/a-flexible-maturity-model-for-ai-governance/) +De NIST is een veelgebruikte standaard voor cybersecurity (onlangs geüpdatet en nu soms NIS2 of NIST2 genoemd). +Het [NIST-model](https://ieeeusa.org/product/a-flexible-maturity-model-for-ai-governance/) bekijkt AI-governance volwassenheid aan de hand van categorieën uit de NIST. + +### Responsible AI Maturity Model van Microsoft Research +Het [Responsible AI Maturity Model van Microsoft Research](https://www.microsoft.com/en-us/research/publication/responsible-ai-maturity-model/) is onderverdeeld in drie onderdelen (organisational foundation, team approach, en RAI practice) waarvan organisational foundation ingaat op AI Governance. + +## Innovatie en volwassenheid + +Inzet van AI kan vaak worden gezien als innovatie. +Hoe kunnen innovatieve ideeën worden ondersteund door AI en hoe kan AI worden gebruikt om nieuwe innovatieve toepassingen te vinden? +Ook voor innovatie bestaan er volwassenheidsmodellen. +Een voorbeeld van een volwassenheidsmodel voor innovatie is de [Innovatie Maturity Scan](https://www.rijksorganisatieodi.nl/innoveren-met-impact/onze-services/innovatie-maturity-scan) van Innoveren met Impact. + +Om zowel op AI als op innovatie te verbeteren, kunnen volwassenheidsmodellen voor AI en voor innovatie worden geïntegreerd. +Om dat te doen is het goed om te kijken naar de overlap en de verschillen tussen de twee modellen. +Vul het ene model aan met de nog ontbrekende elementen uit het andere model. +Bepaal het huidige niveau van de organisatie op beide modellen. +Vergelijk voor beide modellen het huidige niveau met het gewenste niveau en ontwikkel een roadmap om de doelen te bereiken. + +## Verdere stappen +Nadat een volwassenheidsniveau van de algoritmegovernance is vastgesteld kunnen hier concrete taken aan worden verbonden. +Het realiseren van algoritmegovernance vraagt zeer waarschijnlijk om een organisatieverandering. +Het is aan te raden om verantwoordelijkheid te beleggen voor het realiseren van AI-governance. +Dit is mogelijk te koppelen aan de implementatie van de AI-verordening binnen de organisatie. +Bewustzijn over de noodzaak voor algoritmegovernance moet op bestuurlijk niveau helder zijn. +Een analyse van volwassenheidsniveau kan helpen input te geven waar eerst op te richten. + +## Aandachts- en actiepunten: +- Breng in kaart wat er al is aan IT-governance met één van de volwassenheidsmodellen. +- Is de organisatie volwassen? Vallen AI en algoritmes al ergens onder? +- Breng deze informatie naar je bestuur met het verzoek duidelijkheid te krijgen hoe AI-governance belegd zou moeten worden. De AI-verordening vraagt om belegde verantwoordelijkheden met betrekking tot AI en algoritmes. +- Er is verschil in datageletterdheid van ambtenaren. Benodigde skills en expertise (die mogelijk ontbreken) zijn van belang bij het invullen van rollen en verantwoordelijkheden. diff --git a/docs/governance/index.md b/docs/governance/index.md index 69eca6ab1d..c836ddb8ce 100644 --- a/docs/governance/index.md +++ b/docs/governance/index.md @@ -4,23 +4,75 @@ summary: Hier staat een korte samenvatting over dit onderwerp icon: material/bank --- -![governance](../afbeeldingen/bouwblokken/governance.jpg "visuele weergave governance"){align="right"; width="50%"} +## Wat is governance -Governance is een breed begrip, en er bestaan verschillende opvattingen van. In essentie gaat het over het inrichten van de organisatie, processen en bijbehorende verantwoordelijkheden. -Een belangrijk aspect van governance is bepalen wie waarvoor verantwoordelijk is. Dit kan op verschillende niveaus: van (inter)nationaal niveau, naar organisatieniveau naar het niveau van het AI-systeem. In het Algoritmekader wordt gefocust op het niveau van organisatie en AI-systeem. +Governance gaat over de inrichting van een organisatie en de daarbij horende processen, regels, gebruiken en bijbehorende verantwoordelijkheden. +Dit onderdeel van het Algoritmekader gaat over de governance van AI en algoritmes en systemen waarin deze verwerkt zijn. -Het Algoritmekader laat zien aan welke vereisten moet worden gedaan, hoe daar invulling aan kan worden gegeven (maatregelen) en welke rollen daar logischerwijs bij betrokken zijn. -Governance raakt in zekere zin al deze elementen doordat het deze, op verschillende niveaus, met elkaar verbindt. +!!! note "Let op!" -In dit deel van het Algoritmekader worden de volgende zaken uitgewerkt; + Governance wordt in verschillende contexten anders gebruikt. In dit deel hebben we het over governance over algoritmes en AI. + Omdat het Algoritmekdader uitgaat van de [brede definitie van een algoritme](../overhetalgoritmekader/definities.md), hanteren we voor het gemak de term “algoritmegovernance” als we het hebben over governance over algoritmes en AI. -- een verzameling praktijkvoorbeelden die tonen hoe organisaties hun governance kunnen inrichten om verantwoord met algoritmes en AI-systemen om te gaan. Daarbij worden goede praktijkvoorbeelden samengevat op hoofdlijnen; -- een handreiking hoe om te gaan met een governancestructuur die rekening houdt met verschillende niveaus van complexiteit van een organisatie. -- uitwerken van governance-maatregelen en koppeling aan rollen die hier logischerwijs bij passen, waarmee invulling kan worden gegeven aan een vereiste. +De noodzaak van algoritme governance is om grip te hebben (of krijgen) op algoritmes en AI binnen een organisatie en zaken als (onbedoelde) discriminatie te voorkomen. +Mede gezien de AI-verordening, die 1 augustus 2024 gefaseerd in werking is getreden, is het van belang dat organisaties zich organiseren om deze wet correct te kunnen uitvoeren. +Bewustzijn bij bestuur en organisatie is daarvoor een belangrijk vertrekpunt. -De eerste twee punten zijn breed en geven algemene handvatten voor governance, het laatste punt gaat specifiek in op de vereisten/maatregelen. +### Verschillende niveau's van governance +Algoritmegovernance bestaat op verschillende niveaus: van (inter)nationaal niveau, naar organisatieniveau naar het niveau van het AI-systeem (zie figuur hieronder). -Let wel: Het Algoritmekader schrijft niet voor hoe een organisatie ingericht moet worden qua eindverantwoordelijken/governance. We proberen met behulp van voorbeelden praktische handvatten te bieden over hoe organisaties dit kunnen inrichten. +Het Algoritmekader focust op de twee niveaus: + +- Organisatie +- Systeem/toepassing (lifecycle). + +![Algoritme en AI governance ladder, TNO, 2024](https://github.com/user-attachments/assets/b7a237be-6caf-4266-910b-5fd05f4dc93b) + +Binnen een organisatie kan algoritme governance niet los worden gezien van de algemene governance, data-governance en IT-governance. +Per organisatie zal verschillen in hoeverre dit is ontwikkeld. +De omvang van een organisatie is ook een belangrijk aspect. +Algoritmegovernance moet aansluiten bij de strategie, doelstellingen en publieke waarden van een organisatie, waarbij moet worden voldaan aan wettelijke vereisten en ethische principes (Mäntymäki et al., 2022). Deze aspecten en meer worden in de volgende hoofdstukken behandeld. + +## Leeswijzer: Governance in het Algoritmekader + +Als je deze sectie over governance leest, ben je waarschijnlijk geïnteresseerd in het opzetten of verbeteren van algoritmegovernance bij jou organisatie. + +Een algoritmegovernance ingericht hebben is een randvoorwaarde om de vereisten die het Algoritmekader noemt verantwoord en gestructureerd aan te pakken. In dit onderdeel geven we informatie en voorbeelden om hierheen te werken. We hebben hierin twee fases in onderscheiden, die weer uit verschillende hoofdstukken bestaan: + +1. **Huidige situatie en randvoorwaarden algoritmegovernance.** +2. **Algoritme governance realiseren met best practices en voorbeelden.** + +Aan het einde van ieder hoofdstuk binnen het onderwerp governance geven we aandachts- en actiepunten om zelf hiermee aan de slag te gaan. + + +### Fase 1: Huidige situatie algoritmegovernance + +Om een goede algoritmegovernance te realiseren is het van belang eerst de organisatie te kennen. Wat er al is aan governance (processen, rollen, etc.), beïnvloedt hoe algoritmegovernance daaraan opgehangen kan worden. De eerste fase van het in kaart brengen van de huidige situatie algoritmegovernance is ingedeeld in: + +- [Volwassenheid en ontwikkelstappen](volwassenheidsniveau.md): Het niveau van volwassenheid verschilt per organisatie. Daarnaast is de grootte van een organisatie van grote invloed. +- [Samenhang verschillende governance structuren](samenhang-governancestructuren.md): algoritmegovernance kan niet los worden gezien van de algemene governance, datagovernance en IT-governance. +- [Belang bestuurlijke/politiek verantwoordelijkheid](politiek-bestuurlijk-kader.md): De waarden die de organisatie vanuit (politieke) bestuurlijke top uitzet geven daarbij ook belangrijke kleur aan de inrichting van de algoritmegovernance. + +### Fase 2: Best practices en voorbeelden van algoritme governance + +De tweede fase gaat over het realiseren van een algoritmegovernance met best practices en voorbeelden van algoritme governance. +De volgende onderwerpen komen hier aan de orde: + +- [Governance structuur](governance-structuur.md): basis in 3 lines of defense +- [Governance per risicogroep](governance-per-risicogroep.md) +- [Algoritmelevenscyclus](interactie-met-levenscyclus.md)(beslis-“gates”) +- [Rollen en verantwoordelijkheden](rollen-en-verantwoordelijkheden.md) +- [Interactie met burgers en omgeving](interactie-burgers-en-omgeving.md) + +Voorbeelden bieden in hoofdlijnen een ‘blauwdruk’ voor hoe algoritmegovernance kan worden ingericht. +Belangrijk om te realiseren dat altijd moet worden gekeken hoe dit in de eigen organisatie is in te passen. +Het is afhankelijk van onder andere de grootte en inrichting van de organisatie. +Waar mogelijk geven we daarom voorbeelden uit een divers scala aan organisaties. De best practices geven handvatten en lessen om ook zelf aan de slag te gaan. + +## Wat algemene best practices + +- Maak iemand verantwoordelijk voor het opstellen van de algoritmegovernance +- Zorg voor overlegstructuren met keuzemandaat met belangrijke partijen/stakeholders ## Vereisten diff --git a/docs/governance/interactie-burgers-en-omgeving.md b/docs/governance/interactie-burgers-en-omgeving.md deleted file mode 100644 index 5a25dace75..0000000000 --- a/docs/governance/interactie-burgers-en-omgeving.md +++ /dev/null @@ -1,5 +0,0 @@ ---- -title: Interactie met burgers en omgeving ---- - -Hier komt een tekst. \ No newline at end of file diff --git a/docs/governance/levenscyclus.md b/docs/governance/levenscyclus.md deleted file mode 100644 index 8ace5368d1..0000000000 --- a/docs/governance/levenscyclus.md +++ /dev/null @@ -1,5 +0,0 @@ ---- -title: Levenscyclus ---- - -Hier komt een tekst. diff --git a/docs/governance/politiek-bestuurlijk-kader.md b/docs/governance/politiek-bestuurlijk-kader.md deleted file mode 100644 index ae207f9886..0000000000 --- a/docs/governance/politiek-bestuurlijk-kader.md +++ /dev/null @@ -1,5 +0,0 @@ ---- -title: Politiek bestuurlijk kader ---- - -Hier komt een tekst \ No newline at end of file diff --git a/docs/governance/rollen_en_verantwoordelijkheden.md b/docs/governance/rollen_en_verantwoordelijkheden.md deleted file mode 100644 index b5e3807e5a..0000000000 --- a/docs/governance/rollen_en_verantwoordelijkheden.md +++ /dev/null @@ -1,5 +0,0 @@ ---- -title: Rollen en verantwoordelijkheden ---- - -Hier komt een tekst. diff --git a/docs/governance/type_algoritme.md b/docs/governance/type_algoritme.md deleted file mode 100644 index 072ed4a70d..0000000000 --- a/docs/governance/type_algoritme.md +++ /dev/null @@ -1,5 +0,0 @@ ---- -title: Type algoritme en risicoclassificatie ---- - -Hier komt een tekst. diff --git a/docs/governance/volwassenheidsniveau.md b/docs/governance/volwassenheidsniveau.md deleted file mode 100644 index d7744c6ab4..0000000000 --- a/docs/governance/volwassenheidsniveau.md +++ /dev/null @@ -1,5 +0,0 @@ ---- -title: Volwassenheidsniveau ---- - -Hier komt een tekst. \ No newline at end of file diff --git a/mkdocs.yml b/mkdocs.yml index 37a5570f7d..7fa8985540 100644 --- a/mkdocs.yml +++ b/mkdocs.yml @@ -37,13 +37,16 @@ nav: - overhetalgoritmekader/CONTRIBUTING.md - Governance: - governance/index.md - - governance/governance-structuur.md - - governance/politiek-bestuurlijk-kader.md - - governance/interactie-burgers-en-omgeving.md - - governance/volwassenheidsniveau.md - - governance/levenscyclus.md - - governance/rollen_en_verantwoordelijkheden.md - - governance/type_algoritme.md + - Huidige situatie: + - governance/huidige-situatie/volwassenheidsniveau.md + - governance/huidige-situatie/samenhang-governancestructuren.md + - governance/huidige-situatie/politiek-bestuurlijke-verantwoordelijkheden.md + - Governance realiseren: + - governance/governance-realiseren/governance-structuur.md + - governance/governance-realiseren/governance-per-risicogroep.md + - governance/governance-realiseren/interactie-met-levenscyclus.md + - governance/governance-realiseren/rollen-en-verantwoordelijkheden.md + - governance/governance-realiseren/interactie-burgers-en-omgeving.md - Levenscyclus: - levenscyclus/index.md - levenscyclus/organisatieverantwoordelijkheden.md diff --git a/src/overrides/hooks/lists.py b/src/overrides/hooks/lists.py index 1964a02a3c..c8e04f931f 100644 --- a/src/overrides/hooks/lists.py +++ b/src/overrides/hooks/lists.py @@ -11,7 +11,7 @@ def _create_chip(item: str, chip_type: str, current_file: File, config: MkDocsConfig) -> str: if not item: return "" - + # Initialize icon and color icon_svg, color_class = "", ""