Fix broken links (#293)

docs/governance/governance-realiseren/interactie-met-levenscyclus.md

@@ -20,7 +20,7 @@ Hieronder volgen twee voorbeelden van hoe governance effectief kan worden geïnt
 
     Het vormgeven van deze overgangen geeft verantwoordelijke stakeholders binnen de organisatie een structuur om de ontwikkeling en inzet van algoritmen en AI in elke fase te beoordelen en bij te sturen. De gezamenlijke kernvraag voor alle betrokkenen in de gates is: Geloven we dat de voordelen van de inzet (en ontwikkeling) van dit algoritme of AI-model opwegen tegen eventueel te verwachten nadelen? En hoe gaan we om met deze dilemma's? Daarbij kunnen opvolgende fasen in de levenscyclus een eigen accentvraag kennen, zoals “Is het beoogde algoritme wenselijk?” in de probleemanalyse fase tot “Levert het algoritme nog de waarde op die we beogen?” tijdens de monitoring- en beheerfase.
 
-    ![Afbeelding](../../afbeeldingen/levenscyclus/modellevenscyclus_vws.png)\
+    ![Afbeelding](../../afbeeldingen/levenscyclus/modellevenscyclus_vws.png)
 
 !!! example "Voorbeeld: Het UWV" 
 
@@ -35,9 +35,9 @@ Hieronder volgen twee voorbeelden van hoe governance effectief kan worden geïnt
 
 ## Bronnen
 
-[^2]: Hulpmiddel handelingsruimte waardevolle AI in de zorg ([presentatie](https://nlaic.com/wp-content/uploads/2022/06/04a.-Hulpmiddel-Handelingsruimte-Waardevolle-AI-voor-gezondheid-en-zorg.pdf))([samenvatting](https://nlaic.com/wp-content/uploads/2022/08/NLAIC_AI-Lifecycle-management-in-de-zorg-samenvatting_V1.2.pdf)) is beschikbaar via de [NL AI Coalitie](https://nlaic.com/toepassingsgebied/gezondheid-en-zorg/) en [Data voor gezondheid](https://www.datavoorgezondheid.nl/wegwijzer-ai-in-de-zorg/documenten/publicaties/2021/07/15/hulpmiddel-handelingsruimte-waardevolle-ai-voor-gezondheid)
+- Hulpmiddel handelingsruimte waardevolle AI in de zorg ([presentatie](https://nlaic.com/wp-content/uploads/2022/06/04a.-Hulpmiddel-Handelingsruimte-Waardevolle-AI-voor-gezondheid-en-zorg.pdf))([samenvatting](https://nlaic.com/wp-content/uploads/2022/08/NLAIC_AI-Lifecycle-management-in-de-zorg-samenvatting_V1.2.pdf)) is beschikbaar via de [NL AI Coalitie](https://nlaic.com/toepassingsgebied/gezondheid-en-zorg/) en [Data voor gezondheid](https://www.datavoorgezondheid.nl/wegwijzer-ai-in-de-zorg/documenten/publicaties/2021/07/15/hulpmiddel-handelingsruimte-waardevolle-ai-voor-gezondheid)
 
-[^3]: UWV Beleidsdocument model risico management, Modellevenscyclus (blz 21), 29 september 2021
+- UWV Beleidsdocument model risico management, Modellevenscyclus (blz 21), 29 september 2021
 
 
 

docs/governance/index.md

@@ -49,20 +49,20 @@ Aan het einde van ieder hoofdstuk binnen het onderwerp governance geven we aanda
 
 Om een goede algoritmegovernance te realiseren is het van belang eerst de organisatie te kennen. Wat er al is aan governance (processen, rollen, etc.), beïnvloedt hoe algoritmegovernance daaraan opgehangen kan worden. De eerste fase van het in kaart brengen van de huidige situatie algoritmegovernance is ingedeeld in:
 
--	[Volwassenheid en ontwikkelstappen](volwassenheidsniveau.md): Het niveau van volwassenheid verschilt per organisatie. Daarnaast is de grootte van een organisatie van grote invloed. 
--	[Samenhang verschillende governance structuren](samenhang-governancestructuren.md): algoritmegovernance kan niet los worden gezien van de algemene governance, datagovernance en IT-governance. 
--	[Belang bestuurlijke/politiek verantwoordelijkheid](politiek-bestuurlijk-kader.md): De waarden die de organisatie vanuit (politieke) bestuurlijke top uitzet geven daarbij ook belangrijke kleur aan de inrichting van de algoritmegovernance.
+-	[Volwassenheid en ontwikkelstappen](huidige-situatie/volwassenheidsniveau.md): Het niveau van volwassenheid verschilt per organisatie. Daarnaast is de grootte van een organisatie van grote invloed. 
+-	[Samenhang verschillende governance structuren](huidige-situatie/samenhang-governancestructuren.md): algoritmegovernance kan niet los worden gezien van de algemene governance, datagovernance en IT-governance. 
+-	[Belang bestuurlijke/politiek verantwoordelijkheid](huidige-situatie/politiek-bestuurlijke-verantwoordelijkheden.md): De waarden die de organisatie vanuit (politieke) bestuurlijke top uitzet geven daarbij ook belangrijke kleur aan de inrichting van de algoritmegovernance.
 
 ### Fase 2: Best practices en voorbeelden van algoritme governance
 
 De tweede fase gaat over het realiseren van een algoritmegovernance met best practices en voorbeelden van algoritme governance. 
 De volgende onderwerpen komen hier aan de orde:
 
-- [Governance structuur](governance-structuur.md): basis in 3 lines of defense
-- [Governance per risicogroep](governance-per-risicogroep.md)
-- [Algoritmelevenscyclus](interactie-met-levenscyclus.md)(beslis-“gates”)
-- [Rollen en verantwoordelijkheden](rollen-en-verantwoordelijkheden.md)
-- [Interactie met burgers en omgeving](interactie-burgers-en-omgeving.md)
+- [Governance structuur](governance-realiseren/governance-structuur.md): basis in 3 lines of defense
+- [Governance per risicogroep](governance-realiseren/governance-per-risicogroep.md)
+- [Algoritmelevenscyclus](governance-realiseren/interactie-met-levenscyclus.md)(beslis-“gates”)
+- [Rollen en verantwoordelijkheden](governance-realiseren/rollen-en-verantwoordelijkheden.md)
+- [Interactie met burgers en omgeving](governance-realiseren/interactie-burgers-en-omgeving.md)
 
 Voorbeelden bieden in hoofdlijnen een ‘blauwdruk’ voor hoe algoritmegovernance kan worden ingericht. 
 Belangrijk om te realiseren dat altijd moet worden gekeken hoe dit in de eigen organisatie is in te passen. 

docs/instrumenten/fairness-handbook.md

@@ -16,7 +16,7 @@ vereiste:
 
 <!-- tags -->
 
-[Direct naar het Fairness Handbook]([https://www.rijksoverheid.nl/documenten/rapporten/2021/06/10/handreiking-non-discriminatie-by-design](https://openresearch.amsterdam/en/page/87589/the-fairness-handbook)){ .md-button }
+[Direct naar het Fairness Handbook](https://openresearch.amsterdam/en/page/87589/the-fairness-handbook){ .md-button }
 ## Instrument
 Informatie volgt
 
@@ -28,10 +28,7 @@ Informatie volgt
 <!-- list_vereisten_on_maatregelen_page -->
 
 ## Bronnen
-
-| Bron                        |
-|-----------------------------|
-|[The Fairness Handbook]([https://www.rijksoverheid.nl/documenten/rapporten/2021/06/10/handreiking-non-discriminatie-by-design](https://openresearch.amsterdam/en/page/87589/the-fairness-handbook))|
+[The Fairness Handbook](https://openresearch.amsterdam/en/page/87589/the-fairness-handbook)
 
 ## Voorbeeld
 

docs/instrumenten/handreiking-non-discriminatie.md

@@ -16,6 +16,7 @@ vereiste:
 <!-- tags -->
 
 [Direct naar de Handreiking non-discriminatie by design](https://www.rijksoverheid.nl/documenten/rapporten/2021/06/10/handreiking-non-discriminatie-by-design){ .md-button }
+
 ## Instrument
 
 Deze handreiking legt uit welke vragen en principes leidend zijn bij het ontwikkelen en implementeren van een AI-systeem met het oog op het discriminatieverbod, vanuit zowel juridisch, technisch, als organisatorisch perspectief.
@@ -35,7 +36,7 @@ Stuk over relevantie voor het AK volgt nog.
 Net als bij het [IAMA](IAMA.md), is dit document een manier om een multidisciplinaire discussie te faciliteren en stimuleren. Hierbij kunnen verschillende rollen betrokken worden door de projectleider: data-scientists, juristen, de functionaris gegevensbescherming (FG), aangevuld met domeinspecialisten.
 
 ## Wanneer toepassen?
-De handreiking is primair geschreven voor teams die zelf AI-systemen bouwen. Het gaat in op verschillende fases van ontwikkeling: [probleemanalyse](../levenscyclus/probleemanalyse.md), [dataverkenning en datapreparatie](../levenscyclus/dataverkenning-en-datapreparatie.md), [ontwikkeling](ontwikkelen.md), [implementatie](implementatie.md) en [evaluatie](verificatie-en-validatie.md).
+De handreiking is primair geschreven voor teams die zelf AI-systemen bouwen. Het gaat in op verschillende fases van ontwikkeling: [probleemanalyse](../levenscyclus/probleemanalyse.md), [dataverkenning en datapreparatie](../levenscyclus/dataverkenning-en-datapreparatie.md), [ontwikkeling](../levenscyclus/ontwikkelen.md), [implementatie](../levenscyclus/implementatie.md) en [evaluatie](../levenscyclus/verificatie-en-validatie.md).
 Daarnaast kan deze handreiking dienen voor opdrachtgevers van AI-systemen, ofwel om vooraf offrerende partijen te vragen aan te geven hoe zij rekening zullen houden met de diverse punten uit de handreiking, ofwel om tijdens het proces mee te kijken en op relevante punten aanwijzingen te geven, ofwel om achteraf te controleren of een opgeleverd product aan alle relevante voorwaarden voldoet. 
 
 ### Relatie tot IAMA

docs/maatregelen/afwegen_grondrechten.md

@@ -4,8 +4,8 @@ title: Afwegen grondrechten
 # geef hier een korte toelichting van deze maatregel
 toelichting: Afwegen grondrechten
 vereiste:
-- fundamentele_rechten
-- beoordelen_gevolgen_voor_grondrechten
+- grw-01-fundamentele-rechten
+- aia-29-beoordelen-gevolgen-grondrechten
 # vul hier de fasen van de levenscyclus in die horen bij deze maatregel
 levenscyclus:
 - probleemanalyse
@@ -28,7 +28,7 @@ Identificeer welke grondrechten geraakt worden door het in te zetten algoritme e
 
 ## Toelichting 
 <!-- Geef hier een toelichting van deze maatregel -->
-Een algoritme kan invloed hebben op grondrechten. Op een aantal grondrechten kan een algoritme sneller invloed hebben, zoals recht op [persoonsgegevensbescherming](onderwerpen/privacy-en-gegevensbescherming/index.md), recht op behoorlijk bestuur en recht op [gelijke behandeling](onderwerpen/bias-en-non-discriminatie/index.md).
+Een algoritme kan invloed hebben op grondrechten. Op een aantal grondrechten kan een algoritme sneller invloed hebben, zoals recht op [persoonsgegevensbescherming](../onderwerpen/privacy-en-gegevensbescherming/index.md), recht op behoorlijk bestuur en recht op [gelijke behandeling](../onderwerpen/bias-en-non-discriminatie/index.md).
 Deze veelvoorkomende grondrechten krijgen op andere plekken in het Algoritmekader specifieke aandacht. 
 Er zijn echter ook grondrechten die bij minder algoritmen relevant zijn, maar desalniettemin in die gevallen zeer invloedrijk kunnen zijn. 
 Het is van belang uiteindelijk een totale afweging te maken van alle grondrechten die (mogelijk) geraakt worden ten opzichte van de voordelen van het in te zetten algoritme. 
@@ -40,15 +40,15 @@ Doorloop in lijn met Deel 4 van het [Impact Assessment Mensenrechten en Algoritm
 2. Als dat het geval is, is het allereerst van belang om te controleren of hiervoor specifieke wetgeving is waar de inzet van het algoritme aan moet voldoen.
 3. Bepaal hoe zwaar de geindentificeerde grondrechten worden geraakt door het beoogde algoritme.
 4. Bepaal hoe [doeltreffend/effectief](functioneren_in_lijn_met_doeleinden.md) het algoritme in de praktijk is.
-5. Bepaal of de inzet van het algoritme noodzakelijk is om het [beoogde doel](formuleer_doelstelling.md) te bereiken. Zijn er alternatieven? Of zijn er mitigerende maatregelen die genomen kunnen worden waardoor grondrechten niet of minder worden geraakt en eventuele nadelige gevolgen verzacht kunnen worden?
-6. Gegeven alle voorgaande stappen, bepaal of de inzet van het algoritme en proportioneel is om het [beoogde doel](formuleer_doelstelling.md) te bereiken. Wegen de voordelen op tegen de nadelen?
+5. Bepaal of de inzet van het algoritme noodzakelijk is om het [beoogde doel](formuleren_doelstelling.md) te bereiken. Zijn er alternatieven? Of zijn er mitigerende maatregelen die genomen kunnen worden waardoor grondrechten niet of minder worden geraakt en eventuele nadelige gevolgen verzacht kunnen worden?
+6. Gegeven alle voorgaande stappen, bepaal of de inzet van het algoritme en proportioneel is om het [beoogde doel](formuleren_doelstelling.md) te bereiken. Wegen de voordelen op tegen de nadelen?
 
 Het is van belang voldoende [belanghebbenden te betrekken](betrek_belanghebbenden.md) bij het doorlopen van deze stappen om te zorgen dat alle eventueel nadelige aspecten van het in te zetten algoritme worden meegenomen. 
 Documenteer de doorlopen stappen en leg de keuzes en afwegingen goed vast. 
 
 !!! note "Opmerking"
 
-    Zoals vermeld in de [vereiste voor beoordeling van gevolgen voor grondrechten uit de AI-verordening](../vereisten/beoordelen_gevolgen_voor_grondrechten.md) moeten sommige hoog-risico AI-systemen een beoordeling doen van de gevolgen voor grondrechten. Het is nog niet bekend welke vorm dit precies moet hebben.
+    Zoals vermeld in de [vereiste voor beoordeling van gevolgen voor grondrechten uit de AI-verordening](../vereisten/aia-29-beoordelen-gevolgen-grondrechten.md) moeten sommige hoog-risico AI-systemen een beoordeling doen van de gevolgen voor grondrechten. Het is nog niet bekend welke vorm dit precies moet hebben.
 
 ## Bijbehorende vereiste(n)
 <!-- Hier volgt een lijst met vereisten op basis van de in de metadata ingevulde vereiste -->

docs/maatregelen/functioneren_in_lijn_met_doeleinden.md

@@ -22,10 +22,10 @@ hide:
 <!-- tags -->
 
 ## Maatregel
-Stel vast dat het algoritme voortdurend functioneert in lijn met de [vastgestelde doelstelling](formuleren_doelstellling.md). 
+Stel vast dat het algoritme voortdurend functioneert in lijn met de [vastgestelde doelstelling](formuleren_doelstelling.md). 
 
 ## Toelichting
-- Vertaal de [vastgestelde doelstelling](formuleren_doelstellling.md) naar functionele eisen voor het algoritme. Werk het vastgestelde doel uit in een beschrijving in logische taal/pseudo code of documentatie die handvatten biedt aan de ontwikkelaar. 
+- Vertaal de [vastgestelde doelstelling](formuleren_doelstelling.md) naar functionele eisen voor het algoritme. Werk het vastgestelde doel uit in een beschrijving in logische taal/pseudo code of documentatie die handvatten biedt aan de ontwikkelaar. 
 - Monitor de mate waarin aan deze eisen wordt voldaan door het algoritme. 
 - Bepaal en leg vast hoe eventuele parameters, business rules en indicatoren bepaald worden. Zorg dat dit breed wordt afgestemd in de organisatie (ontwikkelteam, opdrachtgevers en beheer).
 - Houd hier rekening met eventuele [(statistische) bias](../onderwerpen/bias-en-non-discriminatie/index.md#statistische-bias): meten we daadwerkelijk wat we denken te meten? 

docs/maatregelen/voer_een_biasanalyse_uit.md

@@ -2,9 +2,9 @@
 title: Voer een biasanalyse uit
 toelichting: Analyseer of het gebruik van het algoritme of het proces daaromheen leidt tot onwenselijke of onrechtmatige verschillen in de behandeling van individuen en/of groepen.  
 vereiste:
-- non_discriminatie
-- beoordelen_gevolgen_voor_grondrechten
-- fundamentele_rechten
+- grw-02-non-discriminatie
+- aia-29-beoordelen-gevolgen-grondrechten
+- grw-01-fundamentele-rechten
 levenscyclus:
 - ontwerp
 - verificatie-en-validatie
@@ -94,7 +94,7 @@ Er zijn veel verschillende manieren waarop je kan kijken naar onderscheid bij he
 3. **Verzamel de benodigde data die nodig is om bovenstaande groepen te bepalen.**
 Bepaal welke data benodigd is om te analyseren of er verschillen zijn tussen bepaalde groepen. 
 In veel gevallen zal data benodigd zijn die demografische en beschermde kenmerken van groepen omschrijft. 
-Het verzamelen en verwerken van deze data kan in strijd zijn met privacy vereisten uit bijvoorbeeld de [Algemene Verordening Gegevensbescherming](../vereisten/persoonsgegevens_worden_rechtmatig_verwerkt.md).
+Het verzamelen en verwerken van deze data kan in strijd zijn met privacy vereisten uit bijvoorbeeld de [Algemene Verordening Gegevensbescherming](../vereisten/avg-01-persoonsgegevens-worden-rechtmatig-verwerkt.md).
 Het is daarom van belang om duidelijk afwegingen te maken tussen privacy en het analyseren van bias die rekening houdt met de juridische en ethische vereisten.
 
     !!! info "Uitzondering voor hoog risico AI-systemen"

docs/onderwerpen/menselijke-controle/index.md

@@ -18,7 +18,7 @@ Algoritmes kunnen schade veroorzaken in de maatschappij. Gebruik je een algoritm
 ### Ontwerp
 Tijdens het ontwerp van een algoritme of AI-systeem controleer je bijvoorbeeld of het algoritme of AI-systeem op de juiste manier ‘getraind’ wordt. Maakt het bijvoorbeeld gebruik van een goede dataset, zonder bias, die representatief is voor de samenleving? En je controleert of het algoritme bepaalde groepen niet benadeelt. 
 
-Voordat je een algoritme of AI-systeem gaat gebruiken, is het belangrijk om [het doel te bepalen](../../maatregelen/formuleren_doelstellling.md). 
+Voordat je een algoritme of AI-systeem gaat gebruiken, is het belangrijk om [het doel te bepalen](../../maatregelen/formuleren_doelstelling.md). 
 
 ### Gebruik
 Tijdens het gebruik van een algoritme of AI-systeem is menselijke controle belangrijk omdat de werking verandert in de loop der tijd:

docs/onderwerpen/technische-robuustheid-en-veiligheid/index.md

@@ -46,7 +46,7 @@ Begin zo vroeg mogelijk met het testen en controleren van de gegevens die je geb
 
 Ontwikkel je zelf het algoritme, controleer dan tijdens de ontwikkeling al wat er gebeurt bij verwachte variaties. Zorg bijvoorbeeld dat je bent voorbereid op nieuwe combinaties van de inputdata. Gebruik verschillende test-sets en zorg voor goede monitoring van de gebruikte data, zodat veranderingen in de data snel gesignaleerd worden. 
 
-In de eerste fases [probleemanalyse](../../levenscyclus/probleemanalyse.md), [ontwerp](/levenscyclus/ontwerp/) en [dataverkenning en datapreparatie](../../levenscyclus/dataverkenning-en-datapreparatie.md) focus je op een goede voorbereiding. Verken de context waarin het algoritme gebruikt wordt, identificeer de risico’s, concretiseer waarop het algoritme geëvalueerd moet worden, analyseer de data, en ontwerp preventieve maatregelen en evaluatiemethoden. 
+In de eerste fases [probleemanalyse](../../levenscyclus/probleemanalyse.md), [ontwerp](../../levenscyclus/ontwerp.md) en [dataverkenning en datapreparatie](../../levenscyclus/dataverkenning-en-datapreparatie.md) focus je op een goede voorbereiding. Verken de context waarin het algoritme gebruikt wordt, identificeer de risico’s, concretiseer waarop het algoritme geëvalueerd moet worden, analyseer de data, en ontwerp preventieve maatregelen en evaluatiemethoden. 
 
 Vervolgens voer je dit uit in de [ontwikkelfase](../../levenscyclus/ontwikkelen.md) en de [verificatie- en validatiefase](../../levenscyclus/verificatie-en-validatie.md). Zorg dat het algoritme goed getest wordt en evalueer het algoritme op de drie aspecten van robuustheid. Waar nodig verbeter je het algoritme. Zorg dat je een uitwijkplan hebt, zodat je weet wat je moet doen als blijkt dat het algoritme niet meer werkt zoals beoogd.
 
@@ -56,8 +56,9 @@ Is het algoritme in gebruik ([implementatie](../../levenscyclus/implementatie.md
 Een algoritme leest kentekens tijdens parkeercontroles. Het herkent de juiste letters en cijfers op elk kenteken. Ook als het bord een andere kleur heeft, op een andere plek zit of vies is. Het algoritme is nauwkeurig en dus robuust.
 Een algoritme berekent het risico op fraude door mensen. Maar bij personen uit dezelfde groep geeft het algoritme de ene keer als uitkomst ‘hoog risico’ en de andere keer ‘geen risico’. De uitkomst is niet reproduceerbaar. Hierdoor is het algoritme niet robuust.
 
-> [!Tip]
-Houd rekening met 'concept drift'. Dit betekent dat de eigenschappen van je data in de loop van de tijd kunnen veranderen. Hierdoor trekt je algoritme mogelijk verkeerde conclusies. Zo was er vóór 2020 een verband tussen thuiswerken en ziek zijn. Maar sinds de coronacrisis in 2020 is dit verband minder sterk, omdat gezonde mensen vaker thuiswerken. 
+!!! tip "Tip"
+
+    Houd rekening met 'concept drift'. Dit betekent dat de eigenschappen van je data in de loop van de tijd kunnen veranderen. Hierdoor trekt je algoritme mogelijk verkeerde conclusies. Zo was er vóór 2020 een verband tussen thuiswerken en ziek zijn. Maar sinds de coronacrisis in 2020 is dit verband minder sterk, omdat gezonde mensen vaker thuiswerken. 
 
 ## Bescherm algoritmes tegen aanvallen en bedreigingen
 Beveilig het ICT-systeem waarin het algoritme wordt gebruikt. Dit zijn bijvoorbeeld maatregelen uit de Baseline Informatiebeveiliging Overheid (BIO) die je standaard neemt voor beveiliging van ICT-systemen tegen cyberaanvallen.

mkdocs.yml

@@ -133,4 +133,5 @@ hooks:
 
 # Link naar GitHub repo
 repo_url: https://github.com/MinBZK/Algoritmekader
+site_url: https://minbzk.github.io/Algoritmekader/
 edit_uri: edit/main/docs/