Release v1.7/technische robuustheid #450
Open
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
|
| De analyse op wie dit een impact heeft en hoe groot die impact is, is van belang voor de ontwerpkeuzes, de risicoanalyse en de evaluatie. | ||
| Wanneer een foutieve beslissing zwaarwegende gevolgen heeft, moet er in het ontwerp gezorgd worden dat de kans op deze fout verminderd wordt. | ||
| In de evaluatie moet er worden bepaald of de resterende risico’s acceptabel zijn. | ||
| Een analyse van de impact is hiervoor noodzakelijk. |
There was a problem hiding this comment.
Suggested change
| Een analyse van de impact is hiervoor noodzakelijk. |
| - technische-robuustheid-en-veiligheid | ||
| - fundamentele-rechten | ||
| rollen: | ||
| - projectleider |
There was a problem hiding this comment.
Suggested change
| - projectleider | |
| - projectleider | |
| - ontwikkelaar |
| <!-- list_vereisten_on_maatregelen_page --> | ||
|
|
||
| ## Risico | ||
| Wanneer robuustheid niet in het ontwerp al wordt meegenomen, kan er voor een model worden gekozen waar het niet mogelijk is robuustheid voldoende te waarborgen. |
There was a problem hiding this comment.
Suggested change
| Wanneer robuustheid niet in het ontwerp al wordt meegenomen, kan er voor een model worden gekozen waar het niet mogelijk is robuustheid voldoende te waarborgen. | |
| Wanneer robuustheid niet in het ontwerp wordt meegenomen, kan er voor een model worden gekozen waar het niet mogelijk is robuustheid voldoende te waarborgen. |
|
|
||
| ## Bronnen | ||
| - [Kenniscentrum Data & Maatschappij, Ethisch principe 2: technische robuustheid en veiligheid](https://data-en-maatschappij.ai/publicaties/ethisch-principe-2-technische-robuustheid-en-veiligheid) | ||
| - [Europese Commissie, Ethische richtsnoeren voor betrouwbare KI](https://digital-strategy.ec.europa.eu/nl/library/ethics-guidelines-trustworthy-ai) |
There was a problem hiding this comment.
Ik twijfel over verwijzing naar de richtlijn. Deze is in principe opgegaan in de AI-Verordening en daar ook aangescherpt/verduidelijk/afgebakend etc.
| ### Leg vast wat de vervolgacties zijn | ||
| - Leg in een proces vast hoe het gebruik van het algoritme moet worden stopgezet. | ||
| - Leg vast hoe er gewerkt worden zonder het algoritme en wat de impact daarvan is op het werkproces. | ||
| - Leg vast wie er binnen en buiten de organisatie geïnformeerd moeten worden. | ||
| - Het is van belang dat bij het ontwerp van algoritmes er rekening wordt gehouden met dat het werkproces ook zonder het algoritme kan worden uitgevoerd. | ||
| - In het geval van risicoselectie kan er bijvoorbeeld worden teruggevallen op het enkel uitvoeren van een [aselecte steekproef](6-imp-02-aselecte-steekproeven.md) als selectieinstrument. | ||
| - Als blijkt dat het algoritme ongewenst functioneert, dan moeten (technische) maatregelen zijn getroffen waarmee het gebruik daadwerkelijk kan worden stopgezet. Denk hierbij aan een stopknop en werkinstructies hoe het gebruik kan worden beëindigd. |
There was a problem hiding this comment.
Suggested change
| - Als blijkt dat het algoritme ongewenst functioneert, dan moeten (technische) maatregelen zijn getroffen waarmee het gebruik daadwerkelijk kan worden stopgezet. Denk hierbij aan een stopknop en werkinstructies hoe het gebruik kan worden beëindigd. | |
| - Als blijkt dat het algoritme ongewenst functioneert, dan moeten (technische) maatregelen zijn getroffen waarmee het gebruik daadwerkelijk kan worden stopgezet. Denk hierbij aan een stopknop en [werkinstructies](6-imp-01-werkinstructies-gebruikers.md) hoe het gebruik kan worden beëindigd. |
| Maak een plan voor wat er continu gemonitord moet worden tijdens het gebruik van het algoritme. Dit plan bevat niet alleen wat en hoe er gemonitord wordt, maar ook bij welke overschrijdingen actie moet worden ondernomen. | ||
|
|
||
| ## Toelichting | ||
| Het monitoringplan moet aangeven wat er continu moet worden gemonitord en op welke manier dit moet gebeuren. |
| Het monitoringplan moet aangeven wat er continu moet worden gemonitord en op welke manier dit moet gebeuren. | ||
| Daarnaast bevat het plan in welke situaties er actie moet worden ondernomen, en wie daarbij betrokken moet zijn. | ||
|
|
||
| Voor op opstellen van het monitoringplan zijn de volgende stappen nodig: |
| Welke informatie moet er opgeslagen worden om deze metrieken te kunnen meten? Analyseer ook of er aspecten zijn die niet met metrieken gemeten kunnen worden en hoe je die aspecten kan monitoren. | ||
|
|
||
| ### Bepaal de grenswaarden: bij welke overschrijding moet er actie worden genomen? | ||
| Voor een effectieve monitoring is het van belang dat duidelijk is wanneer er actie moet worden ondernomen op de resultaten. Leg vast voor elk van de aspecten die gemonitord wordt bij welke waarden er actie moet worden genomen. Hiervoor is het noodzakelijk om een duidelijke omschrijving te hebben wat de beoogde werking van het systeem is. Het is ook mogelijk om meerdere waarden per monitor te bepalen, waar bij een eerste overschrijding alleen een waarschuwing wordt gegeven en bij een tweede het algoritme bijvoorbeeld wordt overgegaan tot het [noodplan](4-owk-02-stopzetten-gebruik.md). |
There was a problem hiding this comment.
Suggested change
| Voor een effectieve monitoring is het van belang dat duidelijk is wanneer er actie moet worden ondernomen op de resultaten. Leg vast voor elk van de aspecten die gemonitord wordt bij welke waarden er actie moet worden genomen. Hiervoor is het noodzakelijk om een duidelijke omschrijving te hebben wat de beoogde werking van het systeem is. Het is ook mogelijk om meerdere waarden per monitor te bepalen, waar bij een eerste overschrijding alleen een waarschuwing wordt gegeven en bij een tweede het algoritme bijvoorbeeld wordt overgegaan tot het [noodplan](4-owk-02-stopzetten-gebruik.md). | |
| Voor een effectieve monitoring is het van belang dat duidelijk is wanneer er actie moet worden ondernomen op de resultaten. Leg vast voor elk van de aspecten die gemonitord wordt bij welke waarden er actie moet worden genomen. Hiervoor is het noodzakelijk om een duidelijke omschrijving te hebben wat de beoogde werking van het systeem is. Het is ook mogelijk om meerdere waarden per monitor te bepalen, waarbij een eerste overschrijding alleen een waarschuwing wordt gegeven en bij een tweede het algoritme bijvoorbeeld wordt overgegaan tot het [noodplan](4-owk-02-stopzetten-gebruik.md). |
| Voor een effectieve monitoring is het van belang dat duidelijk is wanneer er actie moet worden ondernomen op de resultaten. Leg vast voor elk van de aspecten die gemonitord wordt bij welke waarden er actie moet worden genomen. Hiervoor is het noodzakelijk om een duidelijke omschrijving te hebben wat de beoogde werking van het systeem is. Het is ook mogelijk om meerdere waarden per monitor te bepalen, waar bij een eerste overschrijding alleen een waarschuwing wordt gegeven en bij een tweede het algoritme bijvoorbeeld wordt overgegaan tot het [noodplan](4-owk-02-stopzetten-gebruik.md). | ||
|
|
||
| ### Bepaal welke acties genomen moeten worden bij een overschrijding | ||
| Je legt hier in eerste instantie vast of het algoritme moet worden stopgezet, beperkt moet worden in de inzet of nog gebruikt kan blijven worden. Ten tweede bepaal je wat voor andere acties er moeten worden genomen, bijvoorbeeld moet er een nieuwe uitgebreide evaluatie moet plaatsvinden, moet het algoritme worden bijgewerkt, moet er nieuwe data verzameld worden, moet de beveiliging verbeterd worden, moet er worden overgestapt op plan B. |
There was a problem hiding this comment.
Suggested change
| Je legt hier in eerste instantie vast of het algoritme moet worden stopgezet, beperkt moet worden in de inzet of nog gebruikt kan blijven worden. Ten tweede bepaal je wat voor andere acties er moeten worden genomen, bijvoorbeeld moet er een nieuwe uitgebreide evaluatie moet plaatsvinden, moet het algoritme worden bijgewerkt, moet er nieuwe data verzameld worden, moet de beveiliging verbeterd worden, moet er worden overgestapt op plan B. | |
| Je legt hier in eerste instantie vast of het algoritme moet worden stopgezet, beperkt moet worden in de inzet of in gebruik kan blijven. Ten tweede bepaal je wat voor andere acties er moeten worden genomen, bijvoorbeeld moet er een nieuwe uitgebreide evaluatie moet plaatsvinden, moet het algoritme worden bijgewerkt, moet er nieuwe data verzameld worden, moet de beveiliging verbeterd worden, moet er worden overgestapt op plan B. |
| Je legt hier in eerste instantie vast of het algoritme moet worden stopgezet, beperkt moet worden in de inzet of nog gebruikt kan blijven worden. Ten tweede bepaal je wat voor andere acties er moeten worden genomen, bijvoorbeeld moet er een nieuwe uitgebreide evaluatie moet plaatsvinden, moet het algoritme worden bijgewerkt, moet er nieuwe data verzameld worden, moet de beveiliging verbeterd worden, moet er worden overgestapt op plan B. | ||
|
|
||
| ### Leg vast hoe en aan wie er een waarschuwing wordt gegeven wanneer een waarde wordt overschreden | ||
| Om effectief te kunnen ingrijpen is het van belang dat wordt vastgelegd in het monitoring plan op welke manier er een waarschuwing wordt gegeven, aan wie deze waarschuwing wordt gegeven en welke informatie deze persoon nodig heeft. Bepaal bijvoorbeeld ook of een systeem automatisch wordt uitgeschakeld of dat een mens die keuze moet maken. |
There was a problem hiding this comment.
Suggested change
| Om effectief te kunnen ingrijpen is het van belang dat wordt vastgelegd in het monitoring plan op welke manier er een waarschuwing wordt gegeven, aan wie deze waarschuwing wordt gegeven en welke informatie deze persoon nodig heeft. Bepaal bijvoorbeeld ook of een systeem automatisch wordt uitgeschakeld of dat een mens die keuze moet maken. | |
| Om effectief te kunnen ingrijpen is het van belang dat wordt vastgelegd in het monitoringsplan op welke manier er een waarschuwing wordt gegeven, aan wie deze waarschuwing wordt gegeven en welke informatie deze persoon nodig heeft. Bepaal bijvoorbeeld ook of een systeem automatisch wordt uitgeschakeld of dat een mens die keuze moet maken. |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
Beschrijf jouw aanpassingen
nieuwe maatregelen in het kader van technische robuustheid. Veiligheid volgt in een losse PR
Bij welk issue hoort deze pull-request?
#378
Checklist before requesting a review