Onderzoek problematisch gokgedrag: We zien het topje van de ijsberg

Ook moet duidelijk zijn of er menselijk handelen aan te pas is gekomen bij de actie die een overheid neemt naar aanleiding van de uitkomst van een algoritme. Daarnaast is er een workshop Introductie Tada-waarden en moet een ethische bijsluiter worden ingevuld en actueel worden gehouden. Opvallend is de beschrijving van situaties waarin een ‘projectleider’ wordt geacht om deze workshop te volgen en de ethische bijsluiter te actualiseren. Er worden hierbij twaalf zeer uiteenlopende “statements” genoemd die dit acceptatiecriterium zouden activeren. Het abstracte karakter van die statements (bijvoorbeeld “er wordt nieuwe technologie gebruikt” of “onderbuikgevoel”) roept bij ons de vraag op of de criteria om de workshop te volgen en de ethische bijsluiter actueel te houden, niet te vrijblijvend zijn geformuleerd. In de tweede helft van 2023 zal het jaarplan worden geëvalueerd en bijgesteld.

• Ook is door de ambtelijke organisatie besloten dat het model zich niet langer zal richten op het voorspellen van de kans op woonfraude.
• Daarnaast overwegen we om (onderdelen van) het Amsterdamse beheerskader aan een of meerdere deskundigen voor te leggen.
• De ambtelijke organisatie geeft aan dat het Amsterdamse beheerskader voor algoritmen enkel door het GMT is vastgesteld (januari 2022).
• Op 24 juni 2023 bevat het landelijke register 123 algoritmen van (decentrale) overheden en 8 Amsterdamse algoritmen.
• Enerzijds zorgt het ervoor dat je de app vaker opent – ben je na vijf minuten scrollen nog steeds gespannen, en leg je hem weg om koffie te halen, dan is de kans groot dat je je telefoon opnieuw oppakt als de wandeling niet meteen blijkt te helpen.
• Alleen als er sprake is van kunstmatige intelligentie, zoals de titel van de template suggereert, of ook voor de eenvoudigere algoritmen met alleen een geautomatiseerde beslisboom?

Welke methoden hanteerden wij in ons onderzoek?

De prestaties zijn afhankelijk van de kwaliteit en de hoeveelheid trainingsdata. Complexe toepassingen als spraak- en beeldherkenning, maar ook gepersonaliseerde aanbevelingssystemen werken op die manier. Zulke algoritmen zijn geschikt voor eenvoudige, voorspelbare taken of situaties met weinig variatie. Denk aan een beslisboom die banken gebruiken om te bepalen of iemand die een lening aanvraagt daarvoor in aanmerking komt.

• Wat betreft de toetsing op bias, is binnen het gemeentelijke Kunstmatige Intelligentie Impact Assessment een bias-analysemodel ontwikkeld.
• Het is ook nodig dat het beheerskader verder wordt doorontwikkeld om beter aan te sluiten bij de ambtelijke praktijk en veranderende wetgeving.
• Spelers kunnen bij inmiddels 26 gokbedrijven terecht en kunnen als ze bij de een geweigerd worden bij een ander doorgokken.
• Het laatste perspectief, ‘ethiek’, is verweven in de vier eerder besproken thema’s van sturing en verantwoording, model en data, privacy en IT-beheer (paragrafen 2.3 tot en met 2.6).
• Met betrekking tot bias komen we tot de conclusie dat de ambtelijke organisatie oog heeft voor het bestaan van systematische afwijkingen en bias.

In de eerste plaats is het register bedoeld om transparantie te bieden aan burgers over het gebruik van algoritmen. Ten tweede dient het register om de participatie van burgers te bevorderen door het delen van informatie over algoritmen. Ten derde kan het register ook een interne functie vervullen in het ontwikkelproces van algoritmen, door ontwikkelaars en ambtenaren kaders te bieden voor goed bestuur, zoals het bieden van adequate transparantie. De informatiebeveiliging wordt met het beheerskader over het algemeen ook voldoende geborgd met ‘security by design’ en allerhande maatregelen rondom toegangsrechten. Aandachtspunten zijn wel de controle op het up-to-date houden van toegangsrechten, logging van minder risicovolle algoritmen en de verantwoordelijkheid voor het maken van back-ups (zie verder paragraaf 2.4). Daarnaast moet zowel bij hoog risicovolle algoritmen als bij inkoop worden vastgelegd op welke wijze in menselijke tussenkomst is voorzien.

AlgoritmenOnderzoeksrapport

ParkeercontroleDe gemeente Amsterdam zet scanauto’s met geautomatiseerde kentekenherkenning in om te controleren of voor een geparkeerde auto parkeergeld is betaald of dat deze een parkeervergunning heeft. De scanauto’s worden ook ingezet voor de opsporing van gestolen voertuigen en voertuigen met een vordering van de politie of het Openbaar Ministerie. Bekijk de dossiers Kunstmatige intelligentie en Algoritmes voor uitleg, filmpjes, tips en voorbeelden. In programmeertaal is het een instructie, een stukje code, om een probleem om te lossen. In wijken met veel zwarte inwoners patrouilleert de politie vaker, waardoor er meer data beschikbaar zijn over de inwoners.

Als er vaak op een bericht wordt geklikt, wordt het ook vaker getoond in Facebook of Google. Nepnieuwsmakers spelen hier slim op in door hun bericht extra aantrekkelijk te maken om op te klikken (dat noemen we clickbait). Op die manier ontwikkelen we allemaal onze eigen filterbubbel; je krijgt bevestigd wat je al wist.

Het bestrijden van de illegale passagiersvaart maakt daarom onderdeel uit van het Amsterdams beleid. Amsterdam wil de illegale passagiersvaart bestrijden door streng te handhaven en digitale middelen in te zetten om de handhaving informatiegestuurd en efficiënter te maken. De ontwikkelfase van het algoritmeGripvol is een ‘Software as a Service’-pakket dat is ingekocht door de gemeente Amsterdam. Voordat Amsterdam Gripvol ging gebruiken, werd Gripvol al in andere gemeenten ingezet. Jaarlijks wordt de werking van Gripvol geëvalueerd door Gripvol en Amsterdam in een gezamenlijke bijeenkomst.

Volgens de CIO is er soms sprake van een vooringenomenheid dat de politiek niet goed is in het maken van technische afwegingen. Volgens de CIO wordt in de ambtelijke organisatie onvoldoende onderkend dat ethische afwegingen ook politieke afwegingen kunnen zijn. Het is daarom van belang dat de Bbz-adviseur zorgvuldig en accuraat te werk gaat en alle benodigde informatie verzamelt en verifieert (ook in het gesprek met de aanvrager). Om zo te voorkomen dat er fouten worden gemaakt en de aanvraag onterecht wordt toegekend of afgewezen. Het is uiteindelijk aan de Bbz-adviseur om de informatie van de aanvrager – eventueel met behulp van Gripvol – te beoordelen, en om te bepalen of de aanvrager in aanmerking komt voor ondersteuning onder de Bbz-regeling.

Bij elk algoritme moet duidelijk zijn wat het doel is en of de risico’s daar tegenop wegen. Bij geen van de onderzochte algoritmen is sprake van volledig geautomatiseerde besluitvorming. Er is dus altijd sprake van tussenkomst door een mens, voordat er een besluit wordt genomen.

Wanneer het primaire besluit in de eerste plaats echter onvoldoende is toegelicht, missen betrokkenen essentiële informatie om hiertegen op te komen in bezwaar gevolgd beroep (zie ook paragraaf 2.8.4). Eveneens is aan de procedurele transparantie – ook bij inkoop – over het algemeen voldoende aandacht besteed, maar er zijn tegelijkertijd nog enkele tekortkomingen. Ten eerste is niet expliciet benoemd dat elke fase van ‘het levenscyclusmodel’ gedocumenteerd moet worden, wat ten koste gaat van de reproduceerbaarheid van het algoritme. Ten tweede is de procedurele transparantie wederom met name voor algoritmen met hoge risico’s geborgd. Hiervoor wordt expliciet gevraagd om keuzes en aannames die zijn gemaakt gedurende de levenscyclus te documenteren.

Wat kunt u vertellen over het toetsingskader dat wordt ontwikkelend?

Bovendien kwamen beperkingen in de realisatie van het algoritme gaandeweg aan het licht. In het geval van illegale onderhuur ging het daarbij om de vragen welke data ontsloten kunnen en mogen worden, en of er veilige en geschikte ontwikkel- en productieomgevingen beschikbaar waren. Het team van het algoritme Behandeling aanvraag Bbz-uitkering gaf aan dat ze niet van tevoren het idee hadden dat ze een ‘algoritme’ (in de zin van de definitie van Amsterdam) inkochten. Dit team zou daarom ook meer duidelijkheid willen hebben over de definitie en risicocategorisering van algoritmen. De drie teams beschouwen een duidelijk en toegankelijk gemeentelijk beheerskader voor algoritmen met daarin heldere richtlijnen en verwachtingen ten aanzien van de te ontwikkelen of in te kopen algoritmen als een voorwaarde om algoritmen succesvol toe te passen. Een andere randvoorwaarde voor het succesvol toepassen van een algoritme, is dat het proces van checks voor het algoritme samen met de lijnorganisatie ontwikkeld moet zijn, zodat dit proces aansluit op de praktijk van de lijnorganisatie.

Reactie staatssecretaris van BZK op het rapport Aandacht voor algoritmes

Zo wordt het kabinet aanbevolen om zorg te dragen voor een eenduidige gemeenschappelijk taal en concrete kwaliteitseisen voor algoritmes. En continue monitoring is nodig.Burgers moeten inzicht in detoepassing van algoritmes kunnen krijgen en ergens terecht kunnen met hun vragen. Die verdienen serieuze aandacht.We roepen het kabinet op ervoor te zorgen dat het toetsingskader vertaald wordt naar hanteerbare kwaliteitseisen. Dit onderzoek richt zich op de vraag in hoeverre het Amsterdamse beheerskader voor algoritmen toereikend is voor een verantwoorde toepassing van algoritmen en welke lessen getrokken kunnen worden over het toepassen van algoritmen in de Amsterdamse praktijk. Het normenkader bestaat uit de perspectieven van 1) sturing en verantwoording , 2) model en data , 3) privacy , 4) IT-beheer  en 5) ethiek  (zie figuur 2).

Wel ziet Van den Bos dat het principe van morele verontwaardiging op een platform als TikTok iets anders lijkt te werken. Hier worden mensen meer binnen hun eigen bubbel gehouden en krijgen ze filmpjes waar weliswaar veel maatschappelijke discussie over is, maar die bevestigen wat ze al denken. De aard van dit soort berichten kan het venster op de werkelijkheid vertroebelen.

Een ander risico voor het ontbreken van deze documentatie van het model en de code is dat de continuïteit van het proces en de uitvoering van werkzaamheden in geding komt. Tot slot heeft het Amsterdamse beheerskader beperkt aandacht voor duurzaamheid en doelmatigheid. In haar advies over de opvolging van het raadsinitiatief Grip op Technologie (maart 2023) schrijft de CPA dat kunstmatige intelligentie getraind moet worden met data om het algoritme zijn werk te laten doen. Het benodigde energieverbruik daarvan kan een grote impact op het milieu hebben.

Nabootsen menselijke intelligentie

In juli 2021 geeft het college van B en W aan met het beheerskader voor algoritmen meer grip te willen krijgen op de gemeentelijke algoritmen, en deze eerlijker en transparanter te maken voor haar inwoners. In december 2022 wordt daaraan toegevoegd dat het beheerskader ook tot doel heeft om de democratische waarden van een rechtstaat zeker te stellen. Ten eerste omdat het Amsterdamse beheerskader in 2021 en 2022 ontwikkeld is, terwijl algoritmen al jaren in de Amsterdamse praktijk worden toegepast.

Dit helpt bij het voorkomen van onvoorziene problemen zoals inbreuken op privacy, een gebrek aan beschikbare data of incompatibiliteit tussen verschillende systemen. Tegelijkertijd benadrukken de teams dat er in een project ook ruimte moet zijn om stappen achter elkaar te kunnen zetten. Het Amsterdamse beheerskader voor algoritmen was begin 2023 maar beperkt bekend bij de teams. Een van de medewerkers gaf aan met het kader te kunnen werken, omdat zij beschikte over vakspecialistische kennis. Zij vroeg zich wel af of het mogelijk is om een kader op te stellen waarin de steeds nieuwe ontwikkelingen goed zijn beschreven. Positief is dat ook enkele medewerkers de gemeentelijke intranetpagina over algoritmen en de Data Learning Hub op Tamtam spontaan benoemden.

In het beheerskader is in beperkte mate aandacht voor het in kaart brengen van de maatschappelijke impact van een algoritme. Zo zijn de directeuren respectievelijk de dagelijkse bestuurders verantwoordelijk voor het toetsen van de impact van beoogde algoritmen bij bewoners en ondernemers. Daarnaast moeten door middel van een gemeentelijke Kunstmatige Intelligentie Impact Assessment (zie paragraaf 2.8.5) risico’s in kaart worden gebracht inclusief de gevolgen voor de mensenrechten en de afweging van ethische principes. Deze Kunstmatige Intelligentie Impact Assessment bevat echter relatief weinig vragen over de sociale gevolgen of de impact op de samenleving en democratie (met name in het onderdeel ‘Wettige en ethische toepassing’). De landelijke Impact Assessment Mensenrechten en Algoritmes (IAMA) bevat dergelijke vragen in meerdere mate, maar deze impactanalyse was ten tijde van het rekenkameronderzoek nog op vrijwillige basis. Aandacht voor de impact op het milieu zijn we niet tegengekomen in het Amsterdamse beheerskader.

Het algoritme zal niet langer informatie geven “over de kans” op onderhuur op een adres, maar alleen die beslisregels tonen die voor het specifieke adres van toepassing zijn. Besloten werd om data op te vragen bij twee woningcorporaties om een pilot te kunnen starten. Wel zijn in 2022 zijn voor twee algoritmen technische kwaliteitscontroles uitgevoerd. De ambtelijke organisatie heeft aangegeven dat de ambitie is om deze controle op den duur voor “alle algoritmen” te willen uitvoeren.

Met dit normenkader kan worden beoordeeld of het algoritme voldoet aan bepaalde kwaliteitscriteria, of de risico’s voldoende in beeld zijn bij de ambtelijke organisatie en/of het college, en in hoeverre deze risico’s zijn beperkt met beheersmaatregelen. Met het beantwoorden van deze vraag is het echter niet mogelijk om een uitspraak te doen over de mate waarin individuele algoritmen verantwoord in de praktijk zijn ingezet. Ten eerste omdat het Amsterdamse beheerskader recent ontwikkeld is, terwijl algoritmen al jaren in de Amsterdamse praktijk worden toegepast. Ten tweede kan bij het ontwikkelen en onderhouden van algoritmen (on)bewust worden afgeweken van het beheerskader, omdat men niet bekend is met het kader of andere prioriteiten stelt. Het tweede ethische perspectief is het voorkomen van schade voor de betrokkene.

Tot begin juni 2023 zijn in het kader van bewustwording rondom algoritmen met een hoog risico verdiepingssessies georganiseerd bij de directie OOV en het cluster Sociaal. Daarnaast hebben verschillende workshops van het kernteam Algoritme en de vakgroep Privacy plaatsgevonden, aldus de ambtelijke organisatie. Uit het Jaarplan 2023 van de afdeling IA&BO blijkt dat de afdeling in 2023 geen algoritmen zal gaan onderzoeken. Wel zal de afdeling in 2023 van de ontwikkel- en de dataomgeving voor algoritmen (Azure) de informatiebeveiliging en privacybescherming gaan onderzoeken. De vraag is dan ook of het voor de ambtelijke organisatie duidelijk is dat op andere kenmerken ongerechtvaardigd onderscheid gemaakt kan worden.

Een ander deel geeft aan dat de betrokkenheid van het college gewenst kan zijn wanneer het algoritme een hoger risicoprofiel heeft. Het risicoprofiel van een algoritme wordt bijvoorbeeld hoger als er sprake is van geautomatiseerde besluitvorming, profilering in de zin van de AVG of als het algoritme moeilijk uitlegbaar is. Weer een ander deel vindt het lastig om te bepalen wanneer het passend is om naar het college te gaan en wanneer niet.

Aan hoog risico-algoritmen worden meer transparantie-eisen gesteld dan aan minder risicovolle algoritmen. Andere aandachtspunten zijn enerzijds het documenteren van alle fasen in het levenscyclusmodel, waaronder het verkrijgen, bewerken, trainen en testen van data. En anderzijds meer proactieve en gerichte communicatie richting belanghebbenden en het beter toelichten van primaire besluiten waarbij het algoritme een rol heeft gespeeld. BeoordelingIn het algemeen is er voldoende aandacht voor https://evacuatiekaboel.nl/ de technische transparantie in het beheerskader, dat geldt ook voor de modelbepalingen voor inkoop.

We denken dat toenemend gebruik van technologie waarbij algoritmen worden ingezet voor Amsterdam onvermijdelijk is . Dit gebeurt in een context van personeelstekorten, een toename van het aantal gemeentelijke taken en verantwoordelijkheden en een verder gaande digitalisering van de samenleving. Het toepassen van algoritmen heeft gevolgen voor de werkwijze van de gemeente en het heeft gevolgen voor de dienstverlening aan haar burgers. Amsterdam staat daarmee net zoals andere organisaties aan het begin van een structurele verandering.

Bij de start van ons onderzoek hebben wij de drie ambtelijke teams die verantwoordelijk zijn voor het algoritme  gevraagd om de belangrijkste lessen te beschrijven. Daarbij hebben we hen uitdrukkelijk uitgenodigd om ook zaken te beschrijven die voorspoedig zijn voorlopen, met als doel dat andere onderdelen van de ambtelijke organisatie daarvan kunnen leren als ze een algoritme gaan ontwikkelen, gaan inkopen of ermee gaan werken. Tevens hebben wij gedurende het onderzoek gesproken met de drie teams, en hebben wij in een groepsgesprek onze voorlopige bevindingen met hen en vertegenwoordigers van de directie DS&I besproken. Informeren van belanghebbenden gebeurt weinigTen derde worden betrokkenen, zoals belanghebbenden of eenieder wiens gegevens worden verwerkt, beperkt actief geïnformeerd over het algoritme, de mogelijke consequenties van het algoritme en welke beperkingen het algoritme heeft. Hierdoor is het voor betrokkenen niet altijd duidelijk dat zij (indirect) met een algoritme te maken hebben. Het alsnog opnemen van het algoritme in het verwerkingsregister tijdens de onderzoeksperiode bleek niet eenvoudig en vroeg veel tijd.

In dit voorbeeld zou de variabele ‘postcode’ indirect kunnen leiden tot bias op basis van nationaliteit. Het bias-analysemodel onderkent wel het onderscheid tussen directe en indirecte bias, maar reikt geen oplossingen aan voor het bovenstaande probleem. De ambtelijke organisatie had bij de start van ons onderzoek (september 2022) een inventarisatie gemaakt van mogelijke algoritmen, aan de hand van het verwerkingsregister voor persoonsgegevens. Omdat er op dat moment geen activiteiten plaatsvonden voor een verdere inventarisatie van algoritmen, hebben wij een inventarisatie geïnitieerd (zie kader Interne inventarisatie verloopt moeizaam). Daarnaast heeft het kader nog geen aandacht voor casussen waarbij persoonsgegevens die zijn verzameld en/of verwerkt voor het ene doel, worden gebruikt voor een ander doel.

Andere zorgen zijn dat de overheid algoritmen gebruikt zonder dat te vertellen, en dat de overheid niet aan burgers kan uitleggen hoe een besluit is genomen. Dat geldt niet alleen voor technisch ingewikkelde algoritmen, maar ook voor simpele algoritmen die grote gevolgen kunnen hebben voor burgers. De gemeente Amsterdam gebruikt algoritmen bij de uitvoering van haar taken (zie kader Voorbeelden algoritmen Amsterdam). Een algoritme is een set regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden.

‘De moderne algoritmen geven eigenlijk niet zoveel prijs, je ziet weinig in de code.’ Die code kan alleen zijn werk doen in combinatie met grote hoeveelheden (gebruikers)data. Alleen in combinatie met precieze metriek kunnen de vermaledijde algoritmen bijdragen aan de doelstellingen van bedrijven. En, ja, het klopt dat deze ‘verborgen werkers’ het gedrag van gebruikers op een platform beïnvloeden. Door mensen veel berichten voor te schotelen waar zij boos over worden, lukt het X om reacties uit te lokken, om maar een voorbeeld te noemen. Om de individuele algoritmen te beoordelen, gebruiken we het normenkader dat in 2021 ontwikkeld is door de Algemene Rekenkamer. De Algemene Rekenkamer heeft het kader inmiddels al toegepast bij twaalf algoritmen bij Nederlandse overheden.

Naast onze eigen toetsing hebben we het Amsterdamse beheerskader onafhankelijk laten toetsen door een team van vier wetenschappers van Tilburg Law School (Tilburg University). Daarvoor hebben we gevraagd of zij elk vanuit hun eigen achtergrond, kennis en kunde het beheerskader willen beoordelen. De wetenschappers hebben onder andere gebruikgemaakt van juridische inzichten die zijn ontleend aan het privacyrecht, de mensenrechten en het bestuursrecht, maar ook van ethische inzichten die soms verder gaan dan waartoe het geldende recht momenteel verplicht. Op 23 februari 2023 hebben wij het rapport Een onafhankelijke beoordeling van het Amsterdamse beheerskader voor algoritmen ontvangen. De bevindingen van de onderzoekers van Tilburg University hebben wij betrokken bij het opstellen van dit rapport (met name in paragrafen 2.2 en 2.8). De uitkomsten van het × Download Tilburg University – Een onafhankelijke beoordeling van het Amsterdamse beheerskader voor algoritmen onderzoek van Tilburg University (23 februari 20213) zijn opgenomen als een afzonderlijke bijlage bij dit rapport en die is zelfstandig leesbaar.

Een verantwoorde ontwikkeling naar complexere geautomatiseerde toepassingen vereist beter overzicht – dat hebben ministers nu niet, zo wijst het onderzoek uit – en betere kwaliteitscontrole. De Rekenkamer schrijft dat vragen van bezorgde burgers over de toepassing van algoritmes meer aandacht verdienen. Ook gaan we niet na of het beheerskader van de gemeente juist wordt toegepast. De reden hiervoor is dat het beheerskader van de gemeente nog volop in ontwikkeling is en de verwachting is dat het nog niet volledig door de ambtelijke organisatie wordt toegepast.