ARC (vak)praat met... Damian Borstel, AI expert

Om de ontwikkelingen in onze vakgebieden nauwkeurig te blijven volgen, interviewen wij iedere maand een expert uit de praktijk. In een serie gesprekken met eindverantwoordelijken voor audit, risk en/of compliance en stellen wij de vraag: welke ontwikkelingen zie je en hoe ga je daarmee om? In deze ARC People (vak)praat focussen we ons op Artificial Intelligence (AI), momenteel een hot topic en interviewen we met plezier Damian Borstel, Senior Toezichthouder (Expertisecentrum) bij de AFM. Dit interview is op persoonlijke titel.

Naast zijn functie bij AFM, is Damian actief in het geven van trainingen op het gebied van AI en is hij actief als expert member bij NEN en CEN/CENELEC. CEN (Comité Européen de Normalisation) en CENELEC (European Committee for Electrotechnical Standardization) zijn twee Europese organisaties die zich bezighouden met normalisatie, het ontwikkelen van technische normen en standaarden voor verschillende industrieën en sectoren. Daarnaast is hij ook lid van de NOREA kennisgroep Algorithm & Assurance en als kers op de taart recentelijk begonnen met zijn PhD aan de UvA m.b.t. ‘Toezicht op AI in de financiële sector’.

Ik heb altijd al interesse gehad in IT. Meer dan 30 jaar geleden ben ik begonnen met mijn XT-pc en kwam door gaming al snel in aanraking met AI en merkte ik dat de ene game dit beter onder controle had dan een andere. Tijdens mijn post-doc voor mijn RE-titel aan de UvA ontstond de interesse om mijn thesis te houden over Algorithm Assurance, hieruit ontstond mijn ‘algorithm assurance kubus’ (een kubus waarbij aspecten als randvoorwaarden, vertrouwen, (data)proces en ESG samenkomen om zo op een gedegen manier (mogelijk in de toekomst) assurance af te kunnen geven rekening houdende met de onderlinge relaties tussen de aspecten) en steeds grotere fascinatie voor het onderwerp AI. Het is immers bijna overal, van smart watches, IoTs in huis tot in auto’s aan toe.

Alvorens een beeld te geven over de omvang van AI, dient er meer duidelijkheid te komen over wat AI of een AI-systeem precies is. De OECD heeft recent een nieuwe definitie gepubliceerd, maar is niet verankerd in een wet. Gelukkig komt dit op korte termijn wel en zal dit beschreven worden in de aankomende EU AI Verordening. Dit maakt het makkelijker om aan te geven wat AI is en daarmee ook de omvang van AI. Een precieze omvang kan ik niet geven, maar dat de omvang alleen maar toe zal nemen wel. Het wordt immers organisaties en/of werknemers zonder data science kennis erg gemakkelijk gemaakt om door gebruik van low-code/no-code tooling AI in bestaande bedrijfsprocessen toe te voegen. Nu sinds een jaar ChatGPT en andere Large Language Models (LLMs) naambekendheid hebben en de kracht en eenvoud van deze tooling zullen er alleen maar meer voor zorgen dat de omvang zal toenemen op korte termijn.

Door de vragende manier waarop deze tools werken, kan je snel je gedachten erop loslaten. Dit maakt het eenvoudig om te vragen naar efficiëntie slagen of risico’s omtrent een bepaald proces. Daarmee wordt het een assistent om input te leveren aan taken. Wel is het zo dat sinds ook het schandaal met Samsung, waar geheime bedrijfscode openbaar werd gemaakt door gebruik te maken van de openbare ChatGPT versie, er voorzichtig wordt omgegaan met het gebruik van AI buiten de eigen beveiligde omgeving.

Zoals net aangegeven komen we dit overal tegen. De WRR noemt het ook een systeemtechnologie en een professor van Stanford (Andrew Ng) geeft aan dat AI meer impact zal hebben dan elektriciteit. Als straks de AI Verordening van kracht is, zal door de transparantieverplichtingen, het nog duidelijker worden in hoeverre je in aanraking komt met AI. Dit is dan wel AI direct met jou ‘communiceert’. De AI tooling in organisaties zelf of die mogelijk achter andere AI ‘verscholen’ zit, zijn misschien minder inzichtelijk. Er is een interessante website die inzicht geeft welke AI-tooling er allemaal is: theresanaiforthat.com.

Waar het gaat om een ‘neuraal netwerk’, is dit nog beperkt door de grote kosten die hiermee gepaard gaan. Echter, worden zeer complexe Excel sheet en dergelijke wel breed ingezet (die mogelijk ook onder de AI-definitie gaan vallen). Ook kan het zeker voorkomen dat de respons of het advies die door een persoon gegeven worden, uit prompts van een AI-tool worden gehaald die de ‘correcte’ respons aan bijvoorbeeld een helpdeskmedewerker geven. De vraag die dan nog overblijft is of deze persoon nog kritisch nadenkt of dat deze slechts een ‘doorgeefluik’ is.

De Big Tech bedrijven zijn in de lead met het aanbieden van interessante en user-friendly AI tooling. Hierdoor zullen vele (delen van) processen worden uitbesteed. Third party management (TPM) zal steeds belangrijker worden, maar dus ook de interne kennis om te begrijpen wat deze derden partijen (precies) doen. Je moet immers kritische vragen kunnen stellen over bv. welke datasets er gebruikt zijn.

Zeker kleine bedrijven kunnen ook geconfronteerd worden met AI zonder het te weten. Deze hebben namelijk minder capaciteit om onderzoek te doen naar partners of derden die mogelijk wel degelijk gebruik maken van AI voor hun interne processen. Inzicht hebben dan wel contractueel vastleggen wanneer er AI gebruikt wordt, is dan eigenlijk een must. Je blijft immers als bedrijf eindverantwoordelijk en transparantie over het (mogelijke) gebruik van AI heeft impact op het vertrouwen.

Er zijn verschillende risico’s te benoemen. Je kan denken aan governance, transparantie, ethiek, uitlegbaarheid, privacy risico’s bij gebruik van persoonsgegevens, schending van mensenrechten, datakwaliteit, discriminatie en biases. Ook risico’s op gebied van cybersecurity zijn actueel. Kwaadwillende/hackers kunnen bv door gebruik van WormGPT makkelijk phishing aanvallen doen of malware laten schrijven en dit is pas het begin. Zo kan het door de beperkte transparantie naar data en processen achter de tools, het eenvoudig voorkomen dat deze op de verkeerde populatie gebaseerd zijn waardoor de uitkomsten (accuracy/performance van het model) minder accuraat kan zijn dan vooraf gesteld. Het is daarmee van groot belang om een TPM-afdeling te hebben, of in ieder geval de kritische vragen te blijven stellen. Naast dat je er wel vanuit gaat dat een bedrijf correct om gaat met haar data en systemen, blijf je als gebruiker dan wel tussenpersoon ook de verplichting houden kritisch te blijven. Om na te gaan of de data die gebruikt wordt voor de modellen wel in lijn zijn met de doelgroep. Ook om na te gaan of er voldoende aandacht is geweest voor de privacy van degenen wiens data wordt gebruikt.

Binnen EU komt eerst de EU AI Verordening. Er zijn nu onderhandelingen tussen de Europese Commissie (EC), Europees Parlement (EP) en Europese Raad (ER), ook wel de triloogonderhandelingen genoemd. Naar verwachting zal de AI Verordening uiterlijk begin volgend jaar definitief zijn en dan per direct ingaan, maar waarschijnlijk wel met een overgangsperiode van ongeveer twee jaar. Dit is op moment van schrijven nog onduidelijk. Daarnaast komt de AI Liability Directive en AI Treaty van de Raad van Europa er ook aan. Afhankelijk van de organisatie dien je ook nog rekening te houden met de DMA, DSA, NIS2, CSA, CRA en als je internationaal opereert met de VS ook op termijn mogelijk met de ‘Artificial Intelligence Research, Innovation, and Accountability Act’ (ook wel Bipartisan U.S. AI Bill genoemd) en publicaties van o.a. de G7 en VN.

Hoe de wetgeving eruit komt te zien, waar de grens getrokken gaat worden en waar de grijze gebieden gaan zijn, dat is vooralsnog onduidelijk. Zo zal er een meldplicht aankomen wanneer er diensten door ‘high-risk’ AI-systemen geleverd worden. Echter kan het zijn dat wanneer bijvoorbeeld een klantadviseur informatie in tikt en suggesties van een scherm af leest, dat dit voldoende afstand is om niet gemeld te hoeven worden.

Momenteel zijn er al meer dan 60 LLMs, maar zeker meer dan 1.000 tussenaanbieders die daar dan weer gebruik van maken binnen Europa en zo ook in Nederland. Niet alleen als Big Tech, maar ook als tussenpersoon zal je aan de regelgeving moeten voldoen. De aankomende AI Verordening is horizontale wetgeving en gericht op (bestaande) productregulering. Dan mag je verwachten dat een product met CE keurmerk dat het dan allemaal klopt inclusief de AI. Niet alle sectoren kennen echter het CE keurmerk en daar dient het op een andere manier opgelost te worden. Dat zal onder andere uit de finale wetteksten en guidance van CEN/CENELEC moeten blijken.

Dit is lastig te beantwoorden. Zoals eerder aangegeven dient eerst vastgesteld te worden wat AI is. Binnenkort hebben wij de AI Verordening waardoor het duidelijker zal worden. Organisaties die al gebruik maken van modellen (bv banken en verzekeraars) zullen mogelijk eerder een modellen (/AI) beleid hebben dan de bakker om de hoek. Al kan de bakker ook AI gebruiken om te voorspellen hoeveel en welke broden hij moet maken. Misschien is er wel een verband met het weer of bv. feestdagen, maar voor deze causale verbanden heeft de bakker om de hoek waarschijnlijk geen AI nodig. Mogelijk heeft hij dit wel nodig voor de inkoop van graan. In deze handel zijn er namelijk ook veel handelaren betrokken die voldoende middelen hebben om met AI-tooling de graanprijs proberen te voorspellen (a.d.h.v. bijvoorbeeld het weer of andere variabelen). Recentelijk heeft Google een AI-model (GraphCast) beschikbaar gesteld (open-source) om met je eigen pc snel een weervoorspelling te doen. Zo zie je maar weer dat AI-tooling steeds toegankelijker wordt voor iedereen en niet altijd supercomputers nodig zijn.

Ik denk dat ze alle drie binnen hun eigen rol en verantwoordelijkheden een bijdrage kunnen leveren in het mitigeren van de eerdergenoemde risico’s. Volgens mij is alleen wel een overview van de relevante wetgeving die je eigen organisatie raakt belangrijk en daarnaast het opstellen van een algoritme/AI-register om zo de omvang/aantallen, welke door derden ontwikkeld/onderhouden zijn en impact beter te kunnen inschatten.

Goede vraag, ik denk het uiteindelijk wel. Het zal vooral een tool zijn die auditors zal ondersteunen. Net als in de zorg nu al (in pilots) gebeurt. Een AI-systeem kan bv. veel sneller op een röntgenfoto zien waar mogelijke kankercellen zitten. In China hebben ze ook een competitie gehouden tussen dokters en een AI-systeem. Je raadt het misschien al, het AI-systeem won twee keer de challenge waarbij de tweede challenge de accuracy nog hoger was.

AI-tooling helpt straks auditors in het schrijven van een rapport, rapporteren van bevindingen, of het opstellen van een jaarplan. Ook door te vragen naar sectorspecifieke risico’s, maar er is geen formule of model die 100% weet wat jij wilt. Met goede prompts (vragen) kan je wel een betere uitkomst realiseren. Het is daarmee een aanvulling en daarmee een extra tool in jouw gereedschapskist als auditor, meer dan dat je er volledig op kan steunen. Het mooie van deze tooling zoals een LLM is, dat je het ook kan ‘navragen’ hoe de LLM tot een bepaalde uitkomst komt.

Bijkomend is wel dat bij bijvoorbeeld de openbare ChatGPT, de data naar Amerika verzonden wordt. In het geval van specifiekere vragen over processen of bedrijfsgevoelige zaken binnen jouw organisatie, is het belangrijk om juist een afgesloten omgeving te gebruiken. Zodat de buitenwereld niet weet dat je daar aan het auditen bent.

Ik denk zoals in dit artikel beschreven is, zal de AI-tooling de auditors helpen in de dagelijkse praktijk. Op korte termijn (en in middels al mogelijk indien akkoord van je IT-afdeling) is de Microsoft co-pilot een mooi voorbeeld van een digitale assistent die ervoor zal zorgen dat je als gebruiker/auditor meer tijd over zal houden voor meer belangrijke taken. Continuous monitoring is een mooie gedachte, maar aangezien de LLMs nog minimaal 10% fouten maken/kunnen hallucineren en bij het doen van een audit, komt ook het ‘direct in de ogen aankijken’ tijdens interviews aan te pas en dat ‘aanvoelen en sturen’ zie ik een LLM op korte termijn nog niet (goed) doen. Ook de net ontwikkelde AI pin niet, maar de ontwikkelingen gaan snel (OpenAI Q* misschien?) en zijn leuke gadgets. Als mens zijn we natuurlijk ook niet perfect, maar hebben in beginsel wel meer empathie dan een LLM. Het empathische vermogen is immers één van de moeilijkste dingen van de hersenen om na te bootsen. De toekomst (voor auditors) zal waarschijnlijk zijn dat een LLM de andere LLM zal gaan (continuous) auditen, omdat de menselijke auditor dit (de uitkomsten in sommige situaties) niet meer kan (bevatten). OpenAI heeft recentelijk een paper

gepubliceerd waarbij ze GPT2 proberen te begrijpen/auditen met GPT4. Nadeel is wel dat je een blackbox gaat auditen met een andere blackbox en dat je de huidige versie nog niet kan auditen/begrijpen… voordeel van een LLM is dan wel weer dat je ook om uitleg kan vragen met de juiste prompts (tot een bepaald niveau en indien bepaalde vragen/prompts niet afgeschermd zijn).

Om continuous monitoring te gebruiken, zal het LLM specifieke bevoegdheden nodig hebben, bijvoorbeeld voor Python, Word en wat andere tooling, plus toegang tot specifieke files en data, maar ook gerichte prompts moeten ontvangen, om ervoor te zorgen dat de performance van de output (juistheid/volledigheid) zal verbeteren. Gebruikt iedereen dezelfde tooling, dan zal die steeds sneller verbeteren door de continu feedback die iedereen erop geeft. Wel blijft het risico dat de AI-tool gaat hallucineren, zoals eerder aangegeven. Hierdoor blijft het controleren en valideren van de resultaten belangrijk. Het kritische denkvermogen van de professional zal belangrijk zijn. Mogelijk dat we op de langer termijn een steeds kleinere groep van ‘goed’ functionerende LLM’s overhouden wegens de hoge kosten voor o.a. rekenkracht en negatieve belasting van het milieu (bv. water om te koelen).

Als je op deze website kijkt dan zou de AI-impact 60% zijn met een opsomming welke taken dan het meest geraakt zullen worden. Ik sluit mij dan ook aan bij de phrase uit het artikel: ‘AI will not replace people, people with AI will replace people’.

Er zullen zeker banen verdwijnen, maar er komen ook meer banen bij. Al zullen mensen zich wel moeten laten omscholen. Door de insights van AI zal er gerichter gekeken kunnen worden naar specifieke taken, die een grotere impact hebben voor de gewenste resultaten.

Hoewel het ons werk veel efficiënter, of makkelijker zal maken, zal het niet compleet vervangen. Het zal de afweging van het bestuur zijn wat met de vrijgemaakte capaciteit te doen. Het kan heel goed ervoor zorgen dat de taken waar we niet aan toe kwamen, nu wel 100% beoordeeld kunnen worden in plaats van met minder mensen dezelfde hoeveelheid werk doen. Die afweging ligt dan weer bij het bestuur. Het is in ieder geval een tool die zal helpen om beter, sneller, efficiënter of juist nieuwe dingen te doen waar je nog niet aan toe gekomen bent.

Meer data heeft voor- en nadelen. Een voordeel voor het model is dat het model steeds beter wordt in een bepaald gebied. Nadeel is dat de uitkomsten niet altijd te volgen zijn (immers correlaties en geen causale verbanden). De mens zal proberen te begrijpen wat de output is en hoe deze tot stand is gekomen, maar met steeds complexere modellen wordt het ook steeds moeilijker. Dit raakt ook een belangrijk artikel in de EU AI Verordening m.b.t. human oversight. Dit is belangrijk, maar er komt een moment in tijd dat wij als mensen niet meer (precies) begrijpen of de output juist en volledig is.

Het is belangrijk dat er daarmee ook een soort ‘kill switch’ komt om het uit te zetten, maar ook dan moet je nog steeds wel begrijpen wat de uitkomst is en hoe deze tot stand is gekomen. Daarnaast dient ook geregeld te zijn dat bij het opnieuw ‘aanzetten’ van het AI-systeem niet dezelfde onwenselijke dingen gebeuren. Belangrijk blijft de ‘uitlegbaarheid’ van de rapporten en onderbouwende processen richting de consument en de toezichthouder.

Je kan een normenkader redelijk eenvoudig laten maken, maar die moet uiteindelijk toegespitst zijn op de organisatie, en hoe deze het proces ingericht heeft. Heb je het over IT, bv. het proces change management dan kan je redelijk hetzelfde verwachten als output bij eenzelfde prompt. Echter je hebt mogelijk andere criteria voor een rundveehandelaar, dan voor een verzekeraar. Daarin is de vraag hoeveel persoonlijke kennis van de organisatie nodig is. Zet je de vraag voor een normenkader uit bij een LLM, dan houd je het risico dat deze zich met synthetische, fictieve, data heeft verrijkt en als hier biases of omissies inzitten dan zal dit alleen maar meer worden versterkt. Het blijft belangrijk om de LLM daarom te controleren (’te begrijpen’), in de data (input) en in de output om ervoor te zorgen dat de punten die aangeleverd worden relevant zijn voor je sector, en niet overgenomen zijn vanuit andere onderzoeken die niet van toepassing zijn.

Sommige experts stellen ook dat het internet steeds meer gevuld wordt met synthetische data, mis- en/of met desinformatie. Zeker als betrouwbare bronnen, bijv. Kluwer, de DPG media, hun media af proberen te schermen. Het gevaar blijft daarmee dat de gegenereerde normenkaders en andere documenten niet sterk onderbouwd zijn met betrouwbare onderliggende informatie. Die normenkaders gegenereerd door LLMs lijken in eerste instantie interessant, maar blijf zelf kritisch nadenken.

Natuurlijk kan je een LLM gebruiken die alleen jouw eigen data gebruikt, maar dan moet je het model intern trainen voor jouw specifieke situatie, met jouw eigen data. Via bijvoorbeeld Microsoft heb je het nieuwste model van Open AI, via hun Azure platform, die specifiek voor jouw situatie kan inzetten en voeden met jouw data binnen een gesloten omgeving. De vraag daarin blijft wel, heb je zelf genoeg data om hem goed te laten werken.

Bij Microsoft zijn ze wel bezig met de co-pilot, om die op de achtergrond jouw (geselecteerde) bedrijfsdocumenten te laten screenen en op basis van deze documenten jouw antwoord te geven, indien gewenst in jouw stijl van schrijven.

Men is ook bezig met sectorspecifieke modellen, bijvoorbeeld in de zorgsector en de academische wereld, waar er op basis van hun eigen datasets een LLM getraind wordt. Zo houd je ook de kwaliteit hoger dan wanneer je een openbaar model maakt. Het nadeel is dat je niet automatisch datasets van andere partijen erin toevoegt. Deze zal je mogelijk moeten kopen in de toekomst. Wel kan je dan grip houden op welke data(kwaliteit) je wel, of niet, toevoegt aan de dataset. In de bestaande modellen zal je kritisch moeten blijven naar de bias die onbedoeld meegenomen worden door de modellen en waar nodig de informatie te tweaken om deze waar mogelijk te beperken. Een AI-systeem zonder biases is echter niet mogelijk. Biases kunnen in het hele proces zitten (input, model, output en governance).

Het doen en volgen van opleidingen en trainingen. Voordeel is dat door AI er een tailormade programma uiteindelijk gemaakt kan worden voor elke functie en persoon. Stil zitten is echter geen optie. Je kan dus kijken wat universiteiten, IIA en andere beroepsorganisaties aanbieden. Nadeel is echter dat voor auditors en risk managers nog niet veel beschikbaar is. Op compliance gebied steeds meer en op technisch gebied is er wel heel veel beschikbaar.

Dit is voor mij moeilijk in te schatten. Op basis van de trainingen en colleges die ik geef merk ik wel dat er veel behoefte is en er ook veel vragen spelen. Doordat AI niet meer zal verdwijnen dienen de afdelingen wel een plan op te stellen om ervoor te zorgen dat er een bepaalde basiskennis aanwezig per werknemer en specialistische kennis voor enkele relevante thema’s.

Het kennisniveau is eerder beperkt aanwezig dan ruimschoots op alle facetten van een AI-systeem. Er zijn werknemers die er veel vanaf weten, maar bij de meeste ontbreekt de nodige kennis. Daarnaast zal het voor de grotere organisaties en afdelingen makkelijker zijn om de kennis in huis te halen. Voor de kleinere organisaties is het lastig. Wat niet zegt dat de modellen niet gebruikt (kunnen) worden, zoals eerder gezegd no-code/low-code mogelijkheden. Dit neemt de nodige risico’s met zich mee waar je ook als auditor achter dient te komen. Een Stanford professor gaf aan dat de ontwikkeling en implementatie van een AI-systeem in een bedrijfsproces vroeger tussen 6 tot 9 maanden duurde, nu kan het binnen enkele uren tot een week duren.

Zeker met de snelheid van implementatie is het bijna onmogelijk om (alle) risico’s buiten huis te houden en daarom is tijdige communicatie met de audit, risk en compliance afdelingen cruciaal. Waar namelijk de ene week er nog niet over gesproken wordt over AI-systemen, kan het volgende week al geïmplementeerd zijn. Wees alert op de ambities van jouw eigen organisatie en afdelingen en stem hier je nieuwe risk assessment voor het jaarplan op af.. Door de snelle opvolgende technologische ontwikkelingen en het gemak van implementatie, kan dit ook mogelijk een effect hebben op de verhouding tussen geplande audits/werkzaamheden en ad hoc werkzaamheden.