Een juridische verkenning van de AI Act

Dr. Kristof COX, Dries ROOSES en Thierry WUYTS¹

In een immer veranderende digitale wereld heeft de Europese Unie zich tot doel gesteld een normenkader uit te vaardigen dat betrekking heeft op artificiële intelligentie (hierna: AI). Als een eerste stap daarin zag op 13 juni 2024 de «Wet op de artificiële intelligentie»² het licht. Een eerste lezing van de omvangrijke AI Act leert dat vooral AI-systemen met een hoog risico aan een heel aantal verplichtingen zullen moeten voldoen. In deze bijdrage bespreken wij een aantal van de nieuwe verplichtingen onder de AI Act. Er wordt geenszins omvattendheid betracht. We wensen louter een overzicht te geven van de voornaamste verplichtingen onder de AI Act om zodoende de lezer een beknopte samenvatting te bieden.

I. Inleiding & opzet

1. De Europese wetgever stelt zich met de AI Act tot doel om de werking van de interne markt te verbeteren door een uniform rechtskader vast te stellen voor AI. Dat kader regelt zowel de ontwikkeling, het in de handel brengen, het in gebruik stellen en het gebruik van AI.³ AI moet mensgericht en betrouwbaar zijn. Aangezien AI en het gebruik ervan bepaalde risico’s in zich dragen, moeten ze verenigbaar zijn met een hoog niveau van bescherming voor gezondheid, veiligheid en de grondrechten zoals vastgelegd in het handvest van de Europese Unie. Belangrijk in dat kader is ook dat het vrije verkeer van op AI gebaseerde goederen en diensten gewaarborgd moet worden, om zodoende ook innovatie te ondersteunen. Als beginsel geldt dan ook dat het de lidstaten niet toegelaten is beperkingen op te leggen aan de ontwikkeling, het in de handel brengen of het gebruik van AI-systemen, tenzij de AI Act dat toelaat. Wie deze doelstellingen leest, bemerkt vrijwel onmiddellijk dat er een delicate balans gevonden moet worden tussen het beheersen van risico’s die samengaan met (sommige) AI, maar ook het vermijden van belemmeringen op innovatie. Om die reden worden bijvoorbeeld AI-systemen en modellen die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek als doel, uitdrukkelijk uitgesloten van het toepassingsgebied van de AI Act.⁴

2. De EU onderkent de invloed die AI heeft op de samenleving vandaag. AI is ondertussen ingeburgerd in zo goed als ieder domein van het leven, met alle (juridische) uitdagingen en vraagstukken die dat met zich meebrengt.⁵ Ook binnen de professionele context vinden meer en meer bedrijven hun weg naar AI-oplossingen. Deze tendens roept vragen op omtrent vertrouwelijkheid en originaliteit, maar kan eveneens voor efficiëntiewinsten zorgen.⁶ Aangezien de verwachting is dat die invloed enkel nog zal toenemen, is het essentieel om vertrouwen in AI op te bouwen.⁷ Om dat vertrouwen van de inwoners van de EU in AI op te kunnen bouwen, moet de ontwikkeling van AI gebeuren met inachtneming van bepaalde normen en waarden. AI moet een mensgerichte technologie zijn met als doel het welzijn van de mens te vergroten.⁸ Met name voor AI-systemen die een hoog risico vormen voor de bescherming van openbare belangen, gezondheid, veiligheid en grondrechten, moeten gemeenschappelijke regels worden vastgesteld.⁹

3. Die ratio legis indachtig is het dan ook niet opmerkelijk dat nagenoeg de helft van de bepalingen van de AI Act betrekking heeft op de verplichtingen voor AI-systemen met een hoog risico. In deze bijdrage wensen we dan ook (II) algemeen de werking van de AI Act toe te lichten. Vervolgens (III) gaan we in meer detail in op het regime dat voor die AI-systemen met hoog risico zal moeten gelden, om daarna (IV) de vooropgestelde governance/sancties te overschouwen. We ronden deze bijdrage af met een kort besluit (V).

II. AI en de AI Act: quid?

A. Toepassingsgebied van de AI Act

4. De AI Act heeft een algemene werking en bevat horizontale regels voor de ontwikkeling, het op de markt brengen en gebruik van AI-systemen in alle sectoren.

5. De definitie van AI-systemen was een belangrijk discussiepunt tijdens de totstandkoming van de AI Act. Zowel in het voorstel van de Europese Commissie, als in de amendementen van het Europees Parlement en de Europese Raad, stonden verschillende benaderingen en definities. Dit is niet verwonderlijk, gezien het feit dat het definiëren van artificiële intelligentie de wetenschap al geruime tijd bezighoudt.¹⁰

6. Met als doel een brede toepassing van de AI Act te realiseren, trachtte de Europese Commissie een ruime en technologie-neutrale definitie van een AI-systeem te formuleren.¹¹ Critici vreesden dat deze definitie, die ook software omvat die is ontwikkeld aan de hand van statistische technieken, zou leiden tot de toepassing van de AI Act op elk softwaresysteem dat een vorm van data-analyse uitvoert, zoals bijvoorbeeld een werkblad in Excel.¹² De Europese Raad erkende deze bezorgdheid over een te ruime definitie en beperkte de toepassing tot AI-systemen die via machinaal leren of op logica of kennis gebaseerde benaderingen output kunnen afleiden uit inputdata.¹³ Het Europees Parlement was van mening dat de definitie van AI-systemen moest worden afgestemd op het werk van internationale organisaties die zich bezighouden met AI en baseerde zich op de ruime definitie gehanteerd door de OESO.¹⁴

7. In de aangenomen tekst van de AI Act wordt een AI-systeem gedefinieerd als «een machinaal systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen».¹⁵ Met deze ruime definitie beoogt de EU-wetgever in te spelen op de snel evoluerende technologische ontwikkelingen op het gebied van AI. Daarnaast zou deze definitie de traditionele softwaresystemen, die slechts een door mensen vastgelegde set van regels automatisch uitvoeren (de zogenoemde «rule based» of «hard coded» systemen), moeten uitsluiten van het toepassingsgebied van de AI Act.¹⁶

8. De definitie is gebaseerd op drie belangrijke kenmerken van de huidige stand van AI, zijnde autonomie, inferentievermogen en aanpassingsvermogen. De EU-wetgever laat al dan niet bewust na om deze kenmerken te vertalen naar duidelijke toepassingsvoorwaarden. Allereerst wordt het criterium van autonomie uitgelegd als het functioneren zonder menselijke tussenkomst, wat eerder wijst op een voorwaarde van automatisme.¹⁷ Bobev merkt in dit kader bijvoorbeeld op dat een robot op een assemblagelijn, eenmaal in werking gezet, zal functioneren zonder verdere menselijke tussenkomst, maar daarom nog niet meteen als een vorm van AI zal (mogen) worden beschouwd.¹⁸ De wetgever bepaalt ook geen minimumniveau van autonomie, waardoor de vereiste mate van autonomie eerder laag lijkt te liggen. Bovendien wordt het aanpassingsvermogen, dat betrekking heeft op zelflerende capaciteiten, slechts geformuleerd als een optioneel kenmerk van een AI-systeem en niet als een strikte voorwaarde die statische systemen uitsluit van het toepassingsgebied van de AI Act. Met betrekking tot het vereiste van inferentievermogen heeft de EU-wetgever er uiteindelijk voor gekozen om dit niet expliciet te beperken tot machinaal leren of op logica of kennis gebaseerde benaderingen, zoals voorgesteld door de Europese Raad. Dit lijkt opnieuw het onderscheid tussen AI-systemen en traditionele software te vervagen, met het risico van overregulering tot gevolg. Onzes inziens blijft er dus een belangrijke taak weggelegd voor de Europese en nationaal bevoegde autoriteiten om de voorwaarden van een AI-systeem op een evolutieve wijze te interpreteren en toe te passen, rekening houdend met de voortdurende nieuwe ontwikkelingen in AI-technologie.

9. De AI Act is van toepassing op (i) aanbieders die AI-systemen in de EU in de handel brengen of in gebruik stellen, (ii) gebruiksverantwoordelijken van AI-systemen die in de EU zijn gevestigd of er zich bevinden, en (iii) aanbieders en gebruiksverantwoordelijken van AI-systemen die in een derde land zijn gevestigd of er zich bevinden, indien de output van het AI-systeem in de Unie wordt gebruikt.¹⁹ Bovendien vindt de AI Act ook toepassing op (iv) partijen die AI-systemen importeren/verspreiden, (v) fabrikanten van producten die samen met hun product en onder hun eigen naam of merk een AI-systeem in de handel brengen of in gebruik stellen, (vi) niet in de EU gevestigde gemachtigden van aanbieders, en (vii) getroffen personen die zich in de EU bevinden.²⁰ De bedoeling van de wetgever lijkt duidelijk: in een zo ruim mogelijk toepassingsgebied voor de AI Act voorzien zodat overal in de EU eenzelfde niveau van bescherming voor burgers geldt, ongeacht de locatie van de aanbieder en/of gebruiksverantwoordelijke van een AI-systeem.

10. De AI Act maakt een onderscheid tussen twee belangrijke rollen, zijnde de aanbieder en de gebruiksverantwoordelijke. De aanbieder van een AI-systeem is de natuurlijke of rechtspersoon, de overheidsinstantie, het agentschap of een ander orgaan die/dat een AI-systeem ontwikkelt of laat ontwikkelen en dat AI-systeem in de handel brengt of het AI-systeem onder eigen naam of merk in gebruik neemt, al dan niet tegen betaling. De gebruiksverantwoordelijke van een AI-systeem is de natuurlijke of rechtspersoon, de overheidsinstantie, het agentschap of een ander orgaan die/dat onder zijn/haar verantwoordelijkheid en voor beroepsmatige activiteiten een AI-systeem gebruikt. De AI Act bevat dus geen verplichtingen voor natuurlijke personen die AI-systemen gebruiken in het kader van louter persoonlijke en niet-professionele activiteiten.²¹

11. Een aantal categorieën van AI-systemen worden uitdrukkelijk uitgesloten van het toepassingsgebied van de AI Act. Gebieden die buiten het toepassingsgebied van het Unierecht vallen, alsook AI-systemen die uitsluitend voor militaire, defensie- of nationale veiligheidsdoeleinden worden gebruikt, dan wel waarvan de output enkel voor zulke doeleinden wordt gebruikt, vallen buiten de scope van de AI Act.²² De EU-wetgever wil innovatie blijven ondersteunen. Daarom vallen AI-systemen, inclusief hun output, die uitsluitend voor wetenschappelijk onderzoek en ontwikkeling worden ontwikkeld en gebruikt, buiten het toepassingsgebied van de AI Act.²³ In lijn hiermee is de AI Act niet van toepassing op wetenschappelijke onderzoeks-, test- en ontwikkelingsactiviteiten met betrekking tot AI-systemen voordat zij in de handel worden gebracht of in gebruik worden gesteld.²⁴ Tot slot maakt de AI Act een uitzondering voor AI-systemen die worden vrijgegeven onder gratis en opensourcelicenties, tenzij het gaat om verboden AI-systemen (infra nr. 13), AI-systemen met een hoog risico (infra nr. 29) of met betrekking tot de transparantieverplichting die gelden voor AI-systemen met een beperkt risico (infra nr. 16).²⁵

B. Risico-kwalificatie

12. Net zoals de Europese Algemene Verordening Gegevensbescherming (hierna: «GDPR») hanteert de AI Act een risico-gebaseerde aanpak. De toepasselijke regels en verplichtingen hangen af van het risico dat de ontwikkeling en het gebruik van het betrokken AI-systeem vormen voor de gezondheid, de veiligheid of de grondrechten van EU-burgers. De AI Act onderscheidt drie vormen van AI-systemen: (i) verboden AI-systemen, (ii) AI-systemen met een hoog risico (infra titel III) en (iii) AI-systemen met een beperkt risico.

C. Verboden AI-systemen

13. AI-systemen die volgens de EU-wetgever een onaanvaardbaar risico vormen en daarom verboden zijn, worden opgesomd in artikel 5 van de AI Act. Het gaat om AI-systemen die: manipulatief zijn, misbruik maken van bepaalde kwetsbaarheden van individuen of groepen (bv. leeftijd, handicap, sociale of economische situatie), gebruikt worden voor social scoring door overheden (bv. social credit scoring-systemen in China), emoties afleiden van personen op de werkplek en in het onderwijs (tenzij om medische of veiligheidsredenen), criminaliteit voorspellen op basis van profilering of beoordeling van persoonlijkheidskenmerken van personen (predictive policing), ongericht gezichtsafbeeldingen van het internet of camerabeelden scrapen om gezichtsherkenningsdatabases aan te leggen, of biometrische categorisatiesystemen vormen op basis van gevoelige persoonsgegevens (bv. politieke, religieuze of filosofische overtuigingen, seksuele geaardheid en ras).²⁶

14. Ten slotte verbiedt de AI Act ook het gebruik op afstand van realtime biometrische identificatiesystemen (RBI) in openbare ruimten door rechtshandhavingsinstanties, tenzij een aantal strenge waarborgen kunnen worden gegarandeerd, waaronder voorafgaande toestemming van een gerechtelijke of onafhankelijke administratieve instantie en een beperking van het gebruik in tijd en ruimte.²⁷ Bovendien mag RBI alleen worden ingezet in limitatieve en nauw omschreven situaties, zoals het zoeken naar vermiste personen, het voorkomen van terroristische aanslagen of het lokaliseren of identificeren van verdachten van bepaalde misdrijven.²⁸

D. AI-systemen met een beperkt risico

15. Sommige AI-systemen houden vooral risico’s in op onvoldoende transparantie voor de eindgebruiker. Onder deze categorie van AI-systemen met een beperkt risico vallen AI-systemen die: (i) bedoeld zijn voor directe interactie met natuurlijke personen (bv. chat bots en AI-assistenten), (ii) synthetische audio-, beeld-, video- of tekstinhoud genereren (bv. ChatGPT, DALL·E 2, Midjourney, enz.), (iii) gebruikt worden voor herkennen van emoties buiten de werkplek of het onderwijs (cf. supra nr. 13) of die biometrische categorisatiesystemen vormen, en (iv) deepfakes genereren.²⁹

16. Voor deze AI-systemen legt de AI Act specifieke transparantieverplichtingen op aan de aanbieder en/of gebruiksverantwoordelijke ervan. Zo moeten gebruikers van deze AI-systemen steeds worden geïnformeerd dat zij interageren met een AI-systeem, tenzij dit op basis van de gebruikscontext duidelijk is voor een normaal geïnformeerde en redelijk omzichtige en oplettende persoon.³⁰ We nemen aan dat deze verplichting mogelijk niet zal gelden voor bepaalde bekende spraakgestuurde AI-assistenten zoals Alexa en Siri, aangezien het risico op imitatie en misleiding hier beperkt is.³¹ Verder moet de door AI-systemen genereerde content, zoals teksten, beelden, audio en video, in een machine-leesbaar formaat worden gemarkeerd als kunstmatig gegenereerd of gemanipuleerd.³² De gebruiker moet deze informatie steeds op een toegankelijke en duidelijke wijze ontvangen op het moment van de eerste interactie met of blootstelling aan het AI-systeem.³³

17. Er gelden enkele uitzonderingen op deze transparantieverplichtingen voor bepaalde AI-systemen. Het gaat om AI-systemen (i) die worden gebruikt voor rechtshandhaving, (ii) die slechts een beperkte ondersteunende functie hebben en de inputdata niet substantieel wijzigen, alsook (iii) wanneer de gegenereerde content artistiek, creatief, satirisch of fictief van aard is, of (iv) wanneer deze content menselijke controle ondergaat en een natuurlijke of rechtspersoon de redactionele verantwoordelijkheid voor de publicatie draagt.³⁴

E. AI-modellen voor algemene doeleinden

18. Naast de regels voor AI-systemen introduceert de AI Act ook specifieke verplichtingen voor AI-modellen voor algemene doeleinden (hierna: «GPAI»). Omdat GPAI’s afzonderlijk worden gereguleerd in de AI Act, is het belangrijk deze AI-modellen duidelijk te onderscheiden van AI-systemen.

19. GPAI’s zijn AI-modellen met een algemeen karakter en zijn in staat om een breed scala aan verschillende taken uit te voeren.³⁵ Deze modellen worden getraind met grote hoeveelheden data via methoden zoals supervised, unsupervised of reinforcement learning. GPAI’s kunnen op verschillende manieren op de markt gebracht worden, onder meer via bibliotheken, API’s of rechtstreekse download of fysieke kopie, en kunnen worden gewijzigd of verfijnd tot nieuwe AI-modellen. Hoewel deze modellen vaak essentiële onderdelen zijn van AI-systemen, vormt een GPAI op zichzelf nog geen AI-systeem. Pas wanneer extra componenten zoals een gebruiksinterface aan een GPAI worden toegevoegd, kan het geheel als AI-systeem beschouwd worden.³⁶ In sommige gevallen kan dit dan ook resulteren in een classificatie als een verboden AI-systeem of AI-systeem met een hoog risico. De bekendste GPAI’s zijn vandaag ongetwijfeld de taalmodellen GPT-3.5 en GPT-4 van OpenAI die via API worden aangeboden voor implementatie in AI-systemen. Zo kan bijvoorbeeld GPT-4 worden aanzien als een GPAI dat is geïntegreerd in het AI-systeem ChatGPT. Aanbieders van AI-systemen hoeven zich niet te beperken tot het gebruikmaken van één GPAI. Een combinatie («chaining») van meerdere AI-modellen in een AI-systeem is mogelijk en niet ongebruikelijk. Zo kan een aanbieder een AI-systeem ontwikkelen om automatisch een verslag met to do’s te creëren na vergaderingen, door een GPAI dat de geluidsopname kan omzetten in transcript (bv. Whisper) te koppelen met een GPAI om tekst te interpreteren en te genereren (bv. GPT-4).

20. Omdat GPAI’s de basis vormen voor talrijke AI-systemen, hebben de aanbieders van deze modellen een belangrijke rol en verantwoordelijkheid in de AI-waardeketen. De verplichtingen voor aanbieders van GPAI’s richten zich voornamelijk op het verstrekken van gedetailleerde informatie aan aanbieders verder in de AI-waardeketen over aspecten zoals de functionaliteiten en het trainings- en testproces van het model.³⁷ Deze transparantieverplichting is bedoeld om aanbieders die een AI-systeem op basis van een GPAI willen ontwikkelen in staat te stellen te voldoen aan hun specifieke verplichtingen onder de AI Act. Daarnaast moet de aanbieder van een GPAI een policy opstellen ter naleving van het auteursrecht en de naburige rechten, en tevens een «voldoende gedetailleerde samenvatting» publiceren over de content die gebruikt is om het model te trainen.³⁸ De origine van die trainingsdata is bijzonder relevant. Om het praktisch belang hiervan te duiden verwijzen we graag naar de recente dagvaarding van de New York Times tegen OpenAI en Microsoft, betreffende het beweerde gebruik van miljoenen artikelen door deze aanbieders voor het trainen van hun AI-model zonder hiervoor enige vergoeding te betalen.³⁹ De AI Act streeft naar een evenwicht tussen enerzijds het belang van GPAI-aanbieders om hun trainingsdata geheim te houden ter bescherming van hun model en bedrijfsgeheimen, en anderzijds het mogelijk maken voor auteursrechthebbenden om hun rechten te kunnen uitoefenen en handhaven. Daarom hoeft deze samenvatting geen volledige lijst van alle auteursrechtelijk beschermde werken te bevatten; een opsomming van de belangrijkste gegevensverzamelingen of -reeksen kan volstaan.⁴⁰ Het AI-bureau is verantwoordelijk voor de verdere uitwerking van deze verplichting en zal een sjabloon voor de samenvatting verstrekken aan de aanbieders van GPAI’s.⁴¹ We kunnen met zekerheid stellen dat het gebruik van auteursrechtelijk beschermde werken om AI-modellen te trainen een complexe juridische kwestie zal blijven, waarbij naast de AI Act ook rekening moet worden gehouden met de verschillende internationale en nationale wetgevingen inzake auteursrecht (bv. Europese DSM-richtlijn omtrent tekst- en datamining).⁴²

21. Voor GPAI’s die een systeemrisico vertonen, gelden bijkomende verplichtingen. Dit zijn GPAI’s die beschikken over capaciteiten «met een grote impact», wat geacht wordt het geval te zijn wanneer de cumulatieve hoeveelheid berekeningen die wordt gebruikt om het model te trainen, gemeten in FLOPS, groter is dan 10²⁵ (tien tot de vijfentwintigste macht).⁴³ De verplichtingen voor aanbieders van deze GPAI’s omvatten het uitvoeren van modelevaluaties, het beoordelen en beperken van systeemrisico’s, het documenteren en rapporteren van ernstige incidenten en corrigerende maatregelen aan het AI-bureau, en het implementeren van passende cyberbeveiligingsmaatregelen.⁴⁴ In het bijzonder voor de financiële sector is reeds herhaaldelijk gewaarschuwd voor de systeemrisico’s die GPAI’s kunnen veroorzaken, wat volgens sommige auteurs zelfs aanleiding zou kunnen geven tot een financiële crisis.⁴⁵

F. Interactie met andere (toekomstige) wetgeving

22. Gezien de complexiteit van AI-systemen en hun veelzijdige interacties binnen onze digitale samenleving, is de AI Act slechts één onderdeel van een breder wettelijk kader dat van toepassing is op de ontwikkeling en het gebruik van AI-systemen. Aanbieders en gebruiksverantwoordelijken van AI-systemen zullen zo ook rekening moeten houden met wetgeving inzake privacy en gegevensverwerking (bv. de GDPR, Data Act, enz.), intellectuele eigendomsrechten (bv. auteursrechten, octrooien, bedrijfsgeheimen, enz.), contracten- en aansprakelijkheidsrecht (bv. productaansprakelijkheid), cybersecurity (bv. NIS 2) en andere (sectorspecifieke) wetgeving (bv. de Medical Device Regulation). In het bijzonder zal men mogelijk ook rekening moeten houden met het voorstel van de Europese Commissie van september 2022 voor een richtlijn betreffende de aanpassing van de buitencontractuele aansprakelijkheidsregels aan AI (de «AILD»).⁴⁶

Ondernemingen doen er o.i. goed aan om zo snel mogelijk alle AI-systemen die zij gebruiken of ontwikkelen, in kaart te brengen in een AI-register, inclusief de relevante verplichtingen die voortvloeien uit de AI Act en andere toepasselijke wetgeving. Zo zal de verwerking van persoonsgegevens via AI-systemen of voor de training van dergelijke systemen vaak resulteren in de verplichting om voorafgaand aan de verwerking een gegevensbeschermingseffectbeoordeling uit te voeren, zoals bedoeld in artikel 35 van de GDPR.⁴⁷ Voor de meeste bedrijven zal het grootste deel van het (voorbereidend) werk onder de AI Act waarschijnlijk liggen in het analyseren en documenteren van de door hen gebruikte AI-systemen in dit AI-register.

G. Temporeel toepassingsgebied van de AI Act

23. De AI Act treedt in werking op de twintigste dag na publicatie in het Publicatieblad van de Europese Unie (1 augustus 2024)⁴⁸ en voorziet in een gefaseerde toepassing volgens het volgende tijdsschema:

(i) op 2 februari 2025 zal het verbod gelden voor de verboden AI-praktijken;

(ii) op 2 augustus 2025 zullen de verplichtingen gelden voor aanbieders van GPAI’s, behalve voor GPAI’s die reeds voor deze datum in de handel zijn gebracht, waarvoor een bijkomende termijn van 24 maanden wordt toegekend⁴⁹;

(iii) op 2 augustus 2026 wordt de AI Act algemeen van toepassing en zullen de meeste bepalingen en verplichtingen gelden, waaronder de transparantieverplichtingen voor AI-systemen met een beperkt risico alsook de verplichtingen voor die AI-systemen die kwalificeren als High Risk AI (hierna HRAI) overeenkomstig Bijlage III die vanaf die datum in de handel zijn gebracht of worden gebruikt⁵⁰; en

(iv) op 2 augustus 2027 zullen de verplichtingen gelden voor AI-systemen met een hoog risico zoals bedoeld in Bijlage I die na 2 augustus 2026 in de handel zijn gebracht of worden gebruikt (cf. infra nrs. 24 e.v.).⁵¹

24. Het is opmerkelijk dat AI-systemen met een hoog risico, die reeds in de handel zijn gebracht of worden gebruikt voor 2 augustus 2026, in principe niet moeten voldoen aan de verplichtingen onder de AI Act, tenzij die systemen vanaf die datum «aanzienlijke wijzigingen» in hun ontwerp ondergaan.⁵² Onder «aanzienlijke wijzigingen» begrijpt men een substantiële wijziging in de zin van artikel 3, 23) AI Act.⁵³

25. De wetgever moedigt aanbieders van HRAI evenwel aan om vrijwillig de verplichtingen uit de AI Act na te leven tijdens wat hij een «overgangsperiode» noemt.⁵⁴ We vinden de keuze voor het woord «overgangsperiode» opmerkelijk, aangezien aanbieders van HRAI systemen die reeds in de handel gebracht zijn of worden gebruikt voor 2 augustus 2026/2027 (afhankelijk van type HRAI) ontsnappen aan de toepassing van de bepalingen van de AI Act, onder voorbehoud van substantiële wijzigingen. In die zin is er o.i. niet echt sprake van een overgangsperiode. Een volgens ons elegantere oplossing was geweest om toch compliance te gaan opleggen met de bepalingen uit de AI Act voor alle aanbieders van HRAI, ongeacht de datum waarop hun AI-systeem in de handel is gebracht/in gebruik is genomen. Het is uiteraard goed mogelijk dat voor aanbieders van AI-systemen die reeds operationeel/in de markt zijn, absolute compliance mogelijk zelfs binnen een periode van twee dan wel drie jaar (afhankelijk van type HRAI) onhaalbaar is. Dat mag er o.i., gelet op de doelstellingen van de wetgever met de AI Act, niets aan afdoen dat er minstens de verplichting zou moeten zijn om op afzienbare tijd een zo hoog mogelijk niveau van compliance na te streven.

26. Het lijkt ons bijvoorbeeld mogelijk om, zelfs wanneer een HRAI reeds in de handel/in gebruik gesteld was, post factum nog te voorzien in technische documentatie (art. 11 AI Act), een systeem voor risicobeheer uit te werken (art. 9 AI Act), en (eventueel mits updates) te voorzien in een systeem voor het loggen van de gebeurtenissen gedurende de levensduur van het HRAI vanaf een bepaalde datum (art. 12 AI Act). Er zou dan weer een zekere tolerantie kunnen bestaan ten aanzien van aanbieders van HRAI wat betreft de validatie, testing en training van het HRAI (zie art. 10 AI Act) tot op het ogenblik dat er een aanzienlijke wijziging uitgevoerd wordt. Zodoende zou er werkelijk een «overgangsperiode» gecreëerd worden, in plaats van mogelijk een rush to the market.

27. Een aanpak in lijn met het regime voor HRAI die reeds in de handel of in gebruik was voor 2 augustus 2026 en die bedoeld is voor gebruik door overheidsinstanties was o.i. een optie geweest. Voor aanbieders van zulke HRAI is er wel degelijk de harde verplichting om tegen 2 augustus 2030 te voldoen aan hun verplichtingen onder AI Act.⁵⁵ Hoe dan ook lijkt het ons voor aanbieders en gebruiksverantwoordelijken van HRAI aangewezen om een maximaal complianceniveau met de AI Act na te streven. Het is bovendien niet ondenkbaar (en misschien zelfs eerder waarschijnlijk) dat door klanten/gebruikers van HRAI bepaalde garanties naar compliance toe gevraagd zullen worden, ongeacht of het betrokken HRAI in scope van de AI Act valt of niet. In die zin zal de markt in zekere zin als brandversneller voor AI Act-compliance werken, zelfs daar waar dat strikt juridisch gezien geen vereiste is.

III. High Risk AI (HRAI) onder de AI Act

28. De bulk van de verplichtingen onder de AI Act hebben logischerwijze betrekking op de AI-systemen met een hoog risico. Hoe groter het risico verbonden aan het AI-systeem, hoe omzichtiger aanbieders, gebruiksverantwoordelijken, importeurs en distributeurs van zulke AI-systemen te werk moeten gaan. De AI Act voorziet in uitgebreide procedurele verplichtingen voor alle actoren in de AI-waardeketen. De documentatie van de door dergelijke actoren ondernomen stappen zal o.i. een cruciaal element blijken om compliance met de AI Act te kunnen bewijzen. Hierna behandelen wij in vogelvlucht de verplichtingen (i) waaraan AI-systemen van hoog risico zelf voldoen. Daarna gaan we (ii) in op de verplichtingen die op aanbieders van zulke systemen rusten. Naast aanbieders staan we ook stil bij (iii) gebruiksverantwoordelijken, (iv) distributeurs en (v) importeurs. Vervolgens slaan we de brug naar toezicht en governance, en kijken we nog kort naar de aanmeldende autoriteit en de aanmeldende instanties.

A. Wat is een AI-systeem met hoog risico?

29. Een AI-systeem wordt voor de toepassing van de AI Act beschouwd als «AI-systeem met een hoog risico» (hierna HRAI) wanneer het cumulatief:

i. bedoeld is om te worden gebruikt als veiligheidscomponent van een bepaald product of wanneer het AI-systeem zelf een product is dat onder bepaalde harmonisatiewetgeving valt; en

ii. een conformiteitsbeoordeling door een derde partij uitgevoerd moet worden met het oog op het in de handel brengen of in gebruik stellen van dat product conform die harmonisatiewetgeving.⁵⁶ De harmonisatiewetgeving waar het om gaat, is zeer breed. Het gaat over Unie-regels omtrent machines, speelgoed, radioapparatuur, medische hulpmiddelen, luchtvaart en vervoer allerlei.⁵⁷

30. Naast die algemene regel voorziet het tweede lid van artikel 6 AI Act ook nog in een tweede lijst van HRAI, zoals voorzien in bijlage III bij de AI Act. In die bijlage treffen we onder meer regels met betrekking tot biometrische data, kritieke infrastructuur, onderwijs, werkgelegenheid, essentiële openbare diensten en asiel en migratie.⁵⁸ Deze lijst kan door de Europese Commissie gewijzigd worden door gebruiksgevallen van HRAI toe te voegen. De Commissie kan dit wanneer deze (i) betrekking hebben op een van de in bijlage III geselecteerde gebieden en (ii) de betrokken AI-systemen een risico op schade voor gezondheid/veiligheid of nadelige effecten op de grondrechten vormen. Bovendien moet dat risico gelijk zijn aan of groter zijn dan het risico op nadelige effecten dat gevormd wordt door de HRAI’s die reeds zijn opgenomen in bijlage III.⁵⁹ Hierin schuilt o.i. van meet af aan een heikel punt. Het is mogelijk dat bepaalde AI-systemen ab initio niet onder het materieel toepassingsgebied van de AI Act vallen, maar daar later om reden van een besluit van de Europese Commissie alsnog onder zouden vallen, met disruptieve gevolgen in de AI-waardeketen voor dat AI-systeem tot gevolg. De rechtszekerheid komt op die manier bovendien mogelijk in het gedrang. Dit uiteraard tenzij er voldoende termijn aan de betrokken aanbieders en andere actoren wordt gelaten om zich aan te passen. Het regime voorzien voor de inwerkingtreding (cf. infra nr. 23) lijkt ook op die filosofie geënt.

31. Zelfs indien een AI-systeem betrekking zou hebben op een van de in bijlage III bij de AI Act voorziene onderwerpen, is het geen HRAI indien en voor zover als het geen significant risico op schade voor gezondheid, veiligheid of de grondrechten van natuurlijke personen inhoudt, onder meer doordat het de uitkomst van de besluitvorming niet wezenlijk beïnvloedt.⁶⁰ Zulke nadelige effecten kan men situeren in bijvoorbeeld AI-systemen die risico’s in zich dragen op discriminatie of naar de bescherming van persoonsgegevens toe. Aan AI-systemen die als veiligheidscomponenten van producten dienen en die onvoldoende gecontroleerd worden, zijn echter ook risico’s verbonden voor de gezondheid en veiligheid van de mens.⁶¹ Volgens de Europese wetgever is dit het geval indien het AI-systeem bedoeld is om (i) een beperkte procedurele taak uit te voeren; (ii) het resultaat van een eerder voltooide menselijke activiteit te verbeteren; (iii) besluitvormingspatronen of afwijkingen van eerder besluitvormingspatronen op te sporen en niet bedoeld is om eerder voltooide menselijke beoordeling zonder menselijke toetsing te vervangen of te beïnvloeden; en/of (iv) een voorbereidende taak uit te voeren voor een beoordeling die relevant is voor de in bijlage III vermelde gevallen.⁶² Let wel: zodra het AI-systeem dat bedoeld is voor (i) t.e.m. (iv), profilering van natuurlijke personen gaat uitvoeren, zal het automatisch als HRAI kwalificeren.

32. De (verantwoordelijkheid voor de) beoordeling of een AI-systeem al dan niet een HRAI is, ligt in eerste lijn bij de aanbieder van het betrokken AI-systeem. Indien die van oordeel is dat het niet om een HRAI zou gaan, is hij gehouden die beslissing te documenteren vooraleer het betrokken AI-systeem in de handel wordt gebracht.⁶³ Loutere documentatie volstaat niet, er moet bovendien een registratie gebeuren in de EU-databank van zowel het betrokken AI-systeem als van de aanbieder zelf.⁶⁴ Die EU-databank wordt opgezet door de Europese Commissie in samenwerking met de lidstaten.⁶⁵ De databank moet gebruiksvriendelijk en openbaar toegankelijk ingericht worden en de daarin opgenomen informatie moet machine-leesbaar zijn.⁶⁶ Tot slot bepaalt de AI Act in dit kader nog dat de hoeveelheid persoonsgegevens in de databank minimaal gehouden moet worden en dat de Europese Commissie de verantwoordelijke voor de verwerking van de persoonsgegevens in de databank zal zijn.⁶⁷

33. Voorlopig is het op dit punt nog wat koffiedik kijken. De AI Act voorziet dat de Europese Commissie uiterlijk 18 maanden na inwerkingtreding van de AI Act richtsnoeren voor de praktische uitvoering van deze verplichtingen zal uitbrengen, samen met een uitgebreide lijst van praktische voorbeelden en gebruiksgevallen van HRAI’s en AI-systemen zonder hoog risico.⁶⁸ We stellen ons de vraag of dit lijsten met reallifevoorbeelden zullen zijn waarbij aanbieders met naam en toenaam genoemd zullen worden. Het valt op dat, hoewel de uitgebreide regels voor HRAI reeds vastgelegd konden worden, de lijst met wat al dan niet als HRAI kwalificeert, dat nog niet is. Gelet op het temporele toepassingsgebied van de AI act (zie infra nr. 23) valt hier evenwel begrip voor op te brengen. We gaan er immers van uit dat zulke lijsten geen noemenswaardige verrassingen zullen bevatten.

B. Waaraan moet een HRAI zelf voldoen onder de AI Act?

34. Zodra een AI-systeem als HRAI kwalificeert, moet het betrokken AI-systeem zelf aan een aantal verplichtingen voldoen, vooraleer het in de handel gebracht mag worden op de eengemaakte markt van de Unie, dan wel binnen die markt in gebruik gesteld mag worden. In de hiernavolgende randnummers gaan we beknopt in op welke vereisten dat precies zijn. Let wel dat deze vereisten louter betrekking hebben op het AI-systeem op zich, en losstaan van de specifieke verplichtingen die aanbieders, gebruiksverantwoordelijken en distributeurs/importeurs van AI-systemen opgelegd krijgen onder de AI Act.

1° Procedure risicobeheer

34. In de eerste plaats moet een systeem voor risicobeheer worden vastgesteld en dat systeem moet ook worden gedocumenteerd en in stand gehouden.⁶⁹ Het moet gaan om een gepland en iteratief proces, dat geregeld herzien en geactualiseerd wordt, gedurende de volledige levensduur van het HRAI.⁷⁰ Het proces moet volgende stappen omvatten.

- Ten eerste moet het de bekende en redelijkerwijs te voorziene risico’s die het HRAI kan inhouden voor gezondheid, veiligheid en grondrechten, vaststellen en analyseren, uitgaande van een gebruik van het HRAI in overeenstemming met het doel ervan.⁷¹ Lees: Indien en voor zover het HRAI normaal gebruikt wordt: welke risico’s kunnen we dan zien/vermoeden?

- Vervolgens moet een inschatting gemaakt worden van de risico’s die zich kunnen voordoen wanneer het HRAI in een situatie van redelijkerwijs te voorzien misbruik gebruikt wordt.⁷²

- Daarna moeten ook de risico’s die zich kunnen voordoen op basis van de analyse van de verzamelde data in het kader van de monitoring na het in de handel brengen geëvalueerd worden.⁷³

- Tot slot moet de aanbieder van het HRAI ook gepaste en gerichte risicobeheersingsmaatregelen vaststellen om de overeenkomstig eerste streepje vastgestelde risico’s te aan te pakken.⁷⁴

35. De maatregelen bedoeld in het laatste streepje van vorig randnummer moeten van die aard zijn dat ze het resterende risico tot op een aanvaardbaar niveau brengen. Bij de vaststelling van de maatregelen moet de aanbieder waarborgen dat hij risico’s ten gevolge van misbruik van het HRAI, voor zover technisch haalbaar, uitgesloten of beperkt heeft.⁷⁵ Daarnaast moeten adequate maatregelen genomen worden op het gebied van beperking en controle voor de risico’s die niet uitgesloten kunnen worden.⁷⁶ Tot slot moet de aanbieder voorzien in opleiding voor exploitanten van de HRAI’s, indien en voor zover als passend.⁷⁷ De bedoeling is dat de aanbieder de meest passende risicobeheersmaatregelen vaststelt, rekening houdende met de stand van de techniek.⁷⁸

2° Data en datagovernance

36. Wanneer HRAI technieken gebruikt die AI-modellen trainen met data, moeten deze ontwikkeld worden op basis van datasets die voldoen aan bepaalde kwaliteitscriteria.⁷⁹ Het moet bijvoorbeeld gaan om voldoende representatieve datareeksen, die zoveel als mogelijk foutenvrij zijn en - gelet op het beoogde doel - volledig.⁸⁰ Daarnaast dient er aandacht te zijn voor de geografische, contextuele/functionele omgeving waarbinnen het HRAI moet worden gebruikt.⁸¹

37. Indien en voor zover als noodzakelijk om de opsporing en correctie van vertekeningen te kunnen waarborgen, mogen aanbieders van deze HRAI’s uitzonderlijk bijzondere categorieën van persoonsgegevens verwerken, uiteraard mits het bieden van passende waarborgen voor de grondrechten.⁸² Het spreekt voor zich dat in dit kader met de GDPR rekening gehouden dient te worden, maar de AI Act stelt daarbovenop uitdrukkelijk de toepasselijkheid van een aantal andere voorwaarden voorop. Zo moet het onder meer onmogelijk zijn de vertekeningen op te sporen/te corrigeren met synthetische/geanonimiseerde data en moeten er voldoende veiligheidsmaatregelen genomen worden. Bovendien moet het dataregister van de aanbieder vermelden waarom het strikt noodzakelijk was om gebruik te maken van bijzondere categorieën persoonsgegevens.⁸³ Vertekening is een algemeen begrip, maar valt onder meer te situeren als een zekere vooringenomenheid (bias) binnen de werking van het HRAI. Die vertekeningen kunnen het gevolg zijn van problemen in de trainingsdata, maar bijvoorbeeld ook van aanwezige bias bij de mensen die het AI-systeem gecreëerd hebben. Detectie van zulke vertekeningen is allerminst een eenvoudige opgave, aangezien er een diepgaande kennis nodig is van de gecodeerde algoritmen die de basis van het betrokken AI-systeem zijn enerzijds, maar ook van de trainingsdata anderzijds. Wanneer dergelijke vertekeningen aanwezig blijven binnen HRAI’s, beperkt dat het potentieel van het betrokken AI-systeem. Wellicht om die reden laat de AI Act ruimte om bijzondere categorieën van persoonsgegevens te verwerken in dit kader. Zonder die ruimte zou de opsporing van bias/vertekeningen nog bemoeilijkt worden.

3° Technische documentatie

38. Naast de verplichting tot het voorzien in een gedocumenteerde procedure risicobeheer (zie infra nrs. 34 en 35), schuilt er een bijkomende documentatieverplichting in de verplichting tot technische documentatie van het HRAI. Vooraleer een HRAI in de handel mag worden gebracht/in gebruik mag worden gesteld, moet er bepaalde technische documentatie voorhanden zijn, die bovendien geactualiseerd moet worden. Uit die documentatie moet de compliance van het HRAI met de AI Act blijken. De documentatie moet bovendien dermate helder en begrijpelijk zijn dat nationaal bevoegde autoriteiten over de noodzakelijke informatie beschikken om na te gaan of het betrokken HRAI wel degelijk AI Act-compliant is.⁸⁴

39. Naast deze algemene norm geldt bovendien dat de documentatie alle in bijlage IV bij de AI Act opgenomen elementen bevat. Het gaat dan onder meer over een algemene beschrijving van het AI-systeem, waarin het doel, de eventuele interactie met hard- en software maar ook met andere AI-systemen, eventuele vereisten met betrekking tot back-ups maar ook een omschrijving van alle vormen waarin het betrokken AI-systeem in de handel wordt gebracht of in gebruik wordt gesteld, opgenomen zijn.⁸⁵ Naast een algemene omschrijving moet er een gedetailleerde beschrijving van de verschillende elementen van het AI-systeem en van het proces voor de ontwikkeling ervan worden opgenomen.⁸⁶ De documentatie moet ook ingaan op de monitoring, werking en controle van het AI-systeem en moet tot slot een beschrijving van de geschiktheid van de prestatiestatistieken voor het specifieke AI-systeem geven.⁸⁷ De criteria die heden in bijlage IV van de AI Act staan, kunnen door de Europese Commissie worden aangepast wanneer dit noodzakelijk is.⁸⁸

40. Voor kleine en middelgrote ondernemingen, met inbegrip van start-ups (en scale-ups indien en voor zover zij voldoen aan de kmo-criteria), mogen bovenstaande elementen van de technische documentatie op vereenvoudigde wijze (lees: via een modelformulier van de Europese commissie) ter beschikking worden gesteld.⁸⁹ Dat modelformulier moest bij afwerking van deze bijdrage nog gepubliceerd worden. Het lijkt alsof de EU ruimte wil laten en ondersteuning wil bieden aan kleine en middelgrote ondernemingen in het domein van AI. Dat valt enerzijds aan te moedigen. Al te zware documentatieverplichtingen zouden mogelijk voor zulke ondernemingen als afschrikkende factor kunnen werken en zodoende innovatie hinderen. Bovendien is het niet redelijk te verwachten dat een start-up dezelfde manpower kan alloceren om AI Act-compliant te zijn als bijvoorbeeld Meta of OpenAI. Anderzijds is een op maat van de aanbieder gebaseerde aanpak opmerkelijk. De grootte van de aanbieder zegt op zichzelf niets over de potentiële impact van de door die aanbieder aangeboden HRAI. Ook kleine spelers kunnen systemen met grote impact in de handel brengen, zonder daarbij noodzakelijk plots niet langer als kleine of middelgrote onderneming te kwalificeren. De insteek is hier wellicht dat zodra een HRAI van een kmo tractie krijgt, deze al snel geen kmo meer zal zijn en bijgevolg de uitgebreidere technische documentatie zal moeten kunnen overleggen.

4° Registratie (logging)

41. De AI Act verplicht aanbieders van HRAI om de nodige registratie (logging) en documentatieverplichtingen in het HRAI te integreren. Zo moet gelogd worden wat de duurtijd van ieder gebruik is geweest, aan de hand van welke referentiedatabank de inputdata zijn gecontroleerd door het HRAI, de inputdata ten aanzien waarvan de zoekopdracht een match heeft opgeleverd en de identificatie van de natuurlijke persoon/personen die betrokken zijn bij de verificatie van de resultaten.⁹⁰

5° Transparantie en informatieverstrekking aan exploitanten

42. Mede door middel van de gebruiksinstructies moeten aanbieders van HRAI’s ervoor zorgen dat gebruikers van die systemen in staat zijn de output van het systeem te interpreteren en op passende wijze te gebruiken.⁹¹ Daarom moeten aanbieders hun identiteit en contactgegevens opnemen in de gebruiksinstructies, alsook de kenmerken, capaciteiten en beperkingen van de prestaties van het HRAI, de maatregelen voor menselijk toezicht, met inbegrip van de technische maatregelen die zijn getroffen om de interpretatie van de output van het HRAI te vergemakkelijken, de benodigde rekenkracht en hardware en in voorkomend geval een beschrijving van de mechanismen die de exploitanten in staat stellen de nodige logs te verzamelen.⁹²

6° Menselijk toezicht

43. Wellicht een van de belangrijkste elementen inzake de HRAI’s is het menselijk toezicht. Het is voor de Europese wetgever primordiaal dat HRAI’s zodanig ontworpen worden dat natuurlijke personen op doeltreffende wijze toezicht kunnen uitoefenen op HRAI’s.⁹³ Dat toezicht is vooral bedoeld om risico’s voor gezondheid, veiligheid en grondrechten te voorkomen en te beperken, ervan uitgaande dat er HRAI’s zijn waarbij zulke risico’s onverminderd de andere door de aanbieders genomen maatregelen blijven bestaan.⁹⁴ De toezichtmaatregelen kunnen zowel betrekking hebben op de aanbieder (bij de ontwikkeling van het HRAI) als op de gebruiksverantwoordelijke (bij gebruik van het HRAI).⁹⁵

44. Het is bovendien noodzakelijk dat de natuurlijke personen die moeten instaan voor het menselijk toezicht op het HRAI, in staat worden gesteld die taak terdege uit te voeren. In die zin acht de EU het noodzakelijk dat zij zich onder meer bewust blijven van de automation bias, de output van HRAI’s juist interpreteren (waarvoor men dus wellicht in een opleiding zal moeten voorzien, gebaseerd op de technische documentatie), de mogelijkheid hebben om de output van het HRAI niet te gebruiken en/of de werking ervan op een veilige manier moeten kunnen stopzetten.⁹⁶ In die zin zal er voor HRAI’snooit sprake mogen zijn van zogenoemde black box AI. Bij dit soort AI-systemen is het niet mogelijk uit te leggen hoe het systeem van een bepaalde input, tot een bepaalde output gekomen is. Er zal aldus voor HRAI steeds op basis van explainability gewerkt moeten worden.

7° Nauwkeurigheid, robuustheid en cyberbeveiliging

45. De AI Act stelt voorop dat HRAI’s zodanig ontworpen moeten worden dat zij een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging bieden. Bovendien moeten de HRAI’s gedurende hun volledige levensduur op consistente wijze blijven presteren op dit vlak.⁹⁷ De Europese wetgever moedigt de ontwikkeling van benchmarks en meetmethoden aan om het criterium «passend niveau» te kunnen invullen.⁹⁸ Aangezien AI-systemen bijleren, moet vermeden worden dat fouten en/of onregelmatigheden binnen het systeem zelf meegenomen zouden worden om toekomstige output te genereren. Zo moet bijvoorbeeld vermeden worden dat wanneer een generatief AI-systeem «hallucineert», die hallucinatie meegenomen wordt. Hiertoe moeten technische en organisatorische maatregelen genomen worden.⁹⁹ Tot slot moeten er ook voldoende waarborgen zijn om hackers te proberen te verhinderen om prestaties van de HRAI’s te wijzigen door gebruik te maken van kwetsbaarheden van het systeem.¹⁰⁰

C. Verplichtingen van de partijen in de waardeketen van een HRAI

46. Na in de vorige afdeling een overzicht te hebben geschetst van de vereisten waaraan de HRAI’s op zichzelf moeten voldoen onder de AI Act, gaan we in de volgende randnummers in op de concrete verplichtingen die de verschillende actoren van HRAI’s hebben onder de AI Act, zodra zij een HRAI in de handel willen brengen dan wel in gebruik willen stellen.

1° Verplichtingen van aanbieders

47. De aanbieder van een HRAI zal vanaf de inwerkingtreding van de AI Act verschillende verplichtingen moeten naleven.¹⁰¹ Een eerste belangrijke verplichting is dat zij ervoor verantwoordelijk zijn om erop toe te zien dat de door hen ontwikkelde HRAI’s voldoen aan alle vereisten uit afdeling 2 van de AI Act (zie supra nrs. 34 t.e.m. 45).¹⁰² Daarnaast is de aanbieder van het HRAI verantwoordelijk om een conformiteitsbeoordeling uit te voeren van dat HRAI vooraleer het in de handel wordt gebracht of in gebruik wordt gesteld.¹⁰³ Ook de vereisten en markeringen (zoals in voorkomend geval de CE-markering) die de AI Act oplegt voor HRAI’s, moeten logischerwijze door de aanbieder van het HRAI vervuld/aangebracht worden.¹⁰⁴ Het zijn ook de aanbieders die als aanspreekpunt dienen voor nationale toezichthouders om aan te tonen dat het HRAI compliant is met de vereisten uit afdeling 2 van de AI Act.¹⁰⁵

a. Systeem voor kwaliteitsbeheer

48. In het bijzonder moeten de aanbieders van HRAI’s een systeem van kwaliteitsbeheer uitwerken en documenteren dat ertoe leidt dat de AI Act wordt nageleefd. Zonder exhaustief in te willen gaan op alle verplichtingen die aanbieders van HRAI’s in dit kader hebben, geven we mee dat het systeem betrekking moet hebben op zowel het ontwerpen, testen, uitrollen, evalueren als controleren van het HRAI.¹⁰⁶ Bovendien moet het aandacht hebben voor kwaliteitscontrole.¹⁰⁷ Ten slotte moet voorzien worden in procedures voor het melden van ernstige incidenten.¹⁰⁸

49. De uitvoerigheid van dat document lijkt volgens de AI Act evenredig te mogen zijn met de omvang van de organisatie van de aanbieder, al ontslaat de beperkte organisatie/omvang van een aanbieder er die aanbieder niet van om strikt te voldoen aan het beschermingsniveau dat nodig is om aan de AI Act te voldoen.¹⁰⁹ We herhalen hier dat de EU ruimte lijkt te laten voor kleine en middelgrote ondernemingen (met inbegrip van start- en scale-ups). In dit kader heeft de wetgever onder meer willen bewerkstelligen dat ook kleine aanbieders van AI-systemen compliant moeten kunnen worden, rekening houdende met de kostprijs (en niet in het minst het tijdrovende karakter) van compliance. Tegen die achtergrond is een meer light regime voor kleinere aanbieders te begrijpen. We herhalen evenwel ook onze bedenking aangaande de potentiële afwezigheid van een verband tussen omvang van de aanbieder en de impact/risico’s verbonden aan een HRAI (cf. supra nr. 40).

50. Voor aanbieders van HRAI’s die onderworpen zijn aan specifieke verplichtingen met betrekking tot kwaliteitsbeheersystemen (vanuit de aard van de diensten die de betrokken aanbieder in de markt zet) dan wel voor aanbieders die een financiële instelling zijn, gelden specifieke regels en wordt vermoed dat zij (al dan niet volledig) voldoen aan het verplichte systeem van kwaliteitsbeheer onder de AI Act voor zover zij voldoen aan de respectievelijke governanceregels en -processen die specifiek voor hun sector gelden.¹¹⁰

b. Bewaring van documentatie

51. De aanbieder van een HRAI moet gedurende tien jaar te rekenen vanaf het moment dat het HRAI in de handel gebracht is of in gebruik gesteld werd, een heel aantal zaken ter beschikking houden van de nationale toezichthouders.¹¹¹ Het gaat zo onder meer over de technische documentatie over het HRAI (art. 9 AI Act), de documentatie voor het systeem voor kwaliteitsbeheer (art. 17 AI Act), de eventueel door de aangemelde instanties goedgekeurde wijzigingen, eventuele besluiten/andere documenten van voormelde instanties en de EU-conformiteitsverklaring (art. 47 AI Act).¹¹²

52. De wijze waarop dergelijke zaken moeten worden bewaard, kan verschillen per lidstaat.¹¹³ Enerzijds was uniformiteit hier een voordeel geweest. Anderzijds biedt dit de mogelijkheid van lidstaten om aanbieders toe te staan een (digitaal) documentatiesysteem (DMS-systeem) te kiezen dat volledig is aangepast aan hun specifieke behoeften en gewenste functionaliteiten. Voor financiële instellingen die aanbieder zijn van HRAI’s, worden de documentatieverplichtingen inzake die HRAI’s opgenomen in hun bestaande verplichtingen onder Uniewetgeving voor financiële diensten.¹¹⁴

c. Automatisch gegenereerde logs

53. Zoals bepaald in artikel 12 AI Act moeten HRAI’s automatische logs genereren. Indien en voor zover de betrokken logs onder de controle vallen van de aanbieder van het HRAI, is het de verplichting van de aanbieder om die logs te bewaren en dit voor een periode die passend is voor het doel van het HRAI.¹¹⁵ Er geldt een minimale bewaartermijn van zes maanden, tenzij Unie- of nationaal recht elders anders zou bepalen. Hier maakt de AI Act zelf terecht de link met de Uniewetgeving inzake de bescherming van persoonsgegevens.¹¹⁶

d. Corrigerende maatregelen en mededelingsverplichting

54. AI evolueert, soms ook zonder dat de aanbieders dit direct zelf zien. Dit is een logisch gevolg van de aard van AI, voor zover het niet eerder een wezenskenmerk ervan is. Indien en voor zover als aanbieders van HRAI’s de mening zijn toegedaan dat de door hen op de markt gebrachte HRAI’s niet (meer) zouden voldoen aan de AI Act, zijn deze aanbieders gehouden direct actie te ondernemen om ofwel het HRAI opnieuw AI Act compliant te maken, ofwel het uit de handel te nemen, te deactiveren of terug te roepen. In de mate dat de aanbieders een beroep doen op distributeurs, dienen deze in kennis gesteld te worden van de niet-conformiteit en de daaraan gegeven gevolgen. Die mededelingsverplichtingen kunnen ook gelden ten aanzien van gebruiksverantwoordelijken, gemachtigden en importeurs.¹¹⁷ De aanbieder blijft o.i. de spilfiguur wanneer het aankomt op eventuele terugroepingen of het nemen van corrigerende maatregelen. Het valt evenwel te verwachten dat aanbieders in hun contracten met distributeurs verbintenissen zullen opnemen die de distributeur verplichten om bij twijfel/vermoedens van non-compliance dit te melden aan de aanbieders. Daarnaast zal ook het juridische kader voor een eventuele terugroeping geregeld moeten worden.

55. Wanneer het HRAI een hoog risico zou vormen in de zin van artikel 71 AI Act, moet de aanbieder onmiddellijk bij het kennisnemen van dat risico de oorzaken onderzoeken en dit in samenwerking met eventuele gebruiksverantwoordelijken die het risico hebben gemeld. Bovendien moet hij de toezichthouders van de lidstaten waarin het HRAI is aangeboden en de eventuele autoriteit die een certificaat voor het betreffende HRAI heeft verstrekt, inlichten over de aard van de non-conformiteit en over de relevante getroffen corrigerende maatregelen.¹¹⁸

e. Samenwerking bevoegde autoriteiten

56. Vanzelfsprekend wordt voorzien dat indien toezichthouders zulks gemotiveerd verzoeken, de aanbieders van HRAI’s alle informatie en documentatie bezorgen die noodzakelijk is om compliance met de AI Act van het betreffende HRAI aan te tonen.¹¹⁹ De toezichthouders kunnen ook de eventuele logs opvragen in dit kader.¹²⁰ De betreffende nationale toezichthouders moeten de verkregen informatie en documentatie vertrouwelijk behandelen, in lijn met de vereisten van artikel 78 AI Act.¹²¹

f. Gemachtigden van aanbieders van HRAI’s

57. Wanneer aanbieders van HRAI’s hun systemen in de EU in de handel willen brengen, moeten ze schriftelijk en voorafgaand een gemachtigde aanduiden die gevestigd is in de EU. Die gemachtigde moet in staat zijn om de taken uit te voeren die in zijn mandaat zijn opgenomen en beschikken over een kopie van zijn mandaat, dat hij op verzoek van de toezichthouders moet kunnen voorleggen.¹²²

De gemachtigde moet onder meer de volgende taken kunnen verrichten: (i) nagaan of de EU-conformiteitsverklaring en de technische documentatie aangaande het HRAI zijn opgesteld en of de aanbieder een passende conformiteitsbeoordeling heeft uitgevoerd, (ii) gedurende een periode van tien jaar na het in de handel brengen van het HRAI de contactgegevens van de aanbieder, een kopie van de EU-conformiteitsverklaring, de technische documentatie en de eventuele certificaten van aangemelde instanties ter beschikking houden. Het is daarnaast ook de gemachtigde die moet voldoen aan verzoeken van en moet samenwerken met nationale toezichthouders.¹²³

Tot slot is het ook de gemachtigde die moet voldoen aan de eventuele registratieverplichtingen die volgen uit artikel 49, eerste lid AI Act.¹²⁴ Indien de gemachtigde van mening mocht zijn dat de aanbieder in strijd met de AI Act handelt, moet de gemachtigde zijn mandaat beëindigen en de nationale toezichthouder daarvan in kennis stellen.¹²⁵

2° Verplichtingen van importeurs

58. Niet enkel aanbieders van HRAI’s dragen de verantwoordelijkheid om ervoor te zorgen dat HRAI’s AI Act-compliant zijn. Ook de importeur van een HRAI dient erover te waken dat het betreffende systeem compliant is door na te gaan (i) of de conformiteitsbeoordeling is nagegaan door de aanbieder, (ii) of de technische documentatie afdoende is opgesteld, (iii) of de vereiste CE-markering is aangebracht en het systeem vergezeld gaat van de EU-conformiteitsbeoordeling en gebruiksaanwijzingen en (iv) of de aanbieder een gemachtigde heeft aangewezen.¹²⁶

59. Mocht een importeur van oordeel zijn dat een bepaald systeem niet AI Act-compliant is, dan wel vervalst zou zijn of met vervalste documenten verdeeld wordt, moet hij weigeren het systeem op de markt te brengen zolang het niet in overeenstemming is gebracht. Bovendien moet de importeur de aanbieder van het systeem, de eventuele gemachtigden en de toezichthouder(s) in kennis stellen.¹²⁷ Ten einde een zicht te krijgen (en te houden) op de weg die een HRAI aflegt tot bij de gebruiksverantwoordelijke en eindgebruiker, brengt ook de importeur zijn naam, handelsnaam of merknaam en contactadres aan op de verpakking of in de gevoegde documentatie (indien en voor zover van toepassing).¹²⁸

60. De importeur wordt ook verplicht om een kopie van het door de aangemelde instantie afgegeven certificaat en in voorkomend geval ook een kopie van de gebruiksaanwijzing en de EU-conformiteitsverklaring te bewaren gedurende een periode van tien jaar, alsook om mee te werken aan verzoeken van nationale toezichthouders.¹²⁹

3° Verplichtingen van distributeurs

61. De distributeur dient na te gaan of het HRAI dat hij op de markt wil aanbieden, de vereiste CE-markering heeft, of het vergezeld gaat van de conformiteitsverklaring en gebruiksinstructies en of een aantal andere verplichtingen onder de AI Act werden nageleefd.¹³⁰ Net zoals dat voor de importeur geldt, moet ook de distributeur die, op grond van de informatie waarover hij beschikt, van mening is dat bepaalde zaken niet AI Act-compliant zijn, weigeren het HRAI in de handel te brengen tot het AI Act-compliant gemaakt is.¹³¹ Er geldt vervolgens ook een meldplicht voor de distributeur, die de importeur dan wel de aanbieder in kennis moet stellen.¹³²

62. Opmerkelijker wat ons betreft is dat de distributeur zelf verplicht kan zijn corrigerende maatregelen te nemen om niet-compliant HRAI’s in regel te stellen, uit de handel te nemen of terug te roepen dan wel ervoor te zorgen dat de aanbieder, de importeur of de eventuele operator zulke maatregelen treft.¹³³ Onzes inziens kan de distributeur immers weinig meer doen dan weigeren het HRAI verder te verdelen op de markt en de importeur/aanbieder daarvan schriftelijk in kennis stellen. Daarnaast zouden distributeurs uiteraard ook testprocedures kunnen uitrollen van de HRAI’s die zij verdelen om zich van de AI Act-compliance van die systemen te vergewissen. Tot slot is het ook niet ondenkbaar dat de distributeur in de distributieovereenkomsten bepaalde verklaringen en waarborgen van de aanbieder zal verlangen op dit punt. We zijn benieuwd hoe de rechtspraak deze verplichting voor de distributeur precies zal invullen.

63. Tot slot geldt er ook een medewerkingsplicht in hoofde van de distributeur met de nationale toezichthouders, zoals dat ook voor aanbieders en importeurs het geval was.¹³⁴

4° Verantwoordelijkheden in de AI-waardeketen

64. Nu we in de vorige randnummers de verschillende actoren hebben overlopen die optreden in de AI-waardeketen, past het om stil te staan bij de onderscheiden juridische verantwoordelijkheden. Voorafgaand moeten we daarbij opmerken dat de grootste verantwoordelijkheid vanzelfsprekend bij de aanbieder van een HRAI ligt. Er zijn echter een aantal gevallen waarin distributeurs, importeurs of zelfs gebruiksverantwoordelijken zelf als aanbieder beschouwd zullen worden, en dus zelf onderworpen zijn aan de verplichtingen van aanbieders van HRAI’s onder artikel 16 AI Act.¹³⁵ Dit is met name het geval indien:

- de gebruiksverantwoordelijke, distributeur of importeur zijn naam of handelsmerk zet op een HRAI dat reeds in de handel is gebracht of in gebruik is gesteld, onverminderd andersluidende contractuele afspraken tussen de partijen;¹³⁶

- de gebruiksverantwoordelijke, distributeur of importeur substantiële wijzigingen toebrengt aan het HRAI dat reeds in de handel is gebracht of in gebruik is gesteld, op zodanige wijze dat het systeem een HRAI blijft;¹³⁷

- de gebruiksverantwoordelijke, distributeur of importeur het beoogde doel van het AI-systeem, dat al in de handel was gebracht of in gebruik gesteld, op zodanige wijze wijzigt dat het systeem een HRAI wordt.¹³⁸

65. Indien er sprake is van een van voormelde gevallen, zal de originele aanbieder niet langer als aanbieder van het HRAI beschouwd worden voor de toepassing van de AI Act.¹³⁹ Hij zal evenwel nauw moeten samenwerken met de nieuwe aanbieder(s) en de nodige informatie, technische toegang en andere bijstand moeten verlenen opdat de nieuwe aanbieder(s) aan zijn/hun verbintenissen onder de AI Act kunnen voldoen.¹⁴⁰ Op deze verplichting voor de originele aanbieder geldt een uitzondering, met name indien er contractueel tussen aanbieder en gebruiksverantwoordelijke/importeur/distributeur overeengekomen was dat die laatsten het HRAI niet mochten wijzigen in een HRAI.¹⁴¹ Die uitzondering is logisch, aangezien wanneer een AI-systeem ab initio niet als HRAI kwalificeerde en het toch zware regime dat daarvoor onder de AI Act wordt vastgesteld, niet hoefde te volgen, het al te kras zou zijn dat de originele aanbieder bepaalde documentatie zou moeten verstrekken.

66. De AI Act voorziet tevens nog in een bijzondere regeling voor HRAI’s die veiligheidscomponenten zijn van producten die bijzonder gereguleerd zijn in de harmonisatiewetgeving in bijlage 1, afdeling A bij de AI Act. Daar zal de productfabrikant beschouwd worden als de aanbieder van het HRAI.¹⁴² Derden die niet zelf HRAI’s ontwikkelen of aanbieden, maar die wel instrumenten, diensten of processen leveren die worden gebruikt of geïntegreerd in HRAI’s, moeten bepaalde contractuele afspraken maken over het delen van informatie en capaciteiten, en dienen ook regelingen te treffen inzake technische toegang en andere bijstand.¹⁴³

5° Verplichtingen van gebruiksverantwoordelijken van AI-systemen met een hoog risico

67. Gebruiksverantwoordelijken van HRAI’s ten slotte nemen passende technische en organisatorische maatregelen om te waarborgen dat ze de systemen gebruiken in overeenstemming met de gebruiksaanwijzingen die bij de HRAI’s worden gevoegd. Bovendien dragen zij verantwoordelijkheid om menselijke toezichters aan te stellen en dienen zij ervoor te zorgen dat deze de nodige bekwaamheid, opleiding en autoriteit hebben.¹⁴⁴

68. De personen binnen gebruiksverantwoordelijken die gebruik maken van het HRAI (operatoren), moeten er bovendien over waken dat de inputdata relevant en voldoende representatief zijn in het licht van het met het HRAI beoogde doel.¹⁴⁵ Het zijn de operatoren die de werking van het HRAI monitoren en de aanbieders eventueel in kennis stellen. Wanneer een operator van mening zou zijn dat gebruik van een HRAI een risico zou vormen in de zin van artikel 79, eerste lid AI Act, stellen zij eerst de aanbieder en vervolgens de importeur/distributeur en de toezichthouder(s) in kennis van het incident.¹⁴⁶ De operatoren bewaren ook de logs die automatisch worden gegenereerd door het HRAI, voor zover die logs onder hun controle vallen gedurende een periode die passend is voor het beoogde doel van het HRAI. Er geldt een minimum van zes maanden, tenzij anders bepaald in nationale/Europese wetgeving.¹⁴⁷

69. Indien een HRAI in gebruik zou worden genomen op de werkvloer, informeert de operator daarvan eerst de werknemers en werknemersvertegenwoordigers.¹⁴⁸ Indien noodzakelijk onder de GDPR, voeren de operatoren die HRAI’s gebruiken, een gegevensbeschermingseffectbeoordeling uit.

70. Tot slot moet de gebruiksverantwoordelijke van een HRAI voorafgaand aan de ingebruikstelling ervan nagaan welke risico’s het gebruik van het HRAI voor de grondrechten kan opleveren. De AI Act schrijft in dat kader een heel aantal zaken voor die mee in overweging moeten worden genomen in het kader van zo’n effectbeoordeling, zoals de duurtijd en frequentie waarmee een HRAI gebruikt zal worden, de categorieën van personen die gevolgen kunnen ondervinden van het gebruik van het HRAI enz.¹⁴⁹ Indien en voor zover als de aanbieder al zo’n effectbeoordeling uitvoerde, kan de gebruiksverantwoordelijke daar ook gebruik van maken.¹⁵⁰ Er geldt ook nog een actieve mededelingsplicht in hoofde van de gebruiksverantwoordelijke aan de nationale toezichthouder van de resultaten van de effectbeoordeling, en dit volgens een door het AI-Bureau ontwikkelde vragenlijst.¹⁵¹ Ook hier maakt de AI Act weer de link met de gegevensbeschermingseffectbeoordeling zoals bedoeld in de GDPR, door te onderkennen dat het mogelijk is dat een deel van de verbintenissen onder artikel 27 AI Act reeds nagekomen kunnen zijn in het kader van een dergelijke beoordeling.¹⁵² De verplichtingen van de gebruiksverantwoordelijken onder de AI Act zijn niet te onderschatten. De gebruiksverantwoordelijken zullen op korte termijn wellicht ook alle toepassingen die zij gebruiken, aan zo’n beoordeling moeten onderwerpen.

D. Quis custodiet ipsos custodes

71. Zoals hoger aangegeven ligt de beoordeling of een AI-systeem een HRAI is, in de eerste plaats bij de aanbieder van het betrokken AI-systeem zelf. Het zijn dus de aanbieders die in eerste lijn aan zet zijn. Vervolgens komen er een aantal nieuwe actoren ten tonele. Vanaf de inwerkingtreding van de AI Act zal iedere lidstaat immers minstens één aanmeldende autoriteit moeten aanduiden, dan wel oprichten.¹⁵³ Deze aanmeldende autoriteit zal instaan voor de beoordeling, aanwijzing en aanmelding van conformiteitsbeoordelingsinstanties inzake HRAI’s en het toezicht daarop.¹⁵⁴ Het gaat met andere woorden over een autoriteit die bevoegd is instanties aan te stellen die op hun beurt bekwaam/bevoegd zijn om na te gaan of een HRAI voldoet aan de vereisten die de AI Act daaraan stelt. We bespreken deze instanties op beknopte wijze, aangezien een uitgebreidere bespreking het bestek van deze bijdrage te buiten zou gaan.

72. Vooreerst moeten deze instanties voldoen aan een aantal specifieke voorwaarden. Het moet gaan om een instantie met rechtspersoonlijkheid met een organisatiestructuur die vertrouwen inboezemt.¹⁵⁵ Er gelden gelet op hun activiteiten ook bijzondere onafhankelijkheid-/onpartijdigheidsvereisten.¹⁵⁶ Daarnaast moeten de aanmeldende instanties dermate opgericht/georganiseerd worden dat er zich geen belangenconflicten voordoen met de conformiteitsbeoordelingsinstanties en moet hun objectiviteit en onpartijdigheid absoluut gewaarborgd zijn.¹⁵⁷ Bovendien moeten ze voldoende bekwame mensen in dienst hebben om te besluiten over de aanmelding van conformiteitsbeoordelingsinstanties en mogen ze zelf geen conformiteitsbeoordelingsinstantie zijn.¹⁵⁸ Het spreekt voor zich dat deze instanties ook geen adviezen mogen geven op commerciële dan wel concurrentiële basis.¹⁵⁹ De AI Act schrijft bovendien voor dat de aanmeldende autoriteiten de door hen verkregen informatie vertrouwelijk behandelen en over een toereikend aantal bekwame personeelsleden moeten beschikken om de activiteiten naar behoren uit te voeren. Met bekwaam personeel wordt verwezen naar personeel dat (indien noodzakelijk voor zijn specifieke taak binnen de aanmeldende autoriteit) beschikt over de nodige deskundigheid in bijvoorbeeld informatietechnologie, AI en recht, met inbegrip van toezicht op de grondrechten.¹⁶⁰ Het komt er in essentie op neer dat de betrokken personeelsleden voldoende kennis/achtergrond hebben om AI-systemen te begrijpen en te beoordelen en er in die zin veilig gebruik van te kunnen maken. De AI Act spreekt zelf over «AI-geletterdheid» in de context van onderbouwde beslissingen door aanbieders, gebruiksverantwoordelijken en betrokken personen.¹⁶¹ Het concept AI-geletterdheid wordt gedefinieerd als «vaardigheden, kennis en begrip die (...) in staat stellen geïnformeerd AI-systemen in te zetten en zich bewuster te worden van de kansen en risico’s van AI en de mogelijke schade die zij kan veroorzaken».¹⁶²

73. Het is aanmeldende instanties toegelaten om te werken met onderaannemers, al kunnen aanbieders van HRAI’s zich verzetten tegen de uitvoering van activiteiten van de aanmeldende instantie door een dochteronderneming/onderaannemer.¹⁶³ De aanmeldende instanties maken in dat kader een lijst van hun dochterondernemingen openbaar. Het is de Europese Commissie die zal optreden als toezichthouder om te onderzoeken of er gegronde twijfels zijn omtrent de bekwaamheid van een aangemelde instantie. Zij kan bij de aanmeldende autoriteit informatie opvragen over zowel de aanmelding als het op peil houden van de bekwaamheid van de betrokken aangemelde instantie.¹⁶⁴ Indien de commissie zou oordelen dat een aangemelde instantie niet langer aan de vereisten voldoet, zal zij de aanmeldende lidstaat daarvan informeren en verzoeken om corrigerende maatregelen te nemen dan wel de aanmelding te schorsen/in te trekken. Weigert de lidstaat mee te werken, dan kan de commissie dat ook zelf.¹⁶⁵

IV. Governance, toezicht & sancties onder de AI Act

74. Vergelijkbaar met de GDPR introduceert de EU-wetgever met de AI Act een gelaagde governance- en handhavingsstructuur, bestaande uit diverse organen op zowel Unie- als nationaal niveau.

A. AI-bureau («AI-Office») en Praktijkcodes

75. Op Unieniveau is de belangrijkste rol bij de implementatie van de AI Act weggelegd voor het AI-bureau. Deze instantie binnen de Europese Commissie heeft een ondersteunende, coördinerende en controlerende rol teneinde een doeltreffende uitvoering en naleving van de AI Act te garanderen.¹⁶⁶

76. Allereerst moet het AI-bureau de opstelling van praktijkcodes aanmoedigen en faciliteren.¹⁶⁷ Deze praktijkcodes moeten specifieke doelstellingen, maatregelen en kernprestatie-indicatoren bevatten voor aanbieders van GPAI-modellen, zodat zij kunnen vertrouwen op deze praktijkcodes voor de correcte naleving van hun verplichtingen onder de AI Act.¹⁶⁸ Om te waarborgen dat deze praktijkcodes aansluiten bij de huidige stand van de techniek en rekening houden met verschillende opvattingen, zal het AI-bureau samenwerken met aanbieders van GPAI-modellen, bevoegde nationale autoriteiten, maatschappelijke organisaties, deskundigen en andere stakeholders.¹⁶⁹ Deelnemers aan de praktijkcodes moeten regelmatig verslag uitbrengen aan het AI-bureau over hun inspanningen om de doelstelling van de praktijkcodes te verwezenlijken.¹⁷⁰ Op basis van deze feedback en nieuwe normen zal het AI-bureau de evaluatie en aanpassing van de praktijkcodes faciliteren.¹⁷¹ Het lijkt bijgevolg duidelijk dat de EU inzet op regulering en benchmarking binnen het AI-ecosysteem zelf, wat onzes inziens bijval verdient.

77. Daarnaast zal het AI-bureau specifiek toezicht houden op de naleving van de AI Act door aanbieders van GPAI-modellen.¹⁷² Dit houdt in dat het AI-bureau bevoegd is om de conformiteit van GPAI-modellen met de AI Act en goedgekeurde praktijkcodes te controleren en, indien nodig, aanvullende maatregelen op te leggen, dan wel het op de markt aanbieden te beperken, te verbieden of terug te roepen.¹⁷³

78. Om de naleving van de AI Act te bevorderen, zal het AI-bureau onder meer ook instaan voor het verstrekken van gestandaardiseerde sjablonen (supra nrs. 20 en 70), het organiseren van voorlichtingscampagnes, het ondersteunen van de nationale bevoegde autoriteiten bij het opzetten van AI-testomgevingen voor regelgeving en het coördineren van informatie-uitwisseling tussen verschillende instanties betrokken bij de implementatie en handhaving van de AI Act.¹⁷⁴

B. AI-Comité («AI-Board»)

79. Bij de implementatie van de AI Act zal het AI-bureau worden bijgestaan door het Europees Comité voor artificiële intelligentie. Het Comité zal bestaan uit één vertegenwoordiger per lidstaat en zijn vergaderingen zullen worden bijgewoond door twee waarnemers zonder stemrecht, zijnde de Europese Toezichthouder voor gegevensbescherming (EDPS) en het AI-bureau.¹⁷⁵

80. De taak van het Comité is om te zorgen voor een doeltreffende en geharmoniseerde implementatie van de AI Act, zowel op Unieniveau als op nationaal niveau.¹⁷⁶ Die doelstelling is logisch te verklaren, aangezien de EU met harmonisatie van de regels omtrent AI er net voor wilde zorgen dat er een uniforme regeling van kracht werd voor de hele eengemaakte interne markt. Het Comité zal het AI-bureau helpen bij het opstellen van praktijkcodes en begeleiden van nationale bevoegde autoriteiten bij het opzetten van een AI-testomgeving voor regelgeving.¹⁷⁷ De overige taken van het Comité, opgenomen in artikel 66 van de AI Act, omvatten onder meer het coördineren tussen de nationale bevoegde autoriteiten, het delen van expertise en best practices tussen de lidstaten, het bevorderen van AI-geletterdheid en het uitbrengen van aanbevelingen en adviezen over de toepassing van de AI Act.

C. Adviesforum en Wetenschappelijk panel

81. De EU-wetgever erkent het belang van input van stakeholders en adviezen uit de wetenschappelijke gemeenschap. Daarom wordt er een adviesforum opgericht met een evenwichtige vertegenwoordiging van belanghebbenden, waaronder vertegenwoordigers uit het bedrijfsleven (inclusief start-ups en kleine en middelgrote ondernemingen), het maatschappelijk middenveld en de academische wereld.¹⁷⁸ Dit adviesforum zal technische expertise verstrekken aan de Europese Commissie en het Comité.¹⁷⁹ Daarnaast wordt een wetenschappelijk panel van onafhankelijke deskundigen samengesteld.¹⁸⁰ Dit wetenschappelijk panel zal het AI-bureau adviseren en ondersteunen bij diverse taken, met name door het adviseren over de classificatie en evaluatie van GPAI’s, het waarschuwen voor GPAI’s met mogelijke systeemrisico’s en het bijdragen aan ontwikkeling van de vereiste instrumenten en sjablonen.¹⁸¹

D. Nationale bevoegde autoriteiten en AI-testomgevingen voor regelgeving

82. Naast de eerdergenoemde toezichthoudende en adviserende instanties op EU-niveau, zullen nationale bevoegde autoriteiten toezicht houden op de implementatie en naleving van de AI Act. Zo moet elke lidstaat één aanmeldende autoriteit (supra nr. 71 e.v.) en minstens één markttoezichtautoriteit aanwijzen.¹⁸² De markttoezichtautoriteiten fungeren als centraal contactpunt voor het publiek op het niveau van de lidstaten en zijn bevoegd om klachten van natuurlijke en rechtspersonen over mogelijke inbreuken op de AI Act te onderzoeken en bij overtredingen sancties op te leggen (infra nr. 84 e.v.).¹⁸³

83. De nationale bevoegde autoriteiten zullen tevens verantwoordelijk zijn voor het opzetten van minstens één AI-testomgeving voor regelgeving (regulatory sandbox) per lidstaat.¹⁸⁴ Deze AI-testomgevingen voor regelgeving bieden een gecontroleerde omgeving waarin AI-systemen onder direct en regelgevend toezicht kunnen worden ontwikkeld, getest en gevalideerd alvorens ze op de markt worden gebracht of in gebruik worden genomen.¹⁸⁵ Met deze regulatory sandboxes streeft de EU-wetgever ernaar om onder meer de rechtszekerheid voor de naleving van de AI Act te verbeteren, de markttoegang voor AI-systemen te vergemakkelijken en te versnellen, vooral voor start-ups en kmo’s, en daardoor innovatie en concurrentievermogen te bevorderen.¹⁸⁶ Hoewel (potentiële) aanbieders van AI-systemen die deelnemen aan dergelijke AI-testomgevingen, mogelijk zijn vrijgesteld van administratieve boetes, mits zij handelen volgens de geldende voorwaarden en richtsnoeren opgelegd door de bevoegde nationale autoriteiten, blijven zij volgens het geldende aansprakelijkheidsrecht aansprakelijk voor schade toegebracht aan derden als gevolg van experimenten in de testomgeving.¹⁸⁷

E. Sancties

84. De sancties onder de AI Act kunnen worden ingedeeld in drie «sanctieniveaus», niveau 1 met een maximale geldboete van 7,5 miljoen euro, niveau 2 met een maximale geldboete van 15 miljoen euro, en niveau 3 met een maximale geldboete van 35 miljoen euro. Deze sanctieniveaus zijn van toepassing op alle operatoren van AI-systemen en aanbieders van GPAI’s, waarbij enkel niveau 2 geldt voor laatstgenoemden. Voor instellingen, organen en instanties van de Unie bestaat er een apart sanctiesysteem met lagere maximumboetes, dat in deze uiteenzetting buiten beschouwing blijft.¹⁸⁸

85. De zwaarste sancties onder de AI Act zijn voorbehouden voor schendingen van het verbod op bepaalde AI-praktijken (supra nrs. 13 en 14). Deze worden bestraft met geldboetes tot maximaal 35 miljoen euro of 7% van de totale wereldwijde jaaromzet van het voorgaande boekjaar, afhankelijk van welk bedrag hoger is.¹⁸⁹

86. De op één na hoogste boetes gelden voor niet-naleving van specifieke verplichtingen voor aanbieders, gemachtigden, importeurs, distributeurs, gebruiksverantwoordelijken en aangemelde instanties, zoals opgesomd in artikel 99, 4 van de AI Act. Dit betreft verplichtingen voor AI-systemen met een hoog risico (supra nrs. 34 e.v.) en de transparantieverplichtingen voor AI-systemen met een beperkt risico (supra nrs. 15-17). Voor de schendingen van deze verplichtingen gelden geldboetes tot 15 miljoen euro of 3% van de totale wereldwijde jaaromzet van het voorgaande boekjaar, afhankelijk van welk bedrag hoger is.¹⁹⁰ Dezelfde maximumbedragen gelden voor inbreuken gepleegd door aanbieders van GPAI’s.¹⁹¹

87. Tot slot gelden er geldboetes tot maximaal 7,5 miljoen euro of 3% van de totale wereldwijde jaaromzet van het voorgaande boekjaar, afhankelijk van welk bedrag hoger is, voor het verstrekken van onjuiste, onvolledige of misleidende informatie aan aangemelde instanties of nationale bevoegde autoriteiten naar aanleiding van een verzoek.¹⁹²

88. Voor start-ups en kleine en middelgrote ondernemingen gelden in beginsel dezelfde sanctieniveaus. De eventuele geldboete zal echter beperkt worden tot de berekeningswijze die resulteert in het laagste bedrag.¹⁹³ Naast de verschillende manieren om de administratieve lasten onder de AI Act te verminderen voor kmo’s en start-ups (zie bijvoorbeeld supra nr. 40), lijkt de EU-wetgever dus ook te zoeken naar manieren om deze ondernemingen tegemoet te komen wat de potentiële sancties betreft. We onderschrijven dat het weinig zinvol is een kmo een boete op te leggen die ze niet kan betalen. We stellen ons wel de vraag of een regeling op grond waarvan de kmo automatisch op een voordeligere regeling aanspraak kan maken dan een multinational, rechtvaardig is. Wellicht speelt hier zoals gezegd de overweging dat men kmo’s niet mag afschrikken om AI-systemen te ontwikkelen. Dat doen zou een al te grote rem op innovatie kunnen zetten en zodoende de relevantie van Europa op het gebied van AI kunnen beperken.

V. Besluit

89. Aan het einde van deze juridische verkenning van de nieuwe AI Act houden we eraan enkele voorzichtige conclusies te formuleren. In de eerste plaats zullen alle actoren in de AI-waardeketen met de AI Act aan de slag moeten. De vraag die wij ons daarbij stellen, is in welke mate de AI Act in de huidige vorm voldoende precieze guidelines verschaft aan die actoren. Zeker gelet op het strenge sanctieapparaat waarin de AI Act voorziet, zijn wij van oordeel dat op dat punt een meer gedetailleerde aanpak welkom was geweest. Mogelijk botste de Europese wetgever hier op de nadelen van zijn streven om als eerste een normatief kader voor AI uit te werken. Zulks valt te begrijpen, aangezien de EU een kader wilde creëren in een zeer breed en snel evoluerend domein. Het absolute voordeel is dat er een juridische basis gelegd werd om met AI om te gaan, mede op vraag van de betrokken sector zelf. De keerzijde van de medaille is dat uit de praktijk nog zal moeten blijken of dit kader volstaat/voldoende concreet is.

90. We onderschrijven de aanpak van de wetgever in die zin dat hij veel over wenst te laten aan gedragscodes en overleg met de betrokken actoren in de community. Het lijkt ons ook zo dat pas zodra men echt aan de slag kan met de regels die de AI Act introduceert, er meer duidelijkheid zal ontstaan omtrent de precieze implicaties daarvan. In die zin kan enkel maar onderkend worden dat betrokkenheid van alle spelers in het betrokken ecosysteem een absoluut pluspunt is.

91. Er zou o.i. nagedacht kunnen worden over het creëren van een verantwoordelijke binnen iedere onderneming in de AI-waardeketen. In parallel met de GDPR en de functie van DPO zou zo een verantwoordelijke erop toe kunnen zien dat de verplichtingen van de onderneming onder de AI Act hoog op de agenda blijven staan. Een zekere onafhankelijkheid gekoppeld aan een voldoende grote set bevoegdheden zou volgens ons voor een verhoogde mate van compliance met de AI Act kunnen zorgen. Er dient daarnaast ook gereflecteerd te worden over de kostprijs van compliance met de AI Act. Die prijs zou immers niet prohibitief duur mogen worden als de Europese wetgever zijn doel om innovatie niet af te remmen, wil behalen.

92. Het komt ons voor dat de toepassing van de AI Act in de tijd er wel eens voor zou kunnen zorgen dat er een zekere rush to the market ontstaat. De mogelijkheid om zelfs HRAI’s out of scope van de AI Act te houden door deze voorafgaand aan de inwerkingtreding van de AI Act in de handel te brengen/in gebruik te stellen (onder het voorbehoud van latere aanzienlijke wijzigingen) noopt tot reflectie. We betoogden hoger dat er misschien beter een harde verplichting ingevoerd was geweest voor alle actoren in de keten om naar AI Act-compliance te streven, ook wanneer het betrokken HRAI reeds in de handel was. We herhalen dat een flexibele aanpak wat betreft de verplichtingen onder de AI Act die niet meer nageleefd kunnen worden (tot op het ogenblik van latere aanzienlijke wijzigingen) er o.i. een duidelijker kader en een échte overgangsperiode gecreëerd had kunnen worden. Ook vrezen we dat het in de praktijk lang niet zo eenvoudig zal zijn om te concretiseren welke wijziging aan een HRAI «aanzienlijk» is en welke niet. Het is immers goed mogelijk dat een minimale wijziging in het algoritme of in de onderliggende code een gigantische impact heeft. zin in het geel is ondoorgrondelijk, herbekijken aub

93. Het is in ieder geval nog koffiedik kijken wat betreft de directe praktische impact van de AI Act. Het zal bovendien interessant worden om op te volgen hoe andere geopolitieke mogendheden (denk aan de VS, maar zeker ook aan China/Japan/Rusland) om zullen gaan met regels omtrent AI. We hopen de lezer met deze bijdrage alvast een overzicht te hebben gegeven van een aantal van de juridische verplichtingen die het aanbieden, verdelen of gebruiken van AI met zich mee zal brengen in de toekomst.