Het LLMs4EU-initiatief (“Large Language Models for the European Union”) is een 3-jarig Europees project (2025–2028) dat wordt gefinancierd in het kader van het Digital Europe Programme en wordt gecoördineerd door ALT-EDIC. Het doel is om de onafhankelijkheid, concurrentiekracht en culturele diversiteit van Europa op het gebied van generatieve AI te versterken door het opbouwen van een transparant, meertalig ecosysteem van Large Language Models (LLM’s).

LLMs4EU is een multinationaal en multi-institutioneel initiatief dat gericht is op de ontwikkeling van betrouwbare, meertalige large language models voor verschillende sectoren binnen de EU. Notilyze is een kernindustriële partnermet operationele ervaring in het grootschalig inzetten van AI-systemen, waardoor zij bij uitstek geschikt zijn om technische en domeinspecifieke beslissingen te begeleiden.

Probleembeschrijving – uitdaging

Bedrijven die Large Language Models (LLM’s) (en AI in het algemeen) in productie willen nemen, lopen tegen de volgende drie uitdagingen aan:

Nauwkeurigheid: LLM’s voldoen vaak niet aan de prestatienormen van organisaties. Wanneer AI wordt ingezet voor vragen die dagelijkse bedrijfsprocessen vertegenwoordigen, geven LLM’s te algemene antwoorden of hallucineren zij met veel zelfvertrouwen.

Specifieke kennis: Veel LLM’s op de markt missen kennis van specifieke domeinen en/of talen, waardoor ze niet geschikt zijn voor concrete business use cases. Dit heeft meerdere oorzaken, maar vooral:

1. Trainingsdata voor het specifieke gebruiksscenario is niet beschikbaar;
   
   

2. Aanbieders van LLM’s hebben weinig interesse om modellen te finetunen voor een zeer specifieke niche met een kleine TAR (Total Addressable Revenue).
   
   

3. Regelgeving en compliance: De implementatie van AI brengt ook nieuwe compliance-eisen met zich mee. Voor bepaalde toepassingen van LLM’s is een mate van transparantie vereist die huidige modellen niet kunnen bieden, omdat dit onderdeel is van hun intellectueel eigendom. Dit is te vergelijken met Coca-Cola dat zijn recept zou moeten delen: de waarde zit in het geheim, niet in de ingrediënten.

De combinatie van deze factoren verhindert dat bedrijven snel waarde uit AI halen. Een snelle return on investment is echter essentieel om bestuurders te overtuigen van de toegevoegde waarde die AI voor hun organisatie kan bieden.

Oplossing

Notilyze werkt samen in het project Large Language Models for the European Union (LLMs4EU) om bovengenoemde uitdagingen aan te pakken, specifiek in de context van implementatie binnen de Europese Unie. De belangrijkste doelstellingen van het project zijn:

• Data-infrastructuur / “one-stop shop” voor taaldata: Het verzamelen en verwerken van taaldata in alle officiële EU-talen (en regionale/laag-resource-talen) ter ondersteuning van het trainen van large language models (LLM’s).
  
  

• Op maat gemaakte modellen en tools voor sectoren en talen: Het mogelijk maken van de ontwikkeling van taalmodellen die zijn aangepast aan specifieke talen, domeinen, sectoren en use cases, waardoor de instapdrempel voor kleinere partijen wordt verlaagd.
  
  

• Sectorale use cases: In lijn met bovenstaande worden binnen het project concrete implementaties gerealiseerd in vijf vastgestelde sectoren: energie, telecom, toerisme, publieke dienstverlening en wetenschap.
  
  

• Evaluatie- en benchmarkinfrastructuur (“Virtual Evaluation Centre”): Het project voorziet in een platform voor transparante evaluatie en benchmarking van LLM’s binnen de Europese context.
  
  

• Open toegang en tools voor mkb: Het waarborgen dat Europese bedrijven — met name het mkb — toegang krijgen tot tools en middelen voor het trainen en aanpassen van modellen, en dat dit niet beperkt blijft tot grote gevestigde partijen.

De resulterende LLM-producten zullen volledig open zijn:

• Open modelgewichten

• Open broncode

• Open trainingsdata

Deze aanpak helpt organisaties om modellen te verkrijgen die volledig transparant zijn. Daarnaast moet de gebruikte trainingsdata voldoen aan EU-wetgeving (zoals de AVG/GDPR en de AI Act). Dit stelt bedrijven in staat om AI-oplossingen te implementeren die EU-compliant by design zijn.

Hoe?

Het project bestaat uit verschillende Work Packages (WP’s), die sequentieel door de betrokken partners worden uitgevoerd. Deze WP’s bestrijken het volledige traject van het in productie brengen van een LLM:

1. Het definiëren van een use case met bijbehorende validatiemetrics.

2. Het kiezen van een basismodel en het vaststellen van het juiste finetuning-template.

3. Het verkrijgen van relevante trainingsdata en het starten van het trainingsproces.

4. Het evalueren van het model op validatiemetrics, bias en naleving van EU-regelgeving.

5. Het deployen van het model binnen de context van de use case.

6. Het beschikbaar stellen van het model in een open access repository voor Europese organisaties en burgers.

De rol van Notilyze

Notilyze speelt een rol binnen het finetuning work package. Binnen dit werkpakket onderzoekt Notilyze verschillende finetuning-methoden en hoe deze geëvalueerd kunnen worden. Dit gebeurt momenteel specifiek binnen het domein Publieke Dienstverlening, waarvoor Notilyze optreedt als use case domain coordinator. In deze rol zorgt Notilyze ervoor dat de use cases die binnen de scope vallen op de juiste manier worden opgepakt en dat de oplossingen directe waarde toevoegen voor de eindgebruiker.

Notilyze heeft al ervaring met het finetunen van LLM’s voor specifieke use cases, zoals het controleren van jaarverslagen van banken op CSRD-compliance.

Resultaat

Momenteel ligt de focus op de volgende use cases:

• Assistent voor de publieke sector om medewerkers van overheden en/of burgers te ondersteunen bij vragen over door de overheid gepubliceerde documenten:

  • Een chatbot die burgers helpt bij informatieverzoeken op het niveau van lokale gemeenten, direct of door hen te helpen navigeren binnen een overheidsportaal:
    
    

  • een tool die slachtoffers van misdrijven een reeks vragen stelt om hen op basis van hun antwoorden naar het juiste ‘loket’ te verwijzen, zodat zij sneller geholpen kunnen worden door het Openbaar Ministerie.
    
    

• Een tool die onderzoekers en professionals helpt om op de hoogte te blijven van de nieuwste ontwikkelingen in de gezondheidszorg, op basis van publiek (of privaat) beschikbare literatuur en databanken, met behulp van natuurlijke-taalvragen, evidence-based antwoorden en slimme rapportagefunctionaliteiten.
  
  

• Een LLM-gedreven offline transcriptieoplossing voor audiovisuele content in de Ierse taal, bedoeld voor een publieke omroep.

De huidige use cases zijn aangedragen in verschillende talen: GR, IT, PL, RO, PT, FR, LU, LV en EN.

Over Notilyze Cloud
Notilyze Cloud is een gespecialiseerde hostingprovider voor SAS® Viya®, die veilige, schaalbare en conforme omgevingen biedt die zijn afgestemd op organisaties die vertrouwen op geavanceerde analytics. Als thuisbasis van het Notilyze SAS Viya Centre of Excellence combineert het bedrijf diepgaande platformexpertise met operationele excellentie om wereldwijd SAS-gebruikers te voorzien van high-performance, toekomstbestendige cloudoplossingen, waarbij de hoogste normen voor dataintegriteit en naleving van regelgeving worden gewaarborgd. 

Voor meer informatie kunt u contact opnemen met:

📧 info@notilyze.com
🌐 www.notilyze.com