Mcp server SAS NOTILYZE

// Van MCP Server naar Analytics Assistant: zo zorgen we dat AI-agents betrouwbaar werken met SAS Viya

AI and Analytics as a service

Eerder dit jaar schreven we over de SAS Viya MCP Server, die AI-agents verbindt met SAS Viya. Sindsdien hebben we de Notilyze Assistant ontwikkeld, waarmee engineers zelfstandig Lean Six Sigma-analyses kunnen uitvoeren op hun eigen data. Het verbinden van de AI-agent met SAS bleek het eenvoudige gedeelte te zijn.

Een AI-agent bouwen is eenvoudig. Ervoor zorgen dat deze elke keer op dezelfde manier volgens jouw methodiek werkt, is dat niet. Dit is wat we hebben geleerd tijdens het ontwikkelen van de Notilyze Assistant met behulp van de SAS Viya MCP Server.

Stel je een kwaliteitsengineer voor die aan een productielijn werkt. De onderdelen zijn afkomstig van twee leveranciers en niemand weet zeker of ze dezelfde kwaliteit leveren. De engineer uploadt de productiedata en stelt één vraag: heeft onze keuze voor een leverancier invloed op het percentage defecte producten?

Wat gaat er mis als een AI-agent improviseert?

Geef een geavanceerd taalmodel toegang tot een SAS-tool en het kan binnen enkele minuten SAS-code uitvoeren en je datavraag beantwoorden. Maar stel dezelfde vraag opnieuw en je zult merken dat je vaak een ander antwoord krijgt. De AI-agent voert de ene keer een 2-Sample t-test uit, de volgende keer een Chi-kwadraattoets en bij een derde poging een 2-Proportion test. Soms slaat de agent de controle over die bepaalt of de Chi-kwadraattoets geldig is, of besluit deze zelfstandig dat 0,05 het juiste significantieniveau is. In het ergste geval presenteert de agent vol overtuiging een p-waarde die nooit door een statistische procedure is berekend.

In een gesprek over vakantieplannen zijn zulke verschillen onschuldig. Bij Lean Six Sigma is dat niet het geval. Een verkeerde statistische toets kan leiden tot een onjuiste conclusie. En een onjuiste conclusie kan betekenen dat een productielijn wordt aangepast, of juist ongewijzigd blijft, om de verkeerde reden. Een AI-agent die improviseert bij statistische analyses is erger dan helemaal geen AI-agent.

De methodiek afdwingen met protocolbomen

De voor de hand liggende oplossing is een strengere systeemprompt. Maar dat werkt niet. Een prompt is uiteindelijk slechts een instructie waarvan het model kan afwijken, zeker tijdens een lang gesprek.

Daarom hebben we de methodiek uit de prompt gehaald en ondergebracht in een protocolboom. Op deze manier worden de stappen van de analyse afgedwongen door een engine buiten het AI-model. Bij het toetsen van hypothesen volgt de agent de vertrouwde stapsgewijze methode: van het formuleren van onderzoeksvragen en hypothesen tot het selecteren en uitvoeren van de juiste statistische toets en het beantwoorden van de bedrijfsvraag.

Elke chat houdt een digitaal kladblok bij met het overkoepelende plan, details over de huidige stap en alle feiten die tot dan toe zijn vastgelegd. Hierdoor beschikt de AI-agent altijd over precies de informatie die nodig is voor de volgende stap, zelfs wanneer het gesprek al lange tijd loopt.

MCP Server SAS Notilyze 1

Het protocol voor hypothesetoetsing in onze Tree Studio: 95 knooppunten en 22 vertakkingen. De vastgelegde feiten bepalen welk pad de AI-agent volgt.

MCP Server SAS Notilyze 2

Het digitale kladblok voor de leveranciersvraag: stap 1 tot en met 4 zijn afgerond. De overige stappen van het plan moeten nog worden uitgevoerd.

Drie regels vormen de basis van deze aanpak:

  • De feiten bepalen de statistische toets, niet de AI-agent. De agent legt vast wat uit de data blijkt, zoals het datatype, of de data normaal verdeeld zijn en of de steekproeven gepaard zijn. De protocolboom gebruikt deze feiten om de juiste statistische toets te selecteren. De agent kan deze keuze niet zelfstandig maken.

  • Sommige beslissingen zijn aan de gebruiker. De onderzoeksvraag en het significantieniveau worden bepaald door de engineer. De AI-agent kan hiervoor voorstellen doen, maar alleen de engineer kan de definitieve keuze maken.

  • Elke stap volgt een vaste werkwijze. De protocolboom bepaalt welke stap als volgende aan de beurt is. De bijbehorende instructies (skills) vertellen de AI-agent precies hoe deze stap moet worden uitgevoerd.

MCP Server SAS Notilyze 3

De AI-agent stelt de hypothesen en het significantieniveau voor en laat de engineer de definitieve keuze maken.

De protocolboom bepaalt wat er gebeurt, de skill bepaalt hoe

Elke stap in de protocolboom verwijst naar een skill: een korte werkinstructie die de AI-agent leest zodra deze bij die stap aankomt. Een skill bevat precies vier onderdelen:

  • Wat moet worden vastgelegd. De feiten die tijdens deze stap worden vastgesteld, zoals of de data normaal verdeeld zijn. Deze worden opgeslagen in precies de velden die de protocolboom nodig heeft om het verdere verloop van de analyse te bepalen.

  • Welke SAS-code moet worden uitgevoerd. Een codesjabloon waarin de statistische procedure en de bijbehorende opties al zijn vastgelegd. De AI-agent hoeft alleen nog de juiste dataset en variabelen in te vullen.

  • Hoe de resultaten moeten worden geïnterpreteerd. Welke tabel moet worden bekeken en wat de uitkomsten betekenen. Bij een normaliteitstoets betekent een lage p-waarde bijvoorbeeld dat de data niet normaal verdeeld zijn. Dit is een interpretatie die in de praktijk vaak verkeerd wordt gemaakt.

  • Hoe de resultaten moeten worden gepresenteerd. Een vaste opmaak voor de tabel, grafiek en conclusie. Hierdoor ziet een normaliteitscontrole er altijd hetzelfde uit, ongeacht wie de analyse aanvraagt of hoe vaak deze wordt uitgevoerd.

Minstens zo belangrijk is wat een skill niet bevat: wanneer deze moet worden uitgevoerd en wat de volgende stap is. Dat wordt volledig bepaald door de protocolboom. Door deze verantwoordelijkheden gescheiden te houden, kunnen we een SAS-codesjabloon aanpassen zonder de methodiek te veranderen. Andersom kunnen we de methodiek aanpassen zonder de skills opnieuw te hoeven schrijven.

De AI-agent redeneert, SAS Viya rekent

Het taalmodel verzorgt het gesprek en de redenering, terwijl SAS Viya alle statistische berekeningen uitvoert. De output van een taalmodel kan per uitvoering verschillen, maar de berekeningen van SAS zijn reproduceerbaar. Stel de vraag van onze engineer twee keer en de formulering van het antwoord kan verschillen. De gevolgde analysestappen en de berekende waarden blijven echter hetzelfde.

MCP Server SAS Notilyze 4

SAS berekent alle statistische waarden; de AI-agent vertaalt deze naar een statistische conclusie en een antwoord op de bedrijfsvraag.

In ons eerste artikel beschreven we wat de MCP Server mogelijk maakt. Dit is hoe dat er in de praktijk uitziet:

  • Gevalideerde statistische procedures. Elke berekende waarde is afkomstig uit een standaard SAS-procedure. In ons voorbeeld vergelijkt PROC FREQ de twee leveranciers. De AI-agent voert zelf geen statistische berekeningen uit.

  • Viya-authenticatie. Analyses worden uitgevoerd onder de eigen Viya-identiteit van de engineer. Hierdoor heeft de AI-agent uitsluitend toegang tot de data waarvoor de engineer geautoriseerd is, en niets meer.

  • Volledige traceerbaarheid. Elke toolaanroep wordt vastgelegd, inclusief de volledige SAS-code en het bijbehorende logbestand. Elke waarde in het antwoord is daardoor te herleiden tot een specifieke SAS-procedure.

  • Resultaten direct in je werkomgeving. De engineer blijft gewoon in de chatomgeving werken. SAS-tabellen en grafieken verschijnen direct in het gesprek en de uiteindelijke conclusie wordt vertaald naar begrijpelijke bedrijfstermen.

  • Je data blijft bij ons. We draaien zelf een open-weight taalmodel op onze eigen GPU's in de Nederlandse datacenters van Worldstream, als onderdeel van Notilyze Cloud. Geüploade data en gesprekken worden nooit doorgestuurd naar een externe AI-dienst.

Wat we aan de MCP Server hebben toegevoegd

De MCP Server van SAS bood ons de verbinding met Viya. Om de oplossing geschikt te maken voor meerdere gebruikers en gelijktijdige gesprekken, hebben we deze op drie punten uitgebreid:

  • Een eigen identiteit per gebruiker. De chatapplicatie wisselt de inloggegevens van de gebruiker om voor een Viya-token. Hierdoor wordt elke SAS-taak uitgevoerd met de rechten van die specifieke gebruiker.

  • Een aparte CAS-sessie per chat. Geüploade data worden geladen in CAS, de in-memory engine van Viya, binnen een sessie die exclusief bij dat gesprek hoort. Zo blijven de tabellen van verschillende analyses volledig van elkaar gescheiden.

  • Grafieken die beschikbaar blijven. De MCP Server downloadt elke SAS-grafiek één keer en slaat deze tijdelijk op in een cache. Hierdoor blijven grafieken zichtbaar in het chatgesprek, ook nadat de SAS-sessie is afgesloten.

Meer dan alleen Lean Six Sigma

Hypothesetoetsing was onze eerste protocolboom. Daarna volgden controles op datakwaliteit, Gage R&R en Pareto-analyses. De onderliggende engine heeft zelf geen kennis van statistiek. Een protocolboom is simpelweg een vastgelegde methodiek, inclusief de stappen, controles en wie welke beslissingen mag nemen. Elk proces waarvoor een duidelijke werkwijze bestaat, kan op deze manier worden vastgelegd in een protocolboom.

Werkt jouw team volgens een vast analytisch stappenplan en wil je een AI-agent die deze werkwijze ook volgt, elke keer opnieuw? We denken graag met je mee over jouw proces. Neem contact met ons op via info@notilyze.com. Wil je zien hoe de Notilyze Assistant werkt met je eigen data? Plan dan een live demo.

Over Notilyze

Wij zijn Notilyze, een SAS®-partner met één doel: organisaties helpen met data-analyse en hen meer datagedreven en succesvoller maken. Ons doel is om data-analyse toegankelijk te maken voor elke afdeling en elk bedrijf. Dit doen wij door SAS® as a Service aan te bieden. Notilyze Cloud is de snelste oplossing om te starten met AI op SAS® Viya®. Daarnaast bieden wij IT-oplossingen om analytics goed te integreren in bestaande processen, evenals de expertise van onze SAS®-specialisten.

// Contact

Notilyze B.V.
Stationsplein 45 A4.004
3013 AK Rotterdam
+31 (0)10 79 86 295
info@notilyze.com

// Stel een vraag