Verbeteren van voorspellingsbetrouwbaarheid

Voorspellen wordt vaak gezien als een opgelost probleem totdat het in productie moet werken.
Veel organisaties hebben moeite om veelbelovende modellen om te zetten in betrouwbare, bruikbare oplossingen door uitdagingen rondom datakwaliteit, modeltransparantie en schaalbaarheid.

Bij Notilyze helpen we organisaties de kloof te overbruggen tussen experiment en productie, zodat forecasting een robuuste en betrouwbare basis wordt voor besluitvorming.

Probleemomschrijving

Organisaties die forecastingmodellen in productie willen brengen, lopen vaak tegen de volgende uitdagingen aan:

• De nauwkeurigheid van voorspellingen is te laag om er actie op te kunnen nemen. Dit kan komen door een gebrek aan statistische kennis, wat leidt tot suboptimale modelkeuzes, verkeerd gebruik van data of input van lage kwaliteit.
  
  
• De overgang van pilot naar productie: Gebruik van data in de pilotfase die in productie niet beschikbaar is. Modellen die niet uitlegbaar zijn voor stakeholders (zoals de directie) en daardoor onvoldoende draagvlak krijgen. Gebruik van open-source tools die intensief onderhoud vereisen, zoals afhankelijkheden van Python-packages die kunnen breken bij updates. Kwetsbaarheden in code die intern niet worden beheerd.

Specifiek bij een drinkwaterbedrijf met smart metering (IoT) in het waternetwerk bleek het ontwikkelde model niet geschikt voor productie. Daarnaast werd datacleaning niet structureel uitgevoerd en was het model gebouwd met open-source pakketten die afhankelijk zijn van onderhoud door de community. Dit kan na deployment leiden tot ongewenste situaties, zoals beveiligingsrisico’s die intern niet opgelost kunnen worden.

Oplossing

Notilyze beschikt over een Data Analytics team met MSc-opgeleide specialisten in Econometrie, Toegepaste Wiskunde en AI. Dankzij diepgaande kennis van forecastingmodellen en hun statistische basis kunnen de juiste modelkeuzes worden gemaakt.

Met behulp van SAS Viya kan een breed scala aan modelalternatieven worden onderzocht en direct worden gedeployed binnen één platform en zonder afhankelijkheid van externe code.

Daarnaast ondersteunt het platform de volledige analytics lifecycle:

• Ontwikkeling
• ETL-pipelines en database-integraties
• Deployment
• Continue monitoring en evaluatie

Hierdoor blijft het eigenaarschap van de volledige data- en analyticsketen bij de organisatie zelf, waar het hoort.

In het geval van het drinkwaterbedrijf werd de foutmarge met een factor 3 verlaagd door zowel betere modelkeuzes als gestandaardiseerde datacleaning. Er werd een MAPE (Mean Absolute Percentage Error) van 7,5% bereikt (zowel op training- als testdata).

Het model kon daarmee de populatie in toeristische steden voorspellen op basis van IoT-data, gecombineerd met weersinformatie en evenementenkalenders, volledig transparant en uitlegbaar.

Door de samenwerking werd niet alleen het model verbeterd, maar kreeg de klant ook inzicht in het belang van kwalitatieve inputdata. Dit stelde hen in staat om het model verder te optimaliseren met betere data.

Aanpak

De samenwerking is gebaseerd op Analytics as a Service. Met onze Cloud-, Analytics- en IT-teams vullen we kennisgaten bij de klant aan. Tegelijkertijd werken we nauw samen met interne experts, zoals domeinspecialisten, databasebeheerders en data engineers.

In sprints bepalen we samen de focus en businessbehoeften, schatten we de benodigde inspanning en ontwikkelen we:

• ETL-pipelines
• Forecastingalgoritmes
• Documentatie
• Visualisaties

Na validatie op testdata kan het model worden gedeployed op:

• Een server van de klant
• Of een SAS Viya-omgeving gehost door ons cloudteam in Nederland

Hierbij wordt voldaan aan ISO27001 en blijft data binnen de EU.

In dit specifieke project hebben we de businessbehoefte vertaald naar een concreet forecastingprobleem. Vervolgens ontwikkelden we een ETL-pipeline en algoritme in SAS Viya, verbonden met een Snowflake-database en bouwden we API’s om de resultaten te integreren in de monitoringsoftware van de klant.

Uitdaging

De grootste uitdaging is het vinden van de juiste balans tussen nauwkeurigheid en transparantie.

Complexere modellen leveren vaak betere voorspellingen, maar zijn minder goed uitlegbaar. Dit creëert een trade-off:

• Nauwkeurigheid is nodig voor actiegerichte inzichten
• Transparantie is nodig voor vertrouwen en adoptie

Door inzicht te geven in beide aspecten hebben we het vertrouwen van de klant versterkt, waardoor zij de resultaten ook durfden te gebruiken voor toekomstige, nog niet eerder geteste scenario’s.

Over Notilyze

Wij zijn Notilyze, een SAS®-partner met één doel: organisaties helpen met data-analyse en hen meer datagedreven en succesvoller maken. Ons doel is om data-analyse toegankelijk te maken voor elke afdeling en elk bedrijf. Dit doen wij door SAS® as a Service aan te bieden. Notilyze Cloud is de snelste oplossing om te starten met AI op SAS® Viya®. Daarnaast bieden wij IT-oplossingen om analytics goed te integreren in bestaande processen, evenals de expertise van onze SAS®-specialisten.