Real-time event stream processing en Kafka – introductie, de risico’s en succes verhalen

Gastblog door Axual (Knowledge Partner op het thema Event Stream Processing)

Wat is real-time event stream processing?

Event Stream Processing (ESP) is een technologie om data te verwerken en te analyseren terwijl deze nog stroomt tussen verschillende systemen. Het stelt organisaties en applicaties in staat om real-time te reageren op gebeurtenissen (oftewel events) binnen en buiten je organisatie. Het vormt de basis voor use cases zoals het versturen van een real-time notificatie zodra iemand geld pint, het detecteren van fraude, real-time handelen in energie en het koppelen van slimme sensoren om bijvoorbeeld een smart city te bouwen. 

Bedrijven zoals Google, LinkedIn, Uber en Thuisbezorgd gebruiken al jaren deze technologie. Laten we Thuisbezorgd als voorbeeld nemen. Hierbij wordt data van verschillende bronnen (denk aan het weer, files, locatie, status van je bestelling en snelheid van de bezorger) real-time en continu geanalyseerd om een zo accuraat mogelijk tijdstip van bezorgen aan jou door te geven. ESP speelt hierbij een fundamentele rol.

Ook in Nederland is ESP de standaard geworden bij grote IT afdelingen waar real-time data van groot belang is. Onder andere de Rabobank en Eneco zijn volop bezig met deze technologie om de klantervaring te verbeteren. Daarover later in deze blog meer.

De rol van Kafka in event stream processing

Apache Kafka is open-source (OS) technologie die event streaming mogelijk maakt en in staat is om grote hoeveelheden real-time data stromen te verwerken. Wereldwijd is het één van de meest populaire OS projecten en wordt het door 80% van de Fortune 100 bedrijven ingezet.

Het is geweldige technologie, echter mist OS Kafka een aantal belangrijke enterprise features. 

Kafka is erg ingewikkeld om op te zetten en het kost zelfs ervaren developers en architecten een hoop tijd om alle ins en outs van Kafka te begrijpen. Zo beschikt Kafka niet over een user interface (alles gaat via de CLI), zijn security instellingen standaard niet ingeschakeld en heeft het niet de mogelijkheid om te bepalen wie toegang heeft tot de real-time data – dit laatste punt ligt erg gevoelig bij organisaties in een gereguleerde omgeving waarbij data governance belangrijk is (denk aan overheidsinstellingen, gezondheidszorg, banken, telecom en energiemaatschappijen). 

In de afgelopen jaren zijn wij veel bedrijven tegengekomen die zelf aan de slag zijn gegaan met OS Kafka waarbij de interne development teams de ontbrekende Kafka features zelf hebben gebouwd. Hier zijn al gauw 8-10 FTE mee gemoeid en wordt daarnaast ook 6 FTE jaarlijks gespendeerd aan het onderhouden van het event streaming platform. 

Axual – het Kafka platform voor event stream processing

Kafka is dus ingewikkeld en moeilijk om te implementeren ondanks zijn duidelijke voordelen. Dit is vergelijkbaar met waar Linux moeilijk te begrijpen valt, totdat het wordt ingezet als een besturingssysteem zoals RedHat. RedHat is de management laag bovenop Linux. 

Hetzelfde doet Axual voor Kafka. Axual is de management laag voor Kafka en biedt een compleet event streaming platform. Het maakt real-time event streaming eenvoudig en schaalbaar voor enterprise organisaties. Het platform bevat functionaliteiten voor onder andere data governance, audit trails, security, data synchronisatie en biedt daarnaast support voor Kafka omgevingen.  

Hoe Rabobank en Eneco event stream processing met Axual inzetten

In 2015 besloot Rabobank te transformeren naar een 100% digitale en real-time bank. Hierbij vormt event streaming de technische basis. 

De eerste use case ging over het real-time versturen van updates en notificaties naar de eindgebruikers – de Rabo Alerts service. Rabo Alerts verstuurt een update bij bepaalde financiële events. Een voorbeeld van een eenvoudige event is wanneer een bepaald bedrag van je rekening wordt afgeschreven of bijgeschreven. Je ontvangt dan een push notificatie op je mobiel of via email. Maar er zijn ook complexere events. Klanten van de Rabobank kunnen updates configureren op basis van hun voorkeuren en deze via drie kanalen laten verzenden: e-mail, sms en mobiele pushmeldingen. Dankzij Axual ontvangen gebruikers nu real-time Rabo Alerts – vaak nog voordat het geld uit de automaat rolt.

Vandaag de dag werken meer dan 200 DevOps teams bij de Rabobank met het event streaming platform en zijn er meer dan 400 applicaties aangesloten. Axual wordt Rabobank-breed ingezet voor het real-time detecteren van fraude, het real-time activeren van credit cards en Rabo scanners, het verwerken van inkomende en uitgaande transacties en nog veel meer. Daarnaast bespaart de Rabobank dankzij het platform jaarlijks €500.000,- aan onderhoudskosten. Waar men voorheen 6 FTE nodig had voor het onderhouden van het event streaming platform, is er nu nog maar 1 FTE voor nodig.

Ook Eneco besloot in 2019 aan de slag te gaan met Kafka en real-time data. 

Eneco heeft als missie “duurzame energie is van iedereen” en wil haar klanten helpen om de volgende stap te zetten in hun energietransitie. Hiervoor is kennis nodig – kennis van de markt, en van de klant. Deze kennis wordt gehaald uit data. Niet alleen wordt er ieder jaar meer data gegenereerd, maar deze data moeten ook steeds sneller beschikbaar zijn en verwerkt worden. Omdat deze ‘real-time data’ een steeds belangrijkere rol spelen in de energietransitie, besloot Eneco in 2019 tot het opzetten van een event streaming platform op basis van Kafka.

Joleen Breij, Head of Data Eneco, was ervan overtuigd dat Eneco nog meer een datagedreven bedrijf moet worden om haar missie te realiseren. Het event streaming platform is een van de technische fundamenten dat hieraan ten grondslag ligt.

Met Axual kan Eneco haar data real-time twee keer zo snel verwerken als voorheen, met miljoenen berichten per minuut als resultaat. Daarnaast maakt het platform real-time ontsluiting mogelijk waardoor, in samenwerking met IoT sensoren, real-time analytics en sturing, beter ingespeeld kan worden op de vraag en het aanbod van warmte levering aan de klant. Dit kan leiden tot een energiebesparing van 20-30%. Hiermee is een nieuwe stap gezet in de verduurzaming van Nederland. 

Daarnaast kan Eneco met real-time data klanten direct helpen met hun vragen en advies geven om nog duurzamer om te gaan met energie. Neem bijvoorbeeld klantvragen als ‘Waarom is mijn energieverbruik op dit moment zo hoog?’ Met real-time data kan Eneco dit direct inzien en samen met de klant achterhalen wat er op dat moment aan de hand is in het huis.

Wil jij ook de mogelijkheden van real-time data en event streaming onderzoeken voor jouw organisatie? Neem gerust contact met ons op of vraag een demo aan. Onze Kafka experts geven graag advies over jouw unieke use cases.