Data warehouse

Datastromen samen laten komen

Laten we beginnen met het tastbaar maken van het concept van datastromen, door middel van een simpel praktijkvoorbeeld: je bent eigenaar van een fysieke winkel, met drie vestigingen, een webshop én je werkt ook met affiliate sites, waar je producten door derden verkocht worden. Dit resulteert in een redelijke hoeveelheid plekken waar je voorraad gecommuniceerd moet worden. Hier dient namelijk een link gemaakt te worden tussen webshop voorraad, lokale winkelvoorraden en een voorraad datastroom die (bijvoorbeeld elke 24 uur) naar een derde partij doorgestuurd wordt.

Het zou logisch zijn om hier een centraal voorraadsysteem voor te hebben; één centrale plek waar alle productvoorraad data in terug te vinden is. Deze centrale plek, is je data warehouse. Om de verschillende kanalen en systemen constant up-to-date te houden, leggen we een constante communicatiestroom aan, tussen het data warehouse en de verschillende kanalen; waar zowel data van als naar de kanalen gesynchroniseerd wordt en het data warehouse fungeert als een single point of truth, waar alle kanalen/systemen hun data uit ophalen.

Liever een korte video bekijken?

Een stap verder dan een API

Veel bedrijven gebruiken API’s om systemen aan elkaar te knopen. Dit kan voor kleinere structuren een goed systeem zijn. Op het moment dat er namelijk maar twee bronnen bij elkaar gebracht hoeven te worden, is dit een efficiënte oplossing en is een verzamelpunt als een data warehouse niet broodnodig. Maar API’s komen, hoe handig ze ook zijn, wel met een kanttekening: ze zijn niet schaalbaar. Op het moment dat er namelijk meerdere systemen aan je workflow toe worden gevoegd, moeten deze allemaal met losse koppelingen aan elkaar verbonden worden. Dat maakt het verschil tussen één nieuwe koppeling maken met je data warehouse, waardoor alles met elkaar communiceert, of een extra koppeling per bestaand systeem. Heb je dus acht databronnen, dan moeten er ook acht nieuwe koppelingen gemaakt worden om de nieuwe bron te integreren. 

Cross reporting

Een ander voordeel van een data warehouse is de mogelijkheid om cross system reports uit te draaien. Omdat je verschillende databronnen samenvoegt tot een single point of truth, heb je een centrale plek om al je data uit te halen. Hierdoor ontstaat de mogelijkheid om voorheen los gerapporteerde resultaten samen te voegen in een master rapport. Dit wordt mogelijk gemaakt, omdat we tijdens het opbouwen van het data warehouse een scala aan andere problemen te lijf gaan, tijdens ons data assessment traject. Denk bijvoorbeeld aan ontbrekende data, onjuist geregistreerde data en niet samenvoegbare data door inconsistentie in de benaming of zelfs de kwaliteit daarvan. Bij het opzetten van een data warehouse zorgen we dus eerst dat alle data ‘opgeruimd’ wordt. Zodat deze schoon, correct en volledig de drempel van je nieuwe warehouse over stapt.

Serverruimte besparen

Het gebruik van een data warehouse brengt op het gebied van je technische infrastructuur ook winst met zich mee. Door het elimineren van de vele koppelingen die er binnen een systeem draaien, winnen we namelijk significant op het performance front. Losse koppelingen en pings (het aanhalen van een server en zijn data) veroorzaken namelijk een dermate proportionele workload voor je systemen, dat deze hier merkbaar traag en soms zelfs onbruikbaar van worden. Deze systemen/koppelingen proberen namelijk constant data op te vragen aan de andere bronnen. Dit resulteert in een reusachtige hoeveelheid data traffic, waar de meeste servers niet op ingericht zijn. Het resultaat? Langzame en crashende systemen. De oplossing? Een data warehouse! Het data warehouse fungeert als cloud database, waar alle data gespiegeld wordt, waardoor de verschillende systemen hier een beroep op kunnen doen; in plaats van het constant uitvragen van data bij de échte bron. 

Benieuwd naar de mogelijkheden voor jouw bedrijf?

Neem hier contact op