Dataverrijking laten bouwen: hoe controleer je ontbrekende en onverwachte data?

Bij dataverrijking combineer je eigen gegevens met informatie van buiten je systeem. Voordat je die verwerking laat bouwen, is het de moeite waard om ook de controle te bespreken: welke gegevens verwacht je, en wat moet er gebeuren als de uitkomst daarvan afwijkt?

Ons artikel over KvK-gegevens verrijken gaat over het afbakenen van zo'n opdracht. Hier richten we ons op het beoordelen van een werkend voorbeeld en de afspraken voor dagelijks gebruik. De aanpak is gebaseerd op onze dienst voor dataverzameling en API-koppelingen.

Beoordeel het voorbeeld vanuit je eigen systeem

Bij Monad spreken we de structuur af aan de hand van een representatieve dataset voordat we de volledige gegevensverwerking aansluiten. Gebruik dat voorbeeld om te bespreken welke velden je nodig hebt en in welk formaat je systeem ze verwacht. Neem je huidige bestand mee, zodat de vergelijking concreet blijft.

Bepaal ook hoe velden gelijkgetrokken moeten worden en hoe de verwerking met dubbele records omgaat. Dat zijn onderdelen van onze aanpak voor dataverrijking. Leg bij het beoordelen van het voorbeeld vast welke uitkomst je verwacht, in plaats van alleen te controleren of er een bestand wordt opgeleverd.

Spreek af welke afwijkingen zichtbaar moeten worden

We bouwen controles op ontbrekende of onverwachte gegevens. Wat als afwijking telt, hoort bij de afbakening van jouw verwerking. Loop daarom de gewenste velden langs en beschrijf wat iemand moet kunnen beoordelen als de informatie anders binnenkomt dan verwacht.

• Welke velden verwacht je in de aangeleverde gegevens?
• Welke ontbrekende informatie moet ter beoordeling worden aangeboden?
• Wat geldt als onverwachte invoer voor het ontvangende systeem?
• Wie pakt een melding of storing op?

Gebruik deze vragen bij het werkende voorbeeld. Een afgesproken gegevensstructuur geeft houvast bij die beoordeling; afspraken over storingen bepalen wie daarna aan zet is.

Neem bronwijzigingen mee in het onderhoud

Een wijziging aan een bronwebsite kan een scraper raken, de software die informatie van die website verzamelt. Bespreek daarom wie de verzameling onderhoudt en wie een storing onderzoekt. Op onze dienstenpagina horen monitoring en wijzigingen bij bronnen bij de afspraken over aansluiting en onderhoud.

Leg daarnaast de gewenste verversingsfrequentie vast: hoe vaak moeten de gegevens worden bijgewerkt? Beoordeel die afspraak samen met de toegang tot de bron en het gebruik van de uitkomst. Dit zijn onderdelen die we bij het afbakenen van de data bekijken.

Maak de controle onderdeel van de opdracht

Neem naar de intake een voorbeeldbestand mee en benoem welke informatie ontbreekt. Laat ook zien waar de verrijkte gegevens terecht moeten komen. Bespreek naast de gewenste uitvoer wie afwijkingen beoordeelt en wie het onderhoud oppakt.

Bij Monad begint een project met een gratis intakegesprek. Daarna volgt een vaste offerte voor een eerste werkende versie. Lees meer over dataverzameling en API-koppelingen of beschrijf je bedrijf en de gewenste verwerking via het contactformulier.