Afstudeeropdracht: Data observability of data pipelines – the ‘why’ instead of just ‘if’

Site Info Support B.V.

Het vermogen om de kwaliteit van gegevens in het systeem te meten op basis van gegevens die het systeem genereert. Dat is Data Observability. In deze opdracht ga je onderzoeken hoe je een Data Observability het beste inricht en doe je vervolgens aanbevelingen op basis van een bestaande data pipeline.

Als je in Azure een datapipeline bouwt, krijg je daar ook meteen een stukje monitoring bij. Daarmee krijg je een melding zodra iets niet werkt in je pipeline, maar het is niet altijd duidelijk waarom het niet werkt.

Data Observability is het vermogen om de kwaliteit van gegevens in het systeem te meten op basis van gegevens die het systeem genereert. Dit moet de beheerder van de data in staat stellen problemen met data op te lossen, liefst voordat de gebruiker dit constateert. Data Observability gaat om het reduceren van het aantal fouten.

De opdracht
In deze opdracht onderzoek je wat Data Observability is en onderzoek je hoe een Data Observability het beste ingericht kan worden. Denk hierbij aan o.a. architectuur, technische richtlijnen, benodigde metrics, etc. Op basis van je onderzoek doe je aanbevelingen voor het implementeren van Data Observability voor een reeds bestaande data pipeline.

Wat wij bieden

– Een uitdagende afstudeeropdracht
– € 1000 vergoeding, € 500 + leaseauto of € 600 + woonruimte
– Professionele begeleiding
– Trainingen gericht op jouw afstudeertraject
– Sparren met andere afstudeerders en collega’s
– Twee vakantiedagen per maand

Om op deze vacature te solliciteren bezoek je carriere.infosupport.com.