Een datapijplijn is een geautomatiseerde route waarlangs gegevens van bron naar bestemming lopen. Onderweg worden ze opgehaald, opgeschoond, omgezet en weggeschreven, bijvoorbeeld naar een rapportageomgeving of een AI-toepassing.
Voor het MKB is dit de motor onder elk dashboard. Zonder pijplijn zit iemand elke maand handmatig exports te combineren. Met een pijplijn staan de cijfers er vanzelf, elke dag opnieuw en telkens op dezelfde manier berekend.
Een pijplijn draait op een schema of op een gebeurtenis en legt vast wat er gebeurt. Let vooral op foutafhandeling en bewaking: verandert een bron of faalt een stap, dan moet je dat merken voordat iemand een verkeerd rapport gebruikt.
Wat OkayICT hierin doet: we bouwen datastromen die betrouwbaar draaien en het melden als er iets misgaat.
Meer lezen: Wat is ETL? · Wat is een datalake?
