Naar de inhoud
maarten.
Gedetailleerd zicht op een metalen pijpsysteem met kleppen in een industriële omgeving.
Alle stories

ETL en ELT voor AI-projecten

Maarten Soetens 12 min lezen

AI-projecten zijn afhankelijk van data die uit verschillende systemen komt en bruikbaar, controleerbaar en actueel is. Lees hoe ETL en ELT werken, welke keuzes daarbij horen en hoe u schemawijzigingen, ontbrekende waarden, herkomst en datakwaliteit beheerst.

ETL of ELT: waar vindt de datatransformatie plaats?

Je hebt ETL (extract, transform, load): data ophalen, aanpassen en daarna pas laden. Bij ELT sla je de ruwe data eerst op en pas je daarna transformaties toe. Het verschil? Daarbij bepaalt de volgorde waar het rekenwerk plaatsvindt, hoeveel originele gegevens nog beschikbaar blijven, en hoe snel een bewerking of correctie kan worden aangebracht. Ai kan met beide werken, de keuze is vooral afhankelijk van je bronnen, veiligheid, datavolume en wat je qua techniek ter beschikking hebt.

Je kiest ETL als gevoelige data direct bij het inladen gefilterd moet worden, of als het doelsysteem weinig rekenkracht heeft. Maar: bewerk je in deze stap te hardhandig, dan kun je achteraf info missen die je toch weer nodig hebt. Bij ELT bewaar je standaard een volledige ruwe kopie: handig als je een bewerking opnieuw wilt proberen of een nieuwe kolom moet maken. Nadeel: je moet meer aandacht besteden aan opslag, rechten en het duidelijk apart houden van ruw en bewerkt.

Vaak kies je niet alles-of-niets. Stel, privacygevoelige velden haal je vooraf weg, de rest normaliseer je achteraf. Zet per stap op papier wat je aanpast en waarom. Daarmee kun je bij problemen snel nagaan of het in de bron, de transformatie of de AI-invoer misgaat.

Data uit verschillende bronnen betrouwbaar inladen

Bronnen verschillen nogal: databases, API’s, spreadsheets, logbestanden, documenten. Een database levert nieuwe records direct, een API gooit je af en toe een bestand toe. Belangrijke vragen: hoe log je in, zie je daadwerkelijk alle nieuwe of gewijzigde records, en wat gebeurt er als een batch halverwege strandt? Zonder duidelijke laadstap krijg je snel dubbele gegevens, mis je updates of wordt iets per ongeluk overschreven.

Alles opnieuw halen klinkt simpel, maar is bij grote tabellen traag en belast je bron. Incrementeel werken gaat bijvoorbeeld met tijdstempels, volgnummer of CDC. Daarmee kun je niet blind varen: tijdstempels vallen soms samen, klokken kunnen niet kloppen, en verwijderde records blijven soms onzichtbaar. Houd daarom bij wat je echt verwerkt hebt, tot en met batch-ID en tijd, en zorg dat je veilig opnieuw kunt proberen.

Leg per bron vast hoe je omgaat met paginering, rate limits, time-outs, retries en verwijderde data. Noteer metadata bij het laden: bron, tijd, batch-ID en om welke records het gaat. Zo kun je terugzien welke dataset een model precies gekregen heeft. Foutieve records? Niet zomaar weggooien, maar apart bewaren met een reden erbij. Daarmee raakt je verwerking niet direct vast op één rare regel. Voor dit soort datastromen kun je automatisering met AI inzetten.

Schemawijzigingen opvangen zonder datastromen te breken

Een schema geeft aan hoe je velden heten, wat voor soort gegevens erin staan en hoe die velden zich tot elkaar verhouden. In de praktijk verandert zo’n schema geregeld: soms komt er een kolom bij, wordt een veldnaam aangepast, of wordt een datumveld ineens als tekst geleverd. Zo’n aanpassing kan een ETL-proces laten crashen, maar soms merk je het pas als er verkeerde waarden uitrollen. Inlezen als getal tegen een klantnummer? Dan zijn voorloopnullen ineens verdwenen en klopt de info niet meer.

Zie een schema als een contract. Leg vast welke velden verplicht zijn, welke mogen ontbreken, en hoe het datatype en de betekenis luiden. Krijg je een extra veld erbij? Kan meestal gewoon. Een gewijzigde naam of een andere eenheid zul je apart moeten aanpakken. Door bij laden te valideren op bekende velden en types, vang je onverwachte situaties op en voorkom je dat een kleine wijziging direct tot storing leidt.

Test je pipeline op kolomnamen, datatypes, nullen en of waarden binnen logische grenzen vallen. Onverwachte veranderingen? Dan kun je stoppen, in quarantaine gaan of melden met een waarschuwing. Je reactie stem je af op het risico: een extra omschrijving is iets anders dan een gewijzigd bedrag in andere valuta. Houd schema-versies apart en test transformaties op zowel oude als nieuwe data. Zo weet je zeker dat een update niet alleen voor de nieuwste export werkt.

Ontbrekende waarden herkennen en verantwoord behandelen

Lege waarden zijn niet allemaal hetzelfde. Een veld kan ontbreken omdat iemand het niet invult, data niet voorhanden is of omdat een bepaalde export het veld niet meeneemt. Zet je alles zonder uitzondering om naar lege string of nul? Dan verlies je verschil tussen “onbekend” en “niet van toepassing”. AI-modellen kunnen dat onderscheid niet achteraf herstellen, met als risico dat ze vooral administratiecontroles gaan herkennen en niet het onderliggende proces.

Meet allereerst hoeveel en waar waarden ontbreken. Niet alleen het totaal, maar uitgesplitst naar veld, bron, tijdsperiode of categorie. Een gemiddeld hoog percentage zegt weinig; ontbrekende waarden kunnen zich ophopen in specifieke groepen. Kijk ook of ontbrekende data correleert met het te voorspellen kenmerk. Soms is dat relevante informatie, soms vooral een gevolg van veranderend beleid.

De juiste aanpak hangt af van gebruik. Als een sleutelveld mist, kun je record misschien niet aan elkaar koppelen. Een optioneel tekstveld mag soms leeg blijven. Je kunt kiezen voor uitsluiten, imputeren, een dummy-waarde gebruiken of een indicator toevoegen met “ontbrak oorspronkelijk”. Imputatie leer je uit trainingsdata, en pas je daarna ook op validatie of productie toe. Zo voorkom je dat modellen elkaar verklappen wat er in andere datasets ontbreekt. Hou waar mogelijk de originele waarde apart, en leg altijd de imputatie vast.

Dataherkomst vastleggen voor controleerbare AI-uitkomsten

Met dataherkomst (lineage) geef je aan waar je gegevens vandaan komen en hoe ze zijn bewerkt. Voor AI betekent dit meer dan de naam van de bron weten. Je moet ook weten op welk moment data is opgehaald, welke versies van de transformatie zijn gebruikt, hoe er gefilterd is en via welke koppelingen voorbeelden tot stand zijn gekomen. Krijg je een rare voorspelling? Zonder deze info is het onmogelijk om te achterhalen of het in de bron, het model of een dataschakel zit.

Leg herkomst op verschillende niveaus vast. Per dataset noteer je bron, eigenaar, doel, periode en toegangsniveau. Op batchniveau is een unieke ID, tijdstip van extractie, aantal records en eventueel een checksum handig om bestanden te herkennen. Op veldniveau is documentatie over betekenis, eenheid, waarden en transformaties nuttig; een veld “bedrag” zegt weinig zonder te weten of het euro’s of centen zijn en of het bruto of netto is. Een specificatie voor het vastleggen van dataherkomst is OpenLineage.

Dataherkomst hoeft geen logboek tot op celniveau te zijn. Dat maakt opslag snel log en ingewikkeld. Richt detail in naar risico en toepassing: bij persoonsgebonden data of verplichte audits moet je nauwkeuriger kunnen terugzoeken dan bij louter samenvattingen. Zorg in elk geval dat je weet met welke code en instellingen een dataset is gemaakt. Herkomstinfo mag zelf niet meer prijsgeven dan nodig, dus let ook op toegangsrechten als je lineage bijhoudt.

Datakwaliteit testen vóór data een model bereikt

Datakwaliteit is niet hetzelfde als “bestand kan worden ingeladen”. Je pipeline kan schijnbaar goed werken, terwijl je dubbele sleutels hebt, datums uit het jaar 2100, of een samenvoeging die records dubbel telt. Structuur en inhoud moeten dus allebei gecontroleerd worden. Denk aan verplichte velden, unieke id’s, juiste types, toegestane waarden en correcte relaties. Tijdreeksen? Let op ontbrekende periodes en rare sprongen.

Divers controlewerk is belangrijk. Structural checks ontdekken gewijzigde kolomnamen, integriteitscontroles letten op relaties, statistische checks volgen bijvoorbeeld spreiding, nullen en aantallen. Harde grenzen werken voor regels als “sleutel moet uniek”. Statistische eisen zijn het best te toetsen aan historische data: een halvering van aantal transacties kan duiden op storing, maar ook op een normaal seizoenseffect.

Bepaal vooraf wat je bij afwijkingen doet. Sommige fouten blokkeren publicatie, andere geven alleen een waarschuwing of ticket. Maak die beoordeling expliciet, zodat niet alles ongezien blijft liggen of je bij elk detail in alarm schiet. Bewaar testresultaten bij de dataset en zet checks op oude en nieuwe data tegelijk. Zo voorkom je dat een regel voor actuele records onterecht oudere data uitsluit, of juist blinde vlekken laat voor fouten in het verleden.

Transformaties afstemmen op analyse en AI-training

Data voor een rapport is niet altijd bruikbaar als je een AI-model wilt trainen. Een dashboard gebruikt vaak maandtotalen, een model wil individuele gebeurtenissen zien, compleet met tijd en een ID van de klant. Begin met het doel: wat vormt precies een voorbeeld, welke gegevens zijn dan beschikbaar, en welk antwoord zoek je? Definieer je het voorbeeld verkeerd, dan krijg je dubbels of juist kenmerken die eigenlijk pas achteraf bekend zijn.

Dat laatste noemen we datalek. Het gebeurt als een kenmerk rechtstreeks of indirect uitkomstinformatie bevat die pas na de voorspelling aanwezig zou mogen zijn. Een statusveld ‘afgerond’ kan bijvoorbeeld het resultaat verraden. Let ook op aggregaties: neem nooit gemiddelden van een reeks die je validatieperiode omvat, anders meng je toekomstinfo in je training. Bereken dit soort waarden per batch, en pas de berekende parameters daarna steeds op nieuwe data toe. De aanpak van datalekken beschrijft ook waarom je transformaties alleen op trainingsdata afstemt. Voor AI-assistenten op bedrijfsdata zijn ChatGPT-integraties relevant; de keuze tussen RAG en fine-tuning lees je bij RAG of fine-tuning voor AI met bedrijfsdata.

Normaliseer, codeer, maak tekstvelden schoon en dedupliceer op een manier die te herstellen is. Noteer de regels en parameters bij de modelversie. Pas ze niet ongemerkt aan in een gedeeld bestand. Check daarnaast of je door transformaties geen signalen kwijtraakt die voor bepaalde groepen belangrijk zijn. Zet bijvoorbeeld een datum om naar maand, dan verlies je volgorde binnen die maand. De mate van detail die je kiest, bepaalt of je analyses of voorspellingen zinvol blijven; stem dat af met inhoudsdeskundigen en validering, niet alleen op de techniek.

ETL- en ELT-pipelines monitoren en reproduceerbaar maken

Een pipeline is nooit klaar na het eerste succevolle draaien. Bronnen kunnen traag worden, API’s reageren soms anders dan gisteren, en taken kunnen tegelijk gaan lopen. Je hebt dan niks aan alleen een groene status; je wilt weten hoeveel data is verwerkt, hoelang iedere stap duurde en waar controles afwijken. Als een taak zonder klacht eindigt maar nul records heeft opgehaald, is er geen echt succes behaald. Kijk dus naar volume, tijdsvertraging ten opzichte van de bron, en verhouding geaccepteerde tot afgekeurde records. Met n8n-workflows kun je zulke stappen verbinden.

Bouw verwerking zo dat je veilig opnieuw kunt starten. Idempotente stappen zorgen dat je bij herhalen niet ineens alles dubbel krijgt. Denk aan stabiele sleutels, gecontroleerde upserts en registratie van batchadministratie. Heb je een fout, bewaar dan niet alleen het fouttype maar ook bijpassende context, zonder privacy te schenden. Retries werken bij tijdelijke foutjes, maar zijn nutteloos als je schema niet klopt en belasten dan je bron extra. Weet dus welke fouten herstelbaar zijn en welke niet. Lees ook hoe je automatiseringen betrouwbaar maakt met logging en foutafhandeling.

Reproduceerbaarheid betekent versiebeheer van code, configuraties, schema’s en afhankelijkheden. Elk resultaat moet zijn te koppelen aan de betrokken extractie en pipelineversie, zodat analyses later opnieuw kunnen worden opgebouwd. Werk je batches opnieuw bij, dan is het beleid voor correcties belangrijk: vervang je oude fouten, maak je nieuwe versies of registreer je een correctie apart? Die keuze bepaalt of trends en vergelijkingen geldig blijven. Leg deze afspraak vooraf vast, voordat discussies bij incidenten ontstaan.

Veelgestelde vragen

Wanneer kies je voor batchverwerking en wanneer voor streaming in een AI-pipeline?

Neem streaming als je AI-applicatie direct met de laatste data moet werken; batch als regelmatige updates volstaan. Een voorbeeld: bij fraudedetectie in een betaling moet je snel schakelen, bij weekrapportages volstaat batch. Kijk naar hoe snel een beslissing nodig is, niet alleen naar data-aanvoer of technische capaciteit.

Streaming levert vaak extra technische uitdagingen op, zoals berichtenvolgorde, duplicates en herstel na storing. Begin daarom bij de minimumeis: hoe actueel moet het zijn? Hou het zo simpel mogelijk. Soms is een hybride oplossing juist handig, streaming voor meldingen, batches voor reguliere verwerking.

Wat is het verschil tussen een data lake, datawarehouse en lakehouse voor AI-projecten?

Een data lake gebruik je vooral voor het opslaan van uiteenlopende data zoals bestanden of ruwe logs. Een datawarehouse is bedoeld om gestructureerde gegevens beschikbaar te maken voor analyse. Het lakehouse combineert die twee: je krijgt ruimte voor verschillende datatypes, maar ook ondersteuning voor beheer en gecontroleerde analyse.

AI gebruikt een lake vaak voor de grote ruwe data en een warehouse voor goed voorbereide datasets. Welke je kiest, hangt af van wat je al hebt, de datavormen, beheereisen en wie er mee werken. Het platform zelf is minder belangrijk dan de herkenbare scheiding van ruw en bewerkt, en of teams makkelijk hun datasets kunnen vinden en gebruiken.

Hoe lang moet je ruwe data voor een AI-project bewaren?

Je bewaart ruwe data zolang je die nog nodig hebt voor het projectdoel, de wet of om resultaten te kunnen checken. Er is geen standaard termijn: voor operationele taken is kort houden genoeg, voor controle achteraf kan langer nodig zijn.

Zet per soort gegevens vast waarom die blijft staan, wie erbij mag en wanneer je echt verwijdert. Vergeet backup, export en afgeleide data niet in je beleid. Check bij verwijderen of je ook kopieën in bijvoorbeeld trainingssets moet wissen. Toets bewaartermijnen en procedures altijd aan de privacyregels en jullie afspraken.

Hoe voorkom je verschillen tussen data bij modeltraining en data in productie?

Gebruik identieke featuredefinities, transformaties en versies bij training én productie. Kies bijvoorbeeld dezelfde codering voor een categorisch veld; anders snapt het model productie-invoer niet, zelfs als de pipeline technisch ok is.

Leg precies vast welke velden en stappen per modelversie gelden, en test ze met live data én trainingsdata. Vergelijk verdelingen en hoeveelheden ontbrekende waarden zodra je live draait. Valt productie-invoer buiten verwachting, zoek eerst uit waar het verschil zit, in bron, pipeline of gebruik, voor je bijtraint.

Hoe bepaal je of AI-trainingsdata voldoende goede labels heeft?

Labels zijn goed als ze de bedoelde uitkomst eenduidig en bruikbaar weergeven. Start met controleren of de instructies voor labelen helder zijn, en of beoordelaars voorbeelden op gelijke manier labelen. Meer data lost geen fundamentele onduidelijkheid of fouten op.

Laat een onafhankelijke controle doen op een steekproef en kijk waar beoordelaars verschillen. Check de verdeling van labels; als een klasse heel weinig voorkomt, is er weinig te leren. Noteer hoe en wanneer labels zijn toegekend, inclusief onzekerheid. Bespreek twijfelgevallen met experts, en pas instructies aan als verschillen structureel terugkomen.

Foto: Marina Agrelo

Portret van Maarten

Maarten

Freelance developer in Nijmegen

Even kennismaken?

Vertel kort wat er speelt. Dan hoor je wat er kan, wat ik anders zou doen en waar AI bij jou wél en niet iets toevoegt. Vrijblijvend.

Het kantoor in Nijmegen
© 2026 maarten.online Sitemap Privacy Algemene voorwaarden
Het kantoor in Nijmegen

Maarten.

Freelance developer in Nijmegen. Liever direct contact? Dat kan ook.

Kennismaken

Laat je gegevens achter, dan kijken we of het klikt. Vrijblijvend en zonder verkooppraat.

Maarten

Stuur een bericht via WhatsApp

Hoi! Waar kan ik je mee helpen?

nu