Naar de inhoud
maarten.
Zakenvrouw bekijkt financiële spreadsheets met grafieken en diagrammen op kantoor.
Alle stories

CSV- en Excel-import bouwen

Maarten Soetens 13 min lezen

Een betrouwbare CSV- of Excel-import moet omgaan met afwijkende kolommen, verschillende tekencoderingen en rijen die niet aan de verwachte gegevensstructuur voldoen. Deze gids behandelt hoe je bestanden controleert, waarden valideert en fouten rapporteert zonder geldige gegevens onnodig te blokkeren.

Een import opdelen in herkenbare verwerkingsstappen

Een import is makkelijker te onderhouden en foutloos te krijgen als je bestandsinname, structuurherkenning, validatie en opslag los van elkaar regelt. Je begint dus met ophalen en controleren van het juist soort bestand: denk aan grootte, bestandssoort, en de echte inhoud. Enkel kijken naar een .csv extensie zegt niets over wat erin staat, want soms staat er dan gewoon Excel of ruwe binaire data in.

Daarna volgt het parsen: maak van de ruwe inhoud gestructureerde rijen en kolommen. Nog geen bedrijfsregels op loslaten hier, alleen de inhoud technisch klaarmaken. Vervolgens koppel je de kolommen aan de velden uit het model en kun je de eigenlijke validaties uitvoeren, technisch en inhoudelijk. Pas als duidelijk is welke data bruikbaar is, bepaal je wat er opgeslagen moet worden. Door deze stappen goed te splitsen kom je er sneller achter of een vreemde rij ontstaat vanwege een parserfout, een verkeerde indeling, een mislukte validatie of een dubbele entry.

Schrijf per stap op wat je invoer verwacht en welke uitvoer eruit hoort te komen. Je kunt bijvoorbeeld prima het aantal kolommen en rijen loggen, maar log geen datavelden met persoonsgegevens erin. Als je pipeline goed los zit, is het herhalen van een vaste test eenvoudig: verander je de kolomherkenning, dan kun je bestaande datasets direct langs die ene stap halen. Zet niet alles in één functie die het bestand decodeert, velden koppelt, databasewijzigingen uitvoert en dan ook nog eens de foutafhandeling doet. Die valkuil ziet er snel uit, maar leidt juist tot slecht te analyseren fouten en extra risico's bij updates.

Voor terugkerende imports en koppelingen tussen systemen: automatiseren met API-koppelingen.

CSV-kolommen herkennen ondanks afwijkende kopregels

Systemen leveren CSV-bestanden vaak aan met onverwacht andere naamgeving van dezelfde data. Zo heet een geboortedatum soms birth_date, dan weer datum, dan weer iets anders. Je import kan dat opvangen door een vaste mapping te maken van de mogelijke varianten op een interne veldnaam. Begin met het normaliseren van de headers: hoofdletters gelijk trekken, overbodige whitespaces trimmen, diakritische tekens behandelen als je weet waar mensen verschil hebben zitten.

Automatisch fuzzy-mappen is best handig, maar let op: accepteer niet zomaar een verwisseling. Een klantnummer is niet gelijk aan een externe referentie, ook al lijken ze qua naam. Verplichte kolommen altijd op naam checken, of anders de gebruiker om akkoord vragen als meer dingen overeenkomen dan je in je mapping verwachtte. Let ook op dubbele headers na normaliseren: je wil geen twee kolommen die allebei e-mailadres lijken, want dan krijg je later problemen. Meld zoiets expliciet.

Ontbreken optionele velden, dan kun je die meestal als leeg veld accepteren. Maar als er verplichte kolommen missen, stop je de verwerking meestal, afhankelijk van het importtype. Zet dat dus per geval in de configuratie. Laat een foutmelding zien met gevonden en ontbrekende kolommen, maar laat geen technische veldnamen aan gebruikers zien als die niks zeggen. Wordt een bepaald format regelmatig geïmporteerd, dan kun je de mapping vastleggen. Koppel zo'n mapping altijd aan je formaat of bron, zodat een export-wijziging niet per ongeluk de interpretatie van een andere aanpassing beïnvloedt.

Scheidingstekens en CSV-structuur correct parsen

Een CSV is lang niet altijd komma-gescheiden. In Nederland zie je juist vaak puntkomma's, meestal omdat het decimaalteken zelf een komma is. Tab, aanhalingstekens, en verschillende regeleinden komen ook voor, vooral afhankelijk van het programma waarmee het bestand gemaakt is. Gebruik daarom een parser die echt de structuur begrijpt en niet gewoon splitst op komma, puntkomma of tab. Adresvelden met een komma tussen quotes vormen één kolom; een simpele splitverklaart dat stuk vaak als meerdere kolommen.

Automatisch raden van het scheidingsteken kan soms uitkomst bieden, alleen maakt de parser daarbij fouten bij weinig regels of velden vol tekst. Beperk de mogelijke tekens waar nodig, en controleer of je na het parsen netjes dezelfde kolomaantallen over meerdere voorbeeldregels ziet. Zie je onduidelijkheden, meld dat direct of laat de gebruiker kiezen. Een verkeerde delimiter leidt razendsnel tot honderden misleidende validatiefouten, terwijl de échte fout in de structuur zit.

Houd rekening met: lege regels, regeleinden midden in een veld tussen quotes, of een optionele byte order mark aan de start van het bestand. Check voor elke regel hoeveel velden je telt en vergelijk dat met de header. Zitten er minder of meer, dat kan wijzen op een niet herkend delimiter, niet-afgesloten quote, of een corrupte regel. Zet in de foutmelding om welk rijnummer en welke afwijking het gaat (dat versnelt oplossen enorm). Differentiëren tussen parserfouten en invalid field errors helpt bij het herstellen of verbeteren van het importproces.

Tekencodering detecteren en tekst correct bewaren

Gekke accenten, vreemde symbolen: meestal klopt de encoding dan niet tussen bestand en importproces. UTF-8 werkt bijna altijd voor nieuwe data, maar oude exports zie je vaak als Windows-1252 of ISO-8859-1 langskomen. Raden welke coding je aanlevert aan de hand van de eerste bytes is geen exacte wetenschap: verschillende coderingen kunnen dezelfde bytes als andere tekens zien, zonder een directe foutmelding. Waar het kan, vraag om UTF-8, zoek een eventuele byte order mark, en biedt alleen alternatieven aan waar je echt bewijs voor hebt.

Een decoder die zelf ongeldige tekens door een vervang-icoon zet, maskeert fouten: soms valt het niet op dat een naam of sleutelveld volledig is veranderd. Stel beperkingen in: niet-stilzwijgend accepteren. Noem de gebruikte coding in het verslag zodra een fallback wordt toegepast. Dit maakt het voor beheerders makkelijker om te herleiden of vreemde tekens uit de bron komen of ‘vermaakt’ zijn door de import.

Alleen tekst normaliseren als daar een echte reden voor is. Unicode biedt voor één teken vaak meerdere coderingen, die visueel gelijk zijn maar technisch toch verschillen. Normaliseren helpt daarom bij vergelijkingen en deduplicatie, niet altijd daarbuiten. Hoofdletters anders maken of accenten strippen leidt soms tot verlies van betekenis, dus doe dat uitsluitend als het nut heeft per domein. Originele waarden bewaren als die nodig zijn voor audits of controles, en afzonderlijk genormaliseerde kolommen gebruiken voor zoeken of matchen. Test altijd met accenten, Aziatische tekens, emoji’s en karakters zoals komma’s of aanhalingstekens die in je database een rol spelen.

Excel-bestanden verwerken zonder verborgen aannames

Excel vraagt een andere aanpak dan CSV. Je zit met meerdere werkbladen, onzichtbare rijen en soms extra uitleg boven de kolomkoppen. Spring dus niet automatisch naar het eerste werkblad en neem niet als vanzelf de eerste rij als header. Leg per importtype vast wat je verwacht qua werkblad en header, of laat dat zien via een preview zodat de gebruiker checkt of alles klopt. Vermeld expliciet als een werkblad leeg is of de kolommen die je zoekt niet bevat.

Excel-cellen hebben, naast zichtbare tekst, waardetypen, formules en opmaak. Voor data als datumwaarde is het geen garantie dat je altijd met een datumveld werkt; soms krijg je tekst, soms een serienummer. De opmaak van een cel zegt niet altijd wat een waarde voorstelt. Spreek daarom af welke types je accepteert en converteer vanuit de waarde en wat je model verwacht. Formules zijn extra werk: bibliotheken kunnen kiezen voor de opgeslagen uitkomst of de tekstformule, en soms ontbreekt de uitkomst gewoon.

Problemen zijn er ook met lege cellen, samengevoegde cellen en voorloopnullen. Zet je een accountnummer als getal weg, dan kan een belangrijke beginnul al uit het bestand zijn verdwenen. Zet waarden daarom niet automatisch ineens om naar tekst met een gok voor het aantal nullen. Meld gewoon als het bronbestand bepaalde oorspronkelijke informatie niet meer bevat. Je kunt verder afspreken welke bestandsvormen en functies in een werkmap je wel of niet toelaat. Macro's uitvoeren hoort nooit bij importeren. Lees alleen de data en metadata waar het importproces echt iets mee moet.

Werk je met WordPress? Bekijk WP All Import voor imports van XML- en CSV-feeds.

Datavalidatie voor lege waarden en veldtypen

Na parsen moet je precies weten wat elk veld inhoudt. Denk aan: getallen, datums, e-mailadressen of statussen met aparte validatieregels vergeleken met vrije tekstvelden. Leg deze validaties dus expliciet vast. Welke velden zijn verplicht? Welke waarden accepteer je? Verwijder je automatisch spaties voor/achter? Zonder duidelijke afspraken kan dezelfde invoer op twee plekken anders worden verwerkt. En een leeg tekstveld, een missende kolom en een veld vol spaties zijn niet per se hetzelfde.

Met nullwaarden moet je zorgvuldig zijn. Sommige exports gebruiken een echt leeg veld, anderen N/A of zelfs het woord NULL. Alleen als je dat afspreekt, mag N/A gezien worden als leeg. Voor tekstvelden kan dat juist een heel zinnige inhoud zijn. Bij datumvelden moet je het formaat afstemmen; 03/04/2025 is dubbelzinnig zonder context over dag/maandvolgorde. Vertrouw dus niet op systeeminstellingen, want die verschillen tussen servers, ontwikkelomgevingen en productie.

Je valideert niet alleen losse velden, ook combinaties: een einddatum voor een begindatum is technisch wel een geldige datum, maar samen onlogisch. Converteer types zorgvuldig zodat je een foutmelding kan maken op basis van de exacte originele input. Dus niet: ‘onbekende fout’, wel: ‘waarde 31-13-2025 geen geldige datum’. Noem bij fouten het veld en de regel die niet gehaald is. Sla niet blind geldige brondata af door de validatie te streng in te stellen, maak ze niet zo soepel dat je daarna met halfbakken gegevens blijft zitten.

Ongeldige rijen melden zonder de hele import te blokkeren

Als niet alle rijen kloppen, hoef je de hele import niet direct te stoppen. Dit hangt af van het soort gegevens en de onderlinge samenhang: losse contacten kun je misschien deels bewaren, bij financieel boekwerk is gedeeltelijk opslaan vaak niet wenselijk. Denk hier vooraf over na en maak duidelijk of je alles, niets of gedeeltelijk verwerkt.

Fouten zijn nuttiger met rijnummer, veldnaam en duidelijke oorzaak. Eenvoudige meldingen als ‘ongeldige waarde bij veld’ werken beter dan een technische foutboodschap. Toon de aangeleverde waarde alleen als het veilig kan, en dek gevoelige info waar mogelijk af. Zet sowieso een limiet op het aantal meldingen: als je bij slechte encoding duizenden fouten krijgt heb je niet veel aan een scherm vol dezelfde waarschuwingen. Geef dan het aantal fouten plus een paar voorbeelden.

Voorkom ook dat een fout andere verwerking beïnvloedt. Doe batchvalidatie waar nodig, of verwerk geldige rijen met transacties zodat je nooit dubbele records krijgt. Maak verschil tussen fouten die de gebruiker kan oplossen en technische problemen. Een verkeerde datum kan hij zelf aanpassen, een databaseconnectie die wegvalt is een systeemzaak. Zorg voor context voor onderzoek, maar toon technische details alleen aan mensen met de juiste rechten.

Voor maatwerkvalidatie en foutafhandeling in PHP: PHP-developer.

Importresultaten herleidbaar maken met logging en tests

Achteraf wil je altijd kunnen terugvinden wat er met een importbestand gebeurd is. Leg per uitvoering een uniek ID, bestandstype, gekozen encoding, aantal rijen, geaccepteerde en afgekeurde rijen vast. Noteer ook de versie van de importregels voor het geval mappings of validaties later wijzigen. Log geen complete bestanden of cellen met privacygevoelige data.

Test je parser met realistische, afwijkende en expres foute bestanden: verschillende delimiters, quoted regeleinden, een byte order mark, rare coderingen, missende kolommen, dubbele headers, en lege cellen. Kijk niet alleen of er een foutmelding komt, maar ook of de juiste oorzaak en betrokken rij genoemd worden. Excel tests vragen net wat meer: meerdere bladen, formules, mix van celtypes, missende formule-uitkomsten. Een kleine serie vaste bestanden voorkomt dat je na een update plots oude fouten over het hoofd ziet.

Bij grotere imports is een voorbeeldfunctie handig: laat een beperkt aantal rijen en veld-koppels zien voordat je echt iets opslaat. Daarmee valt een verkeerde mapping of delimiter direct op. Dit vervangt geen validatie, die doe je alsnog zodra je opslaat. Test ook herverwerking: als iemand opnieuw uploadt na een time-out wil je geen dubbele records of vage fouten. Gebruik daarvoor een import-ID of een andere unieke sleutel, niet de bestandsnaam. Lees ook over logging en foutafhandeling bij betrouwbare automatiseringen.

Veelgestelde vragen

Hoe voorkom ik dat dezelfde CSV-import per ongeluk twee keer wordt verwerkt?

Je voorkomt dubbele verwerking door elke import een unieke sleutel te geven en ieder verzoek met diezelfde sleutel passend af te handelen. Sommige gebruikers klikken namelijk nog eens op importeren, of het systeem start een taak opnieuw op na een verbindingsfout. Zonder check kunnen hierdoor rijen direct dubbel worden opgeslagen.

  • Voorzie iedere importtaak van een unieke ID en check of deze combinatie al is verwerkt.
  • Kies als het kan een vaste sleutel per rij, bijvoorbeeld een klantnummer, en zorg voor een unieke beperking in de database om dubbele opslag te blokkeren.
  • Regel vast hoe je bij een herhaalde import bepaalt of bestaande data bijgewerkt, overgeslagen of als conflict gemeld moet worden.

Hoe test ik een CSV- of Excel-import voordat die in productie gaat?

Testen doe je met echte voorbeeldbestanden én met bewust onjuiste invoer, zodat je ziet hoe de import werkt bij normale én foutieve data. Alleen een netjes bestand testen zegt weinig: pakketlengte, codepages, kolomvolgorde, het zijn allemaal realistische breekpunten. Gebruik geen productiegegevens als eigen voorbeelden volstaan.

  • Maak testbestanden met correcte data, ontbrekende waarden, foute waarden en afwijkende kolomvolgorde.
  • Kijk na wat je verwacht: aantal rijen, inhoud van velden, foutmeldingen en aanpassingen in de database.
  • Houd gevonden fouten na verloop van tijd vast als regressietest: zo zie je snel of een fix later weer stuk gaat.
  • Probeer tot slot ook bestanden uit belangrijkste bronsystemen.

Wanneer moet ik een grote CSV- of Excel-import asynchroon verwerken?

Kies voor asynchrone verwerking als het importeren en valideren te lang duurt voor de gebruiker die in de tussentijd moet wachten, of als het bestand niet goed binnen de limieten van een webverzoek gezet kan worden. Er is geen magisch aantal rijen waar het omslaat: rijen, validatiecomplexiteit en servercapaciteit maken samen het verschil.

  • Meet tijd en geheugengebruik bij imports van realistische omvang.
  • Toon status: ontvangen, bezig, klaar of mislukt.
  • Bewaar genoeg voortgangsinformatie zodat je een import na een fout kunt hervatten of veilig opnieuw kunt uitvoeren.
  • Stel praktische limieten in voor bestandsgrootte en verwerkingstijd om overbelasting te voorkomen.

Hoe maak ik een voorbeeldweergave voor een import zonder gegevens op te slaan?

Een voorbeeldweergave werkt door het bestand compleet door de normale parse-, mapping- en validatiestappen te halen, maar dan zonder echt naar de database te schrijven. Zo kan de gebruiker precies zien of alle kolommen en waarden kloppen. Geef duidelijk aan dat je bij een preview nog niks opslaat en dat de situatie bij de uiteindelijke opslag kan verschillen als iemand bijvoorbeeld het bronbestand in de tussentijd wijzigt.

  • Laat een beperkt aantal rijen zien met de gedetecteerde kolomnamen en mogelijke waarschuwingen.
  • Geef ook een mini-samenvatting van goede en afgekeurde rijen.
  • Geef gelegenheid tot correctie vóórdat je definitief opslaat, bijvoorbeeld als de verkeerde kolom aan een veld gekoppeld is.
  • Herhaal de validatie bij het echte opslaan, ga er niet automatisch vanuit dat een eerdere preview ongewijzigd blijft kloppen.

Hoe sla ik geüploade importbestanden tijdelijk veilig op?

Gebruik een beveiligde opslaglocatie die niet publiek toegankelijk is, en geef elk uploadbestand een unieke, niet te raden naam. Vertrouw nooit alleen op de filenaam of extensie die de gebruiker meestuurt. Houd de bestandsrechten beperkt tot alleen wie het bestand echt nodig heeft en zorg dat verwijdering volgt zodra het bestand niet meer noodzakelijk is, volgens een vast bewaarbeleid.

  • Sla de originele bestandsnaam alleen als metadata op als die relevant is voor rapportage.
  • Check bestandstype en bestandsgrootte meteen bij verwerken.
  • Voorkom dat uploads uitvoerbaar zijn of via een webserver benaderbaar worden.
  • Noteer wie het bestand heeft geüpload en welke import eraan vasthangt; log geen gevoelige inhoud zonder goede reden.

Foto: Mikhail Nilov

Portret van Maarten

Maarten

Freelance developer in Nijmegen

Even kennismaken?

Vertel kort wat er speelt. Dan hoor je wat er kan, wat ik anders zou doen en waar AI bij jou wél en niet iets toevoegt. Vrijblijvend.

Het kantoor in Nijmegen
© 2026 maarten.online Sitemap Privacy Algemene voorwaarden
Het kantoor in Nijmegen

Maarten.

Freelance developer in Nijmegen. Liever direct contact? Dat kan ook.

Kennismaken

Laat je gegevens achter, dan kijken we of het klikt. Vrijblijvend en zonder verkooppraat.

Maarten

Stuur een bericht via WhatsApp

Hoi! Waar kan ik je mee helpen?

nu