DataFacts.nl

Businessblog van het bedrijf i4data

Entries for the ‘Converteren’ Category

Checklist bij het converteren van een database tekstveld

25 jan 2009 in Converteren, Kwaliteit
Door: Xander Zelders

Na het converteren van een databestand is het noodzakelijk om deze conversie goed te testen. Immers, zodra de conversie niet helemaal goed is verlopen is er data verloren gegaan die heel vaak niet meer terug is te halen. 

Op welke punten moet je nu letten bij het converteren van een tekstveld? Hierbij een checklist.

(Lees verder…)

1 Reactie

Hoe converteer/importeer je snel 2 miljoen XML bestanden naar een SQL Server database

22 jan 2009 in Converteren, Integration Services, SQL
Door: Xander Zelders

Onlangs ben ik een conversie-uitdaging aangegaan waarbij 2.1 miljoen XML bestanden (relationele nawbestanden) geconverteerd/geimporteerd moesten worden naar een SQL server database in een afwijkend datamodel. Deze 2.1 miljoen XML bestanden gebruikten 4 verschillende XML formaten maar moesten wel allemaal ingelezen worden in het zelfde datamodel. Ik had de beschikking over een Windows server en SQL server 2005 om dit voor elkaar te krijgen.

Bij een dergelijke conversie loop je in ieder geval tegen de volgende uitdagingen aan:

  • Windows kan niet meer dan ongeveer 64000 bestanden per map aan.
  • Windows is niet gebouwd om snel met dit soort hoeveelheden bestanden om te kunnen gaan.
  • Er moet XSL transformatie worden toegepast. (4 verschillende transformaties)
  • De referentiele integriteit moet ‘buitenom’ bewaakt worden
  • De codering van de karakterset

Ik heb dit conversietraject opgelost met behulp van SQL Server Integration Services (SSIS) en zal globaal uitleggen hoe ik dit heb gedaan. Let op! Alleen voor techneuten.

(Lees verder…)

4 Reacties

  

Wie zijn wij...

i4data is een bedrijf dat zich heeft gespecialiseerd in Gegevens-beheer, Datakwaliteit en Zoektechnologieen.

Datafacts.nl is de businessblog van i4data. Hier vindt u artikelen over Database performance, Information Extraction, Information Retrieval, Data Verrijking, Ontdubbelen, Gegevens analyse, Conversies, Datakwaliteit en Zoektechnologieen.