Import av stor XML fil ?

[tmbn]

Lurer på om det er noe spesiele eller utenom det vanlige metoder for å importere XML filer av store størrelser inn i en database ?

 

Skal importere en XML fil på 40 - 50MB, men serveren kræsjer. Den samme rutinen kan fint importere mindre XML filer inn i databasen.

 

Det som skjer er at minneforbruket skyter i været når XML filen åpnes og app. polen forsvinner da ned. Filen skaper også problemer med å kun åpne den i IE. Sannsynligvis henger den lokale maskinen seg da også.

 

Fins det noe lur måte å importere slike filer på ?

 

Er åpen for alle forslag.....

 

 

PS! Bruker C# .net og access database

[oyvind_b]

Hmmm... har du koden du bruker til å lese XML-filen inn med?

 

Løsningen er kanskje å splitte filen opp (om mulig) i flere små filer.

 

Øyvind

[GeirGrusom]

Eller at du bruker en stream, som har et begrenset buffer.

[tmbn]

Det vil vel oppstå ganske mange problemer med å splitte filen ?

 

Øyvind: Vil ikke legge ut koden her på forumet pga. copyright, men kan sende deg den på mail hvis du har vært borti problemet før.

 

Kan du forklare litt nærmere Geir ?

[Frank2004]

Vil tro du blir nødt til å bytte parser.

 

Det finnes vel to hovedtyper XML-parsere; SAX som bare leser gjennom filen serielt og trigger en callback når den kommer over over et nytt element, og DOM, som leser inn hele XML-dokumentet til minne og så lar deg traversere gjennom eller manipulere dataene.

 

Regner med at du bruker en DOM-parser, og det er begrenset hvor store dokumenter en slik kan behandle.

[alftore]

Kan huske jeg hadde problemer med bruk av XMLDocument ved import av store dokumenter og fant ut av det var bedre å bruke XMLTextReader til behandling av slike filer.

[tmbn]

Bruker XMLTextreader