phpbar.de logo

Mailinglisten-Archive

[php] 50.000 records von XML nach SQL

[php] 50.000 records von XML nach SQL

andreas kempf aka 'amalesh' php_(at)_phpcenter.de
Fri, 06 Jul 2001 11:40:59 +0200


Hallo miteinander,

momentan stehe ich vor der aufgabe, taeglich via cronjob 50.000
datensaetze aus einer xml-datei zu generieren und in 7 sql-tabellen=20
zu importieren.

Nun gibt es zwei ansaetze, um die sql-queries auszufuehren:=20
- Innerhalb der schleife, die die 50.000 datensaetze einliest, pro
  record ein mysql_query() absetzen oder=20
- zunaechst die 50.000 queries in eine datei schreiben und die
  queries dann per exec("mysql < datei.sql") ausfuehren.

Zum zweiten ansatz gibt es noch die moeglichkeit, innerhalb der
schleife ein fwrite() abzusetzen oder alternativ die 50.000 queries in
ein array zu packen und am ende der schleife alles per fwrite() zu
schreiben.

Was zufaellig jemand, welche der varianten ressourcen-schonender
(billiger, schneller) ist?

btw: Zunaechst habe ich xml_parse_into_struct() auf die komplette
xml-datei (12 MB) angewendet... nachdem jedoch schnell 750MB RAM
belegt waren (entwicklung unter W2K / Apache 1.3.19 / PHP 4.0.6) und
sich innerhalb von 10 minuten nix getan hat, stellte ich fest, dass
das keine gute idee war ;)))

TIA, andreas
--=20
[amalesh]      |  backend - development  |  PHP ASP SQL
andreas kempf  |  http://www.amalesh.de  |  online-shops
barnerstr. 14  |  tel: 040 - 39834682    |  eventsysteme
22765 hamburg  |  info_(at)_amalesh.de        |  communities


php::bar PHP Wiki   -   Listenarchive