phpbar.de logo

Mailinglisten-Archive

[php] 50.000 records von XML nach SQL

[php] 50.000 records von XML nach SQL

Jorg Krause php_(at)_phpcenter.de
Fri, 6 Jul 2001 13:20:39 +0200


Hi,

> andreas kempf aka 'amalesh' wrote on Friday, July 06, 2001 11:41 AM
> To: php_(at)_phpcenter.de
> Subject: [php] 50.000 records von XML nach SQL
> 
> 
> Hallo miteinander,
> 
> momentan stehe ich vor der aufgabe, taeglich via cronjob 50.000
> datensaetze aus einer xml-datei zu generieren und in 7 sql-tabellen 
> zu importieren.
> 
> Nun gibt es zwei ansaetze, um die sql-queries auszufuehren: 
> - Innerhalb der schleife, die die 50.000 datensaetze einliest, pro
>   record ein mysql_query() absetzen oder 
> - zunaechst die 50.000 queries in eine datei schreiben und die
>   queries dann per exec("mysql < datei.sql") ausfuehren.
> 
[...]
Ich hatte das Problem auch schon. Es ist zwecklos, vor allem wenn
die Dateien gro?er werden, was bei RDF oft der Fall ist.
Es macht IMHO keinen Sinn, Tausende INSERTs zu erzeugen, weder
als SQL-Datei noch direkt.

Besser: XML -> CSV -> mySQL-Bulkload (oder LOAD DATE INFILE)

Bei 7 Tabellen werden naturlich 7 CSV's erzeugt, was dann uber-
schaubare Gro?enordnungen sind.

Jorg
www.php.comzept.de
www.joerg.krause.net



php::bar PHP Wiki   -   Listenarchive