[php] Daten gegen Schlagwortliste abgleichen

[Andre Steffens]

Hallo Leute,

ich lese per PHP ca. 10.000 Adressen in eine mySQL DB ein. Die Daten werden
dabei automatisch auf Plausibilität geprüft. Unter anderem ist eine Prüfung
gegen eine Schlagwortliste (ca. 7.500 Einträge) erforderlich.

Zuerst werden die Token aus Name und Vorname erstellt und in der
Schreibweise normiert. (nur Großbuchstaben, keine Umlaute öäüß)
=> mind. 20.000 bis 30.000 einzelne Token

Diese Token müssen nun jeweils gegen die mySQL Liste abgeglichen werden.

foreach token
select id from table where name='...'

=> ich muß 20 bis 30.000 Abfragen absetzen.

Nicht das performanteste was ich kenne ;-)

Möglichkeit zwei wäre es die 7.500 Daten in ein Array zu legen und per
in_array() zu prüfen => verbraucht ne menge speicher und ist nicht wirklich
schneller.

Bei Variante 2 spare ich ca. 40 Sekunden im Vergleich zur 1. Fassung. Ohne
die Prüfung benötige ich aber nur ein Zehntel der Zeit...

Die Prüfung erfolgt bevor die Daten in mySQL eingespielt werden!

Hat jemand eine Idee wie man sowas schneller umsetzen kann?

Gruß und Danke
Andre