[php] Suchmaschine:Die zweite..

[Carsten Wehrle]

schrieb Dominic Paschke:

Ich bezweifle ehrlich gesagt, ob php eine gute Basis für einen Spider ist.
(Bitte nicht gleich schlagen, ich bin für konstruktive Kritik immer offen!).
Für die Ausgabe sicherlich eine gute Alternative, ich überlege auch, unsere
Suchmaschinen-Ausgabe von perl auf php umzustellen.

Den Spider solltest Du schon so schreiben, dass er auf dem System direkt
laufen kann. (z.B Perl, wenn das Programm einmal gestartet ist, läuft er
sowieso durch). Viel wichtiger für die Bearbeitung ist das Betriebssystem.
Obwohl selbst ein popliger NT-Server locker ein paar 100.000 Besucher im
Monat durchhällt, wird es schlimm, wenn zu viele zur gleichen Zeit
zugreifen, dann blockt NT, wogegen UNIX (Linux) dann noch locker arbeitet.

Ganz zu schweigen davon, was Dein Spider an Rechenpower und Bandbreite
zieht. In meinen ersten Versuchen hat das Teil für eine Domain fast 5
Sekunden gebraucht, mittlerweile putzt er deutlich schneller...

Ich empfehle deshalb eine entsprechende Hardware-Konfiguration, damit der
Rechner auch in Spitzenzeiten gute Ergebnisse liefert. Um Dir diese Info
nicht vorzuenthalten: Wir überlegen die Anschaffung eines Alpha-Servers mit
entsprechendem Hardware-RAID, um alles zusammenlegen zu können. Derzeit
läuft der Spider auf LInux während die Ausgabe über einen NT-Server
funktioniert (nicht mehr lange!)

Hoffe, das gibt Dir eine Richtung. Wenn Du mal einen Blick auf die
Ergebnisse der Suche werfe willst: http://www.exsa.de Für Fragen stehe ich
Dir gerne zur Verfügung, solange die Antwort nicht meine Algorhythmen
beinhalten müsste :))

Viele Grüße

Carsten


> 
> Hallo Liste,
> 
> vielleicht habe ich mich bei meiner ersten Mail nicht klar genug ausgedrückt!
> Ich würde gerne Info's oder eine Buchempfehlung zu Suchmaschinen (nicht lokale
> für die eigene Homepage, sondern schon  Spider) bekommen, die auch mit vielen
> Zugriffen fertig werden können.
> Falls ihr auch nichts wißt, werde ich wohl wirklich Arbeitslose einstellen
> müssen, die dann für die jeweilige Suchanfrage schnell die Datenbank
> durchsuchen und eine html Seite generieren ;-).
> 
> Dominic