[php] Suchmaschinen aussperren

[Egon Schmid]

From: "Michael Raab" <ml-lists_(at)_macbyte.info>

> at Sat, 23 Mar 2002 19:36:03 +0100 Michael Raab wrote:
> > Ich möchte nicht, das ein bestimmter Bereich von Suchmaschinen
> > unerreichbar bleibt, z.B. Impressum, Gästebücher usw.
>
> Das ist natürlich blödsinn. Ich will ja, das ein Bereich
unerreichbar
> bleibt und dabei nicht nur auf die robots.txt verlassen. Das ist
mir zu
> schwammig.

Natürlich ist das Blödsinn, denn unter den Suchmaschinenbetreibern
gibt es so etwas ähnliches wie ein Ehrenkodex die robots.txt zu
beachten. Man kann die robots.txt Datei in die entsprechenden
Unterverzeichnis legen und davon abwärts ist alles von Suchmaschinen
geschützt. Aber warum legst Du deine Bereiche, die unereichbar sein
sollen, in den öffentlich zugänglichen Bereich?

> Ein weiterer Hintergrund ist, das es anscheind Robots gibt, die
jagt auf
> eMail-Adressen machen. Und diese will ich auch aussperren.
Entweder
> mittels User-Agent oder IP-Adresse.

Das sind auf keinen Fall die Roboter der Suchmaschinen, sondern
Programmierer die einen Roboter programmieren wollen oder sonstige
Spammer.

-Egon