[php] Robots erkennen.

[Ernst May-Jung]

Hallo,

ich bin kein Freund davon, einer Suchmaschine etwas anderes vorzusetzen als 
das was der User zu sehen bekommt.

Mir geht es darum, der Suchmaschine eine reihe links vorzuenthalten, die für 
den User nützlich aber für die Suchmaschine letztendlich redundant sind.


Ich weiß - robots.txt wäre die saubere Standartlösung.
Wenn in der robots.txt auch Wildkards erlaubt wären, würde ich es auch so 
machen, aber es gibt einfach zu viele Einträge.

noindex / nofollow geht aber dann ist das nächste Dokument schon aufgerufen. 

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> gilt leider für das ganze 
Dokument ich bräuchte eher was wie <NOFOLLOW>...</NOFOLLOW>.

Eine Beschränkung der Linktiefe kommt auch nicht in Frage.


Jetzt denke ich, es ist besser den USER_AGENT oder was auch immer abzufragen 
und bei Suchmaschinen die Links einfach wegzulassen, die zu redundanten 
Ergebnissen führen würden.


Das Problem, nicht jede Suchmaschine meldet sich als robot oder crawler! 
Welche Möglichkeiten gibt es da? Nur die einer langen Liste? 

Jeder der nach robots.txt fragt ist eine Suchmaschine? - Oh, wie schnell ist 
meine Seite tot. :-)


Gruß
    Ernst