das mit dem  Webcrawler finde ich auch interessant, schon allein um zu sehen wann Spider ein webcrwler meine Seite besucht haben, denn ich habe die letzte Zeit festgestellt, wenn ich über einen anderen Server mit einem cronjob teste ob die andere Seite down ist, zeigt mein Webmonitoring Software oft, das die Seite nicht erreichbar ist, wenn ich das dann aber per manuellem Aufruf  checke, ist die Seite aber erreichbar, wollte mit der Scripterweiterung Bots Erkennung feststellen, ob meine seiten auch gespidert werden, oder den vorgang abbricht