PHP-Web-Stat Support Forum
https://www.php-web-statistik.de/cgi-bin/yabb/YaBB.pl
Board (Deutsch) >> Vorschläge & Codeschnipsel >> Neue Funktion Spider/Crawler
https://www.php-web-statistik.de/cgi-bin/yabb/YaBB.pl?num=1383597433

Beitrag begonnen von Andreas am 04.11.13 um 21:37:13

Titel: Neue Funktion Spider/Crawler
Beitrag von Andreas am 04.11.13 um 21:37:13
An die Macher von stat
Da ja die Funktion "Keywords" außer Kraft gesetzt wurde, ist das Tool fast "Zahnlos" geworden  :'(

Dieses Mango könnte man etwas abmildern z.B.  mit einer neuen Zusatzfunktion Spider/Crawler.

Dann noch eine Option zum Aufzeichnen und Sperren von Bots.
So oder ähnlich wie es Spider-Trap oder CrawlTrack macht.

Damals bei meinem Vorschlag mit der Aufnahme des  IP Spider, wurde auch zuerst abgewimmelt. Denke, es war ?? der mir Unterstützung gab und ist heute die beste Funktion bei stat.

Gruß
Andreas

Titel: Re: Neue Funktion Spider/Crawler
Beitrag von icomy am 06.01.14 um 13:27:00
das mit dem  Webcrawler finde ich auch interessant, schon allein um zu sehen wann Spider ein webcrwler meine Seite besucht haben, denn ich habe die letzte Zeit festgestellt, wenn ich über einen anderen Server mit einem cronjob teste ob die andere Seite down ist, zeigt mein Webmonitoring Software oft, das die Seite nicht erreichbar ist, wenn ich das dann aber per manuellem Aufruf  checke, ist die Seite aber erreichbar, wollte mit der Scripterweiterung Bots Erkennung feststellen, ob meine seiten auch gespidert werden, oder den vorgang abbricht

PHP-Web-Stat Support Forum » Powered by YaBB 2.5.2!
YaBB Forum Software © 2000-2012. Alle Rechte vorbehalten.