pageLogger Boterkennung verbessern

Lioman — Tue, 24 Nov 2009 14:04:00 +0100

Ich habe schon über die Statistiksoftware pageLogger berichtet und bin auch bisher damit zufrieden. Allerdings stellte ich fest, dass die Bot-Erkennungsliste etwas mager ist.

Im Verzeichnis PAGELOGGER/includes/robots liegt die Datei robots.txt. Sie ist gefüllt mit RegEx - also kleinen Textschnipseln die in einem User Agent auftauchen können - und einer Erklärung die dann im Frontend auftaucht.

Bsp:

gaisbot/#Gaisbot
 geckobot#GeckoBot
 gencrawler#GenDoor
 gigabaz/#GigaBaz
 gigabot#GigaBot
 googlebot#Googlebot
 griffon#navi.ocn.ne.jp

Doch 271 Bots sind etwas wenig sind doch mehrere Tausende inzwischen bekannt. Es sind zwar nicht alle wichtig und einige kommen sicher sehr selten auf einem kleinen Blog vorbei. trotzdem ist es sinnvoll die Liste ein wenig zu erweitern.

Ich habe mir verschiedene Listen im Netz angeschaut und sie dann mit ein paar Konsolenbefehlen zusammengefügt. Dann noch eine kleine Reinigung der Liste von Hand und nun werden ganze 871 Spider unterstützt.

Wer sie möchte kann sie hier herunterladen und in sein pageLoggerinstallation einfügen.

PS: Bei mir ging dies nicht über pageLogger direkt. Ich habe die Datei per FTP hochgeladen.

Lieber Spammer - ein bisschen mehr Kreativität

Lioman — Tue, 03 Nov 2009 13:24:00 +0100

*Ich hatte schon ein paar mal über Kommentarspam auf diesem Blog geschrieben und dabei das Akismet-Plugin gelobt. Obwohl es zuverlässig ist lohnt es sich die verschiedenen Spamkommentare anzuschauen.*

Die meisten schreiben ganz plump, komplette “Produkt”-Beschreibungen rein. Wie ein Casino wo man kostenlos ganz viele Geld machen kann und das ganz ohne Risiko, da die Betreiber ja ach so nett sind und allen mit zu wenig Geld in der Tasche was gutes tun möchten. Oder Medikamente zu Spottpreisen mit denen man wahlweise die ganze Welt begatten oder den kompletten Weltschmerz betäuben kann.

Manche möchten den Spamkommentar als echten tarnen indem sie keine direkte Produktverlinkung durchführen sondern nur ihre eigene Homepage beim Kommentarverfassen eintragen. Diese sind meistens allgemein gehalten (damit sie überall drunter passen) und in schlechtem Google-Translator-Deutsch.

Ist interessant. Möchte lesen mehr davon zu das Thema

oder so ähnlich. Nun kam mal was ganz neues rein:

Tja, das Leben kann so scheisse sein, mann muss sich nur mühe geben.

Ein Spamkommentar zu meinem Artikel zur Grünen Suche - also komplett unpassend. Jetzt frage ich mich wie kommt so etwas zustande. Solche Kommentare werden normalerweise von Bots gepostet. Schieben die einfach einen Kommentar überall hin (das vermute ich) oder checken die den Deprifaktor eines Blogs bevor die so etwas schreiben (das befürchte ich). Da dies hier ein fröhliches, lebensbejahendes Blog ist muss ich vorsorgen und lauter positive Wörter posten:

fröhlich, schön, Leben, Juhu, Spaß, hell, Sonne, toll, flauschig, kuschelig, `Puscheligkeit <http://fellmonster.wordpress.com/2009/08/09/puscheligkeit/>`__, Blumenwiese, Gummibären, hüpfen, springen, jauchzet, frohlocket, jubeln, Kaffee, Tee

Froh zu sein bedarf es wenig und wer froh ist ist ein König

Ich hoffe das reicht…* *

Liomans Blog - Bots

pageLogger Boterkennung verbessern

Lieber Spammer - ein bisschen mehr Kreativität