Liomans Blog - Regex

MySQL: Einträge mit regulären Ausdrücken löschen

Lioman — Sun, 04 Jan 2015 18:36:00 +0100

Arbeitet man mit Datenbanken, speziell im Entwicklungsstadium einer Anwendung, kann allerlei Müll anfallen, den man tunlichst loswerden möchte. Geht es um einzelne Einträge, kann man das gut mit Befehlen wie:

DELETE * FROM tabellenname WHERE id=xy

wenn man nur wenige oder gar einen einzelnen Eintrag loswerden möchte. Und

DELETE * FROM tabellenname WHERE spaltenname=""

würde alle leeren Testeinträge verwerfen.

Hat man jedoch viele Reihen, die unerwünscht sind, kann es schnell eine abendfüllende Aufgabe werden alles Unbenötigte loszuwerden. Und leider sind nicht immer alle Testeinträge an der richtigen Stelle leer. Schon ein Zeilenumbruch (“\n”) in einem Textfeld reicht das zweite Statement zu vereiteln.

Besser geeignet sind für solche Vorhaben sind Reguläre Ausdrücke, so muss man nicht von Hand zusammensuchen oder löschen. Dazu muss man einfach in die WHERE-Klausel in folgender Weise modifizieren:

DELETE FROM tabellenname WHERE spaltenname Regexp '^[ ]*[\n]+[ ]*$';

In diesem Fall werden alle Zeilen gelöscht, die nur aus leeren Zeichen und ein oder mehreren Zeilenumbrüchen bestehen. Das funktioniert natürlich analog auch mit SELECT. *

pageLogger Boterkennung verbessern

Lioman — Tue, 24 Nov 2009 14:04:00 +0100

Ich habe schon über die Statistiksoftware pageLogger berichtet und bin auch bisher damit zufrieden. Allerdings stellte ich fest, dass die Bot-Erkennungsliste etwas mager ist.

Im Verzeichnis PAGELOGGER/includes/robots liegt die Datei robots.txt. Sie ist gefüllt mit RegEx - also kleinen Textschnipseln die in einem User Agent auftauchen können - und einer Erklärung die dann im Frontend auftaucht.

Bsp:

gaisbot/#Gaisbot
 geckobot#GeckoBot
 gencrawler#GenDoor
 gigabaz/#GigaBaz
 gigabot#GigaBot
 googlebot#Googlebot
 griffon#navi.ocn.ne.jp

Doch 271 Bots sind etwas wenig sind doch mehrere Tausende inzwischen bekannt. Es sind zwar nicht alle wichtig und einige kommen sicher sehr selten auf einem kleinen Blog vorbei. trotzdem ist es sinnvoll die Liste ein wenig zu erweitern.

Ich habe mir verschiedene Listen im Netz angeschaut und sie dann mit ein paar Konsolenbefehlen zusammengefügt. Dann noch eine kleine Reinigung der Liste von Hand und nun werden ganze 871 Spider unterstützt.

Wer sie möchte kann sie hier herunterladen und in sein pageLoggerinstallation einfügen.

PS: Bei mir ging dies nicht über pageLogger direkt. Ich habe die Datei per FTP hochgeladen.