Bots blockieren [GELÖST]

[olek2003]

Hallo zusammen,

im Forum habe ich keine effektive Sperrung gefunden.

Folgendes Problem, ich habe einen Shop, da werden jedoch in letzter Zeit sehr viele Anfragen über meta-externalagent/1.1 (+https://developers.facebook.com/docs/sh ... rs/crawler)
getätigt.
Soweit, dass der Server keine Leistung mehr hat.
Ich habe es bereits versucht per robots.txt und .htaccess zu verbieten, die Anfragen kommen jedoch trotzdem.
Was kann ich weiteres unternehmen?

MfG

[Tiresias]

Moin!

Du könntest "meta-externalagent" den badbots in /etc/fail2ban/filter.d/keyhelp-bad-bots.conf hinzufügen und – falls noch nicht geschehen – das Jail "kh-bad-bots" in /etc/fail2ban/jail.d/keyhelp.conf aktivieren. Dann wird das von Fail2ban gefiltert.

Siehe auch hier:
viewtopic.php?p=54985#p54985


Grüße!

[Alexander]

ich habe darüber hinaus "meta-externalagent" nun auch mal der Liste der bad-bots hinzugefügt (für künftige Dist-Upgrades und Neu-Installationen).

[omexlu]

Meine Installation ist nicht neu und auf aktuellem Stand wie kann ich trotzdem von der aktuellen BadBots Jail profitieren?

Danke.

[Tiresias]

Der einfachste Weg:

kopiere die aktuelle

Code: Select all

/home/keyhelp/www/keyhelp/install/templates/fail2ban/filter.d/keyhelp-bad-bots.conf

nach

Code: Select all

/etc/fail2ban/filter.d

und aktiviere das Jail in

Code: Select all

/etc/fail2ban/jail.d/keyhelp.conf

.

Für den meta-externalagent musst du

Code: Select all

filter = keyhelp-bad-bots[mode=aggressive]

nutzen.

[omexlu]

Danke dir, werde mir das morgen Mal anschauen, nehme an ein restart des Dienstes ist notwendig?

Wie ist die Jail konfiguriert, werden die Bots komplett geblockt oder was ist der Trigger?

Thx.

[Tiresias]

Wie ist die Jail konfiguriert, werden die Bots komplett geblockt oder was ist der Trigger?

Fail2ban überwacht die access-Logs aller User und filtert nach Vorkommen der Begriffe im UA-String. Bei "meta-externalagent" sieht der Logeintrag zum Beispiel so aus:

Code: Select all

66.220.149.43 - - [12/Apr/2026:12:24:34 +0200] "GET / HTTP/2.0" 200 20287 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)" 97 20472

Treffer werden pro IP gezählt und bei Erreichen des in "maxretry" definierten Werts wird die IP für "bantime" gesperrt.