Page 1 of 1
Bots blockieren
Posted: Tue 3. Feb 2026, 10:15
by olek2003
Hallo zusammen,
im Forum habe ich keine effektive Sperrung gefunden.
Folgendes Problem, ich habe einen Shop, da werden jedoch in letzter Zeit sehr viele Anfragen über meta-externalagent/1.1 (+
https://developers.facebook.com/docs/sh ... rs/crawler)
getätigt.
Soweit, dass der Server keine Leistung mehr hat.
Ich habe es bereits versucht per robots.txt und .htaccess zu verbieten, die Anfragen kommen jedoch trotzdem.
Was kann ich weiteres unternehmen?
MfG
Re: Bots blockieren [GELÖST]
Posted: Tue 3. Feb 2026, 12:17
by Tiresias
Moin!
Du könntest "meta-externalagent" den badbots in /etc/fail2ban/filter.d/keyhelp-bad-bots.conf hinzufügen und – falls noch nicht geschehen – das Jail "kh-bad-bots" in /etc/fail2ban/jail.d/keyhelp.conf aktivieren. Dann wird das von Fail2ban gefiltert.
Siehe auch hier:
viewtopic.php?p=54985#p54985
Grüße!
Re: Bots blockieren
Posted: Tue 3. Feb 2026, 13:35
by Alexander
ich habe darüber hinaus "meta-externalagent" nun auch mal der Liste der bad-bots hinzugefügt (für künftige Dist-Upgrades und Neu-Installationen).
Re: Bots blockieren
Posted: Sun 12. Apr 2026, 17:35
by omexlu
Meine Installation ist nicht neu und auf aktuellem Stand wie kann ich trotzdem von der aktuellen BadBots Jail profitieren?
Danke.
Re: Bots blockieren
Posted: Sun 12. Apr 2026, 19:33
by Tiresias
Der einfachste Weg:
kopiere die aktuelle
Code: Select all
/home/keyhelp/www/keyhelp/install/templates/fail2ban/filter.d/keyhelp-bad-bots.conf
nach
und aktiviere das Jail in
.
Für den meta-externalagent musst du
Code: Select all
filter = keyhelp-bad-bots[mode=aggressive]
nutzen.
Re: Bots blockieren
Posted: Sun 12. Apr 2026, 19:51
by omexlu
Danke dir, werde mir das morgen Mal anschauen, nehme an ein restart des Dienstes ist notwendig?
Wie ist die Jail konfiguriert, werden die Bots komplett geblockt oder was ist der Trigger?
Thx.
Re: Bots blockieren
Posted: Sun 12. Apr 2026, 22:56
by Tiresias
omexlu wrote: ↑Sun 12. Apr 2026, 19:51
Wie ist die Jail konfiguriert, werden die Bots komplett geblockt oder was ist der Trigger?
Fail2ban überwacht die access-Logs aller User und filtert nach Vorkommen der Begriffe im UA-String. Bei "meta-externalagent" sieht der Logeintrag zum Beispiel so aus:
Code: Select all
66.220.149.43 - - [12/Apr/2026:12:24:34 +0200] "GET / HTTP/2.0" 200 20287 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)" 97 20472
Treffer werden pro IP gezählt und bei Erreichen des in "maxretry" definierten Werts wird die IP für "bantime" gesperrt.