Bad Bots

[goldene-zeiten]

Wenn ich mir die Fülle von Einträgen ansehe im Log, kann ich mir das eigentlich nicht vorstellen. Also deine geschätzte Meinung ist, dass dies bereits alles WordFence handhabt, bevor es zu den 5 Fehleingaben kommt, bei denen Fail2ban anschlagen würde?

[pandinusimperator]

Wenn ich mir die Fülle von Einträgen ansehe im Log, kann ich mir das eigentlich nicht vorstellen. Also deine geschätzte Meinung ist, dass dies bereits alles WordFence handhabt, bevor es zu den 5 Fehleingaben kommt, bei denen Fail2ban anschlagen würde?

Hi!

Nein, das war nicht meine Meinung, sondern eine Vermutung, da ich ja deine WordFence-Konfiguration nicht kenne. Ich habe das auf Basis der Fehlermeldung aus deinem Screenshot geschlossen.

Ist denn die von mir erwähnte Option aktiviert?

[Tobi]

Wäre es nicht einfacher Wordfence testweise zu deaktivieren? Dann wird man ja sehen was im Log ankommt, oder eben nicht.

Grundsätzlich ist es nie eine gute Idee zweierlei Software für ein und dieselbe Sache einzusetzen.

[pandinusimperator]

Grundsätzlich ist es nie eine gute Idee zweierlei Software für ein und dieselbe Sache einzusetzen.

Das ist genau der Punkt, Tobi, es ist streng genommen nicht ein und dieselbe Sache.

WordFence sperrt Login-Versuche auf nicht existente Accounts/Usernamen in WordPress sofort. Das kann Fail2Ban nicht.
Fail2Ban sperrt aber besser bei BruteForce auf tatsächlich existente Accounts/Usernamen, hier wird dann bei Sperre nicht mal mehr auf den PHP-Bereich des Keyhelp-Nutzers zugegriffen, was imo Last vom Server bzw. WordPress/PHP/MySQL nimmt.

Aber da kann ich natürlich auch falsch denken.

[goldene-zeiten]

Ich wäre auch eher für das zweistufige Modell - wenn es denn funktionieren würde...

[Fezzi]

Mal was ganz anderes bzgl. des kh-bad-bots Jail, evtl. betrifft es ja auch den Ein oder Anderen von Euch...

Als ich das Jail aktiviert habe hat sich nach einem Tag ein Kunde gemeldet, dass seine Mitarbeiter und auch er die Webseite nicht mehr erreichen und oder aber auch das Backend der WP installation... aber in einigen Faellen per VPN doch.

Der Kunde benutzt einen spezialisierten Service Dienstleister https://www.ezoic.com/

Fehlermeldung sah/sieht so aus:

Auf seine Anfrage beim Support kamen die damit an:

Hi there,

Thanks for checking, it appears your site has an intermittent origin error. I've turned Ezoic's proxy off temporarily while we resolve this issue as this will prevent the error - however as this will also prevent ad serving we want to get you back up and running as soon as possible.

Intermittent origin errors are almost always caused by the host or a security plugin misinterpreting requests coming from Ezoic as bot traffic and subsequently blocking them. Fortunately this is almost always easily fixed by having your host whitelist the following static IPs:

52.20.63.25
3.225.202.138
3.217.200.190
54.212.71.227
52.12.170.68
34.218.21.81
3.7.90.144
13.127.240.219
18.139.6.69
18.140.184.0
3.106.6.164
3.106.176.6
13.237.131.67
15.222.77.144
15.222.108.52
18.157.131.187
18.157.105.182
3.126.25.160
34.248.174.237
52.16.85.139
34.255.61.232
15.236.165.82
15.236.137.228
15.236.166.30
18.228.20.129
18.228.107.195
26004c55:e200::/56
2600393:600::/56
2406:da1a:e10::/56
2406:da18:9d0:/56
2406:da1c:58a:e100::/56
2600f39:6f00::/56
2a05:d014:776:a600::/56
2a05:d018:dd:7800::/56
2a05:d012:4d8:6800::/56
2600342:/56

If your host will not whitelist the above IP addresses for some reason, they can try implementing one of the alternative suggestions listed here: How to Fix Origin Errors https://support.ezoic.com/kb/article/ho ... gin-errors

Die meisten der genannten IPs sind tatsaechlich von Fail2Ban mit dem neuen Jail abgefangen worden und dann auch im ersteren gelandet und spaeter im kh-recidive...

Nach einigem Googlen habe ich gelernt dass man bei Fail2Ban auch IPs whitelisten kann.... was ich mir aber ersparen kann, da der Kunde sowieso den Service aufkuendigen wird (zwecks stark nachlassender Werbe Einnahmen) und durch das Abschalten des Proxies herausgefunden hat dass seine Riesen Seite dadurch noch performanter laeuft und seine, in der Welt sitzenden, Mitarbeiter/Blogger auch besser drauf zugreifen koennen.

Ansonsten kann ich sagen dass das kh-bad-bots Jail zuverlaessig laeuft und munter Bad Bots rausfischt...

[Alexander]

Hier wäre interessant zu erfahren, welche Zeile im access.log dazu geführt hat, dass der Filter ihn rausgefischt hat. Bekommst du das noch raus?

(Im Fail2Ban log nach der IP suchen -> mit der dort geloggten Uhrzeit in den access.log schauen)

[Fezzi]

Hmmmm... hilft Dir das

Code: Select all

54.212.71.227 	kh-recidive 	12. Aug. 2024, 20:14:29 

Ich habe da mit der Uhrzeit nichts mit der IP 54.212.71.227 gefunden... hier mal der Auszug kurz vor dem event und dann mit der genauen Zeit

Code: Select all

54.212.71.227 - - [12/Aug/2024:20:14:28 +0200] "GET /wp-content/uploads/2019/01/centara-koh-chang-cabana-zone-2.jpg HTTP/1.1" 200 187864 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php) X-Middleton/1" 1096 192963

fezzi@Fezzipad:~$ grep "20:14:29" /home/fezzi/Downloads/FSOA/AccessLog/access.log
3.89.3.80 - - [11/Aug/2024:20:14:29 +0200] "GET /wp-content/uploads/2018/07/mutiara-taman-negara-bungalow-03-100x100.jpg HTTP/1.1" 200 3842 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) X-Middleton/1" 746 4098
18.157.105.182 - - [12/Aug/2024:20:14:29 +0200] "GET /wp-content/plugins/woorechnung/assets/js/fakturpro-customer.js HTTP/1.1" 200 - "https://faszination-suedostasien.de/indonesien-verkehrsmittel/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.6 Safari/605.1.15 X-Middleton/1" 1418 4589
18.157.105.182 - - [12/Aug/2024:20:14:29 +0200] "GET /wp-content/uploads/2018/07/havelock-coconut-grove-resort-indien-andamanen-27.jpg HTTP/1.1" 200 85340 "https://faszination-suedostasien.de/indien-andamanen-reisebericht/" "Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) SamsungBrowser/25.0 Chrome/121.0.0.0 Mobile Safari/537.36 X-Middleton/1" 3895 90152

Was zu der obigen Uhrzeit passt ist die 18.157.105.182, die wurde aber erst spaeter ins Jail geschickt...

Code: Select all

18.157.105.182 	kh-recidive 	12. Aug. 2024, 21:26:52 

[Alexander]

Super Danke - Okay, also nutzen Sie auf irgendeine Weise dieses "facebookexternalhit".

Das kann vielleicht davon kommen, dass Sie Werbung in einer der META-Apps (Facebook, Instagram, Messenger etc.) schalten und dann diese Apps losziehen (unter dem User Agent "facebookexternalhit") und vielleicht die Seite vorzuladen oder Meta-Daten zu laden oder ähnliches.

Full Disclosure: Ich weiß nicht zu 100% was "facebookexternalhit" tatsächlich macht. Ich stelle es mir so vor, wie wenn man eine URL über z.B. Whatapp schickt, dann wird ja auch automatisch eine Vorschau der Seite im Chat angezeigt.

Fakt an "facebookexternalhit" ist zumindest, das diese eine immens hohe Last auf dem Server erzeugen können.
Für den, der auf "facebookexternalhit" nicht verzichten kann, nimmt es aus der Liste der bad-bots wieder raus:

Code: Select all

VORHER:
badbots = ClaudeBot|claudebot|Bytespider|bytedance\.com|facebookexternalhit

NACHHER:
badbots = ClaudeBot|claudebot|Bytespider|bytedance\.com

Kleine Statistik am Rande, im Juni 2024 war "facebookexternalhit" für 2.025.860 Zugriffe und für 67.03 GB Traffic allein hier auf community.keyhelp.de verantwortlich und damit für über 55% der Gesamtzugriffe und 83% des Traffics.
Die Zahlen legen nahe, das "facebookexternalhit" ggf. noch andere "Aufgaben" hat, ggf. KI-Training o.Ä.

[Jolinar]

Kleine Statistik am Rande, im Juni 2024 war "facebookexternalhit" für 2.025.860 Zugriffe und für 67.03 GB Traffic allein hier auf community.keyhelp.de verantwortlich und damit für über 55% der Gesamtzugriffe und 83% des Traffics.

WTF

Funktionsbeschreibung des Crawlers:

Facebook External Hit, auch bekannt als Facebook Crawler, crawlt den HTML-Code einer auf Facebook geteilten App oder Website.

Auf diese Weise kann die soziale Plattform eine teilbare Vorschau für jeden auf der Plattform geposteten Link erstellen. Der Titel, die Beschreibung und das Vorschaubild werden dank des Crawlers angezeigt.

Wer braucht diesen (Meta-)Mist überhaupt...?

[Alexander]

Bei den Zahlen muss das Forum ja Viral gegangen sein ...nur wir haben nichts mitbekommen

[Fezzi]

Sehr interessant....

Danke Alex fuer die interessante Information. Das erklaert natuerlich einiges....

ich hatte, nachdem ich den Kunden auf meinen Server genommen habe, auf einmal sehr hohen Traffic und Last (wobei letzteres nicht wirklich eine Rolle gespielt hat da der Server gut Reserven hat)....

Aber das ist ja jetzt erledigt...