GPTBot & Co. fernhalten

[Ralph]

Ich mußte letzte Nacht zweimal raus aufgrund von GPTBot power crawling über 4 Stunden, Zabbix hat 2x Alarm geschlagen CPU Load und free swap.
Wäre mir ganz angenehm wenn Microsoft bald mal in Rente geht (Kontrollverlust) bis dahin werde ich diese Bots aussperren solange es nötig ist auch mit F2B.
Anscheinend können auch "noai & noimageai" header im Apache verwendet werden, ich teste es momentan ...

Code: Select all

nano /etc/apache2/conf-available/security.conf
# add

<IfModule mod_headers.c>
   Header add X-Robots-Tag "noimageai"
   Header add X-Robots-Tag "noai"
   Header add tdm-recervation "1"
</IfModule>

# apache restart
systemctl restart apache2

Weitere Infos & Details
https://labs.gwendragon.de/blog/Web/Ser ... ern-halten