Keyhelp-Webinterface und alle Webseiten immer kurz nach Neustart unzugänglich, Server nur noch über SSH zu erreichen!

[Manuel]

Der einfachste und sicherste Weg, die Kiste wieder fehlerfrei zum Laufen zu bekommen:

Vollständiges Backup aller Userdaten anlegen, Kiste komplett neu aufsetzen, Backup wieder einspielen, glücklich sein

Hab ich mir auch schon gedacht, nur hängt restic seid dem Vorfall und Backup geht nicht mehr bzw. wird ned fertig.
Obwohl im Backup der tmp ausgeschlossen wurde.
/home/users/*/tmp/

[Ralph]

Ich schau gleich in den tmp Ordnern nach.
Kann man die auch einfach bereinigen?

Nicht sofort, Du mußt ja erst feststellen wo das verusacht wird und dann die Anwendung (eventl. auch Cron Jobs) checken sowie die access logs des Users. Wenn das Problem gefunden wurde kannst du den User eventl. sperren und dann die tmp files löschen.
Erst mal schauen was da Sache ist ...

[Jolinar]

Hab ich mir auch schon gedacht, nur hängt restic seid dem Vorfall und Backup geht nicht mehr.

Ahh...das klingt interessant. Das würde möglicherweise auch die 'periodischen' Ausfälle erklären können...

[24unix]

Kann man die auch einfach bereinigen?

Du musst rausfinden, in welchem tmp Ordner die files liegen, und dann, wo die herkommen, dann kann man weiter sehen.

Du hast/hattest ja sehr viel Cron Jobs laufen, hast Du die wieder aktiviert?

Evtl. räumen die nicht ordentlich auf wenn sie fertig sind??

Mach mal

Code: Select all

find /home/users/**/tmp

, dann geht die Ausgabe direkt in die Console, evtl. sieht man da schon, welcher User betroffen ist.

[Jolinar]

Das wäre mein Ansatz, wenn es zeitkritisch wäre, aber eigentlich will man doch wissen, wo es klemmt.

Naja...Ich sehe das eher pragmatisch. Solange die Kiste am Netz hängt, sollte sie auch (möglichst) fehlerfrei laufen.
Für die Ursachenforschung kann man sich doch ein Image ziehen und lokal analysieren...geht sowieso schneller als remote

sieht eher nach einem Problem durch Anwender Software in den Webs aus, also wird das Problem vermutlich auch nach einer Neu Installation wieder auftauchen

Dann hättest du aber erstmal eine saubere Systembasis mit bekannten Rahmenbedingungen...An dem betreffenden System wurde ja nun schon die eine oder andere Änderung in diversen Systemkonfigurationen vorgenommen...

[Ralph]

Dann hättest du aber erstmal eine saubere Systembasis mit bekannten Rahmenbedingungen...An dem betreffenden System wurde ja nun schon die eine oder andere Änderung in diversen Systemkonfigurationen vorgenommen...

Nun ja je nachdem wo es verursacht wird (malware nicht ausgeschlossen) wäre es dann eh erforderlich ...
aber jetzt ist ein guter Zeitpunkt um den Verursacher zu finden - kann ja vorerst dann auch temp. gesperrt werden wenn dieser gefunden wurde.

[Ralph]

Schau dir den Shopware User mal genauer an .. hab da so eine Vorahnung
es gibt da einige Schrott Third Party Addons die haben mir auch mal ein System lahmgelegt - SeoFrog, Preisvergleich Anbindungen u.s.w. die im Sekundentakt den /tmp mit tausenden files fluten und dazu noch jede Menge Datenbankabfragen ...
Vorm sperren des Users am besten zuerst dessen Cronjobs deaktivieren, dann musst du die Crawler noch loswerden eventl. via Fail2ban UA Filter, falls die eine Kennung im access.log hinterlassen.
### edit ###
Im Panel gibt es übrigens auch eine Übersicht der Requests per IP Adresse:
Systemstatus > Apache-Server-Status > Process count

[Manuel]

So, so wie es aussieht scheint es mal zu laufen.
Grundsätzlich habe ich nahezu alle eure tips verwendet und auch versucht

Aber das was ich verstellt und danach gelassen habe waren folgende einstellungen:

Code: Select all

/etc/apache2/mods-enabled/mpm_worker.conf
/etc/apache2/mods-available/mpm_event.conf
Das MaxRequestWorkers 150 auf 300 geändert.
---------------------
nano /etc/security/limits.conf
*    soft nofile 200000
*    hard nofile 200000
root soft nofile 200000
root hard nofile 200000
---------------------
systemctl edit mariadb
[Service]
LimitNOFILE=200000

Der aktuelle Stand ist nun, dass ich alle Cronjobs abgeschaltet habe und auch alle Benutzer erst einmal gesperrt habe.
Dann habe ich tmpreaper installiert und laufen lassen, dass es alle tmp-Dateien, die älter als 30 Tage sind, löscht.
Das waren etwa 40 Millionen files
Diese 40 Millionen waren bei 2 Usern, die ich auf dem Kicker hatte, um die tmp sowieso zu leeren.

Dann habe ich alle User wieder aktiviert und die Webseiten und alles funktioniert erstmal anständig wie man es gewohnt ist, außerdem hatte ich noch nie so eine geringe CPU-Auslastung

Jetzt werde ich mir das Ganze mal ohne Cronjobs anschauen und dann nach und nach, wenn es weiterläuft (klopf auf Holz) die Cronjobs wieder einschalten.

Drückt mir die Daumen, dass es vielleicht daran lag

Vielen Dank euch allen für die tolle Unterstützung und den vielen tips und ich halte euch auf den laufenden.

[24unix]

Schön, dass es wieder läuft.

Wenn die beiden betreffendes WP laufen haben, kann ich nur IWP empfehlen, das hält WP und alle Plugins auf Stand.

[Ralph]

Das waren etwa 40 Millionen files
Diese 40 Millionen waren bei 2 Usern, die ich auf dem Kicker hatte, um die tmp sowieso zu leeren.

Die User /tmp werden bereits von KH geleert, wie oft kann im Panel eingestellt werden und auch die Files dazu ...
Wenn da jedoch so viel Müll drinne ist, dann lässt dieser sich auch nicht mehr so einfach löschen weil ja ständig neuer Müll hinzukommt und es beim löschen mit den neu hinzugekommenen files überlagert ...

Mit dem leeren der /tmp ist die Ursache auch NICHT behoben, du musst das access log dieses Users checken:
- wie kommen die tmp files zustande
- dann dafür sorgen dass der /tmp nicht mehr vollgemüllt wird
- woher kommen die Requests und diese IPs dann blockieren
- ist es eine Sicherheitslücle in einem veralteten Script (CMS) dann aktualisieren
- das Web auf Schadsoftware überprüfen und auch das System (system /tmp auch mal reinschauen)
- den User bzw. das Web sperren unzugänglich machen bis alles wieder sauber ist

Ansonsten bist du morgen wieder genau auf dem Stand wie vorher und alles hängt sich wieder auf ...

P.S.
und wenn die Probleme behoben sind (Verursacher) dann am besten die File Limits wieder etwas runtersetzen

[Manuel]

Das waren etwa 40 Millionen files
Diese 40 Millionen waren bei 2 Usern, die ich auf dem Kicker hatte, um die tmp sowieso zu leeren.

Die User /tmp werden bereits von KH geleert, wie oft kann im Panel eingestellt werden und auch die Files dazu ...
Wenn da jedoch so viel Müll drinne ist, dann lässt dieser sich auch nicht mehr so einfach löschen weil ja ständig neuer Müll hinzukommt und es beim löschen mit den neu hinzugekommenen files überlagert ...

Mit dem leeren der /tmp ist die Ursache auch NICHT behoben, du musst das access log dieses Users checken:
- wie kommen die tmp files zustande
- dann dafür sorgen dass der /tmp nicht mehr vollgemüllt wird
- woher kommen die Requests und diese IPs dann blockieren
- ist es eine Sicherheitslücle in einem veralteten Script (CMS) dann aktualisieren
- das Web auf Schadsoftware überprüfen und auch das System (system /tmp auch mal reinschauen)
- den User bzw. das Web sperren unzugänglich machen bis alles wieder sauber ist

Ansonsten bist du morgen wieder genau auf dem Stand wie vorher und alles hängt sich wieder auf ...

P.S.
und wenn die Probleme behoben sind (Verursacher) dann am besten die File Limits wieder etwas runtersetzen

Bis jetzt läuft der Server wieder so schnell, so schnell war er schon lange nicht mehr

Damit das ganze nicht mehr so voll gemüllt wird, habe ich mal als Abhilfe zusätzlich tmpreaper installiert und auf 30d gesetzt.

IPs habe ich auch 5 gesperrt, die immer über ca. 50 Requests hatten. War dein Tipp mit dem Apache Server Status, danke dafür
Ob ein CMS das Problem macht weiß ich nicht, auch der Virenscan hat nichts gefunden.
2 User habe ich vorerst gesperrt, einer war ein Testaccount von mir

Mal sehen, was morgen los ist oder nicht Los ist, momentan läuft die Lucy auf Hochtouren

Außerdem werde ich sowieso mit einem neuen Server liebäugeln, nur weiß ich nicht wie ich das mache mit den Backup einspielen, mit restic oder manuell, mal sehen.

[Ralph]

Damit das ganze nicht mehr so voll gemüllt wird, habe ich mal als Abhilfe zusätzlich tmpreaper installiert und auf 30d gesetzt.

Wenn der Verursacher noch vorhanden ist, dann wird der /user/tmp bereits morgen schon wieder vollgelaufen sein, tmpreaper ist überflüssig da die Einstellungen für die Bereinigung der User /tmp in der Panel Konfiguration festgelegt wird.

In den access.log der betroffenen User ist das Ziel (Datei/en) ersichtlich (die URL zur Datei die laufend abgerufen wird) diese Datei/en sollten überprüft werden ob diese zur Anwendung gehören oder ob es eingeschleuste Schadsoftware ist.
Falls es Malware ist, sollte der User die komplette Anwendung löschen und sauber neu installieren, solange am besten einen PW Schutz auf den Webfolder setzen um weiteren Schaden zu vermeiden.

[Manuel]

So Leute, kleines Feedback von mir.

Alles läuft wie am Schnürchen, die Serverlast ist fast am Boden, denke so schnell war der noch nie
Die tmp-Ordner füllen sich nicht mehr, nur noch das nötigste Zeug.
Das Backup ist auch durchgelaufen, hat eine Weile gedauert, weil tagelang kein inkrementelles gemacht wurde, wurde aber ohne Fehler beendet.

Was mir allerdings aufgefallen ist, ist, dass noch ein altes Backup hängt und bei 56% nicht mehr weiter geht, wie kann ich das entfernen?

Aug 04, 2023, 01:00:00 - Sicherung erstellen (Geplante Sicherung) - Wird verarbeitet (56,41%)

Habe zwar etwas im forum von Beenden und neu ausführen gelesen, aber ausser "Problembehandlung" was ich schon mal gemacht habe, kann ich dazu nix finden, deshalb die frage.

ansonsten läuft derzeit alles einwandfrei
Ich werde jetzt die Cronjobs nacheinander wieder einschalten und beobachten.
Ich hoffe, das war es tatsächlich, drückt die Daumen weiter

Danke euch allen

UPDATE:
Habe den Job in der Keyhelp Datenbank "backup_operations" gefunden, kann ich den einfach löschen?
Und was ist mit den "cancelt" Jobs, so lassen?
Bild:
https://ibb.co/Dz6BLkx

[OlliTheDarkness]

So Leute, kleines Feedback von mir.

Alles läuft wie am Schnürchen, die Serverlast ist fast am Boden, denke so schnell war der noch nie
Die tmp-Ordner füllen sich nicht mehr, nur noch das nötigste Zeug.
Das Backup ist auch durchgelaufen, hat eine Weile gedauert, weil tagelang kein inkrementelles gemacht wurde, wurde aber ohne Fehler beendet.

Was mir allerdings aufgefallen ist, ist, dass noch ein altes Backup hängt und bei 56% nicht mehr weiter geht, wie kann ich das entfernen?

Aug 04, 2023, 01:00:00 - Sicherung erstellen (Geplante Sicherung) - Wird verarbeitet (56,41%)

Habe zwar etwas im forum von Beenden und neu ausführen gelesen, aber ausser "Problembehandlung" was ich schon mal gemacht habe, kann ich dazu nix finden, deshalb die frage.

ansonsten läuft derzeit alles einwandfrei
Ich werde jetzt die Cronjobs nacheinander wieder einschalten und beobachten.
Ich hoffe, das war es tatsächlich, drückt die Daumen weiter

Danke euch allen

UPDATE:
Habe den Job in der Keyhelp Datenbank "backup_operations" gefunden, kann ich den einfach löschen?
Und was ist mit den "cancelt" Jobs, so lassen?
Bild:
https://ibb.co/Dz6BLkx

Wenn keine Jobs laufen, kannst alle einträge bereinigen ohne das was passiert, ausser das im Panel halt steht Keine Einträge vorhanden ^^

Frühjahrsputz ^^

[Manuel]

Hallo Freunde,

Jetzt is es so weit, server ist "Kaputt", glaub ich.
Jetzt komm ich nur noch über KVM rein und hab keine Ahnung was ich da machen muss.
Eigentlich wollte ich in den nächsten tagen einen neuen server nehmen und das Backup einspielen, nur hat er mich kein Backup mehr gemacht, immer nur "Startet in kürze".
Seit heut Abend weder das Dashboard noch überSSH erreichbar, muss in der hetzen robot rescue aktivieren damit ich über KVM auf den server komme.
Weis aber nicht was ich da jetzt machen soll, da ich weder in die Datenbank noch sonst wo hinkomme.
Ich mag heute nicht mehr und geh jetzt ins Bett, wollte aber vorher noch schreiben was ich da jetzt machen kann, soll?
Wie gesagt, ich wusste es braucht an neuen oder neu aufsetzen, backup ist aber leider schon 1 Monat alt und jetzt weis ich sowieso nicht wie das gehen soll.
Vieleicht kann mir ja morgen nochmal jemand einige tips geben was ich machen kann.
Ich habe kurz bevor das basiert ist normal gearbeitet an einer homepage und habe dan als ich gemerkt habe das einfach kein Backup funktioniert mir gedacht, das eventuell einer der geblockten IP Adressen in der firewall das problem ist.
Blöderweise habe ich alle IP Adressen entfernt und wollte sie einzeln hinzufügen, sollte eine für restic wichtig gewesen sein, warum nichts geht.
Nun ja, danach ging nichts mehr.
Hab jetzt mal versucht die firewall in Hetzer robot zu aktivieren und hab die IP Adressen dort wieder eingegeben, ohne erfolg.
Unter reset funktioniert sowieso nur der Automatischen Hardware-Reset, denn beim STRG+ALT+ENTF an den Server senden Befehl hängt sich KVM auf und nichts passiert mehr.

Danke im Voraus für eure Geduld und eure Unterstützung.