Page 1 of 2
MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 13:56
by Webrockers
(Frohes Neues Jahr!)
Ich hatte gerade festgestellt, dass der MySQL Dienst nicht mehr lief.
Websites und KeyHelp liefen dann eben auch nicht mehr.
Ein freundliches
hat das Problem dann behoben.
Ich habe allerdings keine Hinweise in den Protokollen die KeyHelp anbietet, finden können und weiß somit nicht, warum das passierte.
1) Habt Ihr Ideen, wie ich dahinter kommen kann?
2a) Wie macht Ihr das so? Habt Ihr ein Monitoring eingerichtet, dass euch darüber Auskunft gibt, falls ein Dienst versagt?
2b) Habt ihr Cron Jobs eingerichtet, die einen Dienst neu starten, falls einer nicht läuft?
Danke!
Marco
Re: MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 14:02
by mhagge
Die MySQL-Logs sind imho nicht über die Keyhelp-Oberfläche einsehbar. Unter Debian (Ubuntu müsste es identisch sein) sind sie unter /var/log/mysql zu finden. Dort mal nachschauen, da müsste es einen Eintrag geben
Zu 2a und b) Monit ist Dein Freund:
https://wiki.ubuntuusers.de/Monit/ (funktioniert mit Debian genauso)
Re: MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 14:07
by Jolinar
Webrockers wrote: ↑Tue 3. Jan 2023, 13:56
(Frohes Neues Jahr!)
Dito
Webrockers wrote: ↑Tue 3. Jan 2023, 13:56
Habt Ihr Ideen, wie ich dahinter kommen kann?
Eine weitere Anlaufstelle wäre
syslog.
Deine Fehlerbeschreibung klingt verdächtig nach einem OOM Kill...Hat der Server ausreichend Hardwareressourcen, hier speziell RAM?
Re: MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 15:53
by Webrockers
Vielen lieben Dank!
Da werde ich mal nachschauen.
OOM Kill.. interessant.
Auf dem Server läuft eigentlich (!) nicht viel Anspruchvolles. Aber was weiss ich schon.
Ein kleiner Programmierfehler.. wissen wir ja.
Ich habe erst letztes Jahr (haha, also letzte Woche) ein Wiki auf den Server umgezogen, da ich es auf dem vorherigen Hostingtarif eines anderen Anbieters nicht mehr aktualisieren konnte.
Ich werde Feedback geben, falls ich was herausfinde.
Re: MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 19:45
by Webrockers
Mhmm.. laut syslog hat tatsächlich der OOM Killer zugeschlagen.
Aber warum?
Code: Select all
Jan 3 10:09:18 km31411-05 kernel: [4754669.010648] oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=/,mems_allowed=0,global_oom,task_memcg=/system.slice/mariadb.service,task=mariadbd,pid=24161,uid=109
Jan 3 10:09:18 km31411-05 kernel: [4754669.012351] Out of memory: Killed process 24161 (mariadbd) total-vm:3154768kB, anon-rss:1106792kB, file-rss:0kB, shmem-rss:0kB, UID:109 pgtables:2412kB oom_score_adj:0
Jan 3 10:09:18 km31411-05 systemd[1]: mariadb.service: A process of this unit has been killed by the OOM killer.
Jan 3 10:09:18 km31411-05 systemd[1]: mariadb.service: Main process exited, code=killed, status=9/KILL
Jan 3 10:09:18 km31411-05 systemd[1]: mariadb.service: Failed with result 'oom-kill'.
Jan 3 10:09:18 km31411-05 systemd[1]: mariadb.service: Consumed 41min 26.784s CPU time.
Das einzig auffällige unmittelbar davor war im Zusammenhang mit Clam
Code: Select all
Jan 3 10:09:04 km31411-05 amavis[980076]: (980076-20) (!)connect to /var/run/clamav/clamd.ctl failed, attempt #1: Can't connect to a UNIX socket /var/run/clamav/clamd.ctl: Connection refused
Jan 3 10:09:04 km31411-05 amavis[988806]: (988806-20) (!)connect to /var/run/clamav/clamd.ctl failed, attempt #1: Can't connect to a UNIX socket /var/run/clamav/clamd.ctl: Connection refused
Jan 3 10:09:05 km31411-05 amavis[980076]: (980076-20) (!)connect to /var/run/clamav/clamd.ctl failed, attempt #1: Can't connect to a UNIX socket /var/run/clamav/clamd.ctl: Connection refused
Jan 3 10:09:05 km31411-05 amavis[980076]: (980076-20) (!)ClamAV-clamd: All attempts (1) failed connecting to /var/run/clamav/clamd.ctl, retrying (2)
Jan 3 10:09:05 km31411-05 amavis[988806]: (988806-20) (!)connect to /var/run/clamav/clamd.ctl failed, attempt #1: Can't connect to a UNIX socket /var/run/clamav/clamd.ctl: Connection refused
Jan 3 10:09:05 km31411-05 amavis[988806]: (988806-20) (!)ClamAV-clamd: All attempts (1) failed connecting to /var/run/clamav/clamd.ctl, retrying (2)
Jan 3 10:09:11 km31411-05 amavis[980076]: (980076-20) (!)connect to /var/run/clamav/clamd.ctl failed, attempt #1: Can't connect to a UNIX socket /var/run/clamav/clamd.ctl: Connection refused
Jan 3 10:09:11 km31411-05 amavis[980076]: (980076-20) (!)ClamAV-clamd av-scanner FAILED: run_av error: Too many retries to talk to /var/run/clamav/clamd.ctl (All attempts (1) failed connecting to /var/run/clamav/clamd.ctl) at (eval 99) line 659.\n
Jan 3 10:09:11 km31411-05 amavis[980076]: (980076-20) (!)WARN: all primary virus scanners failed, considering backups
Jan 3 10:09:11 km31411-05 amavis[988806]: (988806-20) (!)connect to /var/run/clamav/clamd.ctl failed, attempt #1: Can't connect to a UNIX socket /var/run/clamav/clamd.ctl: Connection refused
Jan 3 10:09:11 km31411-05 amavis[988806]: (988806-20) (!)ClamAV-clamd av-scanner FAILED: run_av error: Too many retries to talk to /var/run/clamav/clamd.ctl (All attempts (1) failed connecting to /var/run/clamav/clamd.ctl) at (eval 99) line 659.\n
Jan 3 10:09:11 km31411-05 amavis[988806]: (988806-20) (!)WARN: all primary virus scanners failed, considering backups
Jan 3 10:09:18 km31411-05 kernel: [4754668.905772] clamscan invoked oom-killer: gfp_mask=0x100dca(GFP_HIGHUSER_MOVABLE|__GFP_ZERO), order=0, oom_score_adj=0
Und laut Dump haben zwei clamscan Prozesse zusammen mehr Speicher belegt
Code: Select all
Jan 3 10:09:18 km31411-05 kernel: [4754669.006809] [1749652] 119 1749652 232240 209996 1789952 0 0 clamscan
Jan 3 10:09:18 km31411-05 kernel: [4754669.007778] [1749653] 119 1749653 230640 206147 1761280 0 0 clamscan
als der eine mariadbd
Code: Select all
Jan 3 10:09:18 km31411-05 kernel: [4754668.973817] [ 24161] 109 24161 788692 276698 2469888 0 0 mariadbd
Ich dachte ja schon, dass die Kiste hardwareseitig von KeyWeb so designt wurde, dass die Konfiguration von KeyHelp dazu passt und umgekehrt.
Und so richtig herumkonfiguriert hab ich an dem System noch gar nicht. Also: Keine Kritik, nur Suche nach Ursachen und Verbesserung der Situation.
(Ich lese, ich lerne, ich versuche zu verstehen.)
Meine Vermutung und Frage: der OOM Reaper Daemon killt den größten RAM-Nutzer, auch wenn dieser nichts dafür kann?
Und wenn tatsächlich Clam den Ärger verursacht, er war ja schon vorinstalliert und -konfiguriert... was mache ich denn nun?
P.S.
Danke, Markus @mhagge für den Wink zu monit. Ich werde mir das anschauen. Klingt passend.
Re: MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 19:47
by Tobi
Tatsächlich killt der OOM Killer einen zufälligen Prozess welcher nicht die Systemstabilität beeinträchtigt.
Re: MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 19:51
by Jolinar
Webrockers wrote: ↑Tue 3. Jan 2023, 19:45
Und wenn tatsächlich Clam den Ärger verursacht, er war ja schon vorinstalliert und -konfiguriert... was mache ich denn nun?
Meine Überzeugung teilen...Virenscan ist Aufgabe des Clients und nicht des Servers.
Ich hab clamav bei mir auf allen Systemen deaktiviert.
Re: MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 20:01
by Webrockers
Jolinar wrote: ↑Tue 3. Jan 2023, 19:51
Webrockers wrote: ↑Tue 3. Jan 2023, 19:45
Und wenn tatsächlich Clam den Ärger verursacht, er war ja schon vorinstalliert und -konfiguriert... was mache ich denn nun?
Meine Überzeugung teilen...Virenscan ist Aufgabe des Clients und nicht des Servers.
Ich hab clamav bei mir auf allen Systemen deaktiviert.
Ich teile deine Überzeugung!
Virenkiller sind Schlangenöl.
Re: MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 20:03
by 24unix
Webrockers wrote: ↑Tue 3. Jan 2023, 20:01
Virenkiller sind Schlangenöl.
Es gibt für ernstzunehmende Systeme doch gar keine echten Viren.
Re: MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 20:05
by Webrockers
Zu ClamAV gehört auch Amavis wenn ich das richtig verstehe?
Re: MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 20:08
by Jolinar
24unix wrote: ↑Tue 3. Jan 2023, 20:03
Es gibt für ernstzunehmende Systeme doch gar keine echten Viren.
Naja...Es gibt schon ein paar Ausnahmen (zB. Stuxnet)...Aber mit solchen Systemen haben wir ja glücklicherweise nichts zu tun.
Re: MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 20:09
by Jolinar
Webrockers wrote: ↑Tue 3. Jan 2023, 20:05
Zu ClamAV gehört auch Amavis wenn ich das richtig verstehe?
Jaein...Amavis werkelt auch noch auf dem Gebiet der Spamerkennung mit.
Re: MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 20:17
by 24unix
Jolinar wrote: ↑Tue 3. Jan 2023, 20:08
24unix wrote: ↑Tue 3. Jan 2023, 20:03
Es gibt für ernstzunehmende Systeme doch gar keine echten Viren.
Naja...Es gibt schon ein paar Ausnahmen (zB. Stuxnet)...Aber mit solchen Systemen haben wir ja glücklicherweise nichts zu tun.
Laut Wiki ist da aber hauptsächlich dieser Spielestarter verantwortlich, also kein ernstzunehmendes System:
Die Einzigartigkeit von Stuxnet zum Zeitpunkt seiner Entdeckung zeigt sich insbesondere in der Art seiner Verbreitung durch
Ausnutzung mehrerer teilweise bis dahin unbekannter Sicherheitslücken der Microsoft-Betriebssysteme ab Windows 2000 bis zu Windows 7 oder Windows Server 2008 R2,[T 5]
Installation eines Rootkits in diesen Betriebssystemen mit Hilfe gestohlener digitaler Signaturen der taiwanischen Hardware-Hersteller Realtek und JMicron Technology,[T 6]
genaue Kenntnisse des Prozessvisualisierungssystems WinCC zur Überwachung und Steuerung technischer Prozesse mit Simatic S7 (engl. ICS: Industrial Control System) sowie
Installation eines weiteren Rootkits in der Steuerung (SPS, engl. PLC: Programmable Logic Controller) einer solchen PCS-7-Anlage.[T 7]
Re: MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 21:46
by Jolinar
Jolinar wrote: ↑Tue 3. Jan 2023, 20:09
Webrockers wrote: ↑Tue 3. Jan 2023, 20:05
Zu ClamAV gehört auch Amavis wenn ich das richtig verstehe?
Jaein...Amavis werkelt auch noch auf dem Gebiet der Spamerkennung mit.
Ich wollte es erst als
Edit in den Post einfügen, aber dann könnte man es überlesen...
Bezüglich Amavis bitte auch mal
hier reinlesen, damit du nicht in dieselbe Falle tappst wie ich
Edit:
Da ich nun schon mal den älteren Thread ausgebuddelt habe, eine Frage an
@Alex:
Ist die Funktion des Stoppens des Amavis im Panel inzwischen so weit angepaßt worden, daß die entsprechende Zeile in der
main.cf von KeyHelp (rebootfest) auskommentiert wird?
Re: MySQL Dienst lief heute nicht. Wie geht ihr da vor?
Posted: Tue 3. Jan 2023, 23:53
by Webrockers
@Jolinar
Danke!
Amavis hatte ich vor deinem Hinweis zur SPAM-Filterung tatsächlich deaktiviert gehabt, aber anschließend wieder aktiviert.
(ClamAV bleibt deaktiviert).