MySQL Dienst lief heute nicht. Wie geht ihr da vor?

[Webrockers]

(Frohes Neues Jahr!)

Ich hatte gerade festgestellt, dass der MySQL Dienst nicht mehr lief.

Websites und KeyHelp liefen dann eben auch nicht mehr.

Ein freundliches

Code: Select all

sudo service mysql start

hat das Problem dann behoben.

Ich habe allerdings keine Hinweise in den Protokollen die KeyHelp anbietet, finden können und weiß somit nicht, warum das passierte.

1) Habt Ihr Ideen, wie ich dahinter kommen kann?

2a) Wie macht Ihr das so? Habt Ihr ein Monitoring eingerichtet, dass euch darüber Auskunft gibt, falls ein Dienst versagt?

2b) Habt ihr Cron Jobs eingerichtet, die einen Dienst neu starten, falls einer nicht läuft?

Danke!

Marco

[mhagge]

Die MySQL-Logs sind imho nicht über die Keyhelp-Oberfläche einsehbar. Unter Debian (Ubuntu müsste es identisch sein) sind sie unter /var/log/mysql zu finden. Dort mal nachschauen, da müsste es einen Eintrag geben

Zu 2a und b) Monit ist Dein Freund: https://wiki.ubuntuusers.de/Monit/ (funktioniert mit Debian genauso)

[Jolinar]

(Frohes Neues Jahr!)

Dito

Habt Ihr Ideen, wie ich dahinter kommen kann?

Eine weitere Anlaufstelle wäre syslog.
Deine Fehlerbeschreibung klingt verdächtig nach einem OOM Kill...Hat der Server ausreichend Hardwareressourcen, hier speziell RAM?

[Webrockers]

Vielen lieben Dank!

Da werde ich mal nachschauen.

OOM Kill.. interessant.
Auf dem Server läuft eigentlich (!) nicht viel Anspruchvolles. Aber was weiss ich schon.
Ein kleiner Programmierfehler.. wissen wir ja.

Ich habe erst letztes Jahr (haha, also letzte Woche) ein Wiki auf den Server umgezogen, da ich es auf dem vorherigen Hostingtarif eines anderen Anbieters nicht mehr aktualisieren konnte.

Ich werde Feedback geben, falls ich was herausfinde.

[Webrockers]

Mhmm.. laut syslog hat tatsächlich der OOM Killer zugeschlagen.
Aber warum?

Code: Select all

Jan  3 10:09:18 km31411-05 kernel: [4754669.010648] oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=/,mems_allowed=0,global_oom,task_memcg=/system.slice/mariadb.service,task=mariadbd,pid=24161,uid=109
Jan  3 10:09:18 km31411-05 kernel: [4754669.012351] Out of memory: Killed process 24161 (mariadbd) total-vm:3154768kB, anon-rss:1106792kB, file-rss:0kB, shmem-rss:0kB, UID:109 pgtables:2412kB oom_score_adj:0
Jan  3 10:09:18 km31411-05 systemd[1]: mariadb.service: A process of this unit has been killed by the OOM killer.
Jan  3 10:09:18 km31411-05 systemd[1]: mariadb.service: Main process exited, code=killed, status=9/KILL
Jan  3 10:09:18 km31411-05 systemd[1]: mariadb.service: Failed with result 'oom-kill'.
Jan  3 10:09:18 km31411-05 systemd[1]: mariadb.service: Consumed 41min 26.784s CPU time.

Das einzig auffällige unmittelbar davor war im Zusammenhang mit Clam

Code: Select all

Jan  3 10:09:04 km31411-05 amavis[980076]: (980076-20) (!)connect to /var/run/clamav/clamd.ctl failed, attempt #1: Can't connect to a UNIX socket /var/run/clamav/clamd.ctl: Connection refused
Jan  3 10:09:04 km31411-05 amavis[988806]: (988806-20) (!)connect to /var/run/clamav/clamd.ctl failed, attempt #1: Can't connect to a UNIX socket /var/run/clamav/clamd.ctl: Connection refused
Jan  3 10:09:05 km31411-05 amavis[980076]: (980076-20) (!)connect to /var/run/clamav/clamd.ctl failed, attempt #1: Can't connect to a UNIX socket /var/run/clamav/clamd.ctl: Connection refused
Jan  3 10:09:05 km31411-05 amavis[980076]: (980076-20) (!)ClamAV-clamd: All attempts (1) failed connecting to /var/run/clamav/clamd.ctl, retrying (2)
Jan  3 10:09:05 km31411-05 amavis[988806]: (988806-20) (!)connect to /var/run/clamav/clamd.ctl failed, attempt #1: Can't connect to a UNIX socket /var/run/clamav/clamd.ctl: Connection refused
Jan  3 10:09:05 km31411-05 amavis[988806]: (988806-20) (!)ClamAV-clamd: All attempts (1) failed connecting to /var/run/clamav/clamd.ctl, retrying (2)
Jan  3 10:09:11 km31411-05 amavis[980076]: (980076-20) (!)connect to /var/run/clamav/clamd.ctl failed, attempt #1: Can't connect to a UNIX socket /var/run/clamav/clamd.ctl: Connection refused
Jan  3 10:09:11 km31411-05 amavis[980076]: (980076-20) (!)ClamAV-clamd av-scanner FAILED: run_av error: Too many retries to talk to /var/run/clamav/clamd.ctl (All attempts (1) failed connecting to /var/run/clamav/clamd.ctl) at (eval 99) line 659.\n
Jan  3 10:09:11 km31411-05 amavis[980076]: (980076-20) (!)WARN: all primary virus scanners failed, considering backups
Jan  3 10:09:11 km31411-05 amavis[988806]: (988806-20) (!)connect to /var/run/clamav/clamd.ctl failed, attempt #1: Can't connect to a UNIX socket /var/run/clamav/clamd.ctl: Connection refused
Jan  3 10:09:11 km31411-05 amavis[988806]: (988806-20) (!)ClamAV-clamd av-scanner FAILED: run_av error: Too many retries to talk to /var/run/clamav/clamd.ctl (All attempts (1) failed connecting to /var/run/clamav/clamd.ctl) at (eval 99) line 659.\n
Jan  3 10:09:11 km31411-05 amavis[988806]: (988806-20) (!)WARN: all primary virus scanners failed, considering backups
Jan  3 10:09:18 km31411-05 kernel: [4754668.905772] clamscan invoked oom-killer: gfp_mask=0x100dca(GFP_HIGHUSER_MOVABLE|__GFP_ZERO), order=0, oom_score_adj=0

Und laut Dump haben zwei clamscan Prozesse zusammen mehr Speicher belegt

Code: Select all

Jan  3 10:09:18 km31411-05 kernel: [4754669.006809] [1749652]   119 1749652   232240   209996  1789952        0             0 clamscan
Jan  3 10:09:18 km31411-05 kernel: [4754669.007778] [1749653]   119 1749653   230640   206147  1761280        0             0 clamscan

als der eine mariadbd

Code: Select all

Jan  3 10:09:18 km31411-05 kernel: [4754668.973817] [  24161]   109 24161   788692   276698  2469888        0             0 mariadbd

Ich dachte ja schon, dass die Kiste hardwareseitig von KeyWeb so designt wurde, dass die Konfiguration von KeyHelp dazu passt und umgekehrt.

Und so richtig herumkonfiguriert hab ich an dem System noch gar nicht. Also: Keine Kritik, nur Suche nach Ursachen und Verbesserung der Situation.

(Ich lese, ich lerne, ich versuche zu verstehen.)

Meine Vermutung und Frage: der OOM Reaper Daemon killt den größten RAM-Nutzer, auch wenn dieser nichts dafür kann?

Und wenn tatsächlich Clam den Ärger verursacht, er war ja schon vorinstalliert und -konfiguriert... was mache ich denn nun?


P.S.

Danke, Markus @mhagge für den Wink zu monit. Ich werde mir das anschauen. Klingt passend.

[Tobi]

Tatsächlich killt der OOM Killer einen zufälligen Prozess welcher nicht die Systemstabilität beeinträchtigt.

[Jolinar]

Und wenn tatsächlich Clam den Ärger verursacht, er war ja schon vorinstalliert und -konfiguriert... was mache ich denn nun?

Meine Überzeugung teilen...Virenscan ist Aufgabe des Clients und nicht des Servers.
Ich hab clamav bei mir auf allen Systemen deaktiviert.

[Webrockers]

Und wenn tatsächlich Clam den Ärger verursacht, er war ja schon vorinstalliert und -konfiguriert... was mache ich denn nun?

Meine Überzeugung teilen...Virenscan ist Aufgabe des Clients und nicht des Servers.
Ich hab clamav bei mir auf allen Systemen deaktiviert.

Ich teile deine Überzeugung!

Virenkiller sind Schlangenöl.

[24unix]

Virenkiller sind Schlangenöl.

Es gibt für ernstzunehmende Systeme doch gar keine echten Viren.

[Webrockers]

Zu ClamAV gehört auch Amavis wenn ich das richtig verstehe?

[Jolinar]

Es gibt für ernstzunehmende Systeme doch gar keine echten Viren.

Naja...Es gibt schon ein paar Ausnahmen (zB. Stuxnet)...Aber mit solchen Systemen haben wir ja glücklicherweise nichts zu tun.

[Jolinar]

Zu ClamAV gehört auch Amavis wenn ich das richtig verstehe?

Jaein...Amavis werkelt auch noch auf dem Gebiet der Spamerkennung mit.

[24unix]

Es gibt für ernstzunehmende Systeme doch gar keine echten Viren.

Naja...Es gibt schon ein paar Ausnahmen (zB. Stuxnet)...Aber mit solchen Systemen haben wir ja glücklicherweise nichts zu tun.

Laut Wiki ist da aber hauptsächlich dieser Spielestarter verantwortlich, also kein ernstzunehmendes System:

Die Einzigartigkeit von Stuxnet zum Zeitpunkt seiner Entdeckung zeigt sich insbesondere in der Art seiner Verbreitung durch
Ausnutzung mehrerer teilweise bis dahin unbekannter Sicherheitslücken der Microsoft-Betriebssysteme ab Windows 2000 bis zu Windows 7 oder Windows Server 2008 R2,[T 5]

Installation eines Rootkits in diesen Betriebssystemen mit Hilfe gestohlener digitaler Signaturen der taiwanischen Hardware-Hersteller Realtek und JMicron Technology,[T 6]

genaue Kenntnisse des Prozessvisualisierungssystems WinCC zur Überwachung und Steuerung technischer Prozesse mit Simatic S7 (engl. ICS: Industrial Control System) sowie

Installation eines weiteren Rootkits in der Steuerung (SPS, engl. PLC: Programmable Logic Controller) einer solchen PCS-7-Anlage.[T 7]

[Jolinar]

Zu ClamAV gehört auch Amavis wenn ich das richtig verstehe?

Jaein...Amavis werkelt auch noch auf dem Gebiet der Spamerkennung mit.

Ich wollte es erst als Edit in den Post einfügen, aber dann könnte man es überlesen...

Bezüglich Amavis bitte auch mal hier reinlesen, damit du nicht in dieselbe Falle tappst wie ich



Edit:
Da ich nun schon mal den älteren Thread ausgebuddelt habe, eine Frage an
@Alex:
Ist die Funktion des Stoppens des Amavis im Panel inzwischen so weit angepaßt worden, daß die entsprechende Zeile in der main.cf von KeyHelp (rebootfest) auskommentiert wird?

[Webrockers]

@Jolinar

Danke!

Amavis hatte ich vor deinem Hinweis zur SPAM-Filterung tatsächlich deaktiviert gehabt, aber anschließend wieder aktiviert.
(ClamAV bleibt deaktiviert).