KeyHelp arbeitet selbstständig keine Aufgaben mehr ab [GELÖST]

[zitrone]

Ich bin sicher, dass die Ursache des Problems bei KeyHelp liegt
Das Problem hat durchaus KeyHelp Bezug, es liegt aber wahrscheinlich eine andere Ursache vor.


Server-Betriebssystem + Version
Debian 12.7 (64-bit)


Eingesetzte Server-Virtualisierung-Technologie
KVM


KeyHelp-Version + Build-Nummer
24.2 (Build 3326)

Problembeschreibung / Fehlermeldungen
KeyHelp arbeitet selbstständig keine Aufgaben mehr ab. Egal ob man bei Einstellungen->Wartungsintervalle den Knopf für "Jetzt starten" drückt oder abwartet, es werden keine Aufgaben abgearbeitet. Sollte ich mich in meine Shell begeben, keyhelp-toolbox ausführen und die Aktion "1) Benutzer-Konfigurationsdateien neu schreiben (Apache, Bind9, PHP-FPM)" anwählen, werden alle Aufgaben problemfrei abgearbeitet. Dasselbe gilt für die manuelle Ausführung des Mastercrons via CLI.
Abgesehen von diesem Problem scheint alles makellos.

Das Problem ähnelt insgesamt sehr diesem Post aus 2019: viewtopic.php?t=8537

Erwartetes Ergebnis
KeyHelp arbeitet selbstständig und ohne zusätzliche (CLI) Nutzerinteraktion Aufgaben im minütlichen Intervall ab.

Tatsächliches Ergebnis
Nichts passiert. Soweit ich beurteilen kann, werden aus logs keine Fehler ersichtlich. Diese hören auch meist bei der letzten Ausführung auf, was dann den Umständen entsprechend einige Zeit her ist.

Schritte zur Reproduktion
1. Frische (Debian 12) Instanz aufsetzen
2. KeyHelp installieren
3. Wazuh installieren - Hier habe ich den Port des Wazuh Webinterfaces auf 8443 anstelle von 443 gesetzt, in der Hoffnung dies würde die meisten Komplikationen vermeiden. Tut es auch, Wazuh hat schließlich keine Probleme, nur KeyHelp.

Zusätzliche Informationen
Moin! Dies ist mein erster Post im KeyHelp Forum, wenn ich hier also etwas irgendwie besser schreiben könnte, dann lass es mich bitte wissen. Gerne auch anderweitiges Feedback!
Ich weiß ja in etwa wo das Problem liegt, nur dass ich die Lösung nicht alleine gebacken bekomme. Für jegliche Hilfe bin ich dankbar!

Ich habe Wazuh auf demselben System wie KeyHelp installiert. Wieso? Natürlich aus Kostengründen

In php-error.log findet sich tatsächlich ein Fehler, dass dieser Problembezug hat bezweifele ich aber:

Code: Select all

[02-Sep-2024 02:01:35 Europe/Berlin] PHP Notice:  fgets(): Read of 8192 bytes failed with errno=5 Input/output error in /home/keyhelp/www/keyhelp/core-ns/UI/Cli/Cli.php on line 64

Server Informationen:

Code: Select all

Hostname                      : web.[REDACTED].de
IP-Adressen                   : [REDACTED], [REDACTED]
Prozessor                     : AMD EPYC 7443P 24-Core Processor (amd64)
CPU-Kerne                     : 4 @ 2,84 GHz
System-Virtualisierung        : KVM
Serverzeit                    : 02. September 2024 um 09:14:19
Betriebszeit                  : Tage 0 / Stunden 6 / Minuten 55

Server-Auslastung
CPU-Auslastung                : 3,00 % (0,12 / 0,06 / 0,01)
Prozessanzahl                 : 149
E-Mails in Warteschlange      : 0
Speicherplatz                 : Frei:  79,50 GiB     Belegt:  12,37 GiB     Gesamt:  96,82 GiB
Arbeitsspeicher               : Frei: 788,69 MiB     Belegt:   3,05 GiB     Gesamt:   3,82 GiB
Swap-Speicher                 : Frei:  14,60 GiB     Belegt:   2,40 GiB     Gesamt:  17,00 GiB

Anwendungen
Betriebssystem                : Debian 12.7 (64-bit)
KeyHelp                       : 24.2 (Build 3326)
Kernel                        : Kernel 6.1.0-25-amd64
Webserver                     : Apache 2.4.62
DNS-Server                    : BIND 9.18.28
PHP                           : PHP 8.2.20
Datenbank-Server              : MariaDB 10.11.6
FTP-Server                    : ProFTPD 1.3.8
Mail Transfer Agent (MTA)     : Postfix 3.7.11
Mail Delivery Agent (MDA)     : Dovecot 2.3.19.1
E-Mail-Sicherheitsplattform   : Rspamd 3.9.1
Virenscanner                  : ClamAV 1.0.5
Datenbank-Administration      : phpMyAdmin 5.2.1
Webmail                       : Roundcube 1.6.8
Kryptographie                 : OpenSSL 3.0.14
Datenübertragung              : curl 7.88.1
Backup-Software               : Restic 0.16.5
Backup-Datenübertragung       : Rclone 1.67.0
In-Memory-Datenbank-Server    : Redis 7.0.15

Dienst-/Portüberwachung
FTP           (21/TCP)        : Online
SSH           (22/TCP)        : Online
DNS           (53/TCP)        : Online
HTTP          (80/TCP)        : Online
HTTPS         (443/TCP)       : Online
SMTP          (587/TCP)       : Online
IMAP          (993/TCP)       : Online
POP3          (995/TCP)       : Online
MariaDB/MySQL (3306/TCP)      : Online

Ausstehende Aktualisierungen des Paketmanagers
Anzahl der Updates            : 0
Anzahl der Sicherheitsupdates : 0
Neustart erforderlich         : Nein

Neu schreiben von Benutzer-Konfigurationsdateien / abarbeiten von Aufgaben per keyhelp-toolbox:

Code: Select all

[PID-26980] [02-Sep-2024 09:13:22] INFO | forced to run "update.php"
[PID-26980] [02-Sep-2024 09:13:22] INFO | jobs to run: update.php
[PID-26980] [02-Sep-2024 09:13:22] INFO | >>> trying to run "update"
[PID-26980] [02-Sep-2024 09:13:22] INFO | lock "update" acquired
[PID-26980] [02-Sep-2024 09:13:22] INFO | processing the job ...
[02-Sep-2024 09:13:22] INFO | load tasks... 2 found
[02-Sep-2024 09:13:22] INFO | task type IDs: update_bind_client_configs, update_apache_client_configs
[02-Sep-2024 09:13:22] INFO | Task: update_bind_client_configs
[02-Sep-2024 09:13:22] INFO | Params: - no params -
[02-Sep-2024 09:13:22] INFO | Task: update_apache_client_configs
[02-Sep-2024 09:13:22] INFO | Params: - no params -
[02-Sep-2024 09:13:22] INFO | Bind: writeConfig()
[02-Sep-2024 09:13:22] INFO | Bind: checkDirectory()
[02-Sep-2024 09:13:22] INFO | Bind: directory "/etc/bind/keyhelp_domains/" already exists
[02-Sep-2024 09:13:22] INFO | Bind: 2 name servers found
[02-Sep-2024 09:13:22] INFO | Bind: 2 ips found
[02-Sep-2024 09:13:22] INFO | Bind: read/generate dkim for domain "[REDACTED].de"
[02-Sep-2024 09:13:22] INFO | Bind: clean-up bind
[02-Sep-2024 09:13:22] INFO | Bind: clean-up dkim
[02-Sep-2024 09:13:22] INFO | Bind: generateMainConfiguration()
[02-Sep-2024 09:13:22] INFO | Bind: write config file "named.conf.keyhelp"
[02-Sep-2024 09:13:22] INFO | Bind: checkSyntax()
[02-Sep-2024 09:13:22] INFO | Bind: check zones
[02-Sep-2024 09:13:22] INFO | Bind: check general configs
[02-Sep-2024 09:13:22] INFO | Bind: syntax ok
[02-Sep-2024 09:13:22] INFO | Bind: reload bind config
[02-Sep-2024 09:13:22] INFO | Apache: applyAllConfigChanges()
[02-Sep-2024 09:13:22] INFO | Apache: clean obsolete config and log files
[02-Sep-2024 09:13:22] INFO | Apache: getUserIdsWithModifiedDomains()
[02-Sep-2024 09:13:22] INFO | Apache: Applying configurations for user id "2"
[02-Sep-2024 09:13:22] INFO | Apache: config data loaded for user id "2" ("[REDACTED]")
[02-Sep-2024 09:13:22] INFO | Apache: load domain "[REDACTED].de"
[02-Sep-2024 09:13:22] INFO | domain uses lets encrypt - check if certs are already available
[02-Sep-2024 09:13:22] INFO | okay
[02-Sep-2024 09:13:22] INFO | Apache: add vhost container for domain "[REDACTED].de"
[02-Sep-2024 09:13:22] INFO | Apache: save config to "/etc/apache2/keyhelp/vhosts/[REDACTED].conf"
[02-Sep-2024 09:13:22] INFO | PHP-FPM: add php-fpm pool "[[REDACTED]]" for domain "[REDACTED].de"
[02-Sep-2024 09:13:22] INFO | save config to "/etc/php/8.2/fpm/keyhelp_pool/[REDACTED].conf"
[02-Sep-2024 09:13:22] INFO | Apache: subdomain catch-all updated
[02-Sep-2024 09:13:22] INFO | Apache: syntax ok
[02-Sep-2024 09:13:22] INFO | Apache: reloading apache
[02-Sep-2024 09:13:22] INFO | PHP-FPM (php8.2-fpm): syntax ok
[02-Sep-2024 09:13:22] INFO | PHP-FPM (php8.2-fpm): reloading php-fpm
[02-Sep-2024 09:13:24] INFO | SNI configuration updated
[PID-26980] [02-Sep-2024 09:13:24] INFO | <<< job done, releasing lock "update"

 Alle Aufgaben abgeschlossen.
Drücken Sie [ENTER], um zum Hauptmenü zurückzukehren.

Starten des Mastercron am CLI:

Code: Select all

root@web ~ # php /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php
[PID-27597] [02-Sep-2024 09:13:36] INFO | no jobs to run ...
root@web ~ # php /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php
[PID-29376] [02-Sep-2024 09:17:32] INFO | jobs to run: update.php
[PID-29376] [02-Sep-2024 09:17:32] INFO | >>> trying to run "update"
[PID-29376] [02-Sep-2024 09:17:32] INFO | lock "update" acquired
[PID-29376] [02-Sep-2024 09:17:32] INFO | processing the job ...
[02-Sep-2024 09:17:32] INFO | load tasks... nothing to do
[PID-29376] [02-Sep-2024 09:17:32] INFO | <<< job done, releasing lock "update"

php -v CLI output:

Code: Select all

PHP 8.2.20 (cli) (built: Jun 17 2024 13:33:14) (NTS)
Copyright (c) The PHP Group
Zend Engine v4.2.20, Copyright (c) Zend Technologies
    with the ionCube PHP Loader v13.3.0, Copyright (c) 2002-2024, by ionCube Ltd.
    with SourceGuardian v15.0.0, Copyright (c) 2000-2024, by SourceGuardian Ltd.
    with Zend OPcache v8.2.20, Copyright (c), by Zend Technologies

[Florian]

Hallo,

der Cronjobs unter /etc/cron.d ist aber da und auch mit Inhalt befüllt?

-rw-r--r-- 1 root root 256 9. Jul 11:59 keyhelp

Code: Select all

#
# Created by KeyHelp
#
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=""

# Minute Hour Day Month Day-Of-Week User Command
*/1 * * * * root nice -n 5 php /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php
# EOF

Und der Cron Dienst läuft auch?

[zitrone]

Nein, ein KeyHelp cron ist im Verzeichnis /etc/cron.d nicht auffindbar. Ich nehme an, ich soll die aufgeführte crontab Datei selbst mal anlegen?

Code: Select all

root@web /etc/cron.d # ls -al
total 28
drwxr-xr-x   2 root root 4096 Sep  2 10:17 .
drwxr-xr-x 105 root root 4096 Sep  2 01:27 ..
-rw-r--r--   1 root root  102 Mar  2  2023 .placeholder
-rw-r--r--   1 root root  201 Mar  5  2023 e2scrub_all
-rw-r--r--   1 root root  589 Feb 24  2023 mdadm
-rw-r--r--   1 root root  140 Jan 17  2023 ntpsec
-rw-r--r--   1 root root  712 Jul 13  2022 php

Nachtrag: Ja, cron.service läuft fehlerfrei.
---------

Hallo,

der Cronjobs unter /etc/cron.d ist aber da und auch mit Inhalt befüllt?

-rw-r--r-- 1 root root 256 9. Jul 11:59 keyhelp

Code: Select all

#
# Created by KeyHelp
#
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=""

# Minute Hour Day Month Day-Of-Week User Command
*/1 * * * * root nice -n 5 php /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php
# EOF

Und der Cron Dienst läuft auch?

[Alexander]

Ich nehme an, ich soll die aufgeführte crontab Datei selbst mal anlegen?

Ja.


Da fehlen bei dir ggf. noch weitere Dateien in /etc/cron.d/, hier der Vollständigkeit halber:

/etc/cron.d/keyhelp

Code: Select all

#
# Created by KeyHelp
#
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=""

# Minute Hour Day Month Day-Of-Week User Command
*/1 * * * * root nice -n 5 php /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php
# EOF

/etc/cron.d/keyhelp-firewall

Code: Select all

#
# Created by KeyHelp
#
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=""

# Minute Hour Day Month Day-Of-Week User Command
@reboot root bash /home/keyhelp/www/keyhelp/bin/keyhelp_load_rules.sh
# EOF

Je nachdem ob das die Option "Konfiguration -> E-Mail-Server -> Spam-Filter trainieren" aktiviert ist:
/etc/cron.d/keyhelp-rspamd-learn

Je nachdem ob der Server mit KeyHelp Pro läuft und das Monitoring aktiviert wurde:
/etc/cron.d/keyhelp-monitoring

[zitrone]

Huch, wie das passieren konnte ist mir ein großes Rätsel.

Funktioniert soweit ziemlich gut, der Knopf "Jetzt starten" im Tab Wartungsintervalle scheint jedoch immer noch nichts zu bewirken. Halb so wild, immerhin arbeitet er nun jede Minute selbstständig Aufgaben ab.

Bezüglich der /etc/cron.d/keyhelp-rspamd-learn habe ich in einem deiner alten Beiträge eine Datei gefunden die halbwegs passend aussieht. Gibt's da inzwischen Änderungen oder kann diese immer noch so verwendet werden?

Je nachdem ob das die Option "Konfiguration -> E-Mail-Server -> Spam-Filter trainieren" aktiviert ist:
/etc/cron.d/keyhelp-rspamd-learn

[Alexander]

Bezüglich der /etc/cron.d/keyhelp-rspamd-learn habe ich in einem deiner alten Beiträge eine Datei gefunden die halbwegs passend aussieht. Gibt's da inzwischen Änderungen oder kann diese immer noch so verwendet werden?

Deaktiviere einmal die genannte Checkbox -> Speichern, dann aktivierst du sie wieder -> Speichern. Dann hast du die aktuellste Version.

Funktioniert soweit ziemlich gut, der Knopf "Jetzt starten" im Tab Wartungsintervalle scheint jedoch immer noch nichts zu bewirken. Halb so wild, immerhin arbeitet er nun jede Minute selbstständig Aufgaben ab.

Versuch das einfach in ein paar Minuten nochmal. Es sollte eigentlich nun funktionieren. Wenn es dann immer noch nicht geht kann ich auch mal auf den Server schauen (in dem Fall einmal root Zugangsdaten per PM schicken)

[zitrone]

Super, die rspamd-learn crontab Datei existiert nun!

Ich reiche dir mal den root access durch, vielleicht wirst du aus dem Server irgendwie schlauer als ich.

Offtopic: Das sind hier aber auch so Probleme die ich mit KeyHelp sonst nie hatte. Letztens eine saubere Ubuntu 24.04 Instanz mit KeyHelp aufgesetzt, da hat er mir dann einfach keinen DKIM Wert generiert. Direkt zurück auf Debian

Versuch das einfach in ein paar Minuten nochmal. Es sollte eigentlich nun funktionieren. Wenn es dann immer noch nicht geht kann ich auch mal auf den Server schauen (in dem Fall einmal root Zugangsdaten per PM schicken)

[Alexander]

Der Grund, warum die Cron-Dateien nicht existierten lag daran, dass die KeyHelp-Installation vor der Installation der Dateien abgebrochen wurde. Entsprechend konnte die Installation nicht vollständig durchgeführt werden.