Erfassung der HTTP hits pro Kunde und Monat [GELÖST]

[lutvit]

Hallo.

KeyHelp ist ein sehr gutes und zuverlässiges Control Panel, besonders nützlich finde ich das API. Doch da fehlt etwas…

Es wäre super, wenn man für jeden Kundenaccount die Gesamtanzahl der HTTP hits, vielleicht auch FTP hits im aktuellen Monat wissen würde. Insbesondere sollte es möglich sein, dass man via API unter den Statistiken die HTTP hits abrufen könnte, denn je mehr HITS ein Kunde erzeugt, desto mehr Server-Ressourcen nutzt dieser, besonders, wenn eine Software wie WordPress im Hintergrund läuft.

Nur die Anzeige oder der Abruf des Traffics über das API ist meiner Meinung nach nicht ausreichend.

Über das API hat man auch keinen Zugriff auf die Access logs der Websites, was ebenfalls sehr ungünstig ist.

Viele Grüße.

[Jolinar]

Es wäre super, wenn man für jeden Kundenaccount die Gesamtanzahl der HTTP hits, vielleicht auch FTP hits im aktuellen Monat wissen würde.

Externe Verbindungen sollten IMHO heutzutage ausschließlich verschlüsselt erfolgen.
AKtiviere doch einfach bei den betreffenden Domains die Zwangsweiterleitung auf https: und in der Panelkonfiguration beim FTP-Server den FTPS-Zwang, dann löst sich der Teil deines Wunsches ja vielleicht schon auf.

[lutvit]

Externe Verbindungen sollten IMHO heutzutage ausschließlich verschlüsselt erfolgen.
AKtiviere doch einfach bei den betreffenden Domains die Zwangsweiterleitung auf https: und in der Panelkonfiguration beim FTP-Server den FTPS-Zwang, dann löst sich der Teil deines Wunsches ja vielleicht schon auf.

Was hat das Zählen der HTTP hits mit Verschlüsselung zu tun? Es geht hier um das Zählen aller externen Zugriffe auf Dateien, die zu einem Kunden gehören, und das Festhalten/Auslesen dieser Zahl. Auch HTTPS hits können gezählt werden, sind ja nur Verbindungen im Access log von Apache.

[24unix]

Nimm doch einfach Matomo.

[lutvit]

Nimm doch einfach Matomo.

Matomo ist eine externe Analytics Software und ist in diesem Fall das falsche Werkzeug, ich benötige nur die Anzahl der Zugriffe per Kunden oder Domain, die im Access log von Apache aufgeführt sind. Die Zugriffszahlen werden bereits sowieso im log festgehalten, warum diese nicht auch im Admin Interface und per API einsehen/auslesen können?

Im KeyHelp Interface, unter „Systemstatus“ -> „Protokolle“ könnte man den Apache log im raw Format anzeigen lassen. Dort ist sogar ein „php-error.log“ zu finden, für einen „apache-access.log“ sollte sich sicherlich auch ein Platz finden lassen. Idealerweise könnte man den access log auch per API abrufen, dadurch könnte man unter anderem Angriffsversuche aus dem Web schneller und automatisch erkennen und natürlich auch mit den Zugriffszahlen herumspielen.

[Tobi]

matomo kann sehr wohl lokale Logdateien auswerten.
Den Apache Access Log siehst du bereits wenn dich als Kunde anmeldest und in der Domainübersicht oben rechts auf den entsprechenden Menupunkt klickst.

Abrufen der Logfiles mittels API könnte man sicherlich irgendwie machen. Aber statt dessen könnte man sich die relevanten Logs auch per rsync und Co. holen und auswerten.

[lutvit]

Matomo ist für den Endnutzer und nicht für den Admin. Der Admin braucht Zugriff auf rohe Daten, in diesem Fall auf Access Log von Apache, am besten über API, um mit diesen im Backend arbeiten zu können.

[24unix]

Der Admin braucht Zugriff auf rohe Daten, in diesem Fall auf Access Log von Apache, am besten über API, um mit diesen im Backend arbeiten zu können.

Die liegen unter ~/logs.

Mit zusätzlichen Apache-Direktiven kann Du die auch per Domain schreiben lassen.

Also hat der Admin alles was er zum Auswerten braucht, wenn er es denn kann.

[Alexander]

Die Anzahl der Requests kann ich noch mit ermitteln. Ich habe die einzelnen "Zeilen" der Logs ohnehin im Zuge der Traffic-Statistik schon "identifiziert" muss also theoretisch nur noch einen Counter hochzählen. Habs mir mal notiert.

Im KeyHelp Interface, unter „Systemstatus“ -> „Protokolle“ könnte man den Apache log im raw Format anzeigen lassen. Dort ist sogar ein „php-error.log“ zu finden, für einen „apache-access.log“ sollte sich sicherlich auch ein Platz finden lassen.

Das ist übrigens das KeyHelp eigene Fehlerprotokoll, das hat nicht unbedingt was mit den Webserver-Protokollen zu tun.

[24unix]

Das ist übrigens das KeyHelp eigene Fehlerprotokoll, das hat nicht unbedingt was mit den Webserver-Protokollen zu tun.

Da habe ich gerade mal aus Neugierde reingeschaut:

Code: Select all

[12-Apr-2022 02:30:23 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
[12-Apr-2022 03:40:39 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
[12-Apr-2022 03:40:39 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
[12-Apr-2022 05:45:37 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
[12-Apr-2022 06:19:49 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
[12-Apr-2022 06:34:24 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
[12-Apr-2022 06:49:42 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
[12-Apr-2022 06:49:42 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647

Versucht wohl was zu löschen, was gar nicht existiert.

[Alexander]

Wird der mastercronjob bei dir mehrfach gestartet, läuft der irgendwie doppelt?
Was sagt das syslog wenn er den Cronjob minütlich startet.

[24unix]

Wird der mastercronjob bei dir mehrfach gestartet, läuft der irgendwie doppelt?
Was sagt das syslog wenn er den Cronjob minütlich startet.

Ich gaueb nicht, dass er doppelt gestartet wird:

Code: Select all

# journalctl -f|grep cron
Apr 12 12:29:01 h***.net CRON[1338665]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Apr 12 12:29:01 h2967204.stratoserver.net CRON[1338666]: (root) CMD (nice -n 5 php /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php)
Apr 12 12:29:08 h***.net CRON[1338665]: pam_unix(cron:session): session closed for user root
Apr 12 12:30:01 h***.net CRON[1338790]: pam_unix(cron:session): session opened for user tracer(uid=5002) by (uid=0)
Apr 12 12:30:01 h***.net CRON[1338789]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Apr 12 12:30:01 h***.net CRON[1338791]: pam_unix(cron:session): session opened for user tracer(uid=5002) by (uid=0)
Apr 12 12:30:01 h***.stratoserver.net CRON[1338794]: (root) CMD (nice -n 5 php /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php)
Apr 12 12:30:01 h***.net CRON[1338792]: pam_unix(cron:session): session opened for user tracer(uid=5002) by (uid=0)
Apr 12 12:30:01 h***.net CRON[1338795]: (tracer) CMD (php /home/users/tracer/www/rchelifan.org/bin/phpbbcli.php cron:run > /dev/null)
Apr 12 12:30:01 h***.net CRON[1338796]: (tracer) CMD (php /home/users/tracer/www/***.net/nextcloud/cron.php)
Apr 12 12:30:02 h***.net CRON[1338792]: pam_unix(cron:session): session closed for user tracer
Apr 12 12:30:04 h***.net CRON[1338791]: pam_unix(cron:session): session closed for user tracer
Apr 12 12:30:05 h***.net CRON[1338789]: pam_unix(cron:session): session closed for user root
Apr 12 12:30:05 h***.net CRON[1338790]: pam_unix(cron:session): session closed for user tracer

[lutvit]

Das ist übrigens das KeyHelp eigene Fehlerprotokoll, das hat nicht unbedingt was mit den Webserver-Protokollen zu tun.

Stimmt, mein Fehler, der Apache log sollte natürlich relativ zu der jeweiligen Domain sein.

[Alexander]

Die Apache-Logs würde ich vorerst nicht über die API ausgeben wollen. Das ist schon ein sehr spezieller Use-Case. Aber wer so etwas benötigt, kann sich dies gern selber basteln. Sie Daten dafür liegen unter /home/<BENUTZERNAME>/logs/.

Die Anzahl der Requests kann ich ggf. gern über die API im Punkt Client-Statistik mit ausgeben.

@24Unix
Hmm, sehr kurios, zumal zum Einen die Fehlermeldung doppelt erscheint und zum Anderen das an besagter Stelle im Code kurz vorher zunächst geprüft wird, ob die Datei existiert, wenn nicht, wird garnicht versucht sie zu löschen.
Hab ich so auch noch nirgendwo gesehen, diese Meldung.

[24unix]

@24Unix
Hmm, sehr kurios, zumal zum Einen die Fehlermeldung doppelt erscheint und zum Anderen das an besagter Stelle im Code kurz vorher zunächst geprüft wird, ob die Datei existiert, wenn nicht, wird garnicht versucht sie zu löschen.
Hab ich so auch noch nirgendwo gesehen, diese Meldung.

Hmm, wird wohl nicht weiter schlimm sein, ist mir halt nur aufgefallen, weil ich mir die Logs mal angesehen habe.