Erfassung der HTTP hits pro Kunde und Monat  [GELÖST]

lutvit
Posts: 20
Joined: Tue 8. Aug 2017, 20:30
Contact:

Erfassung der HTTP hits pro Kunde und Monat

Post by lutvit »

Hallo.

KeyHelp ist ein sehr gutes und zuverlässiges Control Panel, besonders nützlich finde ich das API. Doch da fehlt etwas…

Es wäre super, wenn man für jeden Kundenaccount die Gesamtanzahl der HTTP hits, vielleicht auch FTP hits im aktuellen Monat wissen würde. Insbesondere sollte es möglich sein, dass man via API unter den Statistiken die HTTP hits abrufen könnte, denn je mehr HITS ein Kunde erzeugt, desto mehr Server-Ressourcen nutzt dieser, besonders, wenn eine Software wie WordPress im Hintergrund läuft.

Nur die Anzeige oder der Abruf des Traffics über das API ist meiner Meinung nach nicht ausreichend.

Über das API hat man auch keinen Zugriff auf die Access logs der Websites, was ebenfalls sehr ungünstig ist.

Viele Grüße.
User avatar
Jolinar
Community Moderator
Posts: 3560
Joined: Sat 30. Jan 2016, 07:11
Location: Weimar (Thüringen)
Contact:

Re: Erfassung der HTTP hits pro Kunde und Monat

Post by Jolinar »

lutvit wrote: Mon 11. Apr 2022, 20:29 Es wäre super, wenn man für jeden Kundenaccount die Gesamtanzahl der HTTP hits, vielleicht auch FTP hits im aktuellen Monat wissen würde.
Externe Verbindungen sollten IMHO heutzutage ausschließlich verschlüsselt erfolgen.
AKtiviere doch einfach bei den betreffenden Domains die Zwangsweiterleitung auf https: und in der Panelkonfiguration beim FTP-Server den FTPS-Zwang, dann löst sich der Teil deines Wunsches ja vielleicht schon auf. ;)
Wenn jemand inkompetent ist, dann kann er nicht wissen, daß er inkompetent ist. (David Dunning)

Data Collector für Community Support
___
Ich verwende zwei verschiedene Schriftfarben in meinen Beiträgen /
I use two different font colors in my posts:
  • In dieser Farbe schreibe ich als Moderator und gebe moderative Hinweise oder begründe moderative Eingriffe /
    In this color, I write as a moderator and provide moderative guidance or justify moderative interventions
  • In dieser Farbe schreibe ich als Community Mitglied und teile meine private Meinung und persönlichen Ansichten mit /
    In this color, I write as a community member and share my personal opinions and views
lutvit
Posts: 20
Joined: Tue 8. Aug 2017, 20:30
Contact:

Re: Erfassung der HTTP hits pro Kunde und Monat

Post by lutvit »

Jolinar wrote: Mon 11. Apr 2022, 20:50 Externe Verbindungen sollten IMHO heutzutage ausschließlich verschlüsselt erfolgen.
AKtiviere doch einfach bei den betreffenden Domains die Zwangsweiterleitung auf https: und in der Panelkonfiguration beim FTP-Server den FTPS-Zwang, dann löst sich der Teil deines Wunsches ja vielleicht schon auf. ;)
Was hat das Zählen der HTTP hits mit Verschlüsselung zu tun? Es geht hier um das Zählen aller externen Zugriffe auf Dateien, die zu einem Kunden gehören, und das Festhalten/Auslesen dieser Zahl. Auch HTTPS hits können gezählt werden, sind ja nur Verbindungen im Access log von Apache. ;)
User avatar
24unix
Posts: 1560
Joined: Sun 21. Jun 2020, 17:16
Location: Kollmar
Contact:

Re: Erfassung der HTTP hits pro Kunde und Monat

Post by 24unix »

Nimm doch einfach Matomo.
mfg Micha
--
If Bill Gates had a nickel for every time Windows crashed …
… oh wait, he does.
lutvit
Posts: 20
Joined: Tue 8. Aug 2017, 20:30
Contact:

Re: Erfassung der HTTP hits pro Kunde und Monat

Post by lutvit »

24unix wrote: Mon 11. Apr 2022, 22:55 Nimm doch einfach Matomo.
Matomo ist eine externe Analytics Software und ist in diesem Fall das falsche Werkzeug, ich benötige nur die Anzahl der Zugriffe per Kunden oder Domain, die im Access log von Apache aufgeführt sind. Die Zugriffszahlen werden bereits sowieso im log festgehalten, warum diese nicht auch im Admin Interface und per API einsehen/auslesen können?

Im KeyHelp Interface, unter „Systemstatus“ -> „Protokolle“ könnte man den Apache log im raw Format anzeigen lassen. Dort ist sogar ein „php-error.log“ zu finden, für einen „apache-access.log“ sollte sich sicherlich auch ein Platz finden lassen. Idealerweise könnte man den access log auch per API abrufen, dadurch könnte man unter anderem Angriffsversuche aus dem Web schneller und automatisch erkennen und natürlich auch mit den Zugriffszahlen herumspielen.
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Re: Erfassung der HTTP hits pro Kunde und Monat

Post by Tobi »

matomo kann sehr wohl lokale Logdateien auswerten.
Den Apache Access Log siehst du bereits wenn dich als Kunde anmeldest und in der Domainübersicht oben rechts auf den entsprechenden Menupunkt klickst.

Abrufen der Logfiles mittels API könnte man sicherlich irgendwie machen. Aber statt dessen könnte man sich die relevanten Logs auch per rsync und Co. holen und auswerten.
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
lutvit
Posts: 20
Joined: Tue 8. Aug 2017, 20:30
Contact:

Re: Erfassung der HTTP hits pro Kunde und Monat

Post by lutvit »

Matomo ist für den Endnutzer und nicht für den Admin. Der Admin braucht Zugriff auf rohe Daten, in diesem Fall auf Access Log von Apache, am besten über API, um mit diesen im Backend arbeiten zu können.
User avatar
24unix
Posts: 1560
Joined: Sun 21. Jun 2020, 17:16
Location: Kollmar
Contact:

Re: Erfassung der HTTP hits pro Kunde und Monat

Post by 24unix »

lutvit wrote: Tue 12. Apr 2022, 10:07
Der Admin braucht Zugriff auf rohe Daten, in diesem Fall auf Access Log von Apache, am besten über API, um mit diesen im Backend arbeiten zu können.
Die liegen unter ~/logs.

Mit zusätzlichen Apache-Direktiven kann Du die auch per Domain schreiben lassen.

Also hat der Admin alles was er zum Auswerten braucht, wenn er es denn kann.
Last edited by 24unix on Tue 12. Apr 2022, 11:47, edited 1 time in total.
mfg Micha
--
If Bill Gates had a nickel for every time Windows crashed …
… oh wait, he does.
User avatar
Alexander
Keyweb AG
Posts: 3810
Joined: Wed 20. Jan 2016, 02:23

Re: Erfassung der HTTP hits pro Kunde und Monat

Post by Alexander »

Die Anzahl der Requests kann ich noch mit ermitteln. Ich habe die einzelnen "Zeilen" der Logs ohnehin im Zuge der Traffic-Statistik schon "identifiziert" muss also theoretisch nur noch einen Counter hochzählen. Habs mir mal notiert.

lutvit wrote: Tue 12. Apr 2022, 08:37 Im KeyHelp Interface, unter „Systemstatus“ -> „Protokolle“ könnte man den Apache log im raw Format anzeigen lassen. Dort ist sogar ein „php-error.log“ zu finden, für einen „apache-access.log“ sollte sich sicherlich auch ein Platz finden lassen.
Das ist übrigens das KeyHelp eigene Fehlerprotokoll, das hat nicht unbedingt was mit den Webserver-Protokollen zu tun.
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
User avatar
24unix
Posts: 1560
Joined: Sun 21. Jun 2020, 17:16
Location: Kollmar
Contact:

Re: Erfassung der HTTP hits pro Kunde und Monat

Post by 24unix »

Alexander wrote: Tue 12. Apr 2022, 11:40 Das ist übrigens das KeyHelp eigene Fehlerprotokoll, das hat nicht unbedingt was mit den Webserver-Protokollen zu tun.
Da habe ich gerade mal aus Neugierde reingeschaut:

Code: Select all

[12-Apr-2022 02:30:23 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
[12-Apr-2022 03:40:39 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
[12-Apr-2022 03:40:39 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
[12-Apr-2022 05:45:37 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
[12-Apr-2022 06:19:49 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
[12-Apr-2022 06:34:24 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
[12-Apr-2022 06:49:42 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
[12-Apr-2022 06:49:42 Europe/Berlin] PHP Warning:  unlink(/home/keyhelp/.lock/update.lock): No such file or directory in /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php on line 647
Versucht wohl was zu löschen, was gar nicht existiert.
mfg Micha
--
If Bill Gates had a nickel for every time Windows crashed …
… oh wait, he does.
User avatar
Alexander
Keyweb AG
Posts: 3810
Joined: Wed 20. Jan 2016, 02:23

Re: Erfassung der HTTP hits pro Kunde und Monat

Post by Alexander »

Wird der mastercronjob bei dir mehrfach gestartet, läuft der irgendwie doppelt?
Was sagt das syslog wenn er den Cronjob minütlich startet.
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
User avatar
24unix
Posts: 1560
Joined: Sun 21. Jun 2020, 17:16
Location: Kollmar
Contact:

Re: Erfassung der HTTP hits pro Kunde und Monat

Post by 24unix »

Alexander wrote: Tue 12. Apr 2022, 12:21 Wird der mastercronjob bei dir mehrfach gestartet, läuft der irgendwie doppelt?
Was sagt das syslog wenn er den Cronjob minütlich startet.
Ich gaueb nicht, dass er doppelt gestartet wird:

Code: Select all

# journalctl -f|grep cron
Apr 12 12:29:01 h***.net CRON[1338665]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Apr 12 12:29:01 h2967204.stratoserver.net CRON[1338666]: (root) CMD (nice -n 5 php /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php)
Apr 12 12:29:08 h***.net CRON[1338665]: pam_unix(cron:session): session closed for user root
Apr 12 12:30:01 h***.net CRON[1338790]: pam_unix(cron:session): session opened for user tracer(uid=5002) by (uid=0)
Apr 12 12:30:01 h***.net CRON[1338789]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Apr 12 12:30:01 h***.net CRON[1338791]: pam_unix(cron:session): session opened for user tracer(uid=5002) by (uid=0)
Apr 12 12:30:01 h***.stratoserver.net CRON[1338794]: (root) CMD (nice -n 5 php /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php)
Apr 12 12:30:01 h***.net CRON[1338792]: pam_unix(cron:session): session opened for user tracer(uid=5002) by (uid=0)
Apr 12 12:30:01 h***.net CRON[1338795]: (tracer) CMD (php /home/users/tracer/www/rchelifan.org/bin/phpbbcli.php cron:run > /dev/null)
Apr 12 12:30:01 h***.net CRON[1338796]: (tracer) CMD (php /home/users/tracer/www/***.net/nextcloud/cron.php)
Apr 12 12:30:02 h***.net CRON[1338792]: pam_unix(cron:session): session closed for user tracer
Apr 12 12:30:04 h***.net CRON[1338791]: pam_unix(cron:session): session closed for user tracer
Apr 12 12:30:05 h***.net CRON[1338789]: pam_unix(cron:session): session closed for user root
Apr 12 12:30:05 h***.net CRON[1338790]: pam_unix(cron:session): session closed for user tracer
mfg Micha
--
If Bill Gates had a nickel for every time Windows crashed …
… oh wait, he does.
lutvit
Posts: 20
Joined: Tue 8. Aug 2017, 20:30
Contact:

Re: Erfassung der HTTP hits pro Kunde und Monat

Post by lutvit »

lutvit wrote: Tue 12. Apr 2022, 08:37 Das ist übrigens das KeyHelp eigene Fehlerprotokoll, das hat nicht unbedingt was mit den Webserver-Protokollen zu tun.
Stimmt, mein Fehler, der Apache log sollte natürlich relativ zu der jeweiligen Domain sein.
User avatar
Alexander
Keyweb AG
Posts: 3810
Joined: Wed 20. Jan 2016, 02:23

Re: Erfassung der HTTP hits pro Kunde und Monat

Post by Alexander »

Die Apache-Logs würde ich vorerst nicht über die API ausgeben wollen. Das ist schon ein sehr spezieller Use-Case. Aber wer so etwas benötigt, kann sich dies gern selber basteln. Sie Daten dafür liegen unter /home/<BENUTZERNAME>/logs/.

Die Anzahl der Requests kann ich ggf. gern über die API im Punkt Client-Statistik mit ausgeben.

@24Unix
Hmm, sehr kurios, zumal zum Einen die Fehlermeldung doppelt erscheint und zum Anderen das an besagter Stelle im Code kurz vorher zunächst geprüft wird, ob die Datei existiert, wenn nicht, wird garnicht versucht sie zu löschen.
Hab ich so auch noch nirgendwo gesehen, diese Meldung.
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
User avatar
24unix
Posts: 1560
Joined: Sun 21. Jun 2020, 17:16
Location: Kollmar
Contact:

Re: Erfassung der HTTP hits pro Kunde und Monat

Post by 24unix »

Alexander wrote: Tue 12. Apr 2022, 12:46 @24Unix
Hmm, sehr kurios, zumal zum Einen die Fehlermeldung doppelt erscheint und zum Anderen das an besagter Stelle im Code kurz vorher zunächst geprüft wird, ob die Datei existiert, wenn nicht, wird garnicht versucht sie zu löschen.
Hab ich so auch noch nirgendwo gesehen, diese Meldung.
Hmm, wird wohl nicht weiter schlimm sein, ist mir halt nur aufgefallen, weil ich mir die Logs mal angesehen habe.
mfg Micha
--
If Bill Gates had a nickel for every time Windows crashed …
… oh wait, he does.
Locked