Webserver Log-Rotation ab Version 17.1

Locked
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Webserver Log-Rotation ab Version 17.1

Post by Tobi »

Hallo KeyHelp!

Ich habe gerade im Change-Log folgenden Punkt gesehen:
"Improved log rotation behavior of users webserver logs"

Was genau ändert sich bitte?
Ich habe da nämlich bereits Anpassungen vorgenommen.
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
User avatar
Alexander
Keyweb AG
Posts: 3810
Joined: Wed 20. Jan 2016, 02:23

Re: Webserver Log-Rotation ab Version 17.1

Post by Alexander »

Grüße,

für dich relevant ist nur die Angaben in der Konfigurationsdatei

Code: Select all

/etc/logrotate.d/keyhelp-apache
Hier haben sich die rotate Intervalle geändert + die Behandlung wurde aufgesplittet nach access + error Logs
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Re: Webserver Log-Rotation ab Version 17.1

Post by Tobi »

Danke für deine Antwort!
Alexander wrote: Tue 25. Jul 2017, 08:33 die Behandlung wurde aufgesplittet nach access + error Logs
Das mache ich schon seit geraumer Zeit per root-Cron direkt in der /etc/apache2/keyhelp/vhosts/accounname.conf

Ich schreibe die Originaldatei um und ergänze den Dateinamen des access Logs jeweils um den passenden Domainamen.
Das sieht dann bei mir so aus.

Code: Select all


  # log
  LogLevel warn
  CustomLog "/home/users/accounname/logs/domainname.de.access.log" keyhelp_log
  ErrorLog "/home/users/accounname/logs/error.log"

Kann ich das beibehalten?
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
User avatar
Alexander
Keyweb AG
Posts: 3810
Joined: Wed 20. Jan 2016, 02:23

Re: Webserver Log-Rotation ab Version 17.1

Post by Alexander »

Sorry, hatte den Beitrag ganz aus den Augen verloren.

Wenn deine Access-Logs nach dem Namensschema "domainname.de.access.log" aufgebaut ist, wird diese (zumindest durch die KeyHelp logrotate Datei) nicht rotated. Die KeyHelp logrotate Datei sucht nach folgendem Namensschema "/home/users/*/logs/access.log"

Variante 1:
Passe die /etc/logrotate.d/keyhelp-apache Datei deinem Schema an.
Das ist zwar möglich, würde ich aber nicht empfehlen - einfach nur weil ein KeyHelp-Update Sie dir jederzeit wieder überschreiben könnte und Schreibgeschützt machen dann ggf. wieder an anderer Stelle Probleme verursacht.

Variante 2 *empfohlen*:
Erstelle eine eigene Config im /etc/logrotate.d/ Ordner, die dein Namensschema abdeckt.
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Re: Webserver Log-Rotation ab Version 17.1

Post by Tobi »

Alexander wrote: Fri 28. Jul 2017, 16:07 Sorry, hatte den Beitrag ganz aus den Augen verloren.
Kein Problem, zur Zeit läuft 17 gut & stabil, da kann das Update noch ein paar Tage warten.
Alexander wrote: Fri 28. Jul 2017, 16:07 Wenn deine Access-Logs nach dem Namensschema "domainname.de.access.log" aufgebaut ist, wird diese (zumindest durch die KeyHelp logrotate Datei) nicht rotated. Die KeyHelp logrotate Datei sucht nach folgendem Namensschema "/home/users/*/logs/access.log"
Bisher, also unter 17, werden die Logfiles rotiert.
Das hat sich also mit 17.1 geändert?

Ich frage deswegen, weil ich aus den Logfiles stündlich aktuelle Webalizer Statistiken generiere.
Daher sollte es an dieser Stelle (bitte) nicht stocken...
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
User avatar
Alexander
Keyweb AG
Posts: 3810
Joined: Wed 20. Jan 2016, 02:23

Re: Webserver Log-Rotation ab Version 17.1

Post by Alexander »

Da bei KeyHelp 17.0.0 error und access log noch nicht getrennt mit eigenen Log-Rotate Settings verwaltet wurden, hatte die 17.0.0 Version das Namensschema:

"/home/users/*/logs/*.log"

-> dies deckte auch deinen neuen Log-Namen ab und die Daten wurden ohne weitere Anpassungen deinerseits rotiert.

Du müsstest also nach dem Update auf 17.1 selber Hand anlegen, damit deine eigenen Log-Dateien auch weiterhin rotiert werden.
Welche Möglichkeiten du hast, habe ich ja bereits im letzten Beitrag geschrieben.
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Re: Webserver Log-Rotation ab Version 17.1

Post by Tobi »

Hat lang gedauert, aber heute bin ich endlich dazu gekommen.

Ich habe nach dem Update auf 17.1 unterhalb von/etc/logrotate.de/ eine Datei namens "domainnamen-access-logrotate" (Ohne Datei-Endung) angelegt.

Der Inhalt sieht so aus:

Code: Select all

/home/users/*/logs/*.access.log {
    daily
    missingok
    rotate 30
    compress
    delaycompress
    ifempty
    create
    nomail
    sharedscripts
    postrotate
        /etc/init.d/apache2 reload > /dev/null
    endscript
}
Hab ich was vergessen?

Danke fürs drüber gucken!
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
User avatar
Alexander
Keyweb AG
Posts: 3810
Joined: Wed 20. Jan 2016, 02:23

Re: Webserver Log-Rotation ab Version 17.1

Post by Alexander »

Damit die Traffic-Statistik anschließend noch korrekt rechnet, möchtest du ggf. diese Zeilen noch mit Aufnehmen:

Code: Select all

prerotate
        /usr/bin/php /home/keyhelp/www/keyhelp/incl/cronjob/mastercronjob.php --force-statistic > /dev/null
endscript

Ansonsten alles okay.
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Re: Webserver Log-Rotation ab Version 17.1

Post by Tobi »

Betrifft das die interne Keyhelp Statistik?
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
User avatar
Alexander
Keyweb AG
Posts: 3810
Joined: Wed 20. Jan 2016, 02:23

Re: Webserver Log-Rotation ab Version 17.1

Post by Alexander »

Exakt - der Eintrag ist nur dafür da, dass die KeyHelp-Traffic-Statistik für HTTP-Traffic korrekt rechnet.
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Re: Webserver Log-Rotation ab Version 17.1

Post by Tobi »

Alexander wrote: Mon 5. Feb 2018, 14:55 Exakt - der Eintrag ist nur dafür da, dass die KeyHelp-Traffic-Statistik für HTTP-Traffic korrekt rechnet.
O.K.
Ich werde es eintragen.

Die Statistik rechnet aber ohnehin nicht richtig.
Die bezieht sich nur auf die Datei "access.log".

Bei mir heissen die Dateien aber "domain1.tld.access.log", "domain2.tld.access.log" usw.
Dadurch werden diese Dateien bei der Berechnung nicht beachtet.

Schön wäre es wenn man die Berechnung anpassen könnte, so daß auch meine Namensgebung berücksichtig würde ;)
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Re: Webserver Log-Rotation ab Version 17.1

Post by Tobi »

Erledigt!

Jetzt sieht es so aus:

Code: Select all

/home/users/*/logs/*.access.log {
    daily
    missingok
    rotate 30
    compress
    delaycompress
    ifempty
    create
    nomail
    sharedscripts
    prerotate
        /usr/bin/php /home/keyhelp/www/keyhelp/incl/cronjob/mastercronjob.php --force-statistic > /dev/null
    endscript
    postrotate
        /etc/init.d/apache2 reload > /dev/null
    endscript
}
Für alle interessierten Mitleser: Die Datei liegt natürlich unterhalb von /etc/logrotate.d/ (nix mit .de) :mrgreen:
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
User avatar
Alexander
Keyweb AG
Posts: 3810
Joined: Wed 20. Jan 2016, 02:23

Re: Webserver Log-Rotation ab Version 17.1

Post by Alexander »

Schön wäre es wenn man die Berechnung anpassen könnte, so daß auch meine Namensgebung berücksichtig würde ;)
Es wird wohl eher darauf hinaus laufen, das KeyHelp auf das Ein-Access/Error-Log-Pro-Domain umsteigt. Macht ja auch Sinn, nur steht in der Prioritätsliste nicht sehr weit oben, von daher wird es wohl noch ein wenig dauern.
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Re: Webserver Log-Rotation ab Version 17.1

Post by Tobi »

Alexander wrote: Mon 5. Feb 2018, 15:45
Schön wäre es wenn man die Berechnung anpassen könnte, so daß auch meine Namensgebung berücksichtig würde ;)
Es wird wohl eher darauf hinaus laufen, das KeyHelp auf das Ein-Access/Error-Log-Pro-Domain umsteigt. Macht ja auch Sinn, nur steht in der Prioritätsliste nicht sehr weit oben, von daher wird es wohl noch ein wenig dauern.
Sehr fein!
Ja, also meiner Meinung nach kann man mit dem aktuellen Zustand wenig bis gar nix anfangen.

Ich erstelle mit einem Webalizer in meinem CMS stündlich aktualisierte Statistiken.
Das geht aber nur wenn ich pro Domain ein Logfile habe.
Mit dem gemischten Log war Webbi nicht glücklich :lol:
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Re: Webserver Log-Rotation ab Version 17.1

Post by Tobi »

Code: Select all

/usr/bin/php /home/keyhelp/www/keyhelp/incl/cronjob/mastercronjob.php --force-statistic > /dev/null
ist jetzt

Code: Select all

/usr/bin/php /home/keyhelp/www/keyhelp/cronjob/mastercronjob.php --force-statistic > /dev/null
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
Locked