Backup planen Fehler

[KnechtRootRecht]

Mir ist aufgefallen wenn ich bei Backup planen die Anzahl der Backups beschränke, dies ignoriert wird. Ich möchte nur die letzten 3 Backups speichern (so auch eingestellt), es wird trotzdem unendlich gespeichert bis der speicherplatz voll ist.
Ich glaube sogar das es unabhängig ist ob Lokal oder remote. Bei mir ist es momentan remote.

[Alexander]

Hallo,

ich kann das Problem bislang nicht reproduzieren. Habe exemplarisch REMOTE von einem Ubuntu 18 auf ein ein Debian 10 und LOKAL auf einem Ubuntu 18 System Backups angefertigt, die auch korrekt rotiert wurden.

Schau einmal in die Backup Logs (Protokolle -> Backup-Protokolle).

Stimmen die Dateiberechtigungen auf dem Zielserver?

Ich glaube sogar das es unabhängig ist ob Lokal oder remote.

Woher nimmst du die Annahme?

[KnechtRootRecht]

Ich glaube sogar das es unabhängig ist ob Lokal oder remote.

Woher nimmst du die Annahme?

weil mir das in beiden fällen aufgefallen ist. Ich hatte zuerst lokal eingestellt, da der Speicherplatz dann aber ziemlich schnell erschöpft war, habe ich die backups gelöscht und eingestellt das nur 3 backups gespeichert werden. Trotzdem war nach ein paar Tagen die Platte wieder voll, da es wieder mehr als 3 Backups angelegt hat.

Da ich eine feste IP zuhause habe, habe ich dann als Remote meine Netzwerkplatte zuhause über den Router freigegeben und speichere die Backups jetzt dort. Hier das selbige Phänomen. 3 Backups sind eingestellt, aber die anderen werden nicht gelöscht.

[Alexander]

Wie gesagt, was sagen die fraglichen Logs (Protokolle -> Backup-Protokolle + /var/log/keyhelp/php-error.log) zum Zeitpunkt des Backups?

[KnechtRootRecht]

Code: Select all

[29-Oct-2019 01:00:01] INFO  --> start backup process, task id: "173"
[29-Oct-2019 01:00:01] INFO  --> prepare processing dir
[29-Oct-2019 01:00:01] INFO  --> deleteDirectory(): the directory "/backup/processing/task-173/" does not exists
[29-Oct-2019 01:00:01] INFO  --> write pid file
[29-Oct-2019 01:00:01] INFO  --> check remote connection
[29-Oct-2019 01:00:02] INFO  --> estimate disk space needed for this job
[29-Oct-2019 01:00:10] INFO  --> write "allocated" file
[29-Oct-2019 01:00:10] INFO  --> free: 41,386.60 MiB
[29-Oct-2019 01:00:10] INFO  --> reserve: 4,028.37 MiB (5%)
[29-Oct-2019 01:00:10] INFO  --> this backup task: 31,702.45 MiB
[29-Oct-2019 01:00:10] INFO  --> all running backup tasks: 31,702.45 MiB
[29-Oct-2019 01:00:10] INFO  --> generate archive directories
[29-Oct-2019 01:00:10] INFO  --> backup type is "server"
[29-Oct-2019 01:00:10] INFO  --> backup config
[29-Oct-2019 01:00:20] INFO  --> backup user databases
[29-Oct-2019 01:00:30] INFO  --> backup non-user databases
[29-Oct-2019 01:00:31] INFO  --> backup home directories
[29-Oct-2019 01:04:00] INFO  --> backup mail directories
[29-Oct-2019 01:04:21] INFO  --> create one backup file
[29-Oct-2019 01:04:21] INFO  --> file name is /backup/processing/task-173/server-********-20191029010421.7z
[29-Oct-2019 01:04:21] INFO  --> compressing file
[29-Oct-2019 01:04:21] INFO  --> ... with compressing level set to: "fast"
[29-Oct-2019 01:04:21] INFO  --> ... with multithreading enabled
[29-Oct-2019 01:35:04] INFO  --> compressing done
[29-Oct-2019 01:36:06] INFO  --> sha1 checksum: fdc0819c27c45fe70b23ad5a0a4d93c2a59bc182
[29-Oct-2019 01:36:06] INFO  --> remove archive directory
[29-Oct-2019 01:36:06] INFO  --> deleteDirectory(): perform rm -rf /backup/processing/task-173/archive/
[29-Oct-2019 01:36:07] INFO  --> move file to remote repository
[29-Oct-2019 01:36:07] INFO  --> apply rotation  - keep max. 3 file(s) in repository
[29-Oct-2019 01:36:07] INFO  --> no files on remote server found
[29-Oct-2019 01:40:18] INFO  --> cleanup
[29-Oct-2019 01:40:18] INFO  --> deleteDirectory(): perform rm -rf /backup/processing/task-173/
[29-Oct-2019 01:40:19] INFO  --> backup finished

aber wie man sieht im Bild vom vorrigen Beitrag, sind hier Dateien vorhanden.

[Alexander]

Benutzt du FTP oder SFTP?

Was für ein OS läuft auf deinem Zielserver?

[KnechtRootRecht]

Benutzt du FTP oder SFTP?

Was für ein OS läuft auf deinem Zielserver?

War testweise nur per FTP.
Mit selbigen Daten kann ich aber per FileZilla zb. alles löschen im Verzeichnis.

Das Zielsystem ist ein NAS von WD übergangsweiße.
Wie gesagt, hatte das selbe Phänomen aber auch bei lokalen Backups

[Alexander]

Benutzt du FTP im Passive Mode? Falls nein, schalte es einmal ein und versuche es erneut.

Sollte das nicht funktionieren, was für Ausgaben erhälst du, wenn du das folgende Script (ergänzt um die Angaben des Remote-Speichers) einmal auf deinem KeyHelp-Server ausführst:

Code: Select all

<?php
    // Hier trägst du deine Daten des Netzwerkspeichers ein

    $host          = 'zielserver-ip-adresse';
    $port          = 21;
    $isFtps        = true;
    $isPassiveMode = false;
    $login         = '';
    $password      = '';
    $directory     = '.';

    // -----------------------------

    ini_set("display_errors", true);
    ini_set("display_startup_errors", true);
    ini_set("error_reporting", E_ALL);    
    
    $handle = $isFtps ? ftp_ssl_connect($host, $port) : ftp_connect($host, $port);
    ftp_login($handle, $login, $password);
    ftp_pasv($handle, $isPassiveMode);

    $nlist = ftp_nlist($handle, '-a '.$directory);
    var_dump($nlist);

    $rawlist = ftp_rawlist($handle, '-a '.$directory);
    var_dump($rawlist);

Wenn du für die lokalen Backups auch nochmal einen Logauszug hättest, wäre das super, denn die Implementierung von Löschen auf Remote Server + Löschen auf Lokal sind komplett verschieden, haben also nichts miteinander zu tun.

[KnechtRootRecht]

Benutzt du FTP im Passive Mode? Falls nein, schalte es einmal ein und versuche es erneut.

inwiefern kann ich das über die Keyhelp oberfläche beeinflussen?

hier das log von damals (lokales bakup):

Code: Select all

[29-Sep-2019 01:00:01] INFO  --> estimate disk space needed for this job
[29-Sep-2019 01:00:13] INFO  --> write "allocated" file
[29-Sep-2019 01:00:13] INFO  --> free: 32,443.43 MiB
[29-Sep-2019 01:00:13] INFO  --> reserve: 4,028.37 MiB (5%)
[29-Sep-2019 01:00:13] INFO  --> this backup task: 30,607.50 MiB
[29-Sep-2019 01:00:13] INFO  --> all running backup tasks: 30,607.50 MiB
[29-Sep-2019 01:00:13] ERROR --> canceled backup process: insufficient_disk_space
[29-Sep-2019 01:00:13] INFO  --> deleteDirectory(): perform rm -rf /backup/processing/task-142/
====
[30-Sep-2019 01:00:02] INFO  --> start backup process, task id: "143"
[30-Sep-2019 01:00:02] INFO  --> prepare processing dir
[30-Sep-2019 01:00:02] INFO  --> deleteDirectory(): the directory "/backup/processing/task-143/" does not exists
[30-Sep-2019 01:00:02] INFO  --> write pid file
[30-Sep-2019 01:00:02] INFO  --> estimate disk space needed for this job
[30-Sep-2019 01:00:13] INFO  --> write "allocated" file
[30-Sep-2019 01:00:13] INFO  --> free: 32,492.62 MiB
[30-Sep-2019 01:00:13] INFO  --> reserve: 4,028.37 MiB (5%)
[30-Sep-2019 01:00:13] INFO  --> this backup task: 30,621.50 MiB
[30-Sep-2019 01:00:13] INFO  --> all running backup tasks: 30,621.50 MiB
[30-Sep-2019 01:00:13] ERROR --> canceled backup process: insufficient_disk_space
[30-Sep-2019 01:00:13] INFO  --> deleteDirectory(): perform rm -rf /backup/processing/task-143/
====
[01-Oct-2019 01:00:02] INFO  --> start backup process, task id: "144"
[01-Oct-2019 01:00:02] INFO  --> prepare processing dir
[01-Oct-2019 01:00:02] INFO  --> deleteDirectory(): the directory "/backup/processing/task-144/" does not exists
[01-Oct-2019 01:00:02] INFO  --> write pid file
[01-Oct-2019 01:00:02] INFO  --> estimate disk space needed for this job
[01-Oct-2019 01:00:07] INFO  --> write "allocated" file
[01-Oct-2019 01:00:07] INFO  --> free: 32,244.14 MiB
[01-Oct-2019 01:00:07] INFO  --> reserve: 4,028.37 MiB (5%)
[01-Oct-2019 01:00:07] INFO  --> this backup task: 31,045.00 MiB
[01-Oct-2019 01:00:07] INFO  --> all running backup tasks: 31,045.00 MiB
[01-Oct-2019 01:00:07] ERROR --> canceled backup process: insufficient_disk_space
[01-Oct-2019 01:00:07] INFO  --> deleteDirectory(): perform rm -rf /backup/processing/task-144/
====
[02-Oct-2019 01:00:01] INFO  --> start backup process, task id: "145"
[02-Oct-2019 01:00:01] INFO  --> prepare processing dir
[02-Oct-2019 01:00:01] INFO  --> deleteDirectory(): the directory "/backup/processing/task-145/" does not exists
[02-Oct-2019 01:00:01] INFO  --> write pid file
[02-Oct-2019 01:00:02] INFO  --> estimate disk space needed for this job
[02-Oct-2019 01:00:12] INFO  --> write "allocated" file
[02-Oct-2019 01:00:12] INFO  --> free: 32,235.96 MiB
[02-Oct-2019 01:00:12] INFO  --> reserve: 4,028.37 MiB (5%)
[02-Oct-2019 01:00:12] INFO  --> this backup task: 31,095.75 MiB
[02-Oct-2019 01:00:12] INFO  --> all running backup tasks: 31,095.75 MiB
[02-Oct-2019 01:00:12] ERROR --> canceled backup process: insufficient_disk_space
[02-Oct-2019 01:00:12] INFO  --> deleteDirectory(): perform rm -rf /backup/processing/task-145/
====
[03-Oct-2019 01:00:02] INFO  --> start backup process, task id: "146"
[03-Oct-2019 01:00:02] INFO  --> prepare processing dir
[03-Oct-2019 01:00:02] INFO  --> deleteDirectory(): the directory "/backup/processing/task-146/" does not exists
[03-Oct-2019 01:00:02] INFO  --> write pid file
[03-Oct-2019 01:00:02] INFO  --> estimate disk space needed for this job
[03-Oct-2019 01:00:16] INFO  --> write "allocated" file
[03-Oct-2019 01:00:17] INFO  --> free: 32,177.37 MiB
[03-Oct-2019 01:00:17] INFO  --> reserve: 4,028.37 MiB (5%)
[03-Oct-2019 01:00:17] INFO  --> this backup task: 31,270.75 MiB
[03-Oct-2019 01:00:17] INFO  --> all running backup tasks: 31,270.75 MiB
[03-Oct-2019 01:00:17] ERROR --> canceled backup process: insufficient_disk_space
[03-Oct-2019 01:00:17] INFO  --> deleteDirectory(): perform rm -rf /backup/processing/task-146/
====
[04-Oct-2019 01:00:01] INFO  --> start backup process, task id: "147"
[04-Oct-2019 01:00:01] INFO  --> prepare processing dir
[04-Oct-2019 01:00:01] INFO  --> deleteDirectory(): the directory "/backup/processing/task-147/" does not exists
[04-Oct-2019 01:00:01] INFO  --> write pid file
[04-Oct-2019 01:00:02] INFO  --> estimate disk space needed for this job
[04-Oct-2019 01:00:09] INFO  --> write "allocated" file
[04-Oct-2019 01:00:09] INFO  --> free: 32,124.23 MiB
[04-Oct-2019 01:00:09] INFO  --> reserve: 4,028.37 MiB (5%)
[04-Oct-2019 01:00:09] INFO  --> this backup task: 31,288.25 MiB
[04-Oct-2019 01:00:09] INFO  --> all running backup tasks: 31,288.25 MiB
[04-Oct-2019 01:00:09] ERROR --> canceled backup process: insufficient_disk_space
[04-Oct-2019 01:00:09] INFO  --> deleteDirectory(): perform rm -rf /backup/processing/task-147/
====
[05-Oct-2019 01:00:02] INFO  --> start backup process, task id: "148"
[05-Oct-2019 01:00:02] INFO  --> prepare processing dir
[05-Oct-2019 01:00:02] INFO  --> deleteDirectory(): the directory "/backup/processing/task-148/" does not exists
[05-Oct-2019 01:00:02] INFO  --> write pid file
[05-Oct-2019 01:00:02] INFO  --> estimate disk space needed for this job
[05-Oct-2019 01:00:13] INFO  --> write "allocated" file
[05-Oct-2019 01:00:13] INFO  --> free: 32,245.67 MiB
[05-Oct-2019 01:00:13] INFO  --> reserve: 4,028.37 MiB (5%)
[05-Oct-2019 01:00:13] INFO  --> this backup task: 31,335.50 MiB
[05-Oct-2019 01:00:13] INFO  --> all running backup tasks: 31,335.50 MiB
[05-Oct-2019 01:00:13] ERROR --> canceled backup process: insufficient_disk_space
[05-Oct-2019 01:00:13] INFO  --> deleteDirectory(): perform rm -rf /backup/processing/task-148/
====
[06-Oct-2019 01:00:01] INFO  --> start backup process, task id: "149"
[06-Oct-2019 01:00:01] INFO  --> prepare processing dir
[06-Oct-2019 01:00:01] INFO  --> deleteDirectory(): the directory "/backup/processing/task-149/" does not exists
[06-Oct-2019 01:00:01] INFO  --> write pid file
[06-Oct-2019 01:00:02] INFO  --> estimate disk space needed for this job
[06-Oct-2019 01:00:06] INFO  --> write "allocated" file
[06-Oct-2019 01:00:06] INFO  --> free: 32,198.67 MiB
[06-Oct-2019 01:00:06] INFO  --> reserve: 4,028.37 MiB (5%)
[06-Oct-2019 01:00:06] INFO  --> this backup task: 31,349.50 MiB
[06-Oct-2019 01:00:06] INFO  --> all running backup tasks: 31,349.50 MiB
[06-Oct-2019 01:00:06] ERROR --> canceled backup process: insufficient_disk_space
[06-Oct-2019 01:00:06] INFO  --> deleteDirectory(): perform rm -rf /backup/processing/task-149/
====

Sollte das nicht funktionieren, was für Ausgaben erhälst du, wenn du das folgende Script (ergänzt um die Angaben des Remote-Speichers) einmal auf deinem KeyHelp-Server ausführst:

Code: Select all

false

[nikko]

Die Einstellung für den passiven Modus findest du in den Remote Einstellungen im KH Panel

[Alexander]

Dein Log für Lokale Backups sagt:

Code: Select all

[06-Oct-2019 01:00:06] INFO  --> free: 32,198.67 MiB
[06-Oct-2019 01:00:06] INFO  --> reserve: 4,028.37 MiB (5%)
[06-Oct-2019 01:00:06] INFO  --> this backup task: 31,349.50 MiB
[06-Oct-2019 01:00:06] INFO  --> all running backup tasks: 31,349.50 MiB
[06-Oct-2019 01:00:06] ERROR --> canceled backup process: insufficient_disk_space

Ich hatte dich so verstanden, das die lokalen Backups auch nicht rotiert werden. Aber aus den Logs geht ja klar hervor, was das Problem ist:
Es sind 32GB frei, 4GB werden als Reserve angesehen und vom freien Speicher abgezogen (=28GB) für die Durchführung des Backups werden aber 32GB benötigt.

[KnechtRootRecht]

Ich hatte dich so verstanden, das die lokalen Backups auch nicht rotiert werden. Aber aus den Logs geht ja klar hervor, was das Problem ist:
Es sind 32GB frei, 4GB werden als Reserve angesehen und vom freien Speicher abgezogen (=28GB) für die Durchführung des Backups werden aber 32GB benötigt.

ja, aber das backup lokal ist dann eben auch nur so groß, weil 5 oder mehr backups lokal gespeichert waren obwohl nur 3 eingestellt gewesen sind.

btw: warum bekomme ich keine benachrichtigung per email bei neuen antworten? habe alles eingestellt im benutzerkonto...

[KnechtRootRecht]

aktuell sind es wieder 6 backups remote auf dem FTP, sollten aber nur 3 sein.

Code: Select all

[06-Nov-2019 01:00:01] INFO  --> start backup process, task id: "181"
[06-Nov-2019 01:00:01] INFO  --> prepare processing dir
[06-Nov-2019 01:00:01] INFO  --> deleteDirectory(): the directory "/backup/processing/task-181/" does not exists
[06-Nov-2019 01:00:01] INFO  --> write pid file
[06-Nov-2019 01:00:01] INFO  --> check remote connection
[06-Nov-2019 01:00:03] INFO  --> estimate disk space needed for this job
[06-Nov-2019 01:00:14] INFO  --> write "allocated" file
[06-Nov-2019 01:00:14] INFO  --> free: 41,009.57 MiB
[06-Nov-2019 01:00:14] INFO  --> reserve: 4,028.37 MiB (5%)
[06-Nov-2019 01:00:14] INFO  --> this backup task: 32,994.97 MiB
[06-Nov-2019 01:00:14] INFO  --> all running backup tasks: 32,994.97 MiB
[06-Nov-2019 01:00:14] INFO  --> generate archive directories
[06-Nov-2019 01:00:14] INFO  --> backup type is "server"
[06-Nov-2019 01:00:14] INFO  --> backup config
[06-Nov-2019 01:00:25] INFO  --> backup user databases
[06-Nov-2019 01:00:31] INFO  --> backup non-user databases
[06-Nov-2019 01:00:31] INFO  --> backup home directories
[06-Nov-2019 01:04:05] INFO  --> backup mail directories
[06-Nov-2019 01:04:31] INFO  --> create one backup file
[06-Nov-2019 01:04:31] INFO  --> file name is /backup/processing/task-181/server-v22019058351288852-20191106010431.7z
[06-Nov-2019 01:04:31] INFO  --> compressing file
[06-Nov-2019 01:04:31] INFO  --> ... with compressing level set to: "fast"
[06-Nov-2019 01:04:31] INFO  --> ... with multithreading enabled
[06-Nov-2019 01:37:58] INFO  --> compressing done
[06-Nov-2019 01:39:07] INFO  --> sha1 checksum: 2430f7d808e624d27ea27290d5a6532e2a215125
[06-Nov-2019 01:39:07] INFO  --> remove archive directory
[06-Nov-2019 01:39:07] INFO  --> deleteDirectory(): perform rm -rf /backup/processing/task-181/archive/
[06-Nov-2019 01:39:07] INFO  --> move file to remote repository
[06-Nov-2019 01:39:07] INFO  --> apply rotation  - keep max. 3 file(s) in repository
[06-Nov-2019 01:39:07] INFO  --> no files on remote server found
[06-Nov-2019 01:43:43] INFO  --> cleanup
[06-Nov-2019 01:43:43] INFO  --> deleteDirectory(): perform rm -rf /backup/processing/task-181/
[06-Nov-2019 01:43:44] INFO  --> backup finished
====

warum findet der Task keine vorher gespeicherten backups?

Code: Select all

[06-Nov-2019 01:39:07] INFO  --> no files on remote server found

[Alexander]

ja, aber das backup lokal ist dann eben auch nur so groß, weil 5 oder mehr backups lokal gespeichert waren obwohl nur 3 eingestellt gewesen sind.

Ja und dafür wäre halt ein Log nicht schlecht, der das Verhalten belegt.


Hattest du denn den Passiv-Modus probiert?
Wenn du hinter einer Firewall hängst kann das durchaus schon der Schlüssel zum Erfolg sein.

[KnechtRootRecht]

Ja und dafür wäre halt ein Log nicht schlecht, der das Verhalten belegt.

mehr als das obere log hab ich halt leider nicht mehr. aber selbst da steht es ja drin.

Hattest du denn den Passiv-Modus probiert?

ja habe bei den remote-backups das häckchen gesetzt, keine änderung