Backup beschleunigen

[IchBins]

Hallo, nachdem ich festgestellt habe, dass seit einigen Tagen kein Backup mehr durchging, habe ich die Repository gelöscht und neu angelegt.

Nun steht die Backupfunktion nach ca. 13 Stunden auf Wird bearbeitet (2,57 %).

Ich sehe im Putty, dass die Backupprozesse eine Priorität von 35 haben. Wie kann ich das Backup beschleunigen? So würde das ja einen Monat dauern bis das Backup fertig ist.

Ich nutze Debian 11.6 (64-bit) mit der Neue Backup-Verwaltung

Vielen Dank für die Hilfe

[christian.john]

Backups sind u.a. abhängig von
- der Anzahl der Dateien
- Umfang des Backups (du schreibst ja nicht, ob es sich um 50 GB oder 50 TB handelt)
- Geschwindigkeit der Festplatten
- Leitungsgeschwindigkeit
- Teilweise auch RAM und CPU

Als Tipp: Für mich waren solch lange Zeiten ein Kriterium mal als erstes die Festplatten und die Auslastung zu prüfen.
Christian

[IchBins]

Es sind ca. 400 GB. Festplatten und Auslastung sind in Ordnung. Auslastung liegt bei 0.5.
Die Backup Aufgaben verbrauchen 0 %. RAM ist mit 60 GB mehr als genug. Top sagt mir 89.3 id, 0.1 wa. Es handelt sich um ein inkrementionelles Backup.
Backup Speicher bei einem großen deutschen Hoster. Mein Plesk Server wird dort auch gesichert. Da ging alles wunderbar mit ebenfalls ca. 400 GB.
Gestern habe ich mal neu gestartet und Backup neu aktiviert, aber trotzdem wieder sehr langsam.

[christian.john]

Hallo ich bins,

CPU und Ram wegen Komprimierung und Verschlüsselung. Zum größten Punkt, den Festplatten sagst du leider nichts.

0.1 wa ist eigentlich recht wenig. Was sagt denn der iowait über längeren Zeitraum?
Mit einem Tool wie iotop sehen, welche Prozesse genau wie viel Last erzeugen.

HDD, SSD, NVME? Smart-Werte OK? Kabel?

Besonders viele kleine Dateien verlangsamen auch.
Ich weiß nicht genau, wie es konfiguriert ist, meine mich aber zu entsinnen, dass Backups zunächst lokal gepackt und dann wegkopiert werden.
Ich hatte mal das Problem, dass große gepackte Backups sehr langsam wurden, da immer wieder das große Backup-Files geöffnet und wieder geschlossen werden musste.

Ich habe gerade mal bei mir geschaut. Mein Full-Backup ist heute Nacht gelaufen, 320 GB sind laut KH-Oberfläche an Speicher belegt, gepackt sind es 144 GB, 25 Minuten Transfer-Zeit nach extern und insgesamt 2,5 Stunden (Ich nutze allerdings nicht das KH-Backup-System).
Die inkrementellen Backups dauern ca. 5-15 Minuten.

Christian

[IchBins]

Der Fehler liegt wohl beim SFTP Protokoll. Ich habe auf FTP umgestellt, alle Backups gelöscht und das neue Backup geht zügig fehlerfrei durch.

Allerdings Integritätsprüfung / Statistiken aktualisieren dann ein Fehler. Jetzt ist die Frage, wie schlimm ist das falls das Backup mal wiederhergestellt werden muss. Backup selbst war ja fehlerfrei.

Die folgenden Meldungen wurden protokolliert:

Integrity check: error: error loading index 3fcb7dd136b96ccfa72c4f3dfa24dc9e4ed783c434d31d8d89d3234576002faf: load <index/3fcb7dd136>: invalid data returned
error: error loading index 94f42996510a6c05a9c597cc0b1c0818ea3bf7a80d4b809523f12d8266c21e81: load <index/94f4299651>: invalid data returned
error: error loading index fcd6de8eaacb44352ad514850e36da29db67b2e03c35cda5d0a90aa5538540ae: load <index/fcd6de8eaa>: invalid data returned
error: error loading index 362f1c78d304d293bab6a87485de1c32be8fb348a60c91251b79f1d2411ab586: load <index/362f1c78d3>: invalid data returned
error: error loading index d039d78b989ac90c81dc8e8ffcd91b71f808b5b0dde40227722dcc04089e9b4b: load <index/d039d78b98>: invalid data returned
error: error loading index bfd2178cab7bfaf92d5ded1dabc184c202a4d3d6a41cf2d09adc2579c63f1f7e: load <index/bfd2178cab>: invalid data returned
error: error loading index ba385de1d54882551cf04924e820a3de0e76a7105ae7fc83650adbd41a1ebe22: load <index/ba385de1d5>: invalid data returned
error: error loading index f0c61895a946c5cb26cf6d60b13bf7a84ac6f50d201d883ac843a72372a583d3: load <index/f0c61895a9>: invalid data returned
error: error loading index d577d16f3019d72af09c975ecb9a7b0569148109caeac91e658ddd28c7c80d9b: load <index/d577d16f30>: invalid data returned
error: error loading index 73cf2171a5c5158fe3aa0bea41de73a2f8b254c5947178cbfc5c330fc2c7ec19: load <index/73cf2171a5>: invalid data returned
error: error loading index 7901ea25190c0e3c27d5b0bb1e82a8712c706f44886406124111c3270fe03301: load <index/7901ea2519>: invalid data returned
error: error loading index f751f96a64c91928e986e375d88ea62b7d9e55b2cbd734579e58ea5f75b5f984: load <index/f751f96a64>: invalid data returned
error: error loading index 9398d9dbad3781ae95b7a26bd80e75afe75279c2287011f3fedd6f6b9ebd26b7: load <index/9398d9dbad>: invalid data returned
Fatal: LoadIndex returned errors

[technotravel]

Ich klinke mich mal hier ein, weil ich sehr "erfreut" bin, dass auch ein anderer User dieses Problem hat:

Nun steht die Backupfunktion nach ca. 13 Stunden auf Wird bearbeitet (2,57 %).

Bei mir bleibt das sogar tagelang in diesem Status, und kann nur durch "Problembehandlung" (mit allen Optionen ausgewählt) beendet werden. Beim nächsten Durchlauf geht es dann üblicherweise durch. In meinem Fall ist es ein relativ großes tägliches Backup, das sich aber täglich nur um 1-2 Dutzend MB ändert, das sollte also nicht das Problem sein.

Das Blöde ist, dass dies nur auf der Backup-Seite ersichtlich ist, sonst merkt man es bloss am Ausbleiben der respektiven Mail für dieses Backup. Natürlich schwierig, daraus irgendwie eine Fehlermeldung zu produzieren ...

Cool fände ich, wenn man auf der Seite der geplanten Backups (server/index.php?page=backup_schedule) beim drüber-hovern den Status des letzten Runs sehen könnte ... da würde so ein Hänger ja dann auch erscheinen (denke ich mal).

P.S.: in meinem Fall ist es kein FTP Repo, sondern benutzerdefiniert (rclone)

[Alexander]

Wurde das Repo vor oder nach dem 19. Januar 2023 angelegt?

Das Backup (= die Prozesse restic und rclone) laufen aber schon noch, oder wurden die, aus welchem Grund auch immer (Reboot, OOM-Killer, etc), zwischenzeitlich terminiert?

[IchBins]

Seit Mitte Januar funktioniert das schon nicht mehr.
Das Repo hatte ich die Tage neu angelegt.
Ja, die Prozesse laufen noch.
Ich hatte gestern nochmal alles neu gemacht.
13. März 2023, 14:56:55
Backup erstellen
Wird bearbeitet (2,85 %)

[Alexander]

Und da kommen jetzt täglich ca 0.5% dazu?

Zwischenzeitlich kam wieder ein rclone update - du kannst auch mal "rclone self-update" als Befehl ausführen. Ggf. liegt dort das Problem.

(Achtung rclone 1.62 ist noch ungetestet innerhalb KeyHelp )

[IchBins]

Das kommt hin.. Jetzt steht es bei

13. März 2023, 14:56:55
Backup erstellen
Wird bearbeitet (4,15 %)

Muss ich das Backup beenden und neu ausführen? Den Befehl habe ich eingegeben.

[Alexander]

Wieviel Load hat der Server generell?

Muss ich das Backup beenden und neu ausführen? Den Befehl habe ich eingegeben.

Ja. Hat bei dem Tempo ja eh keinen Zweck aktuell

[IchBins]

Geht nicht...bleibt bei 2,03

[Alexander]

Wie bereits gefragt, wie ist die generelle Auslastung des Servers?

Was ist das für ein Remote-Speicher? Anbieter, Anbindung etc. Liegt dort eine Limitierung des verwendeten Protokolls vor?

[IchBins]

Jetzt ist es bei 2.24
Ich habe dir eine private Nachricht geschickt. Es eilt nicht unbedingt, da ich das zur Zeit behelfsmäßig auf einem anderen Server sichere. Dort geht aber nur FTP

[Alexander]

Ich weiß nicht, an welchen Account du diese Nachricht jetzt geschickt hast, aber ich habe nichts bekommen - Schau besser nochmal nach, nicht das sensible Daten jetzt bei jemand anders gelandet sind .