Page 4 of 5
Re: Neue Backup-Verwaltung
Posted: Thu 29. Jul 2021, 17:13
by OlliTheDarkness
v3ng wrote: ↑Thu 29. Jul 2021, 16:37
Bei mir scheitert leider ein Backup auf einen SFTP Storage periodisch mit folgender Meldung:
Code: Select all
------------------------
The backup operation finished successfully, but problems have been reported.
{"message_type":"error","error":{"Op":"lstat","Path":"/home/users/ian/tmp/sess_3kenoi5ob48083ugibusfp0ueg","Err":2},"during":"archival","item":"/home/users/ian/tmp/sess_3kenoi5ob48083ugibusfp0ueg"}
Warning: failed to read all source data during backup
Jemand eine Idee woran das liegen könnte?
Danke!
Scheitern kannst es nicht nennen , es läuft halt vollständig durch, in dem Fall da sind es 2 Temp / Session Daten , die absolut unwichtig sind und meiner Meinung nach eigentlich garnichts im Backup zu suchen haben brauchen.
Aber will jetzt nicht meckern xD
Re: Neue Backup-Verwaltung
Posted: Thu 29. Jul 2021, 17:18
by Alexander
Mit der Datei scheint was nicht zu stimmen.
Was sagt denn "ls -la" im Verzeichnis "/home/users/ian/tmp/" bzw. für die angegebene datei?
Oder "stat /home/users/ian/tmp/sess_3kenoi5ob48083ugibusfp0ueg"
Re: Neue Backup-Verwaltung
Posted: Thu 29. Jul 2021, 17:57
by OlliTheDarkness
Alexander wrote: ↑Thu 29. Jul 2021, 17:18
Mit der Datei scheint was nicht zu stimmen.
Was sagt denn "ls -la" im Verzeichnis "/home/users/ian/tmp/" bzw. für die angegebene datei?
Oder "stat /home/users/ian/tmp/sess_3kenoi5ob48083ugibusfp0ueg"
Mal ne Vermutung in den Raum geworfen, es scheint ja nicht immer zu passieren.
Hab mich mit der Arbeitsweise des Backupsystems nicht auseinander gesetzt, aber schneiden sich event. der Backuo Job und der Bereinigungscronjob ?!
Ich denke mal das Backupsys verschaft sich zu beginn eine übersicht wieviele Daten wie wo sind und im Anschluss führt es die Sicherung durch.
Wenn der Bereinigungsjob ausgerechnet in diesem kleinen Zeitfenster durchläuft und die Daten entfernt welche der Backupjob aber schon "wahrgenommen" hatte, würde sich der Fehler selbst erklären.
Re: Neue Backup-Verwaltung
Posted: Thu 29. Jul 2021, 18:49
by v3ng
Alexander wrote: ↑Thu 29. Jul 2021, 17:18
Mit der Datei scheint was nicht zu stimmen.
Was sagt denn "ls -la" im Verzeichnis "/home/users/ian/tmp/" bzw. für die angegebene datei?
Oder "stat /home/users/ian/tmp/sess_3kenoi5ob48083ugibusfp0ueg"
Code: Select all
root@web /home/users/ian/tmp # stat /home/users/ian/tmp/sess_3kenoi5ob48083ugibusfp0ueg
stat: cannot stat '/home/users/ian/tmp/sess_3kenoi5ob48083ugibusfp0ueg': No such file or directory
Abseits davon sind sehr viele Session files vorhanden
Code: Select all
root@web /home/users/ian/tmp # ls -l | wc -l
16831
Re: Neue Backup-Verwaltung
Posted: Thu 29. Jul 2021, 19:50
by Tobi
Ich kenne dieses Problem von rsnapshot.
Zuerst werden alle Dateien eingelesen und anschließend wird der Backupvorgang anhand der soebene generierten Dateiliste abgearbeitet.
Nun haben aber tmp Dateien die Eigenschaft flüchtig zu sein.
Meist sind sie nur temporär vorhanden
Zwei Möglichkeiten:
1. Fehler ignorieren (nicht empfohlen)
2. TMP Verzeichnisse von der Sicherung ausnehmen (empfohlen)
Re: Neue Backup-Verwaltung
Posted: Sat 31. Jul 2021, 15:23
by Manuel
Tobi wrote: ↑Thu 29. Jul 2021, 19:50
Ich kenne dieses Problem von rsnapshot.
Zuerst werden alle Dateien eingelesen und anschließend wird der Backupvorgang anhand der soebene generierten Dateiliste abgearbeitet.
Nun haben aber tmp Dateien die Eigenschaft flüchtig zu sein.
Meist sind sie nur temporär vorhanden
Zwei Möglichkeiten:
1. Fehler ignorieren (nicht empfohlen)
2. TMP Verzeichnisse von der Sicherung ausnehmen (empfohlen)
Hy Tobi,
Ich habe ähnliche Fehler bei etwa 3 User accounts im tmp Ordner.
Ich habe es noch nicht ausprobiert, aber würde dies wie im Bild gezeigt als dasselbe gelten, als wenn ich "Vollständig" auswählen würde, so dass alles außer diesem einen Ordner gesichert würde?
https://www.directupload.net/file/d/626 ... 7z_png.htm
Danke Manuel
Re: Neue Backup-Verwaltung
Posted: Sat 31. Jul 2021, 18:33
by Tobi
Im Prinzip richtig.
Allerdings dürfte das die falsche Ebene sein.
Ich würde es einfach mit „*/tmp/” probieren.
Re: Neue Backup-Verwaltung
Posted: Sun 1. Aug 2021, 21:25
by v3ng
Vielleicht könnte man per default "tmp" Verzeichnise nicht mit sichern
Re: Neue Backup-Verwaltung
Posted: Mon 2. Aug 2021, 09:32
by Alexander
Manuel wrote: ↑Sat 31. Jul 2021, 15:23
Ich habe ähnliche Fehler bei etwa 3 User accounts im tmp Ordner.
Ich habe es noch nicht ausprobiert, aber würde dies wie im Bild gezeigt als dasselbe gelten, als wenn ich "Vollständig" auswählen würde, so dass alles außer diesem einen Ordner gesichert würde?
https://www.directupload.net/file/d/626 ... 7z_png.htm
Mit dieser Einstellung sollte es funktionieren.
Tobi wrote: ↑Sat 31. Jul 2021, 18:33
Allerdings dürfte das die falsche Ebene sein.
Ich würde es einfach mit „*/tmp/” probieren.
Im Adminbereich wird immer von absoluten Pfaden ausgegangen. Im Benutzerbereich von relativen.
Die Einstellung von Manuel wäre also korrekt.
Re: Neue Backup-Verwaltung
Posted: Mon 2. Aug 2021, 11:04
by Manuel
Tobi wrote: ↑Sat 31. Jul 2021, 18:33
Im Prinzip richtig.
Allerdings dürfte das die falsche Ebene sein.
Ich würde es einfach mit „*/tmp/” probieren.
Hy Tobi,
Vielleicht wenn es um ein Benutzerkonto geht, ich wollte den ganzen Server sichern und ich denke dazu brauche ich den längeren Pfad.
"/home/users/*/tmp/"............ Wenn du ein Server Backup machst.
"/tmp/".................................. Eventuell wenn du nur ein Benutzer Backup machst "ohne" Stern.
Ich habe es ausprobiert und keine Fehler mehr bekommen.
LG Manuel
Re: Neue Backup-Verwaltung
Posted: Mon 2. Aug 2021, 12:58
by Tobi
Danke euch beiden!
Ich hätte erwartet, dass "*/tmp/" unabhängig von Admin oder User immer so funktioniert, dass eben alles mit "beliebig vor tmp" nicht gesichert wird.
Re: Neue Backup-Verwaltung
Posted: Mon 2. Aug 2021, 13:05
by tab-kh
Alexander wrote: ↑Mon 2. Aug 2021, 09:32
Im Adminbereich wird immer von absoluten Pfaden ausgegangen. Im Benutzerbereich von relativen.
Die Einstellung von Manuel wäre also korrekt.
Was hieße das dann konkret zum Ausschluss des tmp-Verzeichnisses bei einem durch den Benutzer definierten Backup? Meinst du da mit einem relativen Pfad
oder
Re: Neue Backup-Verwaltung
Posted: Mon 2. Aug 2021, 13:48
by Alexander
Tobi wrote: ↑Mon 2. Aug 2021, 12:58
Ich hätte erwartet, dass "*/tmp/" unabhängig von Admin oder User immer so funktioniert, dass eben alles mit "beliebig vor tmp" nicht gesichert wird.
Alle Pfaden, die man dort eingibt werden intern in absolute Pfade umgewandelt.
Sprich wenn du im Adminbereicht "*/tmp" eingibst, kommt "/*/tmp" raus.
Wenn du im Benutzerbereich bist, dort wird das Home-Verzeichnis vorangestellt, kommt das Folgende raus "/home/users/<USERNAME>/*/tmp"
Beides hätte nicht das gewünschte Ergebnis.
---
tab-kh wrote: ↑Mon 2. Aug 2021, 13:05
Was hieße das dann konkret zum Ausschluss des tmp-Verzeichnisses bei einem durch den Benutzer definierten Backup? Meinst du da mit einem relativen Pfad
oder
Im Benutzerbereich wird immer das Home-Verzeichnis vorangestellt. Also HOMEVERZEICHNIS + SLASH + DAS WAS DU EINGEGEBEN HAST (Anschließend Eliminierung aller überschüssigen Slashs). Das Ergebnis wäre also ob nun tmp/ oder /tmp/ identisch: /home/users/<USERNAME>/tmp/.
(Wenn ich oben sagte, relative Pfade, meinte ich relativ zum Home-Verzeichnis des Benutzers.)
Re: Neue Backup-Verwaltung
Posted: Mon 2. Aug 2021, 14:24
by Tobi
Danke Alex!
Re: Neue Backup-Verwaltung
Posted: Fri 10. Sep 2021, 21:28
by technotravel
Ich glaube, in diesem Faden bin ich richtig mit meinen Fragen. Habe jetzt ein bisschen mit der neuen Backup-Funktion experimentiert und bin begeistert von restic - aber bei der Umsetzung (Keyhelp GUI) sehe ich Schwierigkeiten.
Aber vielleicht habe ich auch nur einfach was übersehen. Ich finde zum Beispiel keine Einstellung, die es dem Benutzer erlaubt, bestimmte Ordner vom Backup auszuschließen. Bei einem *lokalen* Backup im Benutzer-Bereich führt das dann dazu, dass bei Sicherung des Daten-Ordners immer auch das dort (/files) angesiedelte Repository erneut mitgesichert wird, weil man es - als Benutzer - ja nur dort erstellen kann. Dadurch schwillt die Größe des lokalen Repositories natürlich ganz massiv an.
Irgendwie sollte der Ordner mit dem/den Repository/s per default vom lokalen Backup ausgeschlossen werden, aber ich weiss nicht, wie ich das bewerkstelligen kann, nicht mal manuell.
Weiterhin fände ich es sehr nützlich, wenn man alle (lokalen) Backups der Benutzer auch in der Admin Seite sehen und bearbeiten könnte. Oder das wenigstens dem Benutzer als Option anbieten würde - das würde dem Admin die Einrichtung und Pflege der Backups doch erheblich erleichtern.
Wie gesagt - vielleicht habe ich auch nur übersehen, wie das erreicht werden kann, und würde mich sehr freuen über weiterführende Hinweise.
Danke an Keyhelp für die Einbindung des genialen restic, das ich sonst vielleicht nie entdeckt hätte!
Chris
P.S.: Habe jetzt rausgefunden, wie man Verzeichnisse vom backup ausschliessen kann - sorry for panic
Aber dass benutzer-erstellte Backupplans nicht auf der Admin-Seite auftauchen, finde ich immer noch bedauerlich. Vermutlich erstellt man also alles am besten direkt dort - aber dann kann halt der Benutzer nichts mit seinem Backup anfangen und ist für ein Restore etc auf den Admin angewiesen.