Neue Backup-Verwaltung [GELÖST]

[OlliTheDarkness]

Bei mir scheitert leider ein Backup auf einen SFTP Storage periodisch mit folgender Meldung:

Code: Select all

------------------------
The backup operation finished successfully, but problems have been reported.
{"message_type":"error","error":{"Op":"lstat","Path":"/home/users/ian/tmp/sess_3kenoi5ob48083ugibusfp0ueg","Err":2},"during":"archival","item":"/home/users/ian/tmp/sess_3kenoi5ob48083ugibusfp0ueg"}
Warning: failed to read all source data during backup

Jemand eine Idee woran das liegen könnte?

Danke!

Scheitern kannst es nicht nennen , es läuft halt vollständig durch, in dem Fall da sind es 2 Temp / Session Daten , die absolut unwichtig sind und meiner Meinung nach eigentlich garnichts im Backup zu suchen haben brauchen.
Aber will jetzt nicht meckern xD

[Alexander]

Mit der Datei scheint was nicht zu stimmen.

Was sagt denn "ls -la" im Verzeichnis "/home/users/ian/tmp/" bzw. für die angegebene datei?

Oder "stat /home/users/ian/tmp/sess_3kenoi5ob48083ugibusfp0ueg"

[OlliTheDarkness]

Mit der Datei scheint was nicht zu stimmen.

Was sagt denn "ls -la" im Verzeichnis "/home/users/ian/tmp/" bzw. für die angegebene datei?

Oder "stat /home/users/ian/tmp/sess_3kenoi5ob48083ugibusfp0ueg"

Mal ne Vermutung in den Raum geworfen, es scheint ja nicht immer zu passieren.

Hab mich mit der Arbeitsweise des Backupsystems nicht auseinander gesetzt, aber schneiden sich event. der Backuo Job und der Bereinigungscronjob ?!

Ich denke mal das Backupsys verschaft sich zu beginn eine übersicht wieviele Daten wie wo sind und im Anschluss führt es die Sicherung durch.

Wenn der Bereinigungsjob ausgerechnet in diesem kleinen Zeitfenster durchläuft und die Daten entfernt welche der Backupjob aber schon "wahrgenommen" hatte, würde sich der Fehler selbst erklären.

[v3ng]

Mit der Datei scheint was nicht zu stimmen.

Was sagt denn "ls -la" im Verzeichnis "/home/users/ian/tmp/" bzw. für die angegebene datei?

Oder "stat /home/users/ian/tmp/sess_3kenoi5ob48083ugibusfp0ueg"

Code: Select all

root@web /home/users/ian/tmp # stat /home/users/ian/tmp/sess_3kenoi5ob48083ugibusfp0ueg
stat: cannot stat '/home/users/ian/tmp/sess_3kenoi5ob48083ugibusfp0ueg': No such file or directory

Abseits davon sind sehr viele Session files vorhanden

Code: Select all

root@web /home/users/ian/tmp # ls -l | wc -l
16831

[Tobi]

Ich kenne dieses Problem von rsnapshot.
Zuerst werden alle Dateien eingelesen und anschließend wird der Backupvorgang anhand der soebene generierten Dateiliste abgearbeitet.

Nun haben aber tmp Dateien die Eigenschaft flüchtig zu sein.
Meist sind sie nur temporär vorhanden

Zwei Möglichkeiten:
1. Fehler ignorieren (nicht empfohlen)
2. TMP Verzeichnisse von der Sicherung ausnehmen (empfohlen)

[Manuel]

Ich kenne dieses Problem von rsnapshot.
Zuerst werden alle Dateien eingelesen und anschließend wird der Backupvorgang anhand der soebene generierten Dateiliste abgearbeitet.

Nun haben aber tmp Dateien die Eigenschaft flüchtig zu sein.
Meist sind sie nur temporär vorhanden

Zwei Möglichkeiten:
1. Fehler ignorieren (nicht empfohlen)
2. TMP Verzeichnisse von der Sicherung ausnehmen (empfohlen)

Hy Tobi,

Ich habe ähnliche Fehler bei etwa 3 User accounts im tmp Ordner.
Ich habe es noch nicht ausprobiert, aber würde dies wie im Bild gezeigt als dasselbe gelten, als wenn ich "Vollständig" auswählen würde, so dass alles außer diesem einen Ordner gesichert würde?
https://www.directupload.net/file/d/626 ... 7z_png.htm

Danke Manuel

[Tobi]

Im Prinzip richtig.
Allerdings dürfte das die falsche Ebene sein.

Ich würde es einfach mit „*/tmp/” probieren.

[v3ng]

Vielleicht könnte man per default "tmp" Verzeichnise nicht mit sichern

[Alexander]

Ich habe ähnliche Fehler bei etwa 3 User accounts im tmp Ordner.
Ich habe es noch nicht ausprobiert, aber würde dies wie im Bild gezeigt als dasselbe gelten, als wenn ich "Vollständig" auswählen würde, so dass alles außer diesem einen Ordner gesichert würde?
https://www.directupload.net/file/d/626 ... 7z_png.htm

Mit dieser Einstellung sollte es funktionieren.

Allerdings dürfte das die falsche Ebene sein.

Ich würde es einfach mit „*/tmp/” probieren.

Im Adminbereich wird immer von absoluten Pfaden ausgegangen. Im Benutzerbereich von relativen.
Die Einstellung von Manuel wäre also korrekt.

[Manuel]

Im Prinzip richtig.
Allerdings dürfte das die falsche Ebene sein.

Ich würde es einfach mit „*/tmp/” probieren.

Hy Tobi,

Vielleicht wenn es um ein Benutzerkonto geht, ich wollte den ganzen Server sichern und ich denke dazu brauche ich den längeren Pfad.
"/home/users/*/tmp/"............ Wenn du ein Server Backup machst.
"/tmp/".................................. Eventuell wenn du nur ein Benutzer Backup machst "ohne" Stern.

Ich habe es ausprobiert und keine Fehler mehr bekommen.

LG Manuel

[Tobi]

Danke euch beiden!

Ich hätte erwartet, dass "*/tmp/" unabhängig von Admin oder User immer so funktioniert, dass eben alles mit "beliebig vor tmp" nicht gesichert wird.

[tab-kh]

Im Adminbereich wird immer von absoluten Pfaden ausgegangen. Im Benutzerbereich von relativen.
Die Einstellung von Manuel wäre also korrekt.

Was hieße das dann konkret zum Ausschluss des tmp-Verzeichnisses bei einem durch den Benutzer definierten Backup? Meinst du da mit einem relativen Pfad

Code: Select all

tmp/

oder

Code: Select all

/tmp/

[Alexander]

Ich hätte erwartet, dass "*/tmp/" unabhängig von Admin oder User immer so funktioniert, dass eben alles mit "beliebig vor tmp" nicht gesichert wird.

Alle Pfaden, die man dort eingibt werden intern in absolute Pfade umgewandelt.
Sprich wenn du im Adminbereicht "*/tmp" eingibst, kommt "/*/tmp" raus.
Wenn du im Benutzerbereich bist, dort wird das Home-Verzeichnis vorangestellt, kommt das Folgende raus "/home/users/<USERNAME>/*/tmp"

Beides hätte nicht das gewünschte Ergebnis.

---

Was hieße das dann konkret zum Ausschluss des tmp-Verzeichnisses bei einem durch den Benutzer definierten Backup? Meinst du da mit einem relativen Pfad

Code: Select all

tmp/

oder

Code: Select all

/tmp/

Im Benutzerbereich wird immer das Home-Verzeichnis vorangestellt. Also HOMEVERZEICHNIS + SLASH + DAS WAS DU EINGEGEBEN HAST (Anschließend Eliminierung aller überschüssigen Slashs). Das Ergebnis wäre also ob nun tmp/ oder /tmp/ identisch: /home/users/<USERNAME>/tmp/.

(Wenn ich oben sagte, relative Pfade, meinte ich relativ zum Home-Verzeichnis des Benutzers.)

[Tobi]

Danke Alex!

[technotravel]

Ich glaube, in diesem Faden bin ich richtig mit meinen Fragen. Habe jetzt ein bisschen mit der neuen Backup-Funktion experimentiert und bin begeistert von restic - aber bei der Umsetzung (Keyhelp GUI) sehe ich Schwierigkeiten.

Aber vielleicht habe ich auch nur einfach was übersehen. Ich finde zum Beispiel keine Einstellung, die es dem Benutzer erlaubt, bestimmte Ordner vom Backup auszuschließen. Bei einem *lokalen* Backup im Benutzer-Bereich führt das dann dazu, dass bei Sicherung des Daten-Ordners immer auch das dort (/files) angesiedelte Repository erneut mitgesichert wird, weil man es - als Benutzer - ja nur dort erstellen kann. Dadurch schwillt die Größe des lokalen Repositories natürlich ganz massiv an.

Irgendwie sollte der Ordner mit dem/den Repository/s per default vom lokalen Backup ausgeschlossen werden, aber ich weiss nicht, wie ich das bewerkstelligen kann, nicht mal manuell.

Weiterhin fände ich es sehr nützlich, wenn man alle (lokalen) Backups der Benutzer auch in der Admin Seite sehen und bearbeiten könnte. Oder das wenigstens dem Benutzer als Option anbieten würde - das würde dem Admin die Einrichtung und Pflege der Backups doch erheblich erleichtern.

Wie gesagt - vielleicht habe ich auch nur übersehen, wie das erreicht werden kann, und würde mich sehr freuen über weiterführende Hinweise.

Danke an Keyhelp für die Einbindung des genialen restic, das ich sonst vielleicht nie entdeckt hätte!
Chris

P.S.: Habe jetzt rausgefunden, wie man Verzeichnisse vom backup ausschliessen kann - sorry for panic

Aber dass benutzer-erstellte Backupplans nicht auf der Admin-Seite auftauchen, finde ich immer noch bedauerlich. Vermutlich erstellt man also alles am besten direkt dort - aber dann kann halt der Benutzer nichts mit seinem Backup anfangen und ist für ein Restore etc auf den Admin angewiesen.