Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

hempelr
Posts: 25
Joined: Sun 2. Aug 2020, 19:05
Location: Erzgebirge

Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by hempelr »

Hallo in die Runde,

nachdem ich unterschiedliche Szenarien für / mit den Backupfunktionen durchgespielt habe, stellen sich mehrere Probleme / Fragen.
Die Doku zum Keyhelp gibt als Verzeichnisstruktur für die "alte" Backupfunktion eine sinnvolle Struktur wieder, die erlaubt, alle Backups komplett auf bspw. einen NFS-Mount eines externen Servers auszulagern (Verzeichnis /backup/ auf NFS-Mount verlinken bspw.) und alle User-Backups laufen dorthin und es entsteht kein Problem mit abgebrochenen Backups wegen Speicherplatzüberlauf des lokalen Laufwerkes, versursacht durch User, deren Datenplatzbelegung über 50% des freien Speicherplatzes des lokalen Volumes liegt (gut - inwiefern es sinnvoll ist / war, alle Userdaten in ein Archiv zu packen ist ne andere Frage...ich finde getrennte Archive nach Mail, Datenbanken und Webverzeichnissen sinnvoller) - der User kann sich das / die Archive herunterladen und halt die Backups in seine eigene Verantwortung nehmen / man kann sie als Serverbetreiber in die ausschließliche Verantwortung des Users legen.
Nun ist ja aber beim neuen Backupsystem ein vollkommen anderer Ansatz da - prinzipiell sind Userbackups generell in der Verantwortung des Serverbetreibers oder der User muss sich selbst um externen Speicher kümmern. Bei Nutzung einer lokalen Repository läuft der verfügbare lokale Datenspeicherplatz in jedem Falle voll, wenn der vom User belegte Speicherplatz mehr umfasst, als freier Speicherplatz auf dem lokalen Volume vorhanden ist - die Erstsicherung auch vom restic umfasst ja in jedem Falle alle Daten des Users als einmaliges "Abbild"...es wird (nach meinem Kenntnisstand) nur der Cache der Repo in den Ordner /backup/<username> gespeichert, die Repo und die Sicherungsdaten als solches liegt physikalisch in /home/users/<username>/files/<dirname> gespeichert.
Es ist also nicht mehr möglich, ohne jedes Userdir manuell anfassen zu müssen bspw. die Usersicherungen auf einen externen Mount zu bekommen.
Ausserdem ist der User nun nicht mehr in der Lage, die Sicherung bei sich im Hause lokal vorzuhalten - das ist für manche Fälle ein Sicherheitskriterium und grundlegende Voraussetzung, ausserdem ist es für den Serverbetreiber (also hier für mich) ein Problem in Bezug auf die DSGVO und das BDSGneu...und ab Dez. 2021 dann noch in Bezug auf das TMGneu.
Wenn die Datensicherung ausschließlich in meiner Verantwortung liegt (was ja dadurch dann der Fall wäre/ist, weil ich a) dafür sorge tragen muss, dass die lokale Sicherung nochmal irgendwo von mir auf meine Kosten gesichert wird, weil ich die Datenintegrität sicherstellen muss und b) ich dem User auf meine Kosten und ohne Aufwandsentschädigung eine Möglichkeit bieten muss, die Daten für ihn in nuzbarer und ggf. bei ihm lokal wiederherstellbarer Form zur Verfügung zu stellen wenn ich nicht direkt Verantwortlicher oder Auftragsverarbeiter im Sinne der DSGVO ) ist das imho nicht sinnvoll.
Und es müsste dann mindestens ein AAV abgeschlossen werden - weil ja der User nicht mehr selbst verantwortlich ist; wenn es nicht sogar in die Richtung "gemeinschaftliche Verantwortlichkeit" geht (DSGVO-Sicht - Verantwortlichkeit aus dem dann BDSG ohnehin)
Ist es irgendwie möglich, dass die Möglichkeit geschaffen wird (oder dass es bei Anlage und Nutzung von lokaler Repo) diese wieder wie bisher in den Ordner /backup/users/<username> gelegt wird und darüberhinaus eine Möglichkeit / Auswahl geschaffen wird, die einzelnen Bereiche Datenbank, Maildomain, Userweb jeweils getrennt in ein Archiv (tar.gz) pro Snapshot zu packen und wie im alten Backupsystem dem User zum Download zur Verfügung zu stellen?
Aus meiner Sicht auf Datenschutzrelevanz ist der aktuelle Zustand ein K.O.-Kriterium für Keyhelp beim Einsatz auf Multiusersystemen mit unterschiedlichen Verantwortlichen (also Kunden / Usern) im Sinne der DSGVO/BDSG/TMG.
Als Hoster will man sicher nicht in die Verantwortung genommen werden, das wäre aber im vorligenden Falle bspw. bei einer Auskunftsanfrage eines MA eines Kunden nach den verarbeiteten pers. Daten (bspw. Mail und deren Sicherungen) der Fall. Da spielt es keine Rolle, dass die Daten verschlüsselt auf dem Server liegen - ausserdem ist die Datenintegrität/Datensicherheit durch den Domain- bzw. Keyhelp-User nicht zu gewährleisten, wenn er nicht noch einen zusätzlichen externen Speicher für die Backup-Repo betreibt (wozu ein User, der keinen Server selbst betreiben will meist nicht in der Lage ist und das nicht noch zusätzlich extern in Auftrag geben möchte).
Ergo - wenn das "alte" Backup wegfällt und das "neue" den jetzigen Stand beibehält, ist Keyhelp obsolet für "Gefälligkeits-Hoster" wie das bei mir der Fall ist. Das Risiko von Regressansprüchen und Datenschutzansprüchen steigt ins unüberschaubare...bzw,. der zu betreibende Aufwand pro User übersteigt den Rahmen des bei weitem.

Bitte - nicht falsch verstehen - ich meckere nicht rum und ich fordere nichts für lau - das ist auch kein UmJedenPreisKritisieren oder an allem Rummeckern (meine paar "kritischen" Kunden krieg ich sicher auch selbst per Script in downloadbare Archive), aber es soll einfach mal eine andere Sichtweise vermitteln...auch in Bezug auf Konsequenzen und Notwendigkeiten, die bei bestimmten Verfahren entstehen....

Mal kurz noch vermerkt, dass Elkar-Backup aktuell keine Alternative ist, eine festgestellte Sicherheitslücke hat die Entwickler veranlasst, die Nutzerverwaltung zu deaktivieren, es gibt im Elkar "nur" noch User mit Adminrechten, also für eine Verwaltung von Mulitusersytemen nicht (mehr) so richtig geeignet...
Vielleicht ein kurzer Verweis noch auf das tote iMSCP, dort ist das mit den Backups irgendwie imho recht gut gelöst gewesen, der User konnte per FTP sein automatisch erstelltes tägliches Backup (getrennte Archive nach DB / Mail / Webverzeichnis) downloaden und war so einfach selbst verantwortlich...
Und bitte - nicht jetzt wieder "dann bleib doch bei iMSCP" als beleidigte Antwort von irgendjemand, einfach mal Argumentationen anhören und vielleicht drüber nachdenken...und sachlich auf möglicherweise erkannte Denkfehler reagieren...Die Kultur der Diskussion und Suche nach Lösungen verkümmert leider immer mehr...

Viele Grüße aus dem aktuell sonnigen Erzgebirge

hempelr


----

Mod-Edit: Verschoben, da es hier im Folgenden darum geht, das Backup-System auf eine eigene Konfiguration umzubiegen.
select name from me;
Posts: 579
Joined: Tue 9. Feb 2016, 16:44

Re: Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by select name from me; »

Zu Deiner eigentlichen Frage kann ich leider wenig sagen, da wir das Backup als "Kunde" nicht nutzen.
hempelr wrote: Wed 8. Sep 2021, 11:40 Wenn die Datensicherung ausschließlich in meiner Verantwortung liegt (was ja dadurch dann der Fall wäre/ist, ...
Ich denke hier bist Du ohnehin in der Pflicht. Siehe auch https://www.ra-plutte.de/hosting-backup ... -regelung/
hempelr wrote: Wed 8. Sep 2021, 11:40 Und es müsste dann mindestens ein AAV abgeschlossen werden - weil ja der User nicht mehr selbst verantwortlich ist; wenn es nicht sogar in die Richtung "gemeinschaftliche Verantwortlichkeit" geht ...
Ohne Deine genaue Situation und Verträge zu kenne, vermutlich bist Du auch hier in der Verpflichtung einen AVV abschließen zu lassen. Vergleiche Anhang A https://www.lda.bayern.de/media/dsk_kpn ... eitung.pdf

Eine gemeinsame Verantwortlichkeit nach Art. 26 DSGVO sehe ich hier eher nicht gegeben.
hempelr wrote: Wed 8. Sep 2021, 11:40 Und bitte - nicht jetzt wieder "dann bleib doch bei iMSCP" als beleidigte Antwort von irgendjemand, einfach mal Argumentationen anhören und vielleicht drüber nachdenken...und sachlich auf möglicherweise erkannte Denkfehler reagieren ...
Kann ich nachvollziehen. ;)
Viele Grüße, Christian
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Re: Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by Tobi »

Als Hosting-Unternehmen, aber auch bei gratis Hosting für gute Freunde, sollte man IMMER einen ADV - Vertrag machen.
Schließlich verwaltet man Daten Dritter.
Ich sehe da auch keinen Ermessensspielraum.

Das gesamte restic Backup kann man auch direkt über die Kommandozeile als individuellen Cronjob konfigurieren. Restic bietet viel mehr Möglichkeiten als aktuell über KeyHelp angeklickt werden können.

Gerüchteweise arbeitet aber Alexander bereits an einer verbesserten Version mit mehr Optionen. Es werden beim Backup definitiv noch Optimierungen eingebaut.
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
hempelr
Posts: 25
Joined: Sun 2. Aug 2020, 19:05
Location: Erzgebirge

Re: Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by hempelr »

Hallo,
danke für die Antworten und auch die Hinweise.
Da sind schon Infos bei, die gut zu wissen sind...
Das hilft mir auch erst mal weiter - wenigstens in Bezug auf die Voraussetzungen / Erforderlichkeiten fürs "Hobby-Hosten"....

Leider ist irgendwas schief in der Repo-Verwaltung bzw. Implementation, so dass ein backup auf verlinkten Speicher auf NFS-Mounts nur bei Komplettbackup als KH-Admin funktioniert - als User lässt sich keine Repo anlegen und es wird auch nix gesichert wenn die Repo manuell auf den NFS-Speicher umgebogen wird...

Wäre halt gut zu wissen, mit welchen Berechtigungen im jeweiligen Kontext restic ausgeführt wird...
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Re: Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by Tobi »

Welche Rechte hat das Root-Zielverzeichnis auf dem NFS Mount?

Vermutlich sollte es funktionieren wenn dort ein 777er Verzeichnis angelegt wird und in diesem Verzeichnis können dann die unterschiedlichen User ihre „eigenen“ Verzeichnisse anlegen.
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
hempelr
Posts: 25
Joined: Sun 2. Aug 2020, 19:05
Location: Erzgebirge

Re: Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by hempelr »

Tobi wrote: Thu 9. Sep 2021, 14:01 Vermutlich sollte es funktionieren wenn dort ein 777er Verzeichnis angelegt wird und in diesem Verzeichnis können dann die unterschiedlichen User ihre „eigenen“ Verzeichnisse anlegen.
Hilft leider auch nicht...
Geht offenbar nur, wenn der files-Ordner tatsächlich physikalisch im gleichen Volume liegt, wo sich auch das Homeverzeichnis des Users befindet...komisch...
Anbei mail ein paar Screens der Fehlermeldungen im Keyhelp sowie Konsolenansichten der Verzeichnisse. Es geht aktuell um den User, der mit ana beginnt...
Die alte Backpverwaltung speichert sehr freundlich und problemlos ihre Backups in dem verlinkten Verzeichnis - wobei halt der Unterschied ist, dass diese in /backup/<username> gespeichert werden. Da ist aber auch der Link auf den NFS-Mount aktiv, und der wird da genutzt...

Für Hinweise, wo ich da möglicherweise was falsch verstanden oder konfiguriert habe, bin ich immer dankbar...
Image
Attachments
RepoNewFail_003.png
RepoNewFail_002.png
RepoNewFail_001a.png
RepoNewFail_001a.png (7.49 KiB) Viewed 2233 times
RepoNewFail_001.png
OldBackupDIr_001.png
User avatar
OlliTheDarkness
Posts: 1854
Joined: Tue 14. Aug 2018, 16:41
Location: Essen (NRW)

Re: Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by OlliTheDarkness »

hempelr wrote: Tue 14. Sep 2021, 14:44
Tobi wrote: Thu 9. Sep 2021, 14:01 Vermutlich sollte es funktionieren wenn dort ein 777er Verzeichnis angelegt wird und in diesem Verzeichnis können dann die unterschiedlichen User ihre „eigenen“ Verzeichnisse anlegen.
Hilft leider auch nicht...
Geht offenbar nur, wenn der files-Ordner tatsächlich physikalisch im gleichen Volume liegt, wo sich auch das Homeverzeichnis des Users befindet...komisch...
Anbei mail ein paar Screens der Fehlermeldungen im Keyhelp sowie Konsolenansichten der Verzeichnisse. Es geht aktuell um den User, der mit ana beginnt...
Die alte Backpverwaltung speichert sehr freundlich und problemlos ihre Backups in dem verlinkten Verzeichnis - wobei halt der Unterschied ist, dass diese in /backup/<username> gespeichert werden. Da ist aber auch der Link auf den NFS-Mount aktiv, und der wird da genutzt...

Für Hinweise, wo ich da möglicherweise was falsch verstanden oder konfiguriert habe, bin ich immer dankbar...
Image
Ich lehn mich mal ein wenig aus dem Fenster :roll:

Bereits versucht den / am Anfang wegzulassen ?
RepoNewFail_001a.png
RepoNewFail_001a.png (11.56 KiB) Viewed 2225 times
Ja ich weiß da steht /files und jeder Entwickler setzt wenn er das sieht automatisch / wenn er die Zeile fortsetzt, aber wenn es sich hier nur um einen "Anzeigefehler" handelt und er eig. da ist kann dein zusätzlicher / zu verwirrung führen.

Ist jetzt nur ne Idee am Rande.
Mit freundlichen Grüßen
OlliTheDarkness

**************************************************************
Helden leben lange, Legenden sterben nie

:!: World Hack Organization :!:
**************************************************************
hempelr
Posts: 25
Joined: Sun 2. Aug 2020, 19:05
Location: Erzgebirge

Re: Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by hempelr »

mhm - danke für den Tipp...wars auch nicht...
Das muss irgendwas mit den Berechtigungen / Userkontexten zu tun haben.
Als root lässt sich manuell mittels restic ne Backup-Repo auch auf dem NFS-Mount anlegen, im Userkontext des Web-Benutzers geht's ncht, im Userkontext des Benutzers keyhelp geths...sowohl direkt auf ein Dir auf dem NFS-Mount als auch auf einem verlinkten Dir auf dem NFS-Mount...
Irgendwie passt da im Keyhelp was nicht....weil auf Shell-Ebene läufts...wenigstens im Userkontext der Users Keyhelp...
(Ergänzung:
Der 500er Fehler gibt mir zu denken - das ist doch 'n http-Status, und hat mit restic und oder Shell ja nix zu tun - den wirft ja Keyhelp...
)
(s.auch Screenshots -- Reihenfolge der Ausführung so wie Bildnummern - unterschiedlicher Userkontext auf Shell-Ebene, Userkontext im Keyhelp mit Fehler)

Weitere Hilfe / Hinweise erwünscht...danke im Voraus

Grüße aus dem Erzgebirge
Attachments
05_RepoNew_User-Keyhelp_files_fail.png
04_RepoNew_User-Keyhelp_files.png
04_RepoNew_User-Keyhelp_files.png (7.77 KiB) Viewed 2185 times
03_RepoNew_User-Keyhelp_perSSH_fileslink2nfs.png
02_RepoNew_User-Keyhelp_perSSHaufLink2nfs.png
01_RepoNew_User-Keyhelp_perSSH.png
User avatar
OlliTheDarkness
Posts: 1854
Joined: Tue 14. Aug 2018, 16:41
Location: Essen (NRW)

Re: Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by OlliTheDarkness »

hempelr wrote: Wed 15. Sep 2021, 11:01
Der 500er Fehler gibt mir zu denken - das ist doch 'n http-Status, und hat mit restic und oder Shell ja nix zu tun - den wirft ja Keyhelp...
Das ist korrekt, der 500er wird vom ausführenden Script zurückgeworfen.

Hilft dir jetzt nicht weiter, aber es wurde mal gesagt.

Was ich nicht verstehe, ist das nirgendwo etwas geloggt wird.

Ich hätte erwartet das in

Code: Select all

/var/log/keyhelp/php-error.log

/var/log/apache2/error.log

/var/log/apache2/keyhelp/error.log
zumindest IRGENDWAS geloggt wird, um überhaupt nen Anhaltspunkt zu haben.
Mit freundlichen Grüßen
OlliTheDarkness

**************************************************************
Helden leben lange, Legenden sterben nie

:!: World Hack Organization :!:
**************************************************************
User avatar
Alexander
Keyweb AG
Posts: 3810
Joined: Wed 20. Jan 2016, 02:23

Re: Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by Alexander »

Auch für lokale Repositories läuft die Datenübertragung über rclone. Beim lokalen Repo bleibt aber natürlich Übertragung immer lokal.
Der 500er Fehler gibt mir zu denken - das ist doch 'n http-Status, und hat mit restic und oder Shell ja nix zu tun - den wirft ja Keyhelp..
Stimmt nicht. Der kommt von restic + rclone, steht aber so auch in der Meldung.

Die Ursache, warum Rclone mit einem 500ter Fehler antwortet kann ich mir nur folgendermaßen erklären:
Rclone unterstützt zahlreiche Übertragungsziele, bis auf das Übertragungsziel "local" befinden sie sich aber alle auf einem anderen Server. Mit einem 500ter Fehler auch bei Fehlern auf lokaler Ebene zu antworten wurde denk ich mal der Einfachheit-halber gemacht, um nicht eine Ausnahme für "local" pflegen zu müssen. Näheres dazu kann nur der rclone Entwickler beantworten. (https://rclone.org/).

Es kann sich ansonsten nicht um einen 500ter Fehler im klassischen Sinne handeln, da alle Operationen lokal stattfinden. Demzufolge findet sich auch nichts in den Webserver-Logs.

---

Die Befehle, mit denen du versuchst das Verhalten über die Konsole nachzubilden sind in sofern nicht 100% korrekt, da du rclone noch als Storage mit in deinen restic Befehl aufnehmen müsstest. (https://restic.net/blog/2018-04-01/rclone-backend/)

Das wäre zum Beispiel der Vollständige Befehl beim Anlegen eines lokalen Repos:

Code: Select all

nice -n 0 sudo -u 'alex' RCLONE_CONFIG='/backup-keyhelp/alex/13_20210915_094505_169659/rclone' restic --cache-dir '/backup-keyhelp/alex/cache/' --json --repo 'rclone:rclone-storage:/home/users/alex/files/backup/repository-tm3uy/' --password-file '/backup-keyhelp/alex/13_20210915_094505_169659/restic_password' init
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
tab-kh
Posts: 450
Joined: Thu 22. Apr 2021, 23:06

Re: Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by tab-kh »

Wird da eventuell ein '/' vor dem angegebenen Unterverzeichnis vermisst?
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Re: Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by Tobi »

Na gut, dann nochmal alles auf Anfang.

Wie bindest du dein NFS-Mount ein?
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
hempelr
Posts: 25
Joined: Sun 2. Aug 2020, 19:05
Location: Erzgebirge

Re: Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by hempelr »

;-)
NFS wird wie folgt eingebunden:

Code: Select all

mount -t nfs 10.20.30.8:srv/nfs/s1909 /srv/nfs
der Export auf dem Cloud-Storage-Server wie folgt:

Code: Select all

# Clients: s1909
"/srv/nfs/s1909" 10.20.30.0/28(rw,sync,no_subtree_check,no_root_squash)
Die Server sind über vLan verbunden (sind alles KVM-Vhosts)

Das alte Backup läuft problemlos in der vorliegenden Konfiguration, schöner wäre halt restic zu nutzen - die Features sind schon beeindruckend ;-)
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Re: Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by Tobi »

Hast du es mal ohne die Option „ no_root_squash“ probiert?
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
hempelr
Posts: 25
Joined: Sun 2. Aug 2020, 19:05
Location: Erzgebirge

Re: Backup - Pfade der Repo / Neues Backup / Umfangreichere Betrachtung...

Post by hempelr »

Da geht dann überhaupt nix mehr...(also Repo-Erstellung auf dem NFS-Mount)...Da läuft dann auch das Serverbackup / Adminbackup nicht mehr bzw. kann keine Repo vom Admin erstellt werden...
Locked