Niedrige Geschwindigkeit zu Backup SFTP [GELÖST]

[v3ng]

Hi,

Ich habe gerade einen Remote Backup Server eingerichtet und diesen in Keyhelp eingetragen, was soweit auch funktioniert.

Allerdings ist mir aufgefallen, dass die Geschwindigkeit mit der das Archiv Transferiert wird ziemlich niedrig ist (40Mbit/s), welche ich via vnstat wärend dem Backup Prozess beobachtet habe.

Wenn ich manuell die Geschwindigkeit zwischen beiden Servern mittels bspw. iperf3 teste, komme ich auf rund 1000Mbit/s, also ein vielfaches der Backup Geschwindigkeit.

Gibt es hier irgendwelche limitierenden Faktoren?


Grüße
v3ng

[Blackmoon]

Guten Morgen.
zwei Fragen dazu:
- Stehen KeyHelp- und Backup Server beim gleichen Provider?
- Wie sieht die Übertragungsgeschwindigkeit aus, wenn du eine Backupdatei manuell per SCP kopierst?


/Dani

[v3ng]

Hi,

Nein, die Provider sind unterschiedlich, wie der iperf3 Test allerdings gezeigt hat, ist die Übertragungsgeschwindigkeit in einem sehr guten Rahmen, in der Regel immer mehr als 900Mbit/s

[Blackmoon]

Hallo.
Iperf ist das eine, SCP das andere. Beides basiert auf TCP. kann aber trotzdem ein Unterschied machen.
Hast du nach dem Ipref Test nochmals ein Backup angestoßen?

/Dani

[v3ng]

Gerade nochmal getestet, via IPERF keine Geschwindigkeitsprobleme, die Backups via Keyhelp werden allerdings nie schneller als mit rund 46MBit/s auf den remote server geschrieben.

[Florian]

Hallo,

Hauptursache ist einfach die Verschlüsselung. Man findet massenhaft Abhandlungen über das Thema im Netz. Sie können ja mal als Vergleich das Backup über FTPs erstellen lassen. Dies sollte im Normalfall schon schneller ablaufen.

[Padaru]

das kann ich auch bestätigen, durch das einschalten der Verschlüsselung beobachte auch ich massiven Geschwindigkeitsverlust

[v3ng]

Gibt es da eventuell eine effizientere Verschlüsselungsmethode?

Ich plane das Backup Feature auch auf größeren Servern mit deutlich mehr belegten Speicher einzusetzen, da würde der Backup Prozess mit der sehr geringen Geschwindigkeit viel zu lange dauern.

[Padaru]

hm, ich weiß das in der Praxis noch rsync verwendet wird, soweit ich weiß ist das aber per se nicht verschlüsselt, eventuell kannst du das ssh-tunneln, aber ob du dann damit schneller bist

[Tobi]

Rsync überträgt nur die geänderten Bytes (!) einer Datei.
Ich kenne nix schnelleres.

[Padaru]

und wie sieht es zwecks Verschlüsselung bei rsync aus?

[mhagge]

Über SSH ist das ganze verschlüsselt. Rsync hat halt wirklich den Vorteil, dass nur einmal die ganze Datenmenge übertragen werden muss, danach dann nur noch das was sich geändert hat. Je nachdem wie viel sich da üblicherweise ändert geht das Folgebackup dann "RatzFatz"

Der Artikel hier ist zwar uralt, aber das Prinzip ist nach wie vor gültig: https://www.linux-magazin.de/ausgaben/2 ... rer-hafen/

Wenn man es noch etwas weiter treiben will kann ich rsnapshot empfehlen: https://www.thomas-krenn.com/de/wiki/Ba ... _rsnapshot - das setzt auf Rsync auf und damit hat man dann auch sowas wie definierte Aufbewahrungszeiten, Sicherungsgenerationen etc.

[OlliTheDarkness]

Rsync überträgt nur die geänderten Bytes (!) einer Datei.
Ich kenne nix schnelleres.

Was ihr aber alle vergesst, ist das dass KH Backup als Archiv erstellt wird.
Heißt, es wird IMMER das volle Archiv übertragen.

Zum Thema alternative Sicherung schau auch mal in die Bastelecke

Gruß Olli

[Tobi]

Rsync überträgt nur die geänderten Bytes (!) einer Datei.
Ich kenne nix schnelleres.

Was ihr aber alle vergesst, ist das dass KH Backup als Archiv erstellt wird.
Heißt, es wird IMMER das volle Archiv übertragen.

Zum Thema alternative Sicherung schau auch mal in die Bastelecke

Gruß Olli

Was du vergisst, ist dass es um eine ALTERNATIVE Sicherungsmethode ging.
Ich gehe dann davon aus, dass das KH Backup nicht mehr genutzt wird.

Ich halte es wie mhagge. Mein Inhouse-Server zieht dreimal täglich ein Komplett-Backup von /home/users/* mit rsnapshot.
Geiler geht nicht.

Und ja, die Datenbanken werden alle vier Stunden in den Userpfad gedumpt. Passt für mich.

Schöner Nebeneffekt: Braucht man nur eine einzelne Datei kann ich in meinem Backup-Verzeichnis wühlen und die Datei direkt per FTP wieder hochladen. Ohne irgendwas entpacken zu müssen.

[OlliTheDarkness]

Anders mach ich es auch nicht.
Sichere alle 6 Stunden alles wichtige, kann man ja am Script in der Bastelecke sehen.
Und 1 mal im Monat das KH eigene Backup welches auch per RSYNC ubertragen wird ohne geschwindigkeitseinbussen (Auf einigen Servern mehrere 100GB).