Page 1 of 1

Redundante / Lastverteilende Infrastruktur mir KeyHelp

Posted: Sun 21. Jul 2019, 20:39
by florianholtgrefe
Hallo,

in der Hoffnung, das jemand von Euch eine ähnliche Anforderung hat, stehe ich vor einer Herausforderung. Ein Kunde möchte gerne ein redundantes und lastverteilendes System mittelfristig bis langfristig haben. Wobei die Lastenverteilung von den Ressourcen her nicht erforderlich wäre, jedoch ein Nice to Have, wenn mann eine solche Infrastruktur aufbaut. Vielmehr geht es um eine standortunabhängige Redundanz der Webserver (Mailserver sind umrelevant) die automatisiert greift, sprich ein Server steht in Frankfurt bei Anbieter A, der andere in Berlin bei Anbieter B.

Ich stoße dabei auf aus zwei grundsätzliche Probleme:

Abgleich Dateisystem & Datenbank
Wie schaffe ich es, bzw. gibt es überhaupt eine Möglichkeit live Daten zwischen zwei, oder mehr Server auszutauschen? Mit ja welchen Mitteln? Eine zentrale Speicherlösung (z.B. bei Anbieter C) fällt ja eigentlich raus, da ein Ausfall dessen auch ein Ausfall des ganzen Systems zu Folge hätte. Wie können die Dateien sicher und verschlüsselt übertragen werden? Mir fällt hierzu leider nichts ein...

DNS Verteilung
Ich weiß, dass man einen A-Record mehrere IP Adressen mitgeben kann, wobei sich aber schlussendlich der Client per Zufall eine aussucht. Für eine reine Lastverteilung wäre das ja auch gut und in Ordnung, allerdings nicht für die gewünschte Redundanz. Sollte ein Server ausfallen und der Client sucht sich diesen zufällig aus ist doof, oder ist der Client so schlau und versucht dann die andere IP.

Ich weiß meine Frage ist noch ziemlich am Anfang, aber vielleicht hat jemand ein ähnliches Konstrukt und kann seine Erfahrung mit mir teilen. Aktuell hat der Kunde recht statische Seiten und arbeiten mit einem "Cold Standby System" welches sich Nachts abgleicht und im Zweifelsfall der DNS Eintrag umgebogen wird. In Zukunft kommen jedoch dynamische Seiten dazu, daher die Anforderung.

Viele Grüße

Re: Redundante / Lastverteilende Infrastruktur mir KeyHelp

Posted: Sun 21. Jul 2019, 20:59
by Tobi
Kennst du schon
https://www.keyweb.de/de/produkte/serve ... ustom-made

Du kannst dann die Server in zwei getrennten Rechenzentren (bald 3) betreiben.

Ob sich das finanziell lohnt muss dein Kunde beurteilen.

Selberbasteln:
Round-Robin könntest du mit einer extrem kurzen TTL versuchen. Die Datenbanken kannst du ja für externen Zugriff freigeben und so synchronisieren.
Dazu lässt du alle X Minuten rsync von A nach B laufen.

Aber wie gesagt: das ist ein Bastelprojekt für Nerds. Zuverlässig geht anders.

Re: Redundante / Lastverteilende Infrastruktur mir KeyHelp

Posted: Sun 21. Jul 2019, 21:43
by OlliTheDarkness
Tobi wrote: Sun 21. Jul 2019, 20:59 Kennst du schon
https://www.keyweb.de/de/produkte/serve ... ustom-made

Du kannst dann die Server in zwei getrennten Rechenzentren (bald 3) betreiben.

Ob sich das finanziell lohnt muss dein Kunde beurteilen.

Selberbasteln:
Round-Robin könntest du mit einer extrem kurzen TTL versuchen. Die Datenbanken kannst du ja für externen Zugriff freigeben und so synchronisieren.
Dazu lässt du alle X Minuten rsync von A nach B laufen.

Aber wie gesagt: das ist ein Bastelprojekt für Nerds. Zuverlässig geht anders.
Ansatz ok , ausführung , setzen 6 Tobi :lol:

Angenommen A fällt aus und B übernimmt musst du sicherstellen das B seine neuen Daten an A gibt :D

Alles in allem eine etwas umfangreichere Geschichte.

Vieleicht hab ich in den nächsten Tage mal wieder Langeweile für nen Tutorial dazu :lol:

Re: Redundante / Lastverteilende Infrastruktur mir KeyHelp

Posted: Sun 21. Jul 2019, 21:52
by Tobi
Ich war zu faul um diese Uhrzeit noch was über rsync von B nach A zu schreiben.
😬😜😂

Zum Glück gibt es dich 👍😁

Re: Redundante / Lastverteilende Infrastruktur mir KeyHelp

Posted: Sun 21. Jul 2019, 23:16
by Jolinar
Ein Standardrezept für High Availability gibt es leider nicht. Von Cold Standby über Hot Standby bis hin zu Clustern gibt es viele Möglichkeiten und Szenarien. Kommt halt immer auf den individuellen Einsatzzweck und die Bedürfnisse des Projekts an.

Hier mal ein wenig Lesestoff zu einigen Realisierungsmöglichkeiten (der Artikel ist zwar schon etwas älter, aber die darin behandelten Prinzipien und Abläufe sind immer noch relevant):
https://www.linux-magazin.de/ausgaben/2 ... erlaeufer/

In deinem Fall muß sich der Projektentwickler/-betreuer erstmal grundsätzlich Gedanken dazu machen, mit welchem Aufwand (und den damit verbundenen Kosten) er die Hochverfügbarkeit umzusetzen gedenkt.
Wenn diese Basisentscheidung getroffen wurde, dann kann man ein für das betreffende Projekt passendes HA-Konzept entwerfen und umsetzen. Das kann dann von einer "billigen" Serverkopie bis hin zu einem "sehr teuren" mehrfach redundanten Cluster so ziemlich alles sein, was in puncto HA derzeit verfügbar und umsetzbar ist.

Re: Redundante / Lastverteilende Infrastruktur mir KeyHelp

Posted: Mon 22. Jul 2019, 18:43
by florianholtgrefe
Hallo,

vielen Dank für den vielen Input! Leider scheidet ein Hosting in Deutschland aus (keine Sorge ist nichts illegales :lol: ). Der Kunde wird mittelfristig bis langfristig ungefähr die Hälfte seiner Umsätze mit dem Angebot realisieren wollen. In Phase 1 sollte also ein Konzept realisiert werden, was kostengünstig ist, jedoch im Ernstfall automatisiert greift.

Den DNS Eintrag mit einer sehr kurzen TTL zu versehen habe ich schon öfters gelesen, jedoch scheint mir das eher eine "Bastel-Lösung" zu sein. Gibt es da keinen definierten Standard, oder Konzept, wie man eine Anfrage auf zwei Server verteilt und dieses System merkt wenn ein Server ausfällt?

Monitoren tun wir schon selbst, jedoch soll die Redundanz am besten automatisiert greifen.

Auf jeden Fall führe ich mir jetzt den Artikel Jolinar zur Gute!

Vielen Dank bis hier hin!

Re: Redundante / Lastverteilende Infrastruktur mir KeyHelp

Posted: Mon 22. Jul 2019, 19:01
by Tobi
Na es gibt Hardware-Firewalls welche die Lastverteilung transparent regeln.
Die prüfen vorab ob der Zielserver überhaupt erreichbar ist.
Aber bitte frag jetzt nicht welcher Provider sowas bietet 😉

Ich würde an deiner Stelle wirklich eine Mail an die Sales Abteilung von KeyWeb schreiben. Dort wird dir definitiv geholfen.

Re: Redundante / Lastverteilende Infrastruktur mir KeyHelp

Posted: Mon 22. Jul 2019, 19:04
by Jolinar
florianholtgrefe wrote: Mon 22. Jul 2019, 18:43 Gibt es da keinen definierten Standard, oder Konzept, wie man eine Anfrage auf zwei Server verteilt und dieses System merkt wenn ein Server ausfällt?
Nur zur Klarstellung...Möchtest du Lastverteilung oder Ausfallsicherung?
Bei Ersterem wäre ein Loadbalancer eine Möglichkeit der Umsetzung, bei Letzterem eine Failover-IP (in beiden Fällen natürlich mit entsprechender Datenreplikation).
Wenn du Beides willst, wäre ein HA-Cluster vermutlich das Mittel der Wahl.

Re: Redundante / Lastverteilende Infrastruktur mir KeyHelp

Posted: Mon 22. Jul 2019, 20:48
by florianholtgrefe
Tobi wrote: Mon 22. Jul 2019, 19:01 Ich würde an deiner Stelle wirklich eine Mail an die Sales Abteilung von KeyWeb schreiben. Dort wird dir definitiv geholfen.
Ja würde ich wirklich gerne tun, leider darf das Hosting nicht in DE sein.
Jolinar wrote: Mon 22. Jul 2019, 19:04 Nur zur Klarstellung...Möchtest du Lastverteilung oder Ausfallsicherung?
Bei Ersterem wäre ein Loadbalancer eine Möglichkeit der Umsetzung, bei Letzterem eine Failover-IP (in beiden Fällen natürlich mit entsprechender Datenreplikation).
Wenn du Beides willst, wäre ein HA-Cluster vermutlich das Mittel der Wahl.
Primär geht es um die Ausfallsicherheit ohne manuelles Eingreifen, wenn sich kosteneffizient ein Loadbalancing einbauen lässt wäre das optimal. Ist eine Failover IP nicht an einem Provider gebunden, sprich beide Server müssten beim selben Provider gar im selben Rechenzentrum sein?

Ich muss an der Stelle mal wieder ein Lob aussprechen wie Top diese Community ist, erlebt man selten!

Re: Redundante / Lastverteilende Infrastruktur mir KeyHelp

Posted: Tue 23. Jul 2019, 00:22
by Jolinar
florianholtgrefe wrote: Mon 22. Jul 2019, 20:48 Ist eine Failover IP nicht an einem Provider gebunden, sprich beide Server müssten beim selben Provider gar im selben Rechenzentrum sein?
Zumindest beim selben Provider. Solange der Provider aber mehrere geographisch getrennte Rechenzentren hat (und diese anbieterseitig im gleichen internen Netzwerk ansprechbar/routbar sind), sollten auch die Ansprüche an eine Redundanz gegeben sein.
Wenn du mehrere Server in Rechenzentren unterschiedlicher Anbieter "zusammenführen" willst, wäre z.B. vSwitch eine mögliche Option.

Re: Redundante / Lastverteilende Infrastruktur mir KeyHelp

Posted: Tue 23. Jul 2019, 08:48
by umutkuepeli
Es wäre sehr hilfreich wenn du sagen könntes in welchem Land die Server stehen sollen, außerdem würd ich dir empfehlen mal das vSwitching wie oben gennant anzugucken.
Aber eins solltes du wissen wenn man eig. keine Erfahrung im Bereich XY hat sollte man die Finger davon lassen, weil es sehr große Finanzelle Schäden anrichten kann und du im Enddefekt dafür Haftbar gemacht werden kanns als externer Dienstleister.

Re: Redundante / Lastverteilende Infrastruktur mir KeyHelp

Posted: Tue 23. Jul 2019, 20:30
by florianholtgrefe
umutkuepeli wrote: Tue 23. Jul 2019, 08:48 Es wäre sehr hilfreich wenn du sagen könntes in welchem Land die Server stehen sollen, außerdem würd ich dir empfehlen mal das vSwitching wie oben gennant anzugucken.
Aber eins solltes du wissen wenn man eig. keine Erfahrung im Bereich XY hat sollte man die Finger davon lassen, weil es sehr große Finanzelle Schäden anrichten kann und du im Enddefekt dafür Haftbar gemacht werden kanns als externer Dienstleister.
Welche Rolle spielen den die Länder indem das Hosting ist für die technische Umsetzung? Der Kunde ist ein enger Vertrauter und eine Haftung lässt sich ja vertraglich regeln, da habe ich keine Sorgen ;)

Re: Redundante / Lastverteilende Infrastruktur mir KeyHelp

Posted: Wed 24. Jul 2019, 08:23
by umutkuepeli
Wir könnten dann dir villeicht gute Hoster vorschlagen oder es gibt auch Hoster die schon fertig konfigurierte Server anbieten mit Glusterfs usw.