Migration von i-MSCP zu KeyHelp

Für Modifikationen in und um KeyHelp.
User avatar
space2place
Posts: 486
Joined: Tue 24. Mar 2020, 11:02
Contact:

Re: Migration von i-MSCP zu KeyHelp

Post by space2place »

Ich habe noch ein neues Update wegen Passwortgenerierung hochgeladen:
https://github.com/TheCry/i-mscp-keyhel ... 2253ba3caa

Bitte updaten
Adding SSL cert for domain "linderestaurant.ch".
KeyHelp API Message: 400 - Bad Request, Message The certificate name 'Import from i-MSCP: linderestaurant.ch' is already in use.
ERROR SSL cert for "linderestaurant.ch" failed to add.
Anscheindend hat vorher die Migration des Users nicht funktioniert und Du hast es nach dem Löschen in KeyHelp nochmal probiert.
Aber Du hast vergessen das Zertifkat vorher zu löschen. Steht auch so in GitHub:
Doings if something went wrong with API communication
First delete the new added KeyHelp user
Check as admin whether a SSL cert was added while the last run and delete it
User avatar
Schleek
Posts: 22
Joined: Mon 7. Sep 2020, 18:11
Location: Luxemburg

Re: Migration von i-MSCP zu KeyHelp

Post by Schleek »

space2place, ich wollte mich hier öffentlich für dein Script bedanken, das bestimmt mit einer Menge Arbeit und Zeitaufwand verbunden war. Mir ist anfangs dieser Woche der Umzug von i-mscp auf Keyhelp gelungen, einen Umzug, der ohne dein Script nicht so einfach möglich gewesen wäre. Alles funktioniert tadelos ! Danke !
User avatar
space2place
Posts: 486
Joined: Tue 24. Mar 2020, 11:02
Contact:

Re: Migration von i-MSCP zu KeyHelp

Post by space2place »

Schön zu hören das es funktioniert hat.
Gruß
Sascha
User avatar
space2place
Posts: 486
Joined: Tue 24. Mar 2020, 11:02
Contact:

Re: Migration von i-MSCP zu KeyHelp

Post by space2place »

Moin zusammen,
ich habe gestern festgestellt, das die alten Filter von i-MSCP nicht unter KeyHelp greifen.
Deswegen habe ich kleines Perl Script geschrieben um bei jeden Emailaccount einen Spam Filter zu setzen. Dieser verschiebt dann SPAM und VIRUS in den Spam Ordner.
Werde das später noch ins Git hochladen
reCreateSieveFile.zip
(1.08 KiB) Downloaded 235 times
Man muss nur ein Perl Paket nachinstallieren:

Code: Select all

apt-get install liblchown-perl
Beide Dateien einfach in ein Verzeichnis legen und anschließend

Code: Select all

perl reCreateSieveFile.pl
aufrufen.

Gruß
Sascha
aian
Posts: 3
Joined: Sat 24. Oct 2020, 13:00

Re: Migration von i-MSCP zu KeyHelp

Post by aian »

Hallo zusammen,

erstmal vielen vielen Dank für die Bereitstellung Deines Scripts!
Damit ist es wirklich extrem einfach vom (leider) total unsicheren und eher toten i-mscp auf keyhelp umzuziehen!

Mit ein bisschen Denken hätte ich mir etwas Zeit gespart - 100 gig hatte es schon, dann ist die Session abgebrochen - so wie ich es verstanden habe muss ich dann neu anfangen - habe es beim nächsten Mal im Screen über Nacht laufen lassen und die 500 gig des einen "Users" sind ohne Probleme durch gelaufen.

Jetzt habe knapp 15 Domains mit vielen vielen Usern erfolgreich umgezogen und auch die diversen WP Seiten laufen wieder ohne Probleme.
Ich kämpfe noch ein bisschen mit owncloud, weil auf dem alten Server PHP7.2 war und die owncloud Version mit 7.3 nicht mag (und auch mit 7.2er Interpreter nicht will), aber auch das wird schon noch ;-)


Nachdem die Datenmenge bei mir auf dem alten Server ziemlich groß ist hätte ich eine Frage:
Ließe es sich realisieren, dass (zumindest für Mail - gerne aber auch für WWW) ein Deltasync eingebaut werden könnte?
Natürlich geht es auch händisch, aber wenns einfach zu erweitern wäre, wäre es sicher hilfreich: Ersteinrichtung mit Sync aller Domains, Übertragung der Ganzen Daten rüber.

Dann, wenn alles geht alten Server unerreichbar machen, delta Sync, DNS / ... umdrehen/ Dienste vom alten auf den neuen Server umleiten und man läuft sauber auf dem neuen.


Mir ist klar, dass ich hier ein super geniales Tool bekomme mit dem ich mir viele viele Stunden Arbeit erspare und ich bin dafür schon extrem dankbar - bekommst da eh noch eine PN - aber das würde es für mich wirklich komplett machen.

Liebe Grüße und schönes Wochenende!
User avatar
space2place
Posts: 486
Joined: Tue 24. Mar 2020, 11:02
Contact:

Re: Migration von i-MSCP zu KeyHelp

Post by space2place »

aian wrote: Sat 24. Oct 2020, 13:46 Nachdem die Datenmenge bei mir auf dem alten Server ziemlich groß ist hätte ich eine Frage:
Ließe es sich realisieren, dass (zumindest für Mail - gerne aber auch für WWW) ein Deltasync eingebaut werden könnte?
Natürlich geht es auch händisch, aber wenns einfach zu erweitern wäre, wäre es sicher hilfreich: Ersteinrichtung mit Sync aller Domains, Übertragung der Ganzen Daten rüber.
In das Migrationsscript einbauen wäre unpassend.
Aber man könnte ein Contribtion Script hinzufügen um solche Fälle dann zu beheben. Wir aber ein bisschen dauern, da ich gerade echt busy bin. Hatte auch einem anderen Memebr versprochen was zu ändern und bin nicht dazu gekommen.. :(
aian
Posts: 3
Joined: Sat 24. Oct 2020, 13:00

Re: Migration von i-MSCP zu KeyHelp

Post by aian »

Hast Du auch wieder recht - da gehört es nicht hin.

Im Endeffekt sind es quick&dirty ja auch nur zwei Befehle (hier vom imscp Server aus ausgeführt) - 1.2.3.4 dann durch die keyHelp Server IP ersetzen:
rsync -avz --delete /var/mail/virtual/xXx/ root@1.2.3.4:/var/mail/vhosts/xXx/ --progress
rsync -avz --delete /var/www/virtual/xXx/ root@1.2.3.4:/home/users/yYy/www/xXx/ --progress (wobei hier yYy der Username im KeyHelp ist)

(!) Bei den Mails aufpassen, dass die ownership noch richtig angepasst wird - ansonsten kann die Mailbox-Größe nicht mehr richtig bestimmt werden ;-)

Bei mir läuft jetzt wirklich alles - gefällt mir sehr gut!
Danke auch ans KeyHelp Team.
Ravisdo
Posts: 1
Joined: Wed 28. Oct 2020, 20:24

Re: Migration von i-MSCP zu KeyHelp

Post by Ravisdo »

nevermind, man sollte den kompletten API-Key verwenden und nicht nur das Prefix :lol:
--------
Ich habe einen Fehler, keine Ahnung wie ich den beheben soll:

KeyHelp API Message: 401 - Unauthorized, Message API key is invalid / You are not allowed to access the API due to IP restrictions. Multiple invalid requests from your IP have been detected, your next attempts will be throttled.

API habe ich aktiviert, ohne IP Beschränkung sowohl mit.

Wo liegt mein Fehler?

Nachdem ich einen neuen Key erstellt habe kommt ein anderer Fehler:

KeyHelp API Message: HTTPSConnectionPool(host='new-panel.werner.domains', port=443): Read timed out. (read timeout=10)
Last edited by Ravisdo on Wed 28. Oct 2020, 20:29, edited 1 time in total.
Speedy
Posts: 34
Joined: Fri 19. Apr 2019, 07:57

Re: Migration von i-MSCP zu KeyHelp

Post by Speedy »

Hallo,
ich möchte nun ALLE Domains von imscp zu keyhelp migrieren bzw. aufgrund der fehlenden Resellerfunktion auf entsprechende Server (Reseller) verteilen. Alle Nutzer haben in ihrem Mailclients den Server mail.domain123.tld. Wenn ich nun Stück für Stück den Serverumzug durchführe, müsste alle Domainnutzer auf allen Geräten den Servernamen ändern. Ich möchte es aber so störungsfrei wie möglich haben. Wie ist da eure Empfehlung.
Wichtig ist natürlich auch, dass keine Inkonsistenzen bei den Mails auftreten. Wenn der alte Server weiter läuft, weil nicht alles mit einmal umgezogen wird, werden ja auch die Mails bis zur kompletten DNS-Aktualisierung dem alten Server zugestellt. Klar kann ich die Domain löschen, aber dann erhält der Absender eine Unzustellbarkeitsnachricht. Daraus ergeben sich dann wieder Fragen und es ist nicht geräuschlos.

Mein Gedanken:
-> Erstsync per rsync
-> finaler Sync mit Migrationsscript und Anpassung der Berechtigungen
-> rinitd auf alten Server zur Umleitung an neuen einstellen
User avatar
space2place
Posts: 486
Joined: Tue 24. Mar 2020, 11:02
Contact:

Re: Migration von i-MSCP zu KeyHelp

Post by space2place »

Wir haben mittlerweile alle Server auf KeyHelp umgestellt.
Da sind wir wie folgt vorgegangen.
  • Migrationsscript starten
  • Daten von i-MSCP Server sammeln lassen
  • User und entsprechende Daten auf dem KeyHelp Server anlegen lassen
  • Bei dem nächsten Halt des Script (Es wird gefragt ob die Daten gesynt werden sollen) DNS umgestellt (TTL: 600)
  • Synchronisierung starten lassen.
Die Reihenfolge hat den Vorteil das schon alle Postfächer angelegt sind und nach der Umstellung des DNS die neuen EMails auch auf dem KeyHelp Server ankommen. Die alten Emails werden entsprechend in das vorher angelegte Postfach gsynct.
So gehen keine Daten verloren und die neue EMails sind auch da.
Speedy
Posts: 34
Joined: Fri 19. Apr 2019, 07:57

Re: Migration von i-MSCP zu KeyHelp

Post by Speedy »

Danke.
Gibt es denn eine Art Initial-Sync? Ich habe ca. 300GB zu syncen. Das wird nicht in 10min erledigt sein. Deshalb würde ich gern alle Domains einmal syncen und kurz vor der Umschaltung nur noch inkrementell. Also Umzug in zwei Schritten.
Oder kann ich nach der Benutzeranlage des Scripts dieses abbrechen und manuell die Daten per rsync kopieren. Danach das Script weiterlaufen lassen und er gleicht nur noch die veränderten Daten ab?
User avatar
space2place
Posts: 486
Joined: Tue 24. Mar 2020, 11:02
Contact:

Re: Migration von i-MSCP zu KeyHelp

Post by space2place »

Du kannst nach dem der Schritt
User und entsprechende Daten auf dem KeyHelp Server anlegen lassen
abgeschlossen ist, das Script beenden. Da kommt extra eine Abfrage.
Aber im Anschluss dort wieder ansetzen ist nicht möglich.
Bei uns gab es auch Kunden mit größeren Webspaces. Das haben wir alles über das Script erledigen lassen. Im Prinzip hast Du keine fehlenden EMails und Dateien, wenn Du die Reihenfolge so einhälst wie oben beschrieben.
Speedy
Posts: 34
Joined: Fri 19. Apr 2019, 07:57

Re: Migration von i-MSCP zu KeyHelp

Post by Speedy »

Danke für Deinen Einsatz.
Wie geht das Script mit vorhandenen Resellern um? Kann ich die zu übernehmenden Domains manuell auswählen oder nimmt er immer alle?
Für mich ist auch die Downtime entscheidend. Bis er 300GB kopiert hat und nach dem Vorgang alle Datenbanken etc. angepasst wurden, vergehen schon einige Stunden. An einem Tag wird man das wohl nicht schaffen.
User avatar
space2place
Posts: 486
Joined: Tue 24. Mar 2020, 11:02
Contact:

Re: Migration von i-MSCP zu KeyHelp

Post by space2place »

Das Script schaut nicht auf die Reseller, sondern auf die erste Domain (Benutzername). Alles was unterhalb des Benutzers ist wird migriert. Domain Alias, Sub Domain, FTP User usw. Ausser Plugins wie SSH usw. werde ignoriert, weil die ja nicht zu Standard gehören.
Auch die Datenbanken werden gedumpt und direkt importiert.
Im Verzeichnis "logs" findest Du zu jedem migrierten Webspace 2 Logfiles. Einmal "i-MSCp-Benutzer_get_data_from_imscp.log" wo alle Informationen drin stehen was das Script auf dem i-MSCP Server gefunden hat und einmal "i-MSCp-Benutzer_keyhelp_migration_data.log" was unter KeyHelp angelegt wurde. Auch die neuen Datenbanken mit Username und Passwort. Hier steht auch der Bezug auf die alten Datenbanken und Datenbank Benutzer drin.

300 GB ist zwar viel, aber nicht die Welt. Für die Verbesserungen die Deine Kunden bekommen, denke ich , daß die auch eine kleine Downtime verschmerzen können.. ;)

Letztendlich musst Du nachdem das Script durchgelaufen ist, lediglich in das Log "i-MSCp-Benutzer_keyhelp_migration_data.log" schauen und nach der alten Datenbank suchen.. Änderungen vornehmen und fertig.
Im Panel schauen ob nicht evtl. ein Verzeichnisschutz übernommen wurde. Den musst Du dann auch anpassen. Und als letztes noch ein neues Zertifikat mit Let's Encrypt erstellen.

Ich kann Dir aus eigener Erfahrung sagen das dieses Script (ohne mich jetzt hier loben zu wollen) und einiges an Arbeit erspart hat.
Speedy
Posts: 34
Joined: Fri 19. Apr 2019, 07:57

Re: Migration von i-MSCP zu KeyHelp

Post by Speedy »

Das steht außer Frage. Dafür auch ein RIESEN Lob.
Dennoch muss man solch einen Umzug mit allen Eventualitäten planen. Was wenn das Script bei 280GB abbricht?
Bisher nutze ich rspamd und möchte es auch weiterhin nutzen. Alles Handarbeit, die den Prozess verlängert. Natürlich ein klacks gegenüber der manuellen Anlage aller Benutzer.
Ich habe aktuell ca. 70 Domains drauf laufen.
Post Reply