i-MSCP 1.5.3 zu KeyHelp

For topics beyond KeyHelp. / Für Themen jenseits von KeyHelp.
Mutschas
Posts: 27
Joined: Sun 22. Mar 2020, 14:49

Re: i-MSCP 1.5.3 zu KeyHelp

Post by Mutschas »

Wie sieht es denn bei euch mit der Migration aus @kess & @Speedy? Das klang bei euch schon recht zuversichtlich.
User avatar
Jolinar
Community Moderator
Posts: 3590
Joined: Sat 30. Jan 2016, 07:11
Location: Weimar (Thüringen)
Contact:

Re: i-MSCP 1.5.3 zu KeyHelp

Post by Jolinar »

Mutschas wrote: Fri 24. Apr 2020, 00:05 Hat schon jemand eine Migration erfolgreich durchführen können?
Sorry, aber ich frage mich ernsthaft, was da jetzt so schwer dran sein soll, eine Migration durchzuführen...?
  1. Panel installieren
  2. User im Panel anlegen
  3. Domains im Panel anlegen und einrichten
  4. Datenbanken auf dem neuen Server anlegen und befüllen
  5. Webseiten auf den neuen Server kopieren
  6. Postfächer im Panel einrichten
  7. Vorhandene Mails auf den neuen Server kopieren
  8. Glücklich sein
Der Zeitaufwand ist überschaubar, etwa 30 Minuten für die Installation plus 30 Minuten pro Domain/Webseite plus die Zeit für das Kopieren der Nutzdaten (Datenbanken, Webseiten, Mails).
Durch das Panel wird einem doch eh schon die meiste Arbeit abgenommen. Früher, wo es die ganzen Panels noch nicht gab, mußte alles über das CLI erledigt werden.
Wenn jemand inkompetent ist, dann kann er nicht wissen, daß er inkompetent ist. (David Dunning)

Data Collector für Community Support
___
Ich verwende zwei verschiedene Schriftfarben in meinen Beiträgen /
I use two different font colors in my posts:
  • In dieser Farbe schreibe ich als Moderator und gebe moderative Hinweise oder begründe moderative Eingriffe /
    In this color, I write as a moderator and provide moderative guidance or justify moderative interventions
  • In dieser Farbe schreibe ich als Community Mitglied und teile meine private Meinung und persönlichen Ansichten mit /
    In this color, I write as a community member and share my personal opinions and views
User avatar
OlliTheDarkness
Posts: 1854
Joined: Tue 14. Aug 2018, 16:41
Location: Essen (NRW)

Re: i-MSCP 1.5.3 zu KeyHelp

Post by OlliTheDarkness »

Jolinar wrote: Sat 25. Apr 2020, 22:53
Mutschas wrote: Fri 24. Apr 2020, 00:05 Hat schon jemand eine Migration erfolgreich durchführen können?
Sorry, aber ich frage mich ernsthaft, was da jetzt so schwer dran sein soll, eine Migration durchzuführen...?
  1. Panel installieren
  2. User im Panel anlegen
  3. Domains im Panel anlegen und einrichten
  4. Datenbanken auf dem neuen Server anlegen und befüllen
  5. Webseiten auf den neuen Server kopieren
  6. Postfächer im Panel einrichten
  7. Vorhandene Mails auf den neuen Server kopieren
  8. Glücklich sein
Der Zeitaufwand ist überschaubar, etwa 30 Minuten für die Installation plus 30 Minuten pro Domain/Webseite plus die Zeit für das Kopieren der Nutzdaten (Datenbanken, Webseiten, Mails).
Durch das Panel wird einem doch eh schon die meiste Arbeit abgenommen. Früher, wo es die ganzen Panels noch nicht gab, mußte alles über das CLI erledigt werden.
Du bringst es auf den Punkt :!: :idea:
Mit freundlichen Grüßen
OlliTheDarkness

**************************************************************
Helden leben lange, Legenden sterben nie

:!: World Hack Organization :!:
**************************************************************
Mutschas
Posts: 27
Joined: Sun 22. Mar 2020, 14:49

Re: i-MSCP 1.5.3 zu KeyHelp

Post by Mutschas »

Es geht darum, dass wenn ich die Migration händisch (ohne Script) durchführe, ich vermutlich die nächsten drei Jahre beschäftigt bin :D
Es geht auch nicht wirklich um die Punkte wie man die E-Mails und Webdateien auf den neuen Server überspielt bekomme, sondern wie ich das Panel keyhelp mittels einer Massenabarbeitungsdatei mit Daten aus i-MSCP füttern kann. Dass ich auch die Daten händisch im Panel eintippen kann, ist mir durchaus bewusst. Aber das ist nicht mein Ziel, bei knapp 150 Domains und über 600 E-Mail-Adressen...
User avatar
OlliTheDarkness
Posts: 1854
Joined: Tue 14. Aug 2018, 16:41
Location: Essen (NRW)

Re: i-MSCP 1.5.3 zu KeyHelp

Post by OlliTheDarkness »

Mutschas wrote: Sun 26. Apr 2020, 14:07 Es geht darum, dass wenn ich die Migration händisch (ohne Script) durchführe, ich vermutlich die nächsten drei Jahre beschäftigt bin :D
Es geht auch nicht wirklich um die Punkte wie man die E-Mails und Webdateien auf den neuen Server überspielt bekomme, sondern wie ich das Panel keyhelp mittels einer Massenabarbeitungsdatei mit Daten aus i-MSCP füttern kann. Dass ich auch die Daten händisch im Panel eintippen kann, ist mir durchaus bewusst. Aber das ist nicht mein Ziel, bei knapp 150 Domains und über 600 E-Mail-Adressen...
Dann geb ich dir mal nen kleinen Realisierungsweg, schreib dir nen Shell Script, bau alle Vorgänge ein (lesen / schreiben der Daten, Mails etc.) ,ließ die Anzahl der Benutzer im MCP aus und jag es durch ne Schleife.

Is einmal nen bissel arbeit , aber ersparrt dir VIEL Arbeit.
Mit freundlichen Grüßen
OlliTheDarkness

**************************************************************
Helden leben lange, Legenden sterben nie

:!: World Hack Organization :!:
**************************************************************
xister
Posts: 63
Joined: Thu 7. May 2020, 07:14

Re: i-MSCP 1.5.3 zu KeyHelp

Post by xister »

Sofern von KeyHelp selbst oder der Community ein Migrationsscript bereitgestellt wird (ggf. auch kostenpflichtig) werden vermutlich zahlreiche User wechseln wollen.
Seit Monaten wurde bei i-mscp nichts mehr gemacht und der angedachte Rewrite wird wohl noch >12 Monate benötigen, was die Community mehr als verärgert.
User avatar
space2place
Posts: 493
Joined: Tue 24. Mar 2020, 11:02
Contact:

Re: i-MSCP 1.5.3 zu KeyHelp

Post by space2place »

Hi zusammen,
Da einige mittlerweile (wie ich auch) die Nase voll haben von den leeren Versprechungen von i-MSCP, habe ich mal angefangen ein Migrationsscript zu schreiben.
Es wird nachher möglich sein einzeln die Kunden auf den KeyHelp Server zu migrieren:
Domains, Alias Domains und alle Sub Domains werden per API angelegt
Emailadressen werden per API angelegt und das Passwort von i-MSCP übernommen (das mit der Übernahme muss ich noch testen)
Datenbanken werden gedumpt, kopiert und Import
Emails werden alle per rsync auf den KeyHelp Server geholt
Webdateien werden per rsync auf KeyHelp geholt.

Wenn alles sauber gelaufen ist muss man nur noch bei den Webseiten den Datenbank Benutzer, Datenbank Namen und das Passwort anpassen.
Ich habe das Script bewusst nur für einzelne Kunden geschrieben, weil man sonst den Überblick bei Fehler verliert.

Der aktuelle Stand:
Alle Daten werden von i-MSCP erfasst
Domains, Alias Domains, und alle Sub Domains werden per API angelegt
Emailadressen werden per API angelegt (Passwortübernahme von i-MSCP fehlt noch)
Datenbanken und Datenbenutzer werden per API angelegt (Remote Benutzer klappt aktuell per API noch nicht - Entwickler angefragt)
Dumpen und transferieren der Datenbanken auf den KeyHelp Server

Wenn das Script soweit ist, bräuchte ich 1-2 Freiwillige :)
Bei der Migration werden Logs geschrieben. Also geht nichts unter. Auch die neuen Datenbanknamen mit Benutzer und Passwort stehen dort drin.

Ich hoffe das die nächsten Schritte auch zügig über die Bühne gehen. Dann hat das Leid ein Ende 8-)

Gruß
Sascha
User avatar
Martin
Posts: 984
Joined: Wed 20. Jan 2016, 00:43

Re: i-MSCP 1.5.3 zu KeyHelp

Post by Martin »

Hallo,

Respekt für deinen Einsatz diesbezüglich. Kurze Anmerkung von mir: für das Script selbst wäre dann sicher ein eigenes Thema in der Bastelecke sinnvoll wenn dieses dann bereitgestellt werden soll.
Viele Grüße,
Martin
User avatar
space2place
Posts: 493
Joined: Tue 24. Mar 2020, 11:02
Contact:

Re: i-MSCP 1.5.3 zu KeyHelp

Post by space2place »

Martin wrote: Wed 3. Jun 2020, 17:42 Hallo,

Respekt für deinen Einsatz diesbezüglich. Kurze Anmerkung von mir: für das Script selbst wäre dann sicher ein eigenes Thema in der Bastelecke sinnvoll wenn dieses dann bereitgestellt werden soll.
Kann ich gerne dann dort posten
User avatar
Alexander
Keyweb AG
Posts: 3833
Joined: Wed 20. Jan 2016, 02:23

Re: i-MSCP 1.5.3 zu KeyHelp

Post by Alexander »

@space2place

Als kleiner Hinweis, vielleicht hast du es ja auch schon entsprechend eingebaut:

Wenn du (über die API oder über die UI) Änderungen initiierst, die ein Neulades des Webservers / des PHP-FPM zur Folge haben (z.b. Hinzufügen einer Domain), dann kann es sein, dass Requests, die in dem Moment wenn der Webserver neu geladen wird, als Antwort einen 503 Fehler produzieren. (Glaube bei Ubuntu 16 Systemen wars ein 500er.)
Dein API-Client müsste in so einem Fall den Request einfach nach ein paar Sekunden erneut absetzen.
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
User avatar
space2place
Posts: 493
Joined: Tue 24. Mar 2020, 11:02
Contact:

Re: i-MSCP 1.5.3 zu KeyHelp

Post by space2place »

Alexander wrote: Thu 4. Jun 2020, 12:09 @space2place

Als kleiner Hinweis, vielleicht hast du es ja auch schon entsprechend eingebaut:

Wenn du (über die API oder über die UI) Änderungen initiierst, die ein Neulades des Webservers / des PHP-FPM zur Folge haben (z.b. Hinzufügen einer Domain), dann kann es sein, dass Requests, die in dem Moment wenn der Webserver neu geladen wird, als Antwort einen 503 Fehler produzieren. (Glaube bei Ubuntu 16 Systemen wars ein 500er.)
Dein API-Client müsste in so einem Fall den Request einfach nach ein paar Sekunden erneut absetzen.
Moin Alex,
danke für den Hinweis. An das hatte ich wirklich nicht gedacht. Erklärt jetzt auch die spontanen Fehler bei den Python API Requests.. :)
Ich werde beim Anlegen der Domains einen Sleep einbauen, den man auch variabel einstellen kann..

Gruß
Sascha
User avatar
space2place
Posts: 493
Joined: Tue 24. Mar 2020, 11:02
Contact:

Re: i-MSCP 1.5.3 zu KeyHelp

Post by space2place »

@All
Hat jemand von Euch Ubuntu mit KeyHelp im Einsatz?
Ich brauche mal eine Zeile von der rsync progess Zeile um zu schauen ob der String gleich mit Debian ist.
Einfach mal einen Rsync per SSH auf dem KeyHelp Server durchführen. Am besten mit Ssh Public Key Authentication. So ungefähr muss der Befehl aussehen:

Code: Select all

rsync -aHAXSz --info=progress --numeric-ids -e "ssh -i /root/.ssh/id_rsa -p 22 -q" --rsync-path="rsync" root@server-fqdn.tld:/remote_folder/ /local_folder/
Ihr solltet dann solche Zeilen sehen

Code: Select all

1238099 100%  146.38kB/s    0:00:08  (xfer#5, to-check=169/396)
Bitte einfach posten..
Gruß
Sascha
User avatar
OlliTheDarkness
Posts: 1854
Joined: Tue 14. Aug 2018, 16:41
Location: Essen (NRW)

Re: i-MSCP 1.5.3 zu KeyHelp

Post by OlliTheDarkness »

space2place wrote: Fri 5. Jun 2020, 13:47 @All
Hat jemand von Euch Ubuntu mit KeyHelp im Einsatz?
Ich brauche mal eine Zeile von der rsync progess Zeile um zu schauen ob der String gleich mit Debian ist.
Einfach mal einen Rsync per SSH auf dem KeyHelp Server durchführen. Am besten mit Ssh Public Key Authentication. So ungefähr muss der Befehl aussehen:

Code: Select all

rsync -aHAXSz --info=progress --numeric-ids -e "ssh -i /root/.ssh/id_rsa -p 22 -q" --rsync-path="rsync" root@server-fqdn.tld:/remote_folder/ /local_folder/
Ihr solltet dann solche Zeilen sehen

Code: Select all

1238099 100%  146.38kB/s    0:00:08  (xfer#5, to-check=169/396)
Bitte einfach posten..
Gruß
Sascha
Die Ausgabe deckt sich.
(RSync Ausgabe Ubuntu allerdings ohne KH Installation und ohne key, lokaler transfer, sollte aber keinen Unterschied machen)

Code: Select all

         25,146 100%    0.00kB/s    0:00:00 (xfr#1, to-chk=49/51)
         17,993 100%  566.82kB/s    0:00:00 (xfr#2, to-chk=48/51)
         20,364 100%  405.85kB/s    0:00:00 (xfr#3, to-chk=47/51)
        104,003 100%    1.53MB/s    0:00:00 (xfr#4, to-chk=46/51)
            384 100%    5.68kB/s    0:00:00 (xfr#5, to-chk=45/51)
         39,948 100%  573.70kB/s    0:00:00 (xfr#6, to-chk=44/51)
         39,985 100%  476.19kB/s    0:00:00 (xfr#7, to-chk=43/51)
         12,224 100%  145.58kB/s    0:00:00 (xfr#8, to-chk=42/51)
        993,960 100%    6.28MB/s    0:00:00 (xfr#9, to-chk=41/51)
         32,032 100%  186.20kB/s    0:00:00 (xfr#10, to-chk=40/51)
         13,287 100%   70.14kB/s    0:00:00 (xfr#11, to-chk=39/51)
          1,162 100%    6.10kB/s    0:00:00 (xfr#12, to-chk=38/51)
        176,915 100%  863.84kB/s    0:00:00 (xfr#13, to-chk=37/51)
        292,292 100%    1.29MB/s    0:00:00 (xfr#14, to-chk=36/51)
        830,271 100%    2.98MB/s    0:00:00 (xfr#15, to-chk=35/51)
              0 100%    0.00kB/s    0:00:00 (xfr#16, to-chk=34/51)
          4,608 100%   16.85kB/s    0:00:00 (xfr#17, to-chk=33/51)
         54,876 100%  198.48kB/s    0:00:00 (xfr#18, to-chk=21/51)
        115,190 100%  407.57kB/s    0:00:00 (xfr#19, to-chk=20/51)
         88,038 100%  226.85kB/s    0:00:00 (xfr#20, to-chk=19/51)
          3,668 100%    9.43kB/s    0:00:00 (xfr#21, to-chk=18/51)
          1,557 100%    3.78kB/s    0:00:00 (xfr#22, to-chk=16/51)
          9,366 100%   22.20kB/s    0:00:00 (xfr#23, to-chk=15/51)
        357,450 100%  760.51kB/s    0:00:00 (xfr#24, to-chk=14/51)
             57 100%    0.12kB/s    0:00:00 (xfr#25, to-chk=13/51)
         95,481 100%  201.83kB/s    0:00:00 (xfr#26, to-chk=12/51)
        348,202 100%  692.55kB/s    0:00:00 (xfr#27, to-chk=11/51)
            441 100%    0.88kB/s    0:00:00 (xfr#28, to-chk=10/51)
             18 100%    0.04kB/s    0:00:00 (xfr#29, to-chk=9/51)
      8,388,608 100%   13.09MB/s    0:00:00 (xfr#30, to-chk=7/51)
      8,388,608 100%    9.38MB/s    0:00:00 (xfr#31, to-chk=6/51)
      8,388,608 100%    7.31MB/s    0:00:01 (xfr#32, to-chk=5/51)
     16,777,216 100%   31.31MB/s    0:00:00 (xfr#33, to-chk=4/51)
      8,388,608 100%   12.60MB/s    0:00:00 (xfr#34, to-chk=3/51)
      8,388,608 100%    9.86MB/s    0:00:00 (xfr#35, to-chk=2/51)

Mit freundlichen Grüßen
OlliTheDarkness

**************************************************************
Helden leben lange, Legenden sterben nie

:!: World Hack Organization :!:
**************************************************************
User avatar
space2place
Posts: 493
Joined: Tue 24. Mar 2020, 11:02
Contact:

Re: i-MSCP 1.5.3 zu KeyHelp

Post by space2place »

Danke Dir...
Mir ging es vorrangig um das hier

Code: Select all

 to-chk=37/51
Das brauche ich um die Prozente für den Fortschritt bei Rsync in Prozent auszugeben.
Sonst denkt man nachher das der Fortschritt hängt
Gruß
Sascha
Post Reply