KeyHelp Community

Das offizielle KeyHelp Forum der Keyweb AG / The official KeyHelp forum of Keyweb AG
https://community.keyhelp.de/

Domainlist Importer

https://community.keyhelp.de/viewtopic.php?t=9807

Page 1 of 1

Domainlist Importer

Posted: Wed 22. Jul 2020, 17:21
by OlliTheDarkness
Moin zusammen,

auf Anfrage eines Comm. Users , ob es möglich ist eine große Menge Domains schnell ins KH zu schieben, ist dieses kleine Script entstanden.

Die Definition von Menge lag hier bei RUND 200 "Parking" Domains :lol: Na danke auch :lol:

Das ganze basiert auf der hervorragenden KH API Anbindung welche durch das KH Team geschaffen wurde.

Faktenlage

Ich stelle das Skript der Community in einer NICHT Quelloffenen Version und auf MAX. 5 Domains pro Import bereit.

Der Import basiert auf Grundlage einer Domainliste in TXT-Datei Form.

Die Domainlste sollte 1 Domain pro Zeile enthalten, da sie Zeilenweise verarbeitet wird.

Die importieren Domains werden EINEM User (auswählbar) zugewiesen und erhalten ALLE den selben Zielpfad (auswählbar).

Des weiteren können noch andere Optionen eingestellt werden, zb. Erstellen www Sub, Mailfähig, HTTPS etc.

FAQ
Warum / Wie Codiert und warum begrenzt ?
Leider bin auch ich , wie viele andere, ein gebrantmarktes Kind was "Skriptdiebstahl" angeht oder das nicht einhalten von Nutzungsrechten.
Daher habe ich mich für diesen Weg entschieden und für den "Hobby" Hoster sehe ich die 5 Domains Grenze eig. als ausreichend.

Besteht die Möglichkeit auch mehr Domains zu importieren ?
Kla, wer mich hier kennt der weiß das ich kein Unmensch bin und wenn der Grund für eine höhere Importzahl logisch klingt und keinen kommerzielen Hintergrund aufweißt, bin ich auch bereit auf Anfrage per PM die Grenze zu erhöhen.

Besteht eine Chance es für den kommerzielen Zweck nutzen zu dürfen ?
Sicher ist das möglich, doch wer Geld verdient muss es dann auch leider bereit sein auszugeben 8-)
Ich denke die Message kam rüber, also einfach Anfragen per PM.

E.T nach Hause telefonieren ?
Nein, das Skript "telefoniert" nicht nach Hause.
Es erfolgt keinerlei Datenübertragung an Fremdsysteme.

Warum nutzt du phpBolt und nicht z.B IonCube zum codieren ?
Schaut euch die Preise von IonCube und Co an, dann ist alles gesagt :evil:

Wie wurde codiert ?
Das Skript ist via phpBolt PHP Erweiterung codiert.
Die PHP Erweiterung liegt dem Archiv bei und wie man eine PHP Erweiterung installiert sollte bekannt sein, ansonsten hilft da gern Google ;)


Ist dies die einzige und finale Version ?
Keine Ahnung, eine Weiterentwicklung zu was größerem ist nicht ausgeschlossen. :P

Welche Systeme und PHP Versionen werden unterstützt ?
Linux 32 Bit
  • PHP 7.2
  • PHP 7.3
Linux 64 Bit
  • PHP 7.2
  • PHP 7.3
Windows (zb. XAMPP)
  • PHP 7.2
  • PHP 7.3
MacOS
  • PHP 7.2
  • PHP 7.3
Für PHP 7.4 fehlt (bisher) leider die Erweiterung.
Das Skript wurde getestet mit PHP 7.2 und 7.3.
Kompatibilität mit vorherigen Versionen kann aber muss nicht bestehen.

Grafischer Rundgang
setup.png
setup.png (12.45 KiB) Viewed 6375 times
Einrichtung der API Verbindung wenn nicht bereits vorhanden.
user.png
Auswahl des KH Users.
dconf.png
dconf.png (17.08 KiB) Viewed 6375 times
Konfiguration des Domainimport.
lcheck.png
Konfiguration zur letztmaligen Überprüfung.
end.png
end.png (11.48 KiB) Viewed 6375 times
Import abgeschlossen.
ia.png
ia.png (17.02 KiB) Viewed 6375 times
Import Log.
log.png
Import Log in Logdatei auf dem Server (Ordner "logs")

Zum Schluss
Vieleicht hilft es ja dem ein oder anderen weiter.

Bei Fragen, Problemen etc. nutzt einfach den Thread oder schreibt eine PM.

Lieben Gruß: Der dunkle Olli war´s :lol:

EDIT
Noch ein kurzer Nachtrag:
Das Skript ist im aktuellen Zustand nicht vollständig Mobil fähig.
Auf kleinen Geräten, wie zb. Smartphones kann es ggf. dazu kommen das wichtige Optionen nicht sichtbar / überlagert sind.

Re: Domainlist Importer

Posted: Wed 22. Jul 2020, 19:24
by Jolinar
Prüft das Script, ob die einzurichtenden Domains schon vorhanden sind?
Ist in das Script eine Fehlerbehandlung integriert?
Wie verhält sich das Script im Fehlerfall?
Gibt es eine Rollback-Funktion für den Fehlerfall?

Re: Domainlist Importer

Posted: Wed 22. Jul 2020, 19:47
by OlliTheDarkness
Jolinar wrote: ↑Wed 22. Jul 2020, 19:24 Prüft das Script, ob die einzurichtenden Domains schon vorhanden sind?
Ist in das Script eine Fehlerbehandlung integriert?
Wie verhält sich das Script im Fehlerfall?
Gibt es eine Rollback-Funktion für den Fehlerfall?
Selbstverständlich wird der User über etwaige Fehler informiert.

Eine Vorfeldprüfung wird nicht durchgeführt da, wenn vorhanden, die API eine entsprechende Rückmeldung wirft.
Tritt im Verarbeitungsverlauf ein Fehler (z.B Domain bereits vorhanden) auf, wird dies im Log festgehalten beeinflusst aber nicht die weitere Abarbeitung.

Ein "Rollback" ist auf Grund der Gegebenheiten (API Verarbeitung) nicht vorhanden und nötig.
Da die API alle gesendeten Informationen verarbeitet und ggf. bei fehlerhaften werten die übertragenen Daten nicht weiter verarbeitet sondern als Fehler zurück wirft, ist eine "Rollback" Funktion auch ggf. für zukünftige Weiterentwicklungen nicht vorgesehn.

Falls die Rollback Funktion Frage auf die Tatsache gestellt wird , weil der User z.B eine falsche Domainliste hinterlegt hat, kann ich nur sagen "Shit Happens".
Wenn er dann versehentlich 1-200 Domains Importiert hat , welche er garnicht Importen wollte, ist das einfach Pech und er muss sie halt wieder aus dem Panel entfernen.
Ggf. bau ich die umgekehrte Verarbeitung (Löschen statt Erstellen) auf Listengrundlage mal irgendwann ein.

Gruß Olli

EDIT
Im Fall eines "Grundsätzlichen" Fehlers, welcher vom Skript erkannt wurde (Weder Fehler der API noch Serverseitiger Fehler) führt dazu das dass Skript jediglich eine Infomessage anzeigt und dann die weitere Verarbeitung via exit() sofort abbricht.

Re: Domainlist Importer

Posted: Wed 22. Jul 2020, 20:09
by Blackmoon
auf Anfrage eines Comm. Users , ob es möglich ist eine große Menge Domains schnell ins KH zu schieben, ist dieses kleine Script entstanden.
Herzlichen Dank an den unbekannten Nutzer und natürlich an dich für das Bereitstellen des Skritps! Wir haben uns im Vorbereitung eines möglichen Umzugs zu KeyHelp/KeyWeb die selbe Frage gestellt. Sobald es um 3 oder sogar 4stellige Anzahl von Domains geht, kann man das nicht einmal mehr als ABM deklarieren. Das ist schon Strafarbeit. :lol:
Kla, wer mich hier kennt der weiß das ich kein Unmensch bin und wenn der Grund für eine höhere Importzahl logisch klingt und keinen kommerzielen Hintergrund aufweißt, bin ich auch bereit auf Anfrage per PM die Grenze zu erhöhe
Wir würden uns unabhängig davon, gerne bei dir zum gegebeben Zeitpunkt erkenntlich zeigen. Ist es denkbar, dass du auf Wunsch offziell eine Rechnung mit einer Pauschale ausstellst?
Bei Fragen, Problemen etc. nutzt einfach den Thread oder schreibt eine PM.
Wird geprüft, ob
a) in der ausgelesener Zeile nur eine Domain steht?
b) es sich um eine Domain handelt (TLD angegeben, Subdomain, etc... )?

Re: Domainlist Importer

Posted: Wed 22. Jul 2020, 20:40
by OlliTheDarkness
Herzlichen Dank an den unbekannten Nutzer und natürlich an dich für das Bereitstellen des Skritps! Wir haben uns im Vorbereitung eines möglichen Umzugs zu KeyHelp/KeyWeb die selbe Frage gestellt. Sobald es um 3 oder sogar 4stellige Anzahl von Domains geht, kann man das nicht einmal mehr als ABM deklarieren.
Das ist schon Strafarbeit. :lol:
Ich schütze gern die Identität meiner Sorgenkinder :lol:
Naja , dass ist Auslegungssache.
Wenn den richtigen "Sachbearbeiter" beim Amt hast bekommst das durch :lol: :lol: :lol:
Strafarbeit ... so ein böses Wort :P Wer zu seiner Schulzeit (**träum**) 4-5 mal die Schulordnung (3 Seiten) abschreiben musste weil er Scheiße gebaut hat, würde sowas als Erholung ansehen :lol: :P
(Hab ich mal so gehört, die Aussage beruht nicht auf persönlichen Erfahrungen **Glaubt mir eh keiner** :lol: :lol: )
Wir würden uns unabhängig davon, gerne bei dir zum gegebeben Zeitpunkt erkenntlich zeigen.
Ist es denkbar, dass du auf Wunsch offziell eine Rechnung mit einer Pauschale ausstellst?
2 **zitter** böse Worte in einem Satz...
Offiziell & Rechnung , die letzten Dinge die ein Handwerker lesen oder vom Kunden hören will.
:lol: :lol: Sorry der musste einfach raus :lol: :lol:
Komm diesbezüglich einfach nochmal per PM im Forum durch zu gegebener Zeit.
Wird geprüft, ob
a) in der ausgelesener Zeile nur eine Domain steht?
b) es sich um eine Domain handelt (TLD angegeben, Subdomain, etc... )?
Zu A
Dies wird nicht expl. geprüft, jediglich auf LEERZEICHEN am anfang und ende jeder Zeile wird geschaut und ggf. entfernt.
Ich sehe eine Prüfung da auch, vieleicht denke ich da auch zu kompliziert, als schwer an.
Den das würde vorraussetzen, dass ich gegen eine Liste weltweit verfügbaren Endungen prüfen müsste um ggf. erkennen zu können ob es sich um eine Domain handelt.

Beispiel:

Code: Select all

hallowelt.de
abc.de
xyz.deabc.de   << Hier könnte davon ausgegangen werden das es sich eig. um 2 Domains in einer Zeile handelt.
987.de
Aber selbst wenn ich gegen eine Liste prüfen würde , gäbe es ein weiteres Problem ...

Bestes Beispiel:
community.keyhelp.de <<< Würde möglicherweise auf das com reagieren da .com eine Domainendung ist.
(Ich weiß das eine Prüfung auf . vor dem möglich erkanntem DN eher erfolgreich ist)
So das dazu, so einigermaßen zumindest.

Zu B
Gegenwärtig nicht, es wird von Grundauf davon ausgegangen, dass es sich um eine Hauptdomain handelt.
Subdomains waren zum Erstellungszeitpunkt nicht Teil der vom User umzusetzenden Aufgabe.
Dies habe ich nun mal auf die Liste geschrieben für ggf. zukünftige Weiterentwicklung.

Gruß Olli

Re: Domainlist Importer

Posted: Thu 23. Jul 2020, 08:32
by nikko
Ja, es würde ja auch noch u.U. eine community.keyhelp.de.com geben (diese Endungen gibt es ja auch noch).
Ob in einer Zeile eine Domain steht - das gegenzuprüfen würde den Rahmen sprengen und vermutlich mehr Aufwand bedeuten, als das Script selbst.

Also: "You can`t make chicken salat from chicken shit." - die Importliste sollte schon korrekt sein.
Und wenn nicht, die 2 oder 3 Fehler lassen sich dann im Nachgang von Hand ausbügeln... Wer hats verbockt? :lol:

Re: Domainlist Importer

Posted: Thu 23. Jul 2020, 13:13
by OlliTheDarkness
nikko wrote: ↑Thu 23. Jul 2020, 08:32 Ja, es würde ja auch noch u.U. eine community.keyhelp.de.com geben (diese Endungen gibt es ja auch noch).
Ob in einer Zeile eine Domain steht - das gegenzuprüfen würde den Rahmen sprengen und vermutlich mehr Aufwand bedeuten, als das Script selbst.

Also: "You can`t make chicken salat from chicken shit." - die Importliste sollte schon korrekt sein.
Und wenn nicht, die 2 oder 3 Fehler lassen sich dann im Nachgang von Hand ausbügeln... Wer hats verbockt? :lol:
Stimmt, die .de.com Domains hatte ich jetzt noch garnicht mit eingedacht, kommt noch dazu das ist korrekt.
Zu mal in meiem Zu A Beispiel könnte die angebliche Doppeldomain in einer Zeile auch eine Sub sein ^^

Ich denke, zumindest würde ich es als logisch empfinden, das lass ich einfach gegen die GÄNGIGSTEN TLD testen und bei unstimmigkeiten schreib ich die unklarren Domains in deine eigene Datei, importe erst nur die klaren und gebe danach dem User die Wahlmöglichkeit wie, bzw was mit den unklaren passieren sol.

Ist aber grade alles nur fiktive Theorie

Wer es verbockt hat ?
Im Zweifel IMMER die Putzfrau :lol:
Es müssen immer Köpfe rollen, willkommen in der Wirtschaft :lol:

Re: Domainlist Importer

Posted: Thu 23. Jul 2020, 13:34
by Tobi
Wie wäre es damit?
https://github.com/incognico/list-of-top-level-domains

Aber die Domainendung ".de.com" konnte ich nirgends finden...

Re: Domainlist Importer

Posted: Thu 23. Jul 2020, 13:42
by OlliTheDarkness
Tobi wrote: ↑Thu 23. Jul 2020, 13:34 Wie wäre es damit?
https://github.com/incognico/list-of-top-level-domains

Aber die Domainendung ".de.com" konnte ich nirgends finden...
Danke dir, werd mir das mal ggf. ab Montag ansehen wenn ich wieder zurück bin :)

.de.com ist mir in der Vergangenheit öffters begegnet, denke ist irgend ein spezial Kram, aber zum aktuellen Zeitpunkt eh alles am ende dere ToDo.

Re: Domainlist Importer

Posted: Mon 27. Jul 2020, 20:03
by joestr
Tobi wrote: ↑Thu 23. Jul 2020, 13:34 Wie wäre es damit?
https://github.com/incognico/list-of-top-level-domains

Aber die Domainendung ".de.com" konnte ich nirgends finden...
.de.com ist ja nicht Top-Level sondern Second-Level (vgl. .co.uk).

Viele Programme/Bibliotheken nehmen https://publicsuffix.org/list/public_suffix_list.dat Liste, da diese von einer großen Community zusammengetragene öffentliche Suffixe bereitstellt. Auch Let's Encrypt verwendet diese Liste um eine Domain und desen Rate-Limits zuordnen zu können.

Re: Domainlist Importer

Posted: Fri 31. Jul 2020, 21:52
by Blackmoon
OlliTheDarkness wrote: ↑Wed 22. Jul 2020, 20:40 Dies wird nicht expl. geprüft, jediglich auf LEERZEICHEN am anfang und ende jeder Zeile wird geschaut und ggf. entfernt.
Ich sehe eine Prüfung da auch, vieleicht denke ich da auch zu kompliziert, als schwer an.
Den das würde vorraussetzen, dass ich gegen eine Liste weltweit verfügbaren Endungen prüfen müsste um ggf. erkennen zu können ob es sich um eine Domain handelt.
Evtl. könnte dieser reguläre Ausdruck eine Grundlage bilden.

Re: Domainlist Importer

Posted: Fri 14. Aug 2020, 16:40
by MLan
Blackmoon wrote: ↑Wed 22. Jul 2020, 20:09 Herzlichen Dank an den unbekannten Nutzer ...
Keine Ursache gern geschehn, denn die Arbeit hatte zu 100% der Olli

OlliTheDarkness wrote: ↑Wed 22. Jul 2020, 20:40 Ich schütze gern die Identität meiner Sorgenkinder :lol:
Und ich dachte wir sind Freunde :shock:

Nochmals vielen Dank Olli.
Letztendlich hab ich damit 430 Domains in 100er steps reinpumpen können

PS:
hab ich mich jetzt geoutet ?

Re: Domainlist Importer

Posted: Fri 14. Aug 2020, 16:42
by OlliTheDarkness
MLan wrote: ↑Fri 14. Aug 2020, 16:40
Blackmoon wrote: ↑Wed 22. Jul 2020, 20:09 Herzlichen Dank an den unbekannten Nutzer ...
Keine Ursache gern geschehn, denn die Arbeit hatte zu 100% der Olli

OlliTheDarkness wrote: ↑Wed 22. Jul 2020, 20:40 Ich schütze gern die Identität meiner Sorgenkinder :lol:
Und ich dachte wir sind Freunde :shock:

Nochmals vielen Dank Olli.
Letztendlich hab ich damit 430 Domains in 100er steps reinpumpen können

PS:
hab ich mich jetzt geoutet ?
Na toll, da hält man sich an die Datenschutz Grundverordnung und dann wird man sabotiert, so geht das NICHT ! :lol: :lol: :lol: :lol:

Re: Domainlist Importer

Posted: Fri 18. Dec 2020, 02:35
by OlliTheDarkness
php-Bolt hat nun eine PHP 7.4 Unterstützung erhalten.

Anbei als "Update" die Erweiterung für:

PHP 7.4 für Linux x64
PHP 7.4 für Mac x64
PHP 7.4 für Windows x64

Eine x86 (32 Bit) Unterstützung ist nicht vorhanden und wird auch zukünftig wohl nicht mehr gegeben sein.

PHP Bolt wird entwickelt und vertrieben durch
arshidkv12 auf GitHub
Homepage
All times are UTC+02:00
Page 1 of 1

Powered by phpBB® Forum Software © phpBB Limited