Einen Überblick über das Administrationstool KeyHelp der Keyweb AG und dessen Download gibt es auf https://www.keyhelp.de

Dieses Forum soll es interessierten Benutzern ermöglichen, sich über KeyHelp auszutauschen und Hilfe bei Problemen zu finden.

Domainlist Importer

Bastelecke für Scripte
Antworten
Benutzeravatar
OlliTheDarkness
Beiträge: 909
Registriert: Di 14. Aug 2018, 16:41
Wohnort: Essen (NRW)

Domainlist Importer

Beitrag von OlliTheDarkness »

Moin zusammen,

auf Anfrage eines Comm. Users , ob es möglich ist eine große Menge Domains schnell ins KH zu schieben, ist dieses kleine Script entstanden.

Die Definition von Menge lag hier bei RUND 200 "Parking" Domains :lol: Na danke auch :lol:

Das ganze basiert auf der hervorragenden KH API Anbindung welche durch das KH Team geschaffen wurde.

Faktenlage

Ich stelle das Skript der Community in einer NICHT Quelloffenen Version und auf MAX. 5 Domains pro Import bereit.

Der Import basiert auf Grundlage einer Domainliste in TXT-Datei Form.

Die Domainlste sollte 1 Domain pro Zeile enthalten, da sie Zeilenweise verarbeitet wird.

Die importieren Domains werden EINEM User (auswählbar) zugewiesen und erhalten ALLE den selben Zielpfad (auswählbar).

Des weiteren können noch andere Optionen eingestellt werden, zb. Erstellen www Sub, Mailfähig, HTTPS etc.

FAQ
Warum / Wie Codiert und warum begrenzt ?
Leider bin auch ich , wie viele andere, ein gebrantmarktes Kind was "Skriptdiebstahl" angeht oder das nicht einhalten von Nutzungsrechten.
Daher habe ich mich für diesen Weg entschieden und für den "Hobby" Hoster sehe ich die 5 Domains Grenze eig. als ausreichend.

Besteht die Möglichkeit auch mehr Domains zu importieren ?
Kla, wer mich hier kennt der weiß das ich kein Unmensch bin und wenn der Grund für eine höhere Importzahl logisch klingt und keinen kommerzielen Hintergrund aufweißt, bin ich auch bereit auf Anfrage per PM die Grenze zu erhöhen.

Besteht eine Chance es für den kommerzielen Zweck nutzen zu dürfen ?
Sicher ist das möglich, doch wer Geld verdient muss es dann auch leider bereit sein auszugeben 8-)
Ich denke die Message kam rüber, also einfach Anfragen per PM.

E.T nach Hause telefonieren ?
Nein, das Skript "telefoniert" nicht nach Hause.
Es erfolgt keinerlei Datenübertragung an Fremdsysteme.

Warum nutzt du phpBolt und nicht z.B IonCube zum codieren ?
Schaut euch die Preise von IonCube und Co an, dann ist alles gesagt :evil:

Wie wurde codiert ?
Das Skript ist via phpBolt PHP Erweiterung codiert.
Die PHP Erweiterung liegt dem Archiv bei und wie man eine PHP Erweiterung installiert sollte bekannt sein, ansonsten hilft da gern Google ;)


Ist dies die einzige und finale Version ?
Keine Ahnung, eine Weiterentwicklung zu was größerem ist nicht ausgeschlossen. :P

Welche Systeme und PHP Versionen werden unterstützt ?
Linux 32 Bit
  • PHP 7.2
  • PHP 7.3
Linux 64 Bit
  • PHP 7.2
  • PHP 7.3
Windows (zb. XAMPP)
  • PHP 7.2
  • PHP 7.3
MacOS
  • PHP 7.2
  • PHP 7.3
Für PHP 7.4 fehlt (bisher) leider die Erweiterung.
Das Skript wurde getestet mit PHP 7.2 und 7.3.
Kompatibilität mit vorherigen Versionen kann aber muss nicht bestehen.

Grafischer Rundgang
setup.png
setup.png (12.45 KiB) 406 mal betrachtet
Einrichtung der API Verbindung wenn nicht bereits vorhanden.
user.png
Auswahl des KH Users.
dconf.png
dconf.png (17.08 KiB) 406 mal betrachtet
Konfiguration des Domainimport.
lcheck.png
Konfiguration zur letztmaligen Überprüfung.
end.png
end.png (11.48 KiB) 406 mal betrachtet
Import abgeschlossen.
ia.png
ia.png (17.02 KiB) 406 mal betrachtet
Import Log.
log.png
Import Log in Logdatei auf dem Server (Ordner "logs")

Zum Schluss
Vieleicht hilft es ja dem ein oder anderen weiter.

Bei Fragen, Problemen etc. nutzt einfach den Thread oder schreibt eine PM.

Lieben Gruß: Der dunkle Olli war´s :lol:

EDIT
Noch ein kurzer Nachtrag:
Das Skript ist im aktuellen Zustand nicht vollständig Mobil fähig.
Auf kleinen Geräten, wie zb. Smartphones kann es ggf. dazu kommen das wichtige Optionen nicht sichtbar / überlagert sind.
Dateianhänge
Domainlist-Importer-V1-KH.rar
(262.12 KiB) 10-mal heruntergeladen
Zuletzt geändert von OlliTheDarkness am Mi 22. Jul 2020, 22:45, insgesamt 1-mal geändert.
Jolinar
Community Moderator
Beiträge: 1648
Registriert: Sa 30. Jan 2016, 07:11
Wohnort: Weimar (Thüringen)
Kontaktdaten:

Re: Domainlist Importer

Beitrag von Jolinar »

Prüft das Script, ob die einzurichtenden Domains schon vorhanden sind?
Ist in das Script eine Fehlerbehandlung integriert?
Wie verhält sich das Script im Fehlerfall?
Gibt es eine Rollback-Funktion für den Fehlerfall?
Wenn jemand inkompetent ist, dann kann er nicht wissen, daß er inkompetent ist. (David Dunning)
___
Zehn Corona-Heilmethoden :lol: (Mein Favorit ist #3)
Benutzeravatar
OlliTheDarkness
Beiträge: 909
Registriert: Di 14. Aug 2018, 16:41
Wohnort: Essen (NRW)

Re: Domainlist Importer

Beitrag von OlliTheDarkness »

Jolinar hat geschrieben:
Mi 22. Jul 2020, 19:24
Prüft das Script, ob die einzurichtenden Domains schon vorhanden sind?
Ist in das Script eine Fehlerbehandlung integriert?
Wie verhält sich das Script im Fehlerfall?
Gibt es eine Rollback-Funktion für den Fehlerfall?
Selbstverständlich wird der User über etwaige Fehler informiert.

Eine Vorfeldprüfung wird nicht durchgeführt da, wenn vorhanden, die API eine entsprechende Rückmeldung wirft.
Tritt im Verarbeitungsverlauf ein Fehler (z.B Domain bereits vorhanden) auf, wird dies im Log festgehalten beeinflusst aber nicht die weitere Abarbeitung.

Ein "Rollback" ist auf Grund der Gegebenheiten (API Verarbeitung) nicht vorhanden und nötig.
Da die API alle gesendeten Informationen verarbeitet und ggf. bei fehlerhaften werten die übertragenen Daten nicht weiter verarbeitet sondern als Fehler zurück wirft, ist eine "Rollback" Funktion auch ggf. für zukünftige Weiterentwicklungen nicht vorgesehn.

Falls die Rollback Funktion Frage auf die Tatsache gestellt wird , weil der User z.B eine falsche Domainliste hinterlegt hat, kann ich nur sagen "Shit Happens".
Wenn er dann versehentlich 1-200 Domains Importiert hat , welche er garnicht Importen wollte, ist das einfach Pech und er muss sie halt wieder aus dem Panel entfernen.
Ggf. bau ich die umgekehrte Verarbeitung (Löschen statt Erstellen) auf Listengrundlage mal irgendwann ein.

Gruß Olli

EDIT
Im Fall eines "Grundsätzlichen" Fehlers, welcher vom Skript erkannt wurde (Weder Fehler der API noch Serverseitiger Fehler) führt dazu das dass Skript jediglich eine Infomessage anzeigt und dann die weitere Verarbeitung via exit() sofort abbricht.
Zuletzt geändert von OlliTheDarkness am Mi 22. Jul 2020, 20:59, insgesamt 1-mal geändert.
Blackmoon
Beiträge: 217
Registriert: Sa 1. Dez 2018, 16:42

Re: Domainlist Importer

Beitrag von Blackmoon »

auf Anfrage eines Comm. Users , ob es möglich ist eine große Menge Domains schnell ins KH zu schieben, ist dieses kleine Script entstanden.
Herzlichen Dank an den unbekannten Nutzer und natürlich an dich für das Bereitstellen des Skritps! Wir haben uns im Vorbereitung eines möglichen Umzugs zu KeyHelp/KeyWeb die selbe Frage gestellt. Sobald es um 3 oder sogar 4stellige Anzahl von Domains geht, kann man das nicht einmal mehr als ABM deklarieren. Das ist schon Strafarbeit. :lol:
Kla, wer mich hier kennt der weiß das ich kein Unmensch bin und wenn der Grund für eine höhere Importzahl logisch klingt und keinen kommerzielen Hintergrund aufweißt, bin ich auch bereit auf Anfrage per PM die Grenze zu erhöhe
Wir würden uns unabhängig davon, gerne bei dir zum gegebeben Zeitpunkt erkenntlich zeigen. Ist es denkbar, dass du auf Wunsch offziell eine Rechnung mit einer Pauschale ausstellst?
Bei Fragen, Problemen etc. nutzt einfach den Thread oder schreibt eine PM.
Wird geprüft, ob
a) in der ausgelesener Zeile nur eine Domain steht?
b) es sich um eine Domain handelt (TLD angegeben, Subdomain, etc... )?
Benutzeravatar
OlliTheDarkness
Beiträge: 909
Registriert: Di 14. Aug 2018, 16:41
Wohnort: Essen (NRW)

Re: Domainlist Importer

Beitrag von OlliTheDarkness »

Herzlichen Dank an den unbekannten Nutzer und natürlich an dich für das Bereitstellen des Skritps! Wir haben uns im Vorbereitung eines möglichen Umzugs zu KeyHelp/KeyWeb die selbe Frage gestellt. Sobald es um 3 oder sogar 4stellige Anzahl von Domains geht, kann man das nicht einmal mehr als ABM deklarieren.
Das ist schon Strafarbeit. :lol:
Ich schütze gern die Identität meiner Sorgenkinder :lol:
Naja , dass ist Auslegungssache.
Wenn den richtigen "Sachbearbeiter" beim Amt hast bekommst das durch :lol: :lol: :lol:
Strafarbeit ... so ein böses Wort :P Wer zu seiner Schulzeit (**träum**) 4-5 mal die Schulordnung (3 Seiten) abschreiben musste weil er Scheiße gebaut hat, würde sowas als Erholung ansehen :lol: :P
(Hab ich mal so gehört, die Aussage beruht nicht auf persönlichen Erfahrungen **Glaubt mir eh keiner** :lol: :lol: )
Wir würden uns unabhängig davon, gerne bei dir zum gegebeben Zeitpunkt erkenntlich zeigen.
Ist es denkbar, dass du auf Wunsch offziell eine Rechnung mit einer Pauschale ausstellst?
2 **zitter** böse Worte in einem Satz...
Offiziell & Rechnung , die letzten Dinge die ein Handwerker lesen oder vom Kunden hören will.
:lol: :lol: Sorry der musste einfach raus :lol: :lol:
Komm diesbezüglich einfach nochmal per PM im Forum durch zu gegebener Zeit.
Wird geprüft, ob
a) in der ausgelesener Zeile nur eine Domain steht?
b) es sich um eine Domain handelt (TLD angegeben, Subdomain, etc... )?
Zu A
Dies wird nicht expl. geprüft, jediglich auf LEERZEICHEN am anfang und ende jeder Zeile wird geschaut und ggf. entfernt.
Ich sehe eine Prüfung da auch, vieleicht denke ich da auch zu kompliziert, als schwer an.
Den das würde vorraussetzen, dass ich gegen eine Liste weltweit verfügbaren Endungen prüfen müsste um ggf. erkennen zu können ob es sich um eine Domain handelt.

Beispiel:

Code: Alles auswählen

hallowelt.de
abc.de
xyz.deabc.de   << Hier könnte davon ausgegangen werden das es sich eig. um 2 Domains in einer Zeile handelt.
987.de
Aber selbst wenn ich gegen eine Liste prüfen würde , gäbe es ein weiteres Problem ...

Bestes Beispiel:
community.keyhelp.de <<< Würde möglicherweise auf das com reagieren da .com eine Domainendung ist.
(Ich weiß das eine Prüfung auf . vor dem möglich erkanntem DN eher erfolgreich ist)
So das dazu, so einigermaßen zumindest.

Zu B
Gegenwärtig nicht, es wird von Grundauf davon ausgegangen, dass es sich um eine Hauptdomain handelt.
Subdomains waren zum Erstellungszeitpunkt nicht Teil der vom User umzusetzenden Aufgabe.
Dies habe ich nun mal auf die Liste geschrieben für ggf. zukünftige Weiterentwicklung.

Gruß Olli
nikko
Beiträge: 858
Registriert: Fr 15. Apr 2016, 16:11

Re: Domainlist Importer

Beitrag von nikko »

Ja, es würde ja auch noch u.U. eine community.keyhelp.de.com geben (diese Endungen gibt es ja auch noch).
Ob in einer Zeile eine Domain steht - das gegenzuprüfen würde den Rahmen sprengen und vermutlich mehr Aufwand bedeuten, als das Script selbst.

Also: "You can`t make chicken salat from chicken shit." - die Importliste sollte schon korrekt sein.
Und wenn nicht, die 2 oder 3 Fehler lassen sich dann im Nachgang von Hand ausbügeln... Wer hats verbockt? :lol:
The software said: Requires Win Vista®, 7®, 8® or better. And so I installed Linux.
Benutzeravatar
OlliTheDarkness
Beiträge: 909
Registriert: Di 14. Aug 2018, 16:41
Wohnort: Essen (NRW)

Re: Domainlist Importer

Beitrag von OlliTheDarkness »

nikko hat geschrieben:
Do 23. Jul 2020, 08:32
Ja, es würde ja auch noch u.U. eine community.keyhelp.de.com geben (diese Endungen gibt es ja auch noch).
Ob in einer Zeile eine Domain steht - das gegenzuprüfen würde den Rahmen sprengen und vermutlich mehr Aufwand bedeuten, als das Script selbst.

Also: "You can`t make chicken salat from chicken shit." - die Importliste sollte schon korrekt sein.
Und wenn nicht, die 2 oder 3 Fehler lassen sich dann im Nachgang von Hand ausbügeln... Wer hats verbockt? :lol:
Stimmt, die .de.com Domains hatte ich jetzt noch garnicht mit eingedacht, kommt noch dazu das ist korrekt.
Zu mal in meiem Zu A Beispiel könnte die angebliche Doppeldomain in einer Zeile auch eine Sub sein ^^

Ich denke, zumindest würde ich es als logisch empfinden, das lass ich einfach gegen die GÄNGIGSTEN TLD testen und bei unstimmigkeiten schreib ich die unklarren Domains in deine eigene Datei, importe erst nur die klaren und gebe danach dem User die Wahlmöglichkeit wie, bzw was mit den unklaren passieren sol.

Ist aber grade alles nur fiktive Theorie

Wer es verbockt hat ?
Im Zweifel IMMER die Putzfrau :lol:
Es müssen immer Köpfe rollen, willkommen in der Wirtschaft :lol:
Benutzeravatar
Tobi
Community Moderator
Beiträge: 1267
Registriert: Do 5. Jan 2017, 13:24

Re: Domainlist Importer

Beitrag von Tobi »

Wie wäre es damit?
https://github.com/incognico/list-of-top-level-domains

Aber die Domainendung ".de.com" konnte ich nirgends finden...
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
Benutzeravatar
OlliTheDarkness
Beiträge: 909
Registriert: Di 14. Aug 2018, 16:41
Wohnort: Essen (NRW)

Re: Domainlist Importer

Beitrag von OlliTheDarkness »

Tobi hat geschrieben:
Do 23. Jul 2020, 13:34
Wie wäre es damit?
https://github.com/incognico/list-of-top-level-domains

Aber die Domainendung ".de.com" konnte ich nirgends finden...
Danke dir, werd mir das mal ggf. ab Montag ansehen wenn ich wieder zurück bin :)

.de.com ist mir in der Vergangenheit öffters begegnet, denke ist irgend ein spezial Kram, aber zum aktuellen Zeitpunkt eh alles am ende dere ToDo.
Benutzeravatar
joestr
Beiträge: 16
Registriert: Do 25. Apr 2019, 21:55

Re: Domainlist Importer

Beitrag von joestr »

Tobi hat geschrieben:
Do 23. Jul 2020, 13:34
Wie wäre es damit?
https://github.com/incognico/list-of-top-level-domains

Aber die Domainendung ".de.com" konnte ich nirgends finden...
.de.com ist ja nicht Top-Level sondern Second-Level (vgl. .co.uk).

Viele Programme/Bibliotheken nehmen https://publicsuffix.org/list/public_suffix_list.dat Liste, da diese von einer großen Community zusammengetragene öffentliche Suffixe bereitstellt. Auch Let's Encrypt verwendet diese Liste um eine Domain und desen Rate-Limits zuordnen zu können.
Blackmoon
Beiträge: 217
Registriert: Sa 1. Dez 2018, 16:42

Re: Domainlist Importer

Beitrag von Blackmoon »

OlliTheDarkness hat geschrieben:
Mi 22. Jul 2020, 20:40
Dies wird nicht expl. geprüft, jediglich auf LEERZEICHEN am anfang und ende jeder Zeile wird geschaut und ggf. entfernt.
Ich sehe eine Prüfung da auch, vieleicht denke ich da auch zu kompliziert, als schwer an.
Den das würde vorraussetzen, dass ich gegen eine Liste weltweit verfügbaren Endungen prüfen müsste um ggf. erkennen zu können ob es sich um eine Domain handelt.
Evtl. könnte dieser reguläre Ausdruck eine Grundlage bilden.
Antworten