Domainlist Importer

Für Modifikationen in und um KeyHelp.
Post Reply
User avatar
OlliTheDarkness
Posts: 1854
Joined: Tue 14. Aug 2018, 16:41
Location: Essen (NRW)

Domainlist Importer

Post by OlliTheDarkness »

Moin zusammen,

auf Anfrage eines Comm. Users , ob es möglich ist eine große Menge Domains schnell ins KH zu schieben, ist dieses kleine Script entstanden.

Die Definition von Menge lag hier bei RUND 200 "Parking" Domains :lol: Na danke auch :lol:

Das ganze basiert auf der hervorragenden KH API Anbindung welche durch das KH Team geschaffen wurde.

Faktenlage

Ich stelle das Skript der Community in einer NICHT Quelloffenen Version und auf MAX. 5 Domains pro Import bereit.

Der Import basiert auf Grundlage einer Domainliste in TXT-Datei Form.

Die Domainlste sollte 1 Domain pro Zeile enthalten, da sie Zeilenweise verarbeitet wird.

Die importieren Domains werden EINEM User (auswählbar) zugewiesen und erhalten ALLE den selben Zielpfad (auswählbar).

Des weiteren können noch andere Optionen eingestellt werden, zb. Erstellen www Sub, Mailfähig, HTTPS etc.

FAQ
Warum / Wie Codiert und warum begrenzt ?
Leider bin auch ich , wie viele andere, ein gebrantmarktes Kind was "Skriptdiebstahl" angeht oder das nicht einhalten von Nutzungsrechten.
Daher habe ich mich für diesen Weg entschieden und für den "Hobby" Hoster sehe ich die 5 Domains Grenze eig. als ausreichend.

Besteht die Möglichkeit auch mehr Domains zu importieren ?
Kla, wer mich hier kennt der weiß das ich kein Unmensch bin und wenn der Grund für eine höhere Importzahl logisch klingt und keinen kommerzielen Hintergrund aufweißt, bin ich auch bereit auf Anfrage per PM die Grenze zu erhöhen.

Besteht eine Chance es für den kommerzielen Zweck nutzen zu dürfen ?
Sicher ist das möglich, doch wer Geld verdient muss es dann auch leider bereit sein auszugeben 8-)
Ich denke die Message kam rüber, also einfach Anfragen per PM.

E.T nach Hause telefonieren ?
Nein, das Skript "telefoniert" nicht nach Hause.
Es erfolgt keinerlei Datenübertragung an Fremdsysteme.

Warum nutzt du phpBolt und nicht z.B IonCube zum codieren ?
Schaut euch die Preise von IonCube und Co an, dann ist alles gesagt :evil:

Wie wurde codiert ?
Das Skript ist via phpBolt PHP Erweiterung codiert.
Die PHP Erweiterung liegt dem Archiv bei und wie man eine PHP Erweiterung installiert sollte bekannt sein, ansonsten hilft da gern Google ;)


Ist dies die einzige und finale Version ?
Keine Ahnung, eine Weiterentwicklung zu was größerem ist nicht ausgeschlossen. :P

Welche Systeme und PHP Versionen werden unterstützt ?
Linux 32 Bit
  • PHP 7.2
  • PHP 7.3
Linux 64 Bit
  • PHP 7.2
  • PHP 7.3
Windows (zb. XAMPP)
  • PHP 7.2
  • PHP 7.3
MacOS
  • PHP 7.2
  • PHP 7.3
Für PHP 7.4 fehlt (bisher) leider die Erweiterung.
Das Skript wurde getestet mit PHP 7.2 und 7.3.
Kompatibilität mit vorherigen Versionen kann aber muss nicht bestehen.

Grafischer Rundgang
setup.png
setup.png (12.45 KiB) Viewed 6225 times
Einrichtung der API Verbindung wenn nicht bereits vorhanden.
user.png
Auswahl des KH Users.
dconf.png
dconf.png (17.08 KiB) Viewed 6225 times
Konfiguration des Domainimport.
lcheck.png
Konfiguration zur letztmaligen Überprüfung.
end.png
end.png (11.48 KiB) Viewed 6225 times
Import abgeschlossen.
ia.png
ia.png (17.02 KiB) Viewed 6225 times
Import Log.
log.png
Import Log in Logdatei auf dem Server (Ordner "logs")

Zum Schluss
Vieleicht hilft es ja dem ein oder anderen weiter.

Bei Fragen, Problemen etc. nutzt einfach den Thread oder schreibt eine PM.

Lieben Gruß: Der dunkle Olli war´s :lol:

EDIT
Noch ein kurzer Nachtrag:
Das Skript ist im aktuellen Zustand nicht vollständig Mobil fähig.
Auf kleinen Geräten, wie zb. Smartphones kann es ggf. dazu kommen das wichtige Optionen nicht sichtbar / überlagert sind.
Attachments
Domainlist-Importer-V1-KH.rar
(262.12 KiB) Downloaded 219 times
Last edited by OlliTheDarkness on Wed 22. Jul 2020, 22:45, edited 1 time in total.
Mit freundlichen Grüßen
OlliTheDarkness

**************************************************************
Helden leben lange, Legenden sterben nie

:!: World Hack Organization :!:
**************************************************************
User avatar
Jolinar
Community Moderator
Posts: 3559
Joined: Sat 30. Jan 2016, 07:11
Location: Weimar (Thüringen)
Contact:

Re: Domainlist Importer

Post by Jolinar »

Prüft das Script, ob die einzurichtenden Domains schon vorhanden sind?
Ist in das Script eine Fehlerbehandlung integriert?
Wie verhält sich das Script im Fehlerfall?
Gibt es eine Rollback-Funktion für den Fehlerfall?
Wenn jemand inkompetent ist, dann kann er nicht wissen, daß er inkompetent ist. (David Dunning)

Data Collector für Community Support
___
Ich verwende zwei verschiedene Schriftfarben in meinen Beiträgen /
I use two different font colors in my posts:
  • In dieser Farbe schreibe ich als Moderator und gebe moderative Hinweise oder begründe moderative Eingriffe /
    In this color, I write as a moderator and provide moderative guidance or justify moderative interventions
  • In dieser Farbe schreibe ich als Community Mitglied und teile meine private Meinung und persönlichen Ansichten mit /
    In this color, I write as a community member and share my personal opinions and views
User avatar
OlliTheDarkness
Posts: 1854
Joined: Tue 14. Aug 2018, 16:41
Location: Essen (NRW)

Re: Domainlist Importer

Post by OlliTheDarkness »

Jolinar wrote: Wed 22. Jul 2020, 19:24 Prüft das Script, ob die einzurichtenden Domains schon vorhanden sind?
Ist in das Script eine Fehlerbehandlung integriert?
Wie verhält sich das Script im Fehlerfall?
Gibt es eine Rollback-Funktion für den Fehlerfall?
Selbstverständlich wird der User über etwaige Fehler informiert.

Eine Vorfeldprüfung wird nicht durchgeführt da, wenn vorhanden, die API eine entsprechende Rückmeldung wirft.
Tritt im Verarbeitungsverlauf ein Fehler (z.B Domain bereits vorhanden) auf, wird dies im Log festgehalten beeinflusst aber nicht die weitere Abarbeitung.

Ein "Rollback" ist auf Grund der Gegebenheiten (API Verarbeitung) nicht vorhanden und nötig.
Da die API alle gesendeten Informationen verarbeitet und ggf. bei fehlerhaften werten die übertragenen Daten nicht weiter verarbeitet sondern als Fehler zurück wirft, ist eine "Rollback" Funktion auch ggf. für zukünftige Weiterentwicklungen nicht vorgesehn.

Falls die Rollback Funktion Frage auf die Tatsache gestellt wird , weil der User z.B eine falsche Domainliste hinterlegt hat, kann ich nur sagen "Shit Happens".
Wenn er dann versehentlich 1-200 Domains Importiert hat , welche er garnicht Importen wollte, ist das einfach Pech und er muss sie halt wieder aus dem Panel entfernen.
Ggf. bau ich die umgekehrte Verarbeitung (Löschen statt Erstellen) auf Listengrundlage mal irgendwann ein.

Gruß Olli

EDIT
Im Fall eines "Grundsätzlichen" Fehlers, welcher vom Skript erkannt wurde (Weder Fehler der API noch Serverseitiger Fehler) führt dazu das dass Skript jediglich eine Infomessage anzeigt und dann die weitere Verarbeitung via exit() sofort abbricht.
Last edited by OlliTheDarkness on Wed 22. Jul 2020, 20:59, edited 1 time in total.
Mit freundlichen Grüßen
OlliTheDarkness

**************************************************************
Helden leben lange, Legenden sterben nie

:!: World Hack Organization :!:
**************************************************************
Blackmoon
Posts: 345
Joined: Sat 1. Dec 2018, 16:42

Re: Domainlist Importer

Post by Blackmoon »

auf Anfrage eines Comm. Users , ob es möglich ist eine große Menge Domains schnell ins KH zu schieben, ist dieses kleine Script entstanden.
Herzlichen Dank an den unbekannten Nutzer und natürlich an dich für das Bereitstellen des Skritps! Wir haben uns im Vorbereitung eines möglichen Umzugs zu KeyHelp/KeyWeb die selbe Frage gestellt. Sobald es um 3 oder sogar 4stellige Anzahl von Domains geht, kann man das nicht einmal mehr als ABM deklarieren. Das ist schon Strafarbeit. :lol:
Kla, wer mich hier kennt der weiß das ich kein Unmensch bin und wenn der Grund für eine höhere Importzahl logisch klingt und keinen kommerzielen Hintergrund aufweißt, bin ich auch bereit auf Anfrage per PM die Grenze zu erhöhe
Wir würden uns unabhängig davon, gerne bei dir zum gegebeben Zeitpunkt erkenntlich zeigen. Ist es denkbar, dass du auf Wunsch offziell eine Rechnung mit einer Pauschale ausstellst?
Bei Fragen, Problemen etc. nutzt einfach den Thread oder schreibt eine PM.
Wird geprüft, ob
a) in der ausgelesener Zeile nur eine Domain steht?
b) es sich um eine Domain handelt (TLD angegeben, Subdomain, etc... )?
User avatar
OlliTheDarkness
Posts: 1854
Joined: Tue 14. Aug 2018, 16:41
Location: Essen (NRW)

Re: Domainlist Importer

Post by OlliTheDarkness »

Herzlichen Dank an den unbekannten Nutzer und natürlich an dich für das Bereitstellen des Skritps! Wir haben uns im Vorbereitung eines möglichen Umzugs zu KeyHelp/KeyWeb die selbe Frage gestellt. Sobald es um 3 oder sogar 4stellige Anzahl von Domains geht, kann man das nicht einmal mehr als ABM deklarieren.
Das ist schon Strafarbeit. :lol:
Ich schütze gern die Identität meiner Sorgenkinder :lol:
Naja , dass ist Auslegungssache.
Wenn den richtigen "Sachbearbeiter" beim Amt hast bekommst das durch :lol: :lol: :lol:
Strafarbeit ... so ein böses Wort :P Wer zu seiner Schulzeit (**träum**) 4-5 mal die Schulordnung (3 Seiten) abschreiben musste weil er Scheiße gebaut hat, würde sowas als Erholung ansehen :lol: :P
(Hab ich mal so gehört, die Aussage beruht nicht auf persönlichen Erfahrungen **Glaubt mir eh keiner** :lol: :lol: )
Wir würden uns unabhängig davon, gerne bei dir zum gegebeben Zeitpunkt erkenntlich zeigen.
Ist es denkbar, dass du auf Wunsch offziell eine Rechnung mit einer Pauschale ausstellst?
2 **zitter** böse Worte in einem Satz...
Offiziell & Rechnung , die letzten Dinge die ein Handwerker lesen oder vom Kunden hören will.
:lol: :lol: Sorry der musste einfach raus :lol: :lol:
Komm diesbezüglich einfach nochmal per PM im Forum durch zu gegebener Zeit.
Wird geprüft, ob
a) in der ausgelesener Zeile nur eine Domain steht?
b) es sich um eine Domain handelt (TLD angegeben, Subdomain, etc... )?
Zu A
Dies wird nicht expl. geprüft, jediglich auf LEERZEICHEN am anfang und ende jeder Zeile wird geschaut und ggf. entfernt.
Ich sehe eine Prüfung da auch, vieleicht denke ich da auch zu kompliziert, als schwer an.
Den das würde vorraussetzen, dass ich gegen eine Liste weltweit verfügbaren Endungen prüfen müsste um ggf. erkennen zu können ob es sich um eine Domain handelt.

Beispiel:

Code: Select all

hallowelt.de
abc.de
xyz.deabc.de   << Hier könnte davon ausgegangen werden das es sich eig. um 2 Domains in einer Zeile handelt.
987.de
Aber selbst wenn ich gegen eine Liste prüfen würde , gäbe es ein weiteres Problem ...

Bestes Beispiel:
community.keyhelp.de <<< Würde möglicherweise auf das com reagieren da .com eine Domainendung ist.
(Ich weiß das eine Prüfung auf . vor dem möglich erkanntem DN eher erfolgreich ist)
So das dazu, so einigermaßen zumindest.

Zu B
Gegenwärtig nicht, es wird von Grundauf davon ausgegangen, dass es sich um eine Hauptdomain handelt.
Subdomains waren zum Erstellungszeitpunkt nicht Teil der vom User umzusetzenden Aufgabe.
Dies habe ich nun mal auf die Liste geschrieben für ggf. zukünftige Weiterentwicklung.

Gruß Olli
Mit freundlichen Grüßen
OlliTheDarkness

**************************************************************
Helden leben lange, Legenden sterben nie

:!: World Hack Organization :!:
**************************************************************
nikko
Posts: 914
Joined: Fri 15. Apr 2016, 16:11

Re: Domainlist Importer

Post by nikko »

Ja, es würde ja auch noch u.U. eine community.keyhelp.de.com geben (diese Endungen gibt es ja auch noch).
Ob in einer Zeile eine Domain steht - das gegenzuprüfen würde den Rahmen sprengen und vermutlich mehr Aufwand bedeuten, als das Script selbst.

Also: "You can`t make chicken salat from chicken shit." - die Importliste sollte schon korrekt sein.
Und wenn nicht, die 2 oder 3 Fehler lassen sich dann im Nachgang von Hand ausbügeln... Wer hats verbockt? :lol:
The software said: Requires Win Vista®, 7®, 8® or better. And so I installed Linux.
User avatar
OlliTheDarkness
Posts: 1854
Joined: Tue 14. Aug 2018, 16:41
Location: Essen (NRW)

Re: Domainlist Importer

Post by OlliTheDarkness »

nikko wrote: Thu 23. Jul 2020, 08:32 Ja, es würde ja auch noch u.U. eine community.keyhelp.de.com geben (diese Endungen gibt es ja auch noch).
Ob in einer Zeile eine Domain steht - das gegenzuprüfen würde den Rahmen sprengen und vermutlich mehr Aufwand bedeuten, als das Script selbst.

Also: "You can`t make chicken salat from chicken shit." - die Importliste sollte schon korrekt sein.
Und wenn nicht, die 2 oder 3 Fehler lassen sich dann im Nachgang von Hand ausbügeln... Wer hats verbockt? :lol:
Stimmt, die .de.com Domains hatte ich jetzt noch garnicht mit eingedacht, kommt noch dazu das ist korrekt.
Zu mal in meiem Zu A Beispiel könnte die angebliche Doppeldomain in einer Zeile auch eine Sub sein ^^

Ich denke, zumindest würde ich es als logisch empfinden, das lass ich einfach gegen die GÄNGIGSTEN TLD testen und bei unstimmigkeiten schreib ich die unklarren Domains in deine eigene Datei, importe erst nur die klaren und gebe danach dem User die Wahlmöglichkeit wie, bzw was mit den unklaren passieren sol.

Ist aber grade alles nur fiktive Theorie

Wer es verbockt hat ?
Im Zweifel IMMER die Putzfrau :lol:
Es müssen immer Köpfe rollen, willkommen in der Wirtschaft :lol:
Mit freundlichen Grüßen
OlliTheDarkness

**************************************************************
Helden leben lange, Legenden sterben nie

:!: World Hack Organization :!:
**************************************************************
User avatar
Tobi
Community Moderator
Posts: 2812
Joined: Thu 5. Jan 2017, 13:24

Re: Domainlist Importer

Post by Tobi »

Wie wäre es damit?
https://github.com/incognico/list-of-top-level-domains

Aber die Domainendung ".de.com" konnte ich nirgends finden...
Gruß,
Tobi


-----------------------------
wewoco.de
Das Forum für Reseller, Digital-Agenturen, Bildschirmarbeiter und Mäuseschubser
User avatar
OlliTheDarkness
Posts: 1854
Joined: Tue 14. Aug 2018, 16:41
Location: Essen (NRW)

Re: Domainlist Importer

Post by OlliTheDarkness »

Tobi wrote: Thu 23. Jul 2020, 13:34 Wie wäre es damit?
https://github.com/incognico/list-of-top-level-domains

Aber die Domainendung ".de.com" konnte ich nirgends finden...
Danke dir, werd mir das mal ggf. ab Montag ansehen wenn ich wieder zurück bin :)

.de.com ist mir in der Vergangenheit öffters begegnet, denke ist irgend ein spezial Kram, aber zum aktuellen Zeitpunkt eh alles am ende dere ToDo.
Mit freundlichen Grüßen
OlliTheDarkness

**************************************************************
Helden leben lange, Legenden sterben nie

:!: World Hack Organization :!:
**************************************************************
User avatar
joestr
Posts: 18
Joined: Thu 25. Apr 2019, 21:55

Re: Domainlist Importer

Post by joestr »

Tobi wrote: Thu 23. Jul 2020, 13:34 Wie wäre es damit?
https://github.com/incognico/list-of-top-level-domains

Aber die Domainendung ".de.com" konnte ich nirgends finden...
.de.com ist ja nicht Top-Level sondern Second-Level (vgl. .co.uk).

Viele Programme/Bibliotheken nehmen https://publicsuffix.org/list/public_suffix_list.dat Liste, da diese von einer großen Community zusammengetragene öffentliche Suffixe bereitstellt. Auch Let's Encrypt verwendet diese Liste um eine Domain und desen Rate-Limits zuordnen zu können.
Blackmoon
Posts: 345
Joined: Sat 1. Dec 2018, 16:42

Re: Domainlist Importer

Post by Blackmoon »

OlliTheDarkness wrote: Wed 22. Jul 2020, 20:40 Dies wird nicht expl. geprüft, jediglich auf LEERZEICHEN am anfang und ende jeder Zeile wird geschaut und ggf. entfernt.
Ich sehe eine Prüfung da auch, vieleicht denke ich da auch zu kompliziert, als schwer an.
Den das würde vorraussetzen, dass ich gegen eine Liste weltweit verfügbaren Endungen prüfen müsste um ggf. erkennen zu können ob es sich um eine Domain handelt.
Evtl. könnte dieser reguläre Ausdruck eine Grundlage bilden.
User avatar
MLan
Posts: 466
Joined: Wed 20. Sep 2017, 23:05
Location: @home

Re: Domainlist Importer

Post by MLan »

Blackmoon wrote: Wed 22. Jul 2020, 20:09 Herzlichen Dank an den unbekannten Nutzer ...
Keine Ursache gern geschehn, denn die Arbeit hatte zu 100% der Olli

OlliTheDarkness wrote: Wed 22. Jul 2020, 20:40 Ich schütze gern die Identität meiner Sorgenkinder :lol:
Und ich dachte wir sind Freunde :shock:

Nochmals vielen Dank Olli.
Letztendlich hab ich damit 430 Domains in 100er steps reinpumpen können

PS:
hab ich mich jetzt geoutet ?
User avatar
OlliTheDarkness
Posts: 1854
Joined: Tue 14. Aug 2018, 16:41
Location: Essen (NRW)

Re: Domainlist Importer

Post by OlliTheDarkness »

MLan wrote: Fri 14. Aug 2020, 16:40
Blackmoon wrote: Wed 22. Jul 2020, 20:09 Herzlichen Dank an den unbekannten Nutzer ...
Keine Ursache gern geschehn, denn die Arbeit hatte zu 100% der Olli

OlliTheDarkness wrote: Wed 22. Jul 2020, 20:40 Ich schütze gern die Identität meiner Sorgenkinder :lol:
Und ich dachte wir sind Freunde :shock:

Nochmals vielen Dank Olli.
Letztendlich hab ich damit 430 Domains in 100er steps reinpumpen können

PS:
hab ich mich jetzt geoutet ?
Na toll, da hält man sich an die Datenschutz Grundverordnung und dann wird man sabotiert, so geht das NICHT ! :lol: :lol: :lol: :lol:
Mit freundlichen Grüßen
OlliTheDarkness

**************************************************************
Helden leben lange, Legenden sterben nie

:!: World Hack Organization :!:
**************************************************************
User avatar
OlliTheDarkness
Posts: 1854
Joined: Tue 14. Aug 2018, 16:41
Location: Essen (NRW)

Re: Domainlist Importer

Post by OlliTheDarkness »

php-Bolt hat nun eine PHP 7.4 Unterstützung erhalten.

Anbei als "Update" die Erweiterung für:

PHP 7.4 für Linux x64
PHP 7.4 für Mac x64
PHP 7.4 für Windows x64

Eine x86 (32 Bit) Unterstützung ist nicht vorhanden und wird auch zukünftig wohl nicht mehr gegeben sein.

PHP Bolt wird entwickelt und vertrieben durch
arshidkv12 auf GitHub
Homepage
Attachments
phpBolt-extension.rar
(38.03 KiB) Downloaded 203 times
Mit freundlichen Grüßen
OlliTheDarkness

**************************************************************
Helden leben lange, Legenden sterben nie

:!: World Hack Organization :!:
**************************************************************
Post Reply