cURL Zugriff auf Subdomain bei deaktivierter DNS Zone  [GELÖST]

Locked
GoatMachine
Posts: 7
Joined: Sat 30. Apr 2022, 00:00

cURL Zugriff auf Subdomain bei deaktivierter DNS Zone

Post by GoatMachine »

Hallo zusammen

Ich bin sicher, dass die Ursache des Problems bei KeyHelp liegt
(Probleme ohne KeyHelp-Bezug gehören ins Offtopic-Forum)


Server-Betriebssystem + Version
Ubuntu 20.04


Eingesetzte Server-Virtualisierung-Technologie
keine


KeyHelp-Version + Build-Nummer
22.0 (Build 2393)


Problembeschreibung / Fehlermeldungen
Ich möchte via PHP und cURL auf die API des Forums zugreifen. Die eigentliche Webseite + Forum beides auf gleichen Server mit Keyhelp gehostet.
Allerdings habe ich die DNS Zone für die Domains deaktiviert, da ich die DNS Verwaltung komplett bei Hetzner DNS liegen habe.
Das Problem ist jetzt, dass ich beim cURL Aufruf in einen Timeout laufe und ich denke, dass das Routing nicht sauber funktioniert. Von einem anderen Server komme ich ohne Probleme auf das gleiche Forum (mit gleichen cURL Befehl)

Erwartetes Ergebnis
Dass der API Zugriff trotz deaktivierter DNS Zone funktioniert.

Tatsächliches Ergebnis
Der cURL call läuft in einen Timeout und legt alle anderen Seiten auf dem Server lahm (keine andere kann zu der Zeit aufgerufen werden)

Schritte zur Reproduktion
Subdomain anlegen, DNS Zone deaktivieren und versuchen von anderer Seite auf gleichen Server via cURL auf die Subdomain zuzugreifen.

Zusätzliche Informationen
Ich habe leider keine Log Auszüge, da ich dazu bisher keine gefunden habe. Wenn ich dafür irgendwo speziell suchen kann, reiche ich das gerne nach.

Danke für die Hilfe.
christian.john
Posts: 228
Joined: Tue 9. Apr 2019, 16:31
Location: Korschenbroich
Contact:

Re: cURL Zugriff auf Subdomain bei deaktivierter DNS Zone

Post by christian.john »

Probiere doch mal die URL über die Konsole deines Servers aufzurufen. Geht ein Ping oder Traceroute?
Falls ja, müsste man prüfen, ob die Ports erreichbar sind oder dein Server ggf. vom anderen Server geblockt wird.
Falls nein, müsste man die Auflösung der Url prüfen.
Individuelle Entwicklung webbasierter Datenbanksysteme
https://www.john-softwareentwicklung.de
GoatMachine
Posts: 7
Joined: Sat 30. Apr 2022, 00:00

Re: cURL Zugriff auf Subdomain bei deaktivierter DNS Zone

Post by GoatMachine »

Danke für die Antwort.

Was ich noch vergessen hatte zu erwähnen: Ich bin gerade dabei, die Hauptseite, sowie das Forum auf den anderen Server (dem mit Keyhelp) umzuziehen.
Das Forum habe ich als erstes umgezogen, auf das ich ohne Probleme vom alten Server auf die API (vom neuen Server) zugreifen kann.
Dann habe ich die Hauptseite umgezogen und da kann ich nicht auf das Forum (gleicher Server) via API zugreifen.
Testweise habe ich das Forum auf dem alten Server mit einer anderen Subdomain erreichbar gemacht, da konnte ich dann mit der Hauptseite vom neuen Server ohne Probleme zugreifen.

Ich habe Ping und Traceroute getestet, beides funktioniert ohne Probleme und es wird auch die richtige IP angezeigt.
Geblockte Ports schließe ich aufgrund des Intros zu diesem Beitrag aus.
User avatar
24unix
Posts: 1560
Joined: Sun 21. Jun 2020, 17:16
Location: Kollmar
Contact:

Re: cURL Zugriff auf Subdomain bei deaktivierter DNS Zone

Post by 24unix »

Hilfreich wäre die Ausgabe von curl mit der --verbose option.

Wenn der neue Server schon live ist auch die Adresse, dass man selber testen kann, so wird das ein ewiges Hin- und Her.
mfg Micha
--
If Bill Gates had a nickel for every time Windows crashed …
… oh wait, he does.
GoatMachine
Posts: 7
Joined: Sat 30. Apr 2022, 00:00

Re: cURL Zugriff auf Subdomain bei deaktivierter DNS Zone

Post by GoatMachine »

Das Forum ist auf dem neuen Server bereits online und wäre hier zu erreichen: https://board.buch-sammler.de

Das Hauptseite dazu liegt noch auf dem alten Server wegen des Problems, welches ich hier beschrieben habe.

Im Anhang befindet sich das Log zum verbose.
Attachments
errorlog.txt
(1.29 KiB) Downloaded 55 times
User avatar
24unix
Posts: 1560
Joined: Sun 21. Jun 2020, 17:16
Location: Kollmar
Contact:

Re: cURL Zugriff auf Subdomain bei deaktivierter DNS Zone

Post by 24unix »

GoatMachine wrote: Sat 30. Apr 2022, 17:28 Das Forum ist auf dem neuen Server bereits online und wäre hier zu erreichen: https://board.buch-sammler.de

Das Hauptseite dazu liegt noch auf dem alten Server wegen des Problems, welches ich hier beschrieben habe.

Im Anhang befindet sich das Log zum verbose.

Wenn ich die API mit Postman aufrufe, kommt ein 404, kann natürlich gewollt sein, gib es einen öffentichen Endpoint ohne Authentifizierung?
mfg Micha
--
If Bill Gates had a nickel for every time Windows crashed …
… oh wait, he does.
GoatMachine
Posts: 7
Joined: Sat 30. Apr 2022, 00:00

Re: cURL Zugriff auf Subdomain bei deaktivierter DNS Zone

Post by GoatMachine »

Versuche mal bitte diesen Endpoint [GET] https://board.buch-sammler.de/api/v2/categories
User avatar
24unix
Posts: 1560
Joined: Sun 21. Jun 2020, 17:16
Location: Kollmar
Contact:

Re: cURL Zugriff auf Subdomain bei deaktivierter DNS Zone

Post by 24unix »

GoatMachine wrote: Sat 30. Apr 2022, 19:06 Versuche mal bitte diesen Endpoint [GET] https://board.buch-sammler.de/api/v2/categories
Geht von hier (lokal) aus ohne Probleme:
curl.png
mfg Micha
--
If Bill Gates had a nickel for every time Windows crashed …
… oh wait, he does.
GoatMachine
Posts: 7
Joined: Sat 30. Apr 2022, 00:00

Re: cURL Zugriff auf Subdomain bei deaktivierter DNS Zone

Post by GoatMachine »

Genau das ist ja das Problem. Von extern komme ich ohne Probleme drauf, aber von der Seite, die auch unter KeyHelp gehostet ist leider nicht.

Sprich: Hauptseite und Forum unter Keyhelp = geht nicht
Hauptseite oder Forum auf einem anderen Server = geht

Und ich habe keine weitere Fehlermeldung oder sonstiges. Es geht soweit, dass keine einzige Seite mehr funktioniert, die ich noch unter Keyhelp und gleichem Server gehostet habe, egal unter welcher Domain.
User avatar
24unix
Posts: 1560
Joined: Sun 21. Jun 2020, 17:16
Location: Kollmar
Contact:

Re: cURL Zugriff auf Subdomain bei deaktivierter DNS Zone

Post by 24unix »

Ok, dann war ich da etwas begriffsstutzig.

Mach mal in einem Fenster ein

Code: Select all

tail -f /home/users/<forenuser>/logs/*.log
und dann im 2. Fenster den curl Aufruf.
mfg Micha
--
If Bill Gates had a nickel for every time Windows crashed …
… oh wait, he does.
GoatMachine
Posts: 7
Joined: Sat 30. Apr 2022, 00:00

Re: cURL Zugriff auf Subdomain bei deaktivierter DNS Zone

Post by GoatMachine »

Der curl im Terminal funktioniert auch ohne Probleme. Von der Seite aus bekomme dann folgende Meldungen:
==> /home/users/<forenuser>/logs/error.log <==
[Sat Apr 30 19:47:11.078575 2022] [proxy_fcgi:error] [pid 36176:tid 139806092723968] (70007)The timeout specified has expired: [client 2003:e5:4724:ad00:404:f6f0:deab:5194:58916] AH01075: Error dispatching request to : (polling), referer: http://....de/

==> /home/users/<forenuser>/logs/access.log <==
[30/Apr/2022:19:43:11 +0200] "POST /do/dogetwidgetdata.json HTTP/1.1" 504 247 "http://....de/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Safari/605.1.15" 668 453

==> /home/users/<forenuser>/logs/error.log <==
[Sat Apr 30 19:47:11.190511 2022] [proxy_fcgi:error] [pid 36177:tid 139806487127808] (70007)The timeout specified has expired: [client 2a01:4f8:c010:8c7b::1:36042] AH01075: Error dispatching request to : (polling)
User avatar
24unix
Posts: 1560
Joined: Sun 21. Jun 2020, 17:16
Location: Kollmar
Contact:

Re: cURL Zugriff auf Subdomain bei deaktivierter DNS Zone

Post by 24unix »

IPv6 …

Lösen da alle Adressen richtig auf?

Was passiert beim Aufruf mit-4 resp --ipv4
mfg Micha
--
If Bill Gates had a nickel for every time Windows crashed …
… oh wait, he does.
GoatMachine
Posts: 7
Joined: Sat 30. Apr 2022, 00:00

Re: cURL Zugriff auf Subdomain bei deaktivierter DNS Zone  [GELÖST]

Post by GoatMachine »

Macht leider keinen Unterschied
==> /home/users/<forenuser>/logs/error.log <==
[Sat Apr 30 20:07:33.959921 2022] [proxy_fcgi:error] [pid 36176:tid 139806579447552] (70007)The timeout specified has expired: [client 78.47.108.11:47476] AH01075: Error dispatching request to : (polling)

Ich habe jetzt noch etwas weiter geforscht. Ich habe das Forum in ein anderes Benutzerverzeichnis (aber gleicher Server) kopiert und es hat direkt wieder funktioniert. Also es funktioniert scheinbar nur nicht, wenn die Hauptseite + Forum unter dem gleichen Benutzer sind. Es zu trennen wäre schwierig, da das Forum einfach nur eine Subdomain ist.
Kann es sein, dass das Problem dabei ist, dass die Hauptdomain noch nicht auf den gleichen Server zeigt und Keyhelp dadurch "verwirrt" ist?

Lösung
Das Problem wurde gefunden. Es hatte nichts mit DNS oder sonstigem zu tun gehabt. Es wurden zu viele parallele Requests gemacht und da hat am Ende das Setting pm.max_children gegriffen und blockiert. Nachdem ich diese Zahl erhöht habe, ging es ohne Probleme.
Locked