Lets Encrypt problem [SOLVED]

[24unix]

Ich poste mal im OffTopic, da ich es nicht als KH Problem sehe, auf allen anderen Kisten läuft es ja.

Ich habe einen IPv6 only dev host, den hatte ich erst mit einem anderem Namen aufgesetzt, aber da ich jetzt ganz auf Arm64 wechseln will, habe ich ihn noch mal geändert.

Wenn ich versuche, das panel auf LE umzustellen, bekomme ich diesen Fehler:

Code: Select all

[16-Jun-2024 20:07:14] INFO | Waiting for verification...
[16-Jun-2024 20:07:16] INFO | Sending signed request to "https://acme-v02.api.letsencrypt.org/acme/chall-v3/364792025797/Otry6w".
[16-Jun-2024 20:07:17] ERROR | error while acquiring lets encrypt certificate for server services: Verification ended with an error.
Details: 2a03:7847:2252:180:5054:ff:fe6c:13d1: Fetching http://keyhelp.lab.24unix.net/.well-known/acme-challenge/_TLYPs0-S69ZWyy-O3ayN_SCnW8w3dJ9ZODtX0IAV88: Timeout during connect (likely firewall problem)
Type: urn:ietf:params:acme:error:connection
Full response: {"type":"http-01","url":"https:\/\/acme-v02.api.letsencrypt.org\/acme\/chall-v3\/364792025797\/Otry6w","status":"invalid","validated":"2024-06-16T18:07:04Z","error":{"type":"urn:ietf:params:acme:error:connection","detail":"2a03:7847:2252:180:5054:ff:fe6c:13d1: Fetching http:\/\/keyhelp.lab.24unix.net\/.well-known\/acme-challenge\/_TLYPs0-S69ZWyy-O3ayN_SCnW8w3dJ9ZODtX0IAV88: Timeout during connect (likely firewall problem)","status":400},"token":"_TLYPs0-S69ZWyy-O3ayN_SCnW8w3dJ9ZODtX0IAV88","validationRecord":[{"url":"http:\/\/keyhelp.lab.24unix.net\/.well-known\/acme-challenge\/_TLYPs0-S69ZWyy-O3ayN_SCnW8w3dJ9ZODtX0IAV88","hostname":"keyhelp.lab.24unix.net","port":"80","addressesResolved":["2a03:7847:2252:180:5054:ff:fe6c:13d1"],"addressUsed":"2a03:7847:2252:180:5054:ff:fe6c:13d1"}]}
[1

Dann mit einer Testdomian:

Code: Select all

[16-Jun-2024 20:14:21] INFO | Waiting for verification...
[16-Jun-2024 20:14:23] INFO | Sending signed request to "https://acme-v02.api.letsencrypt.org/acme/chall-v3/364794017927/zPE_5A".
[16-Jun-2024 20:14:23] ERROR | Apache: a Let's Encrypt error occurred: Verification ended with an error.
Details: 2a03:7847:2252:180:5c65:88ff:fef2:b9a1: Fetching http://dev.tierschnack.de/.well-known/acme-challenge/r55MCKTRbZ3N_tSgH895Ax6df2AyB9ZuUYeOcr8BvZ0: Timeout during connect (likely firewall problem)
Type: urn:ietf:params:acme:error:connection
Full response: {"type":"http-01","url":"https:\/\/acme-v02.api.letsencrypt.org\/acme\/chall-v3\/364794017927\/zPE_5A","status":"invalid","validated":"2024-06-16T18:14:10Z","error":{"type":"urn:ietf:params:acme:error:connection","detail":"2a03:7847:2252:180:5c65:88ff:fef2:b9a1: Fetching http:\/\/dev.tierschnack.de\/.well-known\/acme-challenge\/r55MCKTRbZ3N_tSgH895Ax6df2AyB9ZuUYeOcr8BvZ0: Timeout during connect (likely firewall problem)","status":400},"token":"r55MCKTRbZ3N_tSgH895Ax6df2AyB9ZuUYeOcr8BvZ0","validationRecord":[{"url":"http:\/\/dev.tierschnack.de\/.well-known\/acme-challenge\/r55MCKTRbZ3N_tSgH895Ax6df2AyB9ZuUYeOcr8BvZ0","hostname":"dev.tierschnack.de","port":"80","addressesResolved":["2a03:7847:2252:180:5c65:88ff:fef2:b9a1"],"addressUsed":"2a03:7847:2252:180:5c65:88ff:fef2:b9a1"}]}
[16-Jun-2024 20:14:25] INFO | SNI configuration updated

"likely firewall problem" meine ich ausschliessen zu können:

Code: Select all

==> access.log <==
2a03:7847:2252:180:5c65:88ff:fef2:b9a1 - - [16/Jun/2024:20:14:07 +0200] "GET /.well-known/acme-challenge/local-check-666f2b6d0b3fc9.38248884 HTTP/1.1" 200 35 "-" "KeyHelp/24.1 (https://www.keyhelp.de) PHP/8.2.18 curl/7.88.1" 193 255
2a03:7847:2252:180:5c65:88ff:fef2:b9a1 - - [16/Jun/2024:20:14:10 +0200] "GET /.well-known/acme-challenge/r55MCKTRbZ3N_tSgH895Ax6df2AyB9ZuUYeOcr8BvZ0 HTTP/1.1" 200 87 "-" "KeyHelp/24.1 (https://www.keyhelp.de) PHP/8.2.18 curl/7.88.1" 201 307

Hat irgendjemand eine schlaue Idee? Das erste mal, dass ich LE Problem unter KH habe.
(Alle vm die LE nutzen sind in einem Alias in OPNsense, fur den Regeln Zugriff auf Port 80 und 443 zulassen).

Und Zugriff von extern ist möglich:

Code: Select all

❯ wget http:\/\/dev.tierschnack.de\/.well-known\/acme-challenge\/r55MCKTRbZ3N_tSgH895Ax6df2AyB9ZuUYeOcr8BvZ0
--2024-06-16 20:17:46--  http://dev.tierschnack.de/.well-known/acme-challenge/r55MCKTRbZ3N_tSgH895Ax6df2AyB9ZuUYeOcr8BvZ0
Resolving dev.tierschnack.de (dev.tierschnack.de)... 2a03:7847:2252:180:5c65:88ff:fef2:b9a1
Connecting to dev.tierschnack.de (dev.tierschnack.de)|2a03:7847:2252:180:5c65:88ff:fef2:b9a1|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 87
Saving to: ‘r55MCKTRbZ3N_tSgH895Ax6df2AyB9ZuUYeOcr8BvZ0’

r55MCKTRbZ3N_tSgH895Ax6df2AyB9ZuUYeOcr8BvZ0       100%[=============================================================================================================>]      87  --.-KB/s    in 0s

2024-06-16 20:17:46 (10.7 MB/s) - ‘r55MCKTRbZ3N_tSgH895Ax6df2AyB9ZuUYeOcr8BvZ0’ saved [87/87]

Da ich erst alles austesten wollte, habe ich die Kiste mit dem neuem Namen komplett neu aufgesetzt, selbes Problem.

Einzige Besonderheit:

Code: Select all

root@keyhelp:/etc/systemd/network# cat enp0s1.network
[Match]
Name=enp0s1

[Network]
DHCP=yes
Address=2a03:7847:2252:180:5054:ff:fe6c:13d1/64
Gateway=fe80::20d:b9ff:fe4c:5324

Weil da Domains drauf sind, die via externem DNS erreichbar sind, und ich die PTR Records nicht selber verändern kann.
Aber genau das Setup habe ich mit einem anderem Rechner ohne KH, mittels certbot klappt da alles.
Ich erreiche die Kiste auch per ping, also am Gateway liegt es wohl auch nicht.

Code: Select all

❯ ping 2a03:7847:2252:180:5c65:88ff:fef2:b9a1
PING 2a03:7847:2252:180:5c65:88ff:fef2:b9a1(2a03:7847:2252:180:5c65:88ff:fef2:b9a1) 56 data bytes
64 bytes from 2a03:7847:2252:180:5c65:88ff:fef2:b9a1: icmp_seq=1 ttl=56 time=36.3 ms
64 bytes from 2a03:7847:2252:180:5c65:88ff:fef2:b9a1: icmp_seq=2 ttl=56 time=35.5 ms
64 bytes from 2a03:7847:2252:180:5c65:88ff:fef2:b9a1: icmp_seq=3 ttl=56 time=35.0 ms
^C
--- 2a03:7847:2252:180:5c65:88ff:fef2:b9a1 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 35.007/35.582/36.258/0.515 ms

[24unix]

Ich habe im LE Forum ma einen Thread dazu aufgemacht, es ist strange.

Von einem VPS bei NetCup:

Code: Select all

 nmap -6 dev.tierschnack.de
Starting Nmap 7.93 ( https://nmap.org ) at 2024-06-17 17:26 CEST
Nmap scan report for dev.tierschnack.de (2a03:7847:2252:180:5c65:88ff:fef2:b9a1)
Host is up (0.038s latency).
Not shown: 986 filtered tcp ports (no-response)
PORT      STATE  SERVICE
20/tcp    closed ftp-data
21/tcp    open   ftp
22/tcp    open   ssh
25/tcp    closed smtp
53/tcp    open   domain
80/tcp    open   http
110/tcp   open   pop3
143/tcp   open   imap
443/tcp   open   https
465/tcp   closed smtps
587/tcp   closed submission
993/tcp   open   imaps
995/tcp   open   pop3s
30000/tcp closed ndmps

Nmap done: 1 IP address (1 host up) scanned in 5.21 seconds

Einer, der bei AWS East Cost hostet aus dem LE Forum:

Code: Select all

nmap -Pn -p21,80,443 -6 dev.tierschnack.de

Starting Nmap 7.80 ( https://nmap.org ) at 2024-06-17 15:37 UTC
Nmap scan report for dev.tierschnack.de (2a03:7847:2252:180:5c65:88ff:fef2:b9a1)
Host is up.

PORT    STATE    SERVICE
21/tcp  filtered ftp
80/tcp  filtered http
443/tcp filtered https

Mag jemand mal von seinem Internet aus testen, wir das von welchem Provider/Hoster aus aussieht?

[pandinusimperator]

Easybell DE

Code: Select all

nmap -6 dev.tierschnack.de
Starting Nmap 7.80 ( https://nmap.org ) at 2024-06-17 20:44 CEST
Nmap scan report for dev.tierschnack.de (2a03:7847:2252:180:5054:ff:fe6c:13d1)
Host is up (0.036s latency).
Not shown: 999 filtered ports
PORT    STATE SERVICE
443/tcp open  https

Nmap done: 1 IP address (1 host up) scanned in 4.40 seconds

VPN Location Amsterdam

Code: Select all

nmap -6 dev.tierschnack.de
Starting Nmap 7.80 ( https://nmap.org ) at 2024-06-17 20:46 CEST
Nmap scan report for dev.tierschnack.de (2a03:7847:2252:180:5054:ff:fe6c:13d1)
Host is up (0.027s latency).
Not shown: 997 filtered ports
PORT     STATE SERVICE
80/tcp   open  http
443/tcp  open  https
8080/tcp open  http-proxy

Nmap done: 1 IP address (1 host up) scanned in 6.86 seconds

Hat ne andere IPv6 gezz?

[24unix]

Erst einmal danke.

Hmm, warum sehen die von AWS die Ports nicht offen?

Hat ne andere IPv6 gezz?

Ja, war ein wenig hin und her, ich brauche eine definitive IP, sonst muss ich dem Admin sagen, dass ich schon wieder ne Änderung brauche, und das will ich vermeiden.

Hier evtl. etwas mehr Background: https://community.letsencrypt.org/t/tim ... /220235/14

Fakt ist: Ich will eine IP im delegiertem /64 nutzen (habe ein /56), die nicht per RA vergeben wird.
Auf einem anderem Host klappt das mittels Certbot ohne Probleme.
Auf dem aktuellen nicht. Ich habe testweise Certbot installiert, passiert das Selbe, Timeout. Liegt also nicht am ACME-Client von KH.

[pandinusimperator]

Hmm, warum sehen die von AWS die Ports nicht offen?

Von Easybell mit Standort Berlin aus ist 80 auch closed. Auch heute Morgen noch. Scheint also nicht AWS-spezifisch.

[Ralph]

Code: Select all

;tierschnack.de.		IN NS
;; ANSWER SECTION:
tierschnack.de.		21600 IN NS ns1.24unix.net.
tierschnack.de.		21600 IN NS ns3.24unix.net.
tierschnack.de.		21600 IN NS ns2.24unix.net.

Die NS zeigen alle auf eine IP4 Adresse, die Subdomain hat zwar einen korrekten AAAA record aber es werden keine NS gefunden.
Hier mal ein lookup über die google DNS Server:
https://dnschecker.org/all-dns-records- ... dns=google
Versuche mal für die NS die AAAA records hinzuzufügen ....

[24unix]

Hmm, aber für ns1 … ns3.24unix.net existieren IPv4 und IPv6 Einträge.
Und so funktioniert es ja mit allen Domains.

Und das Problem ist ja, dass einige per nmap zwar einen offenen 443 sehen, aber 80 dicht ist.
Was ich von NetCup aus nicht nachvollziehen kann.

[Florian]

Hi,

also ich sehe auch nur Port 443 offen

Code: Select all

nmap -6 2a03:7847:2252:180:5054:ff:fe6c:13d1
Starting Nmap 7.80 ( https://nmap.org ) at 2024-06-18 15:20 CEST
Nmap scan report for 2a03:7847:2252:180:5054:ff:fe6c:13d1
Host is up (0.020s latency).
Not shown: 999 filtered ports
PORT    STATE SERVICE
443/tcp open  https

[Ralph]

Hmm, aber für ns1 … ns3.24unix.net existieren IPv4 und IPv6 Einträge.
Und so funktioniert es ja mit allen Domains.

sorry mein Post ... Tippfehler und schlecht formuliert
Normalerweise bevorzugt LE ja die IPv6 wenn vorhanden, die unterschiedlichen outputs kann ich mir nur erklären wenn ein NUR IPv6 System an einem NUR IPv4 NS hängt, ich habe keine Ahnung warum es von der einen Seite aus funktioniert und von einer anderen nicht ...
Aber ein Versuch wäre es wert mal die IP6 Adressen für ns1, ns2, ns3 zusätzlich zu den IP4 zu setzen, sofern es von allen 3 NS unterstützt wird.

[24unix]

Hmm, sehr suspekt.

Von einer Kiste bei NetCup:

Code: Select all

❯ nmap -6 -p80,443 2a03:7847:2252:180:5054:ff:fe6c:13d1
Starting Nmap 7.93 ( https://nmap.org ) at 2024-06-18 15:26 CEST
Nmap scan report for 2a03:7847:2252:180:5054:ff:fe6c:13d1
Host is up (0.038s latency).

PORT    STATE SERVICE
80/tcp  open  http
443/tcp open  https

Nmap done: 1 IP address (1 host up) scanned in 0.22 seconds

Und einer bei IONOS:

Code: Select all

[0] # nmap -6 -p80,443 2a03:7847:2252:180:5054:ff:fe6c:13d1
Starting Nmap 7.93 ( https://nmap.org ) at 2024-06-18 15:27 CEST
Nmap scan report for 2a03:7847:2252:180:5054:ff:fe6c:13d1
Host is up (0.020s latency).

PORT    STATE SERVICE
80/tcp  open  http
443/tcp open  https

Nmap done: 1 IP address (1 host up) scanned in 0.17 seconds

[Florian]

Hi,

Code: Select all

nmap -6 -p80,443 2a03:7847:2252:180:5054:ff:fe6c:13d1
Starting Nmap 7.80 ( https://nmap.org ) at 2024-06-18 15:30 CEST
Nmap scan report for 2a03:7847:2252:180:5054:ff:fe6c:13d1
Host is up (0.019s latency).

PORT    STATE    SERVICE
80/tcp  filtered http
443/tcp open     https

Hast du alles mal durchgeschaut bezüglich Firewall?

[24unix]

Hmm, aber für ns1 … ns3.24unix.net existieren IPv4 und IPv6 Einträge.
Und so funktioniert es ja mit allen Domains.

sorry mein Post ... Tippfehler und schlecht formuliert
Normalerweise bevorzugt LE ja die IPv6 wenn vorhanden, die unterschiedlichen outputs kann ich mir nur erklären wenn ein NUR IPv6 System an einem NUR IPv4 NS hängt, ich habe keine Ahnung warum es von der einen Seite aus funktioniert und von einer anderen nicht ...
Aber ein Versuch wäre es wert mal die IP6 Adressen für ns1, ns2, ns3 zusätzlich zu den IP4 zu setzen, sofern es von allen 3 NS unterstützt wird.

Habe, hat aber ncihts geändert.

Ich denke, das grundsätzliche Problem ist, dass Port 80 für manche offen ist, für manche nicht.

In meiner OPNSense habe ich alle IP die LE brachen ein Alias, und da ist von überall Traffic auf 80 und 443 erlaubt.

Letsdebug kommt nicht durch: https://letsdebug.net/dev.tierschnack.de/2040565

Mein Provider nutzt die Infrastruktur von wilhelm.tel, da hatte jemand ein ähnliches Problem:
https://community.letsencrypt.org/t/err ... a/149590/7

Da haben sie es manuell mit dem certbot gemacht, evtl. probiere ich das nachher mal.

[24unix]

Hi,

Code: Select all

nmap -6 -p80,443 2a03:7847:2252:180:5054:ff:fe6c:13d1
Starting Nmap 7.80 ( https://nmap.org ) at 2024-06-18 15:30 CEST
Nmap scan report for 2a03:7847:2252:180:5054:ff:fe6c:13d1
Host is up (0.019s latency).

PORT    STATE    SERVICE
80/tcp  filtered http
443/tcp open     https

Hast du alles mal durchgeschaut bezüglich Firewall?

Ja, es ist nur ein Alias und 2 Regeln, geht für alle, oder für keinen.

Was passiert bei Dir, wenn Du das machst?

Code: Select all

 traceroute -T -p 80 2a03:7847:2252:180:5054:ff:fe6c:13d1

Bei mir sieht es so aus:

Code: Select all

traceroute to 2a03:7847:2252:180:5054:ff:fe6c:13d1 (2a03:7847:2252:180:5054:ff:fe6c:13d1), 30 hops max, 80 byte packets
 1  2a03:4000:53::2 (2a03:4000:53::2)  0.489 ms  0.431 ms *
 2  2a00:11c0:47:3::122 (2a00:11c0:47:3::122)  0.541 ms * *
 3  2a00:11c0:47:1:47::212 (2a00:11c0:47:1:47::212)  22.292 ms  22.269 ms  22.246 ms
 4  2001:7f8:1:0:a500:20:7790:1 (2001:7f8:1:0:a500:20:7790:1)  30.457 ms  30.525 ms  30.604 ms
 5  2a03:7840:1fc:10::3 (2a03:7840:1fc:10::3)  32.515 ms * *
 6  2a03:7840:1fc:30::1 (2a03:7840:1fc:30::1)  33.414 ms  33.467 ms  33.403 ms
 7  2a03:7847:2252:100:185:12:88:130 (2a03:7847:2252:100:185:12:88:130)  34.373 ms  34.515 ms  34.519 ms
 8  2a03:7847:2252:101:20d:b9ff:fe4c:5325 (2a03:7847:2252:101:20d:b9ff:fe4c:5325)  35.072 ms  35.135 ms  35.050 ms
 9  2a03:7847:2252:180:5054:ff:fe6c:13d1 (2a03:7847:2252:180:5054:ff:fe6c:13d1)  37.208 ms  36.671 ms  36.456 ms

[Ralph]

Hmm, aber für ns1 … ns3.24unix.net existieren IPv4 und IPv6 Einträge.

Ja ist alles richtig, ich dachte irgendwo an ein switching auf ip4 ...
Ist da noch eine externe (provider) Firewall davor?

[Florian]

Code: Select all

traceroute to 2a03:7847:2252:180:5054:ff:fe6c:13d1 (2a03:7847:2252:180:5054:ff:fe6c:13d1), 30 hops max, 80 byte packets
 1  2001:1b60:1000:5::1 (2001:1b60:1000:5::1)  0.108 ms  0.100 ms  0.096 ms
 2  2001:1b60:3:35::1 (2001:1b60:3:35::1)  0.315 ms  0.435 ms  0.529 ms
 3  2001:1b60:0:1:0:1:0:1 (2001:1b60:0:1:0:1:0:1)  0.662 ms  0.775 ms  0.766 ms
 4  2001:1b60:0:14:0:1:0:1 (2001:1b60:0:14:0:1:0:1)  6.479 ms  6.592 ms  6.570 ms
 5  ipv6.de-cix.fra.de.as207790.stadtwerke-neumuenster.de (2001:7f8::3:2bae:0:1)  14.676 ms  14.778 ms  14.887 ms
 6  2a03:7840:1fc:30::1 (2a03:7840:1fc:30::1)  16.859 ms  16.534 ms  16.604 ms
 7  2a03:7847:2252:100:185:12:88:130 (2a03:7847:2252:100:185:12:88:130)  16.127 ms  18.885 ms  19.000 ms
 8  2a03:7847:2252:101:20d:b9ff:fe4c:5325 (2a03:7847:2252:101:20d:b9ff:fe4c:5325)  19.856 ms  19.970 ms  20.076 ms
 9  * * *
10  * * *
11  * * *
12  * * *
13  * * *
14  * * *
15  * * *
16  * * *
17  * * *
18  * * *
19  * * *
20  * * *
21  * * *
22  * * *
23  * * *
24  * * *
25  * * *
26  * * *
27  * * *
28  * * *
29  * * *
30  * * *