Rspamd: Spamfilter besser trainieren?

Allgemeine Diskussionen rund um KeyHelp.
xeppel
Posts: 234
Joined: Fri 6. Jan 2023, 22:13

Rspamd: Spamfilter besser trainieren?

Post by xeppel »

Hi,

Ich bekomme immer wieder solchen Spam, welcher an sich ähnlich aufgebaut ist. Immer von einer anderen Absenderadresse. Jedes Mal markiere ich es als Spam damit Rspamd lernt, aber es scheint nichts zu helfen. 95% landet immer im Posteingang. Die Mails erhalten immer einen Score von 3-4 und Rspamd hält sie daher für harmlos.

Kann man das noch irgendwas tun um das zu verbessern ?

Meine Configuration:

Greylist: 4
Add header: 6
rewrite subject: leer...? War vor paar Wochen noch nicht so, evtl. Wegen dem Backup restore irgendwie... Was habt ihr da ?
Reject: 15




[Mod-Edit]
Werbespam entfernt.
Last edited by Jolinar on Tue 21. Jan 2025, 15:50, edited 1 time in total.
Reason: Mod-Edit
thed0c
Posts: 2
Joined: Thu 23. Jan 2025, 13:23

Re: Rspamd: Spamfilter besser trainieren?

Post by thed0c »

Hi,

ich hatte ein ähnliches Problem mit Spam-Mails, die ständig durchgekommen sind. Dabei habe ich ein wenig mit den Rspamd-Einstellungen experimentiert und folgende Konfiguration umgesetzt, die sich für mich als sehr effektiv erwiesen hat:

Greylist: 5
Add header: 6
Rewrite subject: 12
Reject: 25
Seitdem hat sich die Situation deutlich verbessert, und der Großteil der Spam-Mails wird zuverlässig aussortiert.
Mit freundlichem Ping
d0c
xeppel
Posts: 234
Joined: Fri 6. Jan 2023, 22:13

Re: Rspamd: Spamfilter besser trainieren?

Post by xeppel »

Okay, aber ungefähr selbe Werte wie bei mir, 12 hatte ich auch bei Rewrite subject, reject ist bei mir bei hingegen 15, desto höher desto mehr Spam würde doch sogar durchgehen ? Somit wäre meine Einstellung eigentlich sogar strenger.
KeksDipp
Posts: 71
Joined: Sun 17. Jan 2021, 18:03

Re: Rspamd: Spamfilter besser trainieren?

Post by KeksDipp »

Ich habe folgendes eingestellt:

Greylist: 2
Add header: 3
Rewrite subject: 4
Reject: 10

und folgende Blacklists:
zen.spamhaus.org
ix.dnsbl.manitu.net
bl.spamcop.net
dul.dnsbl.sorbs.net
b.barracudacentral.org

Trotzdem kommt immer noch sehr viel spam durch. Geschätzt ca. 30% ohne irgendeine art der Erkennung. Ich habe auch keine Ahnung was ich falsch mache aber der Score von echten Mails lässt sich von Spam mails oft nicht unterscheiden.

Oft ist der einzige Negativ angezeigte Punkt von Rspamd "FORGED_RECIPIENTS" und das reicht dann nicht für eine erkennung von Spam.

Würde mich auch freuen wenn sich hier vielleicht jemand findet mit Tipps und Tricks.
Mit besten Grüßen
Alex
tab-kh
Posts: 564
Joined: Thu 22. Apr 2021, 23:06

Re: Rspamd: Spamfilter besser trainieren?

Post by tab-kh »

Funktionieren denn die DNSBL überhaupt? Liefern die was zurück oder blocken sie deinen Nameserver bei der Abfrage einfach? Was ist denn als Nameserver (Resolver) eingestellt? Wenn das irgendwelche großen, öffentlichen Resolver sind, werden sie geblockt. Da musst du im Zweifelsfall selbst einen Resolver auf deinem Server einrichten oder einen externen selbst betreiben, so dass die Abfragen des Resolvers bei den Listen nicht zuviele sind.
Blubby
Posts: 70
Joined: Tue 5. Mar 2024, 13:10

Re: Rspamd: Spamfilter besser trainieren?

Post by Blubby »

Also dazu habe ich auch ne Frage, inwiefern werden denn alle aus der rspamd/modules/rbl.conf abgearbeitet?

Die meisten sind da ja schon drin, was passiert mit denen die man unter den " Konfiguration->E-Mail-Server->Blacklist | DNS-Einträge" reinhaut?
Werden die noch berücksichtigt? Oder zählen nur die wenn man da welche drin hat und die default sachen im Rspamd werden überschrieben?
User avatar
technotravel
KeyHelp Translator
Posts: 399
Joined: Mon 19. Oct 2020, 11:11

Re: Rspamd: Spamfilter besser trainieren?

Post by technotravel »

tab-kh wrote: Thu 23. Jan 2025, 22:57 Funktionieren denn die DNSBL überhaupt? Liefern die was zurück oder blocken sie deinen Nameserver bei der Abfrage einfach? Was ist denn als Nameserver (Resolver) eingestellt? Wenn das irgendwelche großen, öffentlichen Resolver sind, werden sie geblockt. Da musst du im Zweifelsfall selbst einen Resolver auf deinem Server einrichten oder einen externen selbst betreiben, so dass die Abfragen des Resolvers bei den Listen nicht zuviele sind.
Wie kann man denn überprüfen, ob die DNSBL die IP vom Server akzeptieren oder stillschweigend ignorieren?

Ich leide auch unter Spam-Problemen und befülle regelmäßig händisch die individuelle Blacklist unter unter Konfiguration/E-Mail-Server. Das funktioniert zwar gut, ist aber doch viel nervige Arbeit, und ich habe das Gefühl, dass vieles von dem Spam, den ich kriege und der von Rspamd nicht erkannt wird, eigentlich von DNSBL hätte erkannt werden sollen.

Mein Server ist bei Netcup, und damit wohl unter den größeren Resolvern ...
Chers francophones, je traduis KeyHelp en français. S'il y a des erreurs ou des propositions d'amélioration, n'hésitez pas à me contacter !
(Ich übersetze KeyHelp ins Französische)
User avatar
Alexander
Keyweb AG
Posts: 4448
Joined: Wed 20. Jan 2016, 02:23

Re: Rspamd: Spamfilter besser trainieren?

Post by Alexander »

Btw. diese Liste gibt es nicht mehr:

ix.dnsbl.manitu.net

(viewtopic.php?t=13648)
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
KeksDipp
Posts: 71
Joined: Sun 17. Jan 2021, 18:03

Re: Rspamd: Spamfilter besser trainieren?

Post by KeksDipp »

technotravel wrote: Fri 24. Jan 2025, 08:02
tab-kh wrote: Thu 23. Jan 2025, 22:57 Funktionieren denn die DNSBL überhaupt? Liefern die was zurück oder blocken sie deinen Nameserver bei der Abfrage einfach? Was ist denn als Nameserver (Resolver) eingestellt? Wenn das irgendwelche großen, öffentlichen Resolver sind, werden sie geblockt. Da musst du im Zweifelsfall selbst einen Resolver auf deinem Server einrichten oder einen externen selbst betreiben, so dass die Abfragen des Resolvers bei den Listen nicht zuviele sind.
Wie kann man denn überprüfen, ob die DNSBL die IP vom Server akzeptieren oder stillschweigend ignorieren?

Ich leide auch unter Spam-Problemen und befülle regelmäßig händisch die individuelle Blacklist unter unter Konfiguration/E-Mail-Server. Das funktioniert zwar gut, ist aber doch viel nervige Arbeit, und ich habe das Gefühl, dass vieles von dem Spam, den ich kriege und der von Rspamd nicht erkannt wird, eigentlich von DNSBL hätte erkannt werden sollen.

Mein Server ist bei Netcup, und damit wohl unter den größeren Resolvern ...
Das würde mich auch interessieren wie ich das ganze testen kann.
Alexander wrote: Fri 24. Jan 2025, 08:48 Btw. diese Liste gibt es nicht mehr:

ix.dnsbl.manitu.net

(viewtopic.php?t=13648)
Danke für den Hinweis habe ich jetzt entfernt.
Mit besten Grüßen
Alex
tab-kh
Posts: 564
Joined: Thu 22. Apr 2021, 23:06

Re: Rspamd: Spamfilter besser trainieren?

Post by tab-kh »

Wenn du ein Logfile der DNS-Queries mit Antwort hast, kannst du da reinschauen. Ansonsten könntest du in der rspamd-Weboberfläche deine eingegangenen Mails anschauen (History anklicken), welche "Symbole" da aufgelistet sind. Je nach Blockliste mögen das unterschiedliche sein, normalerweise heissen sie irgendwas mit "BLOCKED". Wenn dein Query geblockt wird, dann tauchen solche Symbole in der Liste auf, normalerweise mit einem Score von 0.0, das heißt, eine geblockte Anfrage lässt den Gesamtscore unverändert.
KeksDipp
Posts: 71
Joined: Sun 17. Jan 2021, 18:03

Re: Rspamd: Spamfilter besser trainieren?

Post by KeksDipp »

Also in den Symbols ist nichts zu sehen von Blocked. Ein DNS-Quiere LOG habe ich aktuell leider nicht. Eine Klasische SPAM Mail sieht in etwa so aus in der Rspamd history:

R_BAD_CTE_7BIT (1.05) [7bit,utf8]
R_PARTS_DIFFER (0.850374) [92.5%]
DMARC_POLICY_ALLOW (-0.5) [xxx,reject]
MANY_INVISIBLE_PARTS (0.3) [4]
FORGED_SENDER (0.3) [xxx]
R_DKIM_ALLOW (-0.2) [xxx:s=mail]
R_SPF_ALLOW (-0.2) [+ip4:xxx.xxx.xxx.xxx]
MIME_GOOD (-0.1) [multipart/alternative,text/plain]
HAS_LIST_UNSUB (-0.01)
RCVD_COUNT_ZERO (0) [0]
NEURAL_HAM (0) [-0.823]
REPLYTO_DOM_EQ_FROM_DOM (0)
MID_RHS_MATCH_FROMTLD (0)
HAS_REPLYTO (0) [xxx]
RCPT_COUNT_ONE (0) [1]
SUBJECT_ENDS_EXCLAIM (0)
DKIM_TRACE (0) [bloom.sticknlisten.de:+]
ASN (0) [asn:16276, ipnet:xxx.xxx.xxx.xxx/16, country:FR]
FROM_HAS_DN (0)
TO_DN_NONE (0)
MIME_TRACE (0) [0:+,1:+,2:~]
SUBJECT_HAS_QUESTION (0)
TO_MATCH_ENVRCPT_ALL (0)
FROM_NEQ_ENVFROM (0) [xxx]
ARC_NA (0)


Die Domains und IPs habe ich mal mit xxx unkenntlich gemacht.
Mit besten Grüßen
Alex
tab-kh
Posts: 564
Joined: Thu 22. Apr 2021, 23:06

Re: Rspamd: Spamfilter besser trainieren?

Post by tab-kh »

Ich habe gerade auch mal genauer nachgeschaut und mir selbst mal eine Mail geschickt von GMX. Die Mail ist natürlich angekommen, meine in den Mailserver-Einstellungen von Keyhelp eingetragenen Listen wurden beim Empfang nicht abgefragt. Also dachte ich zuerst, dass die überhaupt nie aufgerufen werden. Deshalb habe ich mal geschaut, ob die Listen auch sonst nie abgefragt werden. Dabei habe ich festgestellt, dass das doch heute schon einige Male passiert ist und mein Server da auch jeweils eine vernünftige Antwort von der Liste erhalten hat.

Also erhebt sich die Frage, warum bei meiner mir selbst geschickten Mail nicht? Darauf habe ich leider noch keine endgültige Antwort. Eine Hypothese wäre, dass der Postausgangsserver von gmx auf einer (oder mehreren) Whitelists eingetragen ist und solche Sender IPs dann gar nicht erst auf Blacklists überprüft werden. Das scheint mir derzeit eine halbwegs plausible Erklärung zu sein.

Interesanterweise habe ich heute Mittag schon eine Mail (dmarc-report)von outlook.de geschickt bekommen. Hier wurden meine Blacklists jedenfalls abgefragt. Ob das allerdings durch rspamd passiert ist oder ob das Postfix/Keyhelp schon vorher machen weiss ich leider auch nicht. Sieht aber von der Reihenfolge der DNS Queries ein wenig so aus, als ob das schon vor rspamd passiert wäre.
KeksDipp
Posts: 71
Joined: Sun 17. Jan 2021, 18:03

Re: Rspamd: Spamfilter besser trainieren?

Post by KeksDipp »

tab-kh wrote: Sat 25. Jan 2025, 00:16 Ich habe gerade auch mal genauer nachgeschaut und mir selbst mal eine Mail geschickt von GMX. Die Mail ist natürlich angekommen, meine in den Mailserver-Einstellungen von Keyhelp eingetragenen Listen wurden beim Empfang nicht abgefragt. Also dachte ich zuerst, dass die überhaupt nie aufgerufen werden. Deshalb habe ich mal geschaut, ob die Listen auch sonst nie abgefragt werden. Dabei habe ich festgestellt, dass das doch heute schon einige Male passiert ist und mein Server da auch jeweils eine vernünftige Antwort von der Liste erhalten hat.

Also erhebt sich die Frage, warum bei meiner mir selbst geschickten Mail nicht? Darauf habe ich leider noch keine endgültige Antwort. Eine Hypothese wäre, dass der Postausgangsserver von gmx auf einer (oder mehreren) Whitelists eingetragen ist und solche Sender IPs dann gar nicht erst auf Blacklists überprüft werden. Das scheint mir derzeit eine halbwegs plausible Erklärung zu sein.

Interesanterweise habe ich heute Mittag schon eine Mail (dmarc-report)von outlook.de geschickt bekommen. Hier wurden meine Blacklists jedenfalls abgefragt. Ob das allerdings durch rspamd passiert ist oder ob das Postfix/Keyhelp schon vorher machen weiss ich leider auch nicht. Sieht aber von der Reihenfolge der DNS Queries ein wenig so aus, als ob das schon vor rspamd passiert wäre.
Interessant. Sind die DNSBL Listen in Keyhelp denn überhaupt noch sinnvoll wenn Rspamd ja mit mitgelieferter Config kommt die ggf. erweitert werden könnte?

Ich denke in meinem Fall hattest du recht das meine DNSBL nicht aufgelöst werden. Im Rspamd Log habe ich zumindest folgendes endeckt.

Code: Select all

DNS reply returned 'no error' for dwl.dnswl.org while 'no records with this name' was expected when querying for 'vnFQ_Ua7DI.dwl.dnswl.org'(likely DNS spoofing or BL internal issues)
Wenn ich dich Richtig verstanden habe soll ich die DNS Server meines Keyhelp Server von meinem Server Hoster nicht verwenden sondern andere. Hast du da ggf. empfehlungen welche man nimmt? Hätte ich bei z.B. Google und Cloudflare DNS Servern wohl das gleiche Problem? Oder habe ich bei dem ganzen Thema noch etwas falsch verstanden?
Mit besten Grüßen
Alex
Blubby
Posts: 70
Joined: Tue 5. Mar 2024, 13:10

Re: Rspamd: Spamfilter besser trainieren?

Post by Blubby »

KeksDipp wrote: Sat 25. Jan 2025, 01:16
Wenn ich dich Richtig verstanden habe soll ich die DNS Server meines Keyhelp Server von meinem Server Hoster nicht verwenden sondern andere. Hast du da ggf. empfehlungen welche man nimmt? Hätte ich bei z.B. Google und Cloudflare DNS Servern wohl das gleiche Problem? Oder habe ich bei dem ganzen Thema noch etwas falsch verstanden?
Du meinst wegen dem Ratelimit? Diesbezüglich kannst du jeden großen DNS Server vergessen, insbesondere die von Google oder Cloudflare.
Du könntest dir entweder selber einen aufsetzen oder auf deinem Server unbound als Resolver installieren. Letzteres funktioniert bei mir recht gut.
KeksDipp
Posts: 71
Joined: Sun 17. Jan 2021, 18:03

Re: Rspamd: Spamfilter besser trainieren?

Post by KeksDipp »

Blubby wrote: Sat 25. Jan 2025, 11:42
KeksDipp wrote: Sat 25. Jan 2025, 01:16
Wenn ich dich Richtig verstanden habe soll ich die DNS Server meines Keyhelp Server von meinem Server Hoster nicht verwenden sondern andere. Hast du da ggf. empfehlungen welche man nimmt? Hätte ich bei z.B. Google und Cloudflare DNS Servern wohl das gleiche Problem? Oder habe ich bei dem ganzen Thema noch etwas falsch verstanden?
Du meinst wegen dem Ratelimit? Diesbezüglich kannst du jeden großen DNS Server vergessen, insbesondere die von Google oder Cloudflare.
Du könntest dir entweder selber einen aufsetzen oder auf deinem Server unbound als Resolver installieren. Letzteres funktioniert bei mir recht gut.
Das habe ich inzwischen auch in ein paar Foren gelesen. Wenn ich das Richtig verstanden habe müsste laut folgender Ausgabe mein Server jetzt der Resolver sein und das Problem nicht mehr bestehen? Ich habe systemd-resolved installiert.

Code: Select all

root@webpanel:/etc# dig zen.spamhaus.org

; <<>> DiG 9.18.28-1~deb12u2-Debian <<>> zen.spamhaus.org
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 13120
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 65494
;; QUESTION SECTION:
;zen.spamhaus.org.              IN      A

;; AUTHORITY SECTION:
zen.spamhaus.org.       10      IN      SOA     need.to.know.only. hostmaster.spamhaus.org. 2501251055 3600 600 432000 10

;; Query time: 7 msec
;; SERVER: 127.0.0.53#53(127.0.0.53) (UDP)
;; WHEN: Sat Jan 25 11:57:34 CET 2025
;; MSG SIZE  rcvd: 109
Mit besten Grüßen
Alex
Post Reply