Page 1 of 2

Rspamd: Spamfilter besser trainieren?

Posted: Tue 21. Jan 2025, 14:30
by xeppel
Hi,

Ich bekomme immer wieder solchen Spam, welcher an sich ähnlich aufgebaut ist. Immer von einer anderen Absenderadresse. Jedes Mal markiere ich es als Spam damit Rspamd lernt, aber es scheint nichts zu helfen. 95% landet immer im Posteingang. Die Mails erhalten immer einen Score von 3-4 und Rspamd hält sie daher für harmlos.

Kann man das noch irgendwas tun um das zu verbessern ?

Meine Configuration:

Greylist: 4
Add header: 6
rewrite subject: leer...? War vor paar Wochen noch nicht so, evtl. Wegen dem Backup restore irgendwie... Was habt ihr da ?
Reject: 15




[Mod-Edit]
Werbespam entfernt.

Re: Rspamd: Spamfilter besser trainieren?

Posted: Thu 23. Jan 2025, 13:36
by thed0c
Hi,

ich hatte ein ähnliches Problem mit Spam-Mails, die ständig durchgekommen sind. Dabei habe ich ein wenig mit den Rspamd-Einstellungen experimentiert und folgende Konfiguration umgesetzt, die sich für mich als sehr effektiv erwiesen hat:

Greylist: 5
Add header: 6
Rewrite subject: 12
Reject: 25
Seitdem hat sich die Situation deutlich verbessert, und der Großteil der Spam-Mails wird zuverlässig aussortiert.

Re: Rspamd: Spamfilter besser trainieren?

Posted: Thu 23. Jan 2025, 14:02
by xeppel
Okay, aber ungefähr selbe Werte wie bei mir, 12 hatte ich auch bei Rewrite subject, reject ist bei mir bei hingegen 15, desto höher desto mehr Spam würde doch sogar durchgehen ? Somit wäre meine Einstellung eigentlich sogar strenger.

Re: Rspamd: Spamfilter besser trainieren?

Posted: Thu 23. Jan 2025, 18:10
by KeksDipp
Ich habe folgendes eingestellt:

Greylist: 2
Add header: 3
Rewrite subject: 4
Reject: 10

und folgende Blacklists:
zen.spamhaus.org
ix.dnsbl.manitu.net
bl.spamcop.net
dul.dnsbl.sorbs.net
b.barracudacentral.org

Trotzdem kommt immer noch sehr viel spam durch. Geschätzt ca. 30% ohne irgendeine art der Erkennung. Ich habe auch keine Ahnung was ich falsch mache aber der Score von echten Mails lässt sich von Spam mails oft nicht unterscheiden.

Oft ist der einzige Negativ angezeigte Punkt von Rspamd "FORGED_RECIPIENTS" und das reicht dann nicht für eine erkennung von Spam.

Würde mich auch freuen wenn sich hier vielleicht jemand findet mit Tipps und Tricks.

Re: Rspamd: Spamfilter besser trainieren?

Posted: Thu 23. Jan 2025, 22:57
by tab-kh
Funktionieren denn die DNSBL überhaupt? Liefern die was zurück oder blocken sie deinen Nameserver bei der Abfrage einfach? Was ist denn als Nameserver (Resolver) eingestellt? Wenn das irgendwelche großen, öffentlichen Resolver sind, werden sie geblockt. Da musst du im Zweifelsfall selbst einen Resolver auf deinem Server einrichten oder einen externen selbst betreiben, so dass die Abfragen des Resolvers bei den Listen nicht zuviele sind.

Re: Rspamd: Spamfilter besser trainieren?

Posted: Fri 24. Jan 2025, 01:17
by Blubby
Also dazu habe ich auch ne Frage, inwiefern werden denn alle aus der rspamd/modules/rbl.conf abgearbeitet?

Die meisten sind da ja schon drin, was passiert mit denen die man unter den " Konfiguration->E-Mail-Server->Blacklist | DNS-Einträge" reinhaut?
Werden die noch berücksichtigt? Oder zählen nur die wenn man da welche drin hat und die default sachen im Rspamd werden überschrieben?

Re: Rspamd: Spamfilter besser trainieren?

Posted: Fri 24. Jan 2025, 08:02
by technotravel
tab-kh wrote: Thu 23. Jan 2025, 22:57 Funktionieren denn die DNSBL überhaupt? Liefern die was zurück oder blocken sie deinen Nameserver bei der Abfrage einfach? Was ist denn als Nameserver (Resolver) eingestellt? Wenn das irgendwelche großen, öffentlichen Resolver sind, werden sie geblockt. Da musst du im Zweifelsfall selbst einen Resolver auf deinem Server einrichten oder einen externen selbst betreiben, so dass die Abfragen des Resolvers bei den Listen nicht zuviele sind.
Wie kann man denn überprüfen, ob die DNSBL die IP vom Server akzeptieren oder stillschweigend ignorieren?

Ich leide auch unter Spam-Problemen und befülle regelmäßig händisch die individuelle Blacklist unter unter Konfiguration/E-Mail-Server. Das funktioniert zwar gut, ist aber doch viel nervige Arbeit, und ich habe das Gefühl, dass vieles von dem Spam, den ich kriege und der von Rspamd nicht erkannt wird, eigentlich von DNSBL hätte erkannt werden sollen.

Mein Server ist bei Netcup, und damit wohl unter den größeren Resolvern ...

Re: Rspamd: Spamfilter besser trainieren?

Posted: Fri 24. Jan 2025, 08:48
by Alexander
Btw. diese Liste gibt es nicht mehr:

ix.dnsbl.manitu.net

(viewtopic.php?t=13648)

Re: Rspamd: Spamfilter besser trainieren?

Posted: Fri 24. Jan 2025, 21:00
by KeksDipp
technotravel wrote: Fri 24. Jan 2025, 08:02
tab-kh wrote: Thu 23. Jan 2025, 22:57 Funktionieren denn die DNSBL überhaupt? Liefern die was zurück oder blocken sie deinen Nameserver bei der Abfrage einfach? Was ist denn als Nameserver (Resolver) eingestellt? Wenn das irgendwelche großen, öffentlichen Resolver sind, werden sie geblockt. Da musst du im Zweifelsfall selbst einen Resolver auf deinem Server einrichten oder einen externen selbst betreiben, so dass die Abfragen des Resolvers bei den Listen nicht zuviele sind.
Wie kann man denn überprüfen, ob die DNSBL die IP vom Server akzeptieren oder stillschweigend ignorieren?

Ich leide auch unter Spam-Problemen und befülle regelmäßig händisch die individuelle Blacklist unter unter Konfiguration/E-Mail-Server. Das funktioniert zwar gut, ist aber doch viel nervige Arbeit, und ich habe das Gefühl, dass vieles von dem Spam, den ich kriege und der von Rspamd nicht erkannt wird, eigentlich von DNSBL hätte erkannt werden sollen.

Mein Server ist bei Netcup, und damit wohl unter den größeren Resolvern ...
Das würde mich auch interessieren wie ich das ganze testen kann.
Alexander wrote: Fri 24. Jan 2025, 08:48 Btw. diese Liste gibt es nicht mehr:

ix.dnsbl.manitu.net

(viewtopic.php?t=13648)
Danke für den Hinweis habe ich jetzt entfernt.

Re: Rspamd: Spamfilter besser trainieren?

Posted: Fri 24. Jan 2025, 22:27
by tab-kh
Wenn du ein Logfile der DNS-Queries mit Antwort hast, kannst du da reinschauen. Ansonsten könntest du in der rspamd-Weboberfläche deine eingegangenen Mails anschauen (History anklicken), welche "Symbole" da aufgelistet sind. Je nach Blockliste mögen das unterschiedliche sein, normalerweise heissen sie irgendwas mit "BLOCKED". Wenn dein Query geblockt wird, dann tauchen solche Symbole in der Liste auf, normalerweise mit einem Score von 0.0, das heißt, eine geblockte Anfrage lässt den Gesamtscore unverändert.

Re: Rspamd: Spamfilter besser trainieren?

Posted: Fri 24. Jan 2025, 23:10
by KeksDipp
Also in den Symbols ist nichts zu sehen von Blocked. Ein DNS-Quiere LOG habe ich aktuell leider nicht. Eine Klasische SPAM Mail sieht in etwa so aus in der Rspamd history:

R_BAD_CTE_7BIT (1.05) [7bit,utf8]
R_PARTS_DIFFER (0.850374) [92.5%]
DMARC_POLICY_ALLOW (-0.5) [xxx,reject]
MANY_INVISIBLE_PARTS (0.3) [4]
FORGED_SENDER (0.3) [xxx]
R_DKIM_ALLOW (-0.2) [xxx:s=mail]
R_SPF_ALLOW (-0.2) [+ip4:xxx.xxx.xxx.xxx]
MIME_GOOD (-0.1) [multipart/alternative,text/plain]
HAS_LIST_UNSUB (-0.01)
RCVD_COUNT_ZERO (0) [0]
NEURAL_HAM (0) [-0.823]
REPLYTO_DOM_EQ_FROM_DOM (0)
MID_RHS_MATCH_FROMTLD (0)
HAS_REPLYTO (0) [xxx]
RCPT_COUNT_ONE (0) [1]
SUBJECT_ENDS_EXCLAIM (0)
DKIM_TRACE (0) [bloom.sticknlisten.de:+]
ASN (0) [asn:16276, ipnet:xxx.xxx.xxx.xxx/16, country:FR]
FROM_HAS_DN (0)
TO_DN_NONE (0)
MIME_TRACE (0) [0:+,1:+,2:~]
SUBJECT_HAS_QUESTION (0)
TO_MATCH_ENVRCPT_ALL (0)
FROM_NEQ_ENVFROM (0) [xxx]
ARC_NA (0)


Die Domains und IPs habe ich mal mit xxx unkenntlich gemacht.

Re: Rspamd: Spamfilter besser trainieren?

Posted: Sat 25. Jan 2025, 00:16
by tab-kh
Ich habe gerade auch mal genauer nachgeschaut und mir selbst mal eine Mail geschickt von GMX. Die Mail ist natürlich angekommen, meine in den Mailserver-Einstellungen von Keyhelp eingetragenen Listen wurden beim Empfang nicht abgefragt. Also dachte ich zuerst, dass die überhaupt nie aufgerufen werden. Deshalb habe ich mal geschaut, ob die Listen auch sonst nie abgefragt werden. Dabei habe ich festgestellt, dass das doch heute schon einige Male passiert ist und mein Server da auch jeweils eine vernünftige Antwort von der Liste erhalten hat.

Also erhebt sich die Frage, warum bei meiner mir selbst geschickten Mail nicht? Darauf habe ich leider noch keine endgültige Antwort. Eine Hypothese wäre, dass der Postausgangsserver von gmx auf einer (oder mehreren) Whitelists eingetragen ist und solche Sender IPs dann gar nicht erst auf Blacklists überprüft werden. Das scheint mir derzeit eine halbwegs plausible Erklärung zu sein.

Interesanterweise habe ich heute Mittag schon eine Mail (dmarc-report)von outlook.de geschickt bekommen. Hier wurden meine Blacklists jedenfalls abgefragt. Ob das allerdings durch rspamd passiert ist oder ob das Postfix/Keyhelp schon vorher machen weiss ich leider auch nicht. Sieht aber von der Reihenfolge der DNS Queries ein wenig so aus, als ob das schon vor rspamd passiert wäre.

Re: Rspamd: Spamfilter besser trainieren?

Posted: Sat 25. Jan 2025, 01:16
by KeksDipp
tab-kh wrote: Sat 25. Jan 2025, 00:16 Ich habe gerade auch mal genauer nachgeschaut und mir selbst mal eine Mail geschickt von GMX. Die Mail ist natürlich angekommen, meine in den Mailserver-Einstellungen von Keyhelp eingetragenen Listen wurden beim Empfang nicht abgefragt. Also dachte ich zuerst, dass die überhaupt nie aufgerufen werden. Deshalb habe ich mal geschaut, ob die Listen auch sonst nie abgefragt werden. Dabei habe ich festgestellt, dass das doch heute schon einige Male passiert ist und mein Server da auch jeweils eine vernünftige Antwort von der Liste erhalten hat.

Also erhebt sich die Frage, warum bei meiner mir selbst geschickten Mail nicht? Darauf habe ich leider noch keine endgültige Antwort. Eine Hypothese wäre, dass der Postausgangsserver von gmx auf einer (oder mehreren) Whitelists eingetragen ist und solche Sender IPs dann gar nicht erst auf Blacklists überprüft werden. Das scheint mir derzeit eine halbwegs plausible Erklärung zu sein.

Interesanterweise habe ich heute Mittag schon eine Mail (dmarc-report)von outlook.de geschickt bekommen. Hier wurden meine Blacklists jedenfalls abgefragt. Ob das allerdings durch rspamd passiert ist oder ob das Postfix/Keyhelp schon vorher machen weiss ich leider auch nicht. Sieht aber von der Reihenfolge der DNS Queries ein wenig so aus, als ob das schon vor rspamd passiert wäre.
Interessant. Sind die DNSBL Listen in Keyhelp denn überhaupt noch sinnvoll wenn Rspamd ja mit mitgelieferter Config kommt die ggf. erweitert werden könnte?

Ich denke in meinem Fall hattest du recht das meine DNSBL nicht aufgelöst werden. Im Rspamd Log habe ich zumindest folgendes endeckt.

Code: Select all

DNS reply returned 'no error' for dwl.dnswl.org while 'no records with this name' was expected when querying for 'vnFQ_Ua7DI.dwl.dnswl.org'(likely DNS spoofing or BL internal issues)
Wenn ich dich Richtig verstanden habe soll ich die DNS Server meines Keyhelp Server von meinem Server Hoster nicht verwenden sondern andere. Hast du da ggf. empfehlungen welche man nimmt? Hätte ich bei z.B. Google und Cloudflare DNS Servern wohl das gleiche Problem? Oder habe ich bei dem ganzen Thema noch etwas falsch verstanden?

Re: Rspamd: Spamfilter besser trainieren?

Posted: Sat 25. Jan 2025, 11:42
by Blubby
KeksDipp wrote: Sat 25. Jan 2025, 01:16
Wenn ich dich Richtig verstanden habe soll ich die DNS Server meines Keyhelp Server von meinem Server Hoster nicht verwenden sondern andere. Hast du da ggf. empfehlungen welche man nimmt? Hätte ich bei z.B. Google und Cloudflare DNS Servern wohl das gleiche Problem? Oder habe ich bei dem ganzen Thema noch etwas falsch verstanden?
Du meinst wegen dem Ratelimit? Diesbezüglich kannst du jeden großen DNS Server vergessen, insbesondere die von Google oder Cloudflare.
Du könntest dir entweder selber einen aufsetzen oder auf deinem Server unbound als Resolver installieren. Letzteres funktioniert bei mir recht gut.

Re: Rspamd: Spamfilter besser trainieren?

Posted: Sat 25. Jan 2025, 11:59
by KeksDipp
Blubby wrote: Sat 25. Jan 2025, 11:42
KeksDipp wrote: Sat 25. Jan 2025, 01:16
Wenn ich dich Richtig verstanden habe soll ich die DNS Server meines Keyhelp Server von meinem Server Hoster nicht verwenden sondern andere. Hast du da ggf. empfehlungen welche man nimmt? Hätte ich bei z.B. Google und Cloudflare DNS Servern wohl das gleiche Problem? Oder habe ich bei dem ganzen Thema noch etwas falsch verstanden?
Du meinst wegen dem Ratelimit? Diesbezüglich kannst du jeden großen DNS Server vergessen, insbesondere die von Google oder Cloudflare.
Du könntest dir entweder selber einen aufsetzen oder auf deinem Server unbound als Resolver installieren. Letzteres funktioniert bei mir recht gut.
Das habe ich inzwischen auch in ein paar Foren gelesen. Wenn ich das Richtig verstanden habe müsste laut folgender Ausgabe mein Server jetzt der Resolver sein und das Problem nicht mehr bestehen? Ich habe systemd-resolved installiert.

Code: Select all

root@webpanel:/etc# dig zen.spamhaus.org

; <<>> DiG 9.18.28-1~deb12u2-Debian <<>> zen.spamhaus.org
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 13120
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 65494
;; QUESTION SECTION:
;zen.spamhaus.org.              IN      A

;; AUTHORITY SECTION:
zen.spamhaus.org.       10      IN      SOA     need.to.know.only. hostmaster.spamhaus.org. 2501251055 3600 600 432000 10

;; Query time: 7 msec
;; SERVER: 127.0.0.53#53(127.0.0.53) (UDP)
;; WHEN: Sat Jan 25 11:57:34 CET 2025
;; MSG SIZE  rcvd: 109