Page 4 of 4
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score
Posted: Mon 25. Aug 2025, 07:41
by ADG1
MLan wrote: ↑Tue 25. Feb 2025, 20:46
Ich habe bei mir zusätzlich das ASN Modul aktiviert, das reduziert den Spam Mist nochmals um ca 40-70% je nach Server.
Ist in 1 min erledigt.
/etc/rspamd/override.d/multimap.conf
ASN_CUSTOM {
type = "asn";
map = "${CONFDIR}/local.d/asn.map";
description = "Sender ASN score";
score = 1;
}
/etc/rspamd/local.d/asn.map
Code: Select all
#ASN SCORE DESC
24940 -1 #Hetzner Online GmbH
3209 -1 #Vodafone GmbH
14618 3 # Amazon SES US
16509 3 # Amazon SES US
31898 4 # Oracle Corporation US
15169 1 # Gmail
34984 4 # Superonline Iletisim Hizmetleri A.S. TR
8851 6 # GCI Network Solutions Ltd UK
205544 6 # LeaseWeb Ltd UK
216127 6 # INTERNATIONAL HOSTING COMPANY LIMITED UK
215540 6 # GLOBAL CONNECTIVITY SOLUTIONS LLP
5413 8 # Daisy Corporate Services Trading Ltd. UK
31727 8 # Node4 Ltd UK
21334 8 # Vodafone HU
47264 8 # LDeX Connect LTD UK
3269 8 # Telecom Italia SPA IT
327932 8 # Connectis-Data Angola AO
20857 8 # Signet B.V. NL
207713 8 # Global Internet Solutions LLC RU
263396 8 # BK Telecomunicacoes LTDA BR
55990 8 # Huawei Cloud Service data center CN
41770 8 # IMINGO SERVICES FR
197549 8 # GHOSTnet GmbH DE
40676 8 # Psychz Networks US
135392 8 # UAB HostBaltic LT
201671 8 # Nuxt Hosting Solution Limited GB
40476 8 # Scala Hosting LLC US
207651 8 # Hosting technology LTD RU
213373 8 # IP Connect Inc SC
210079 8 # EuroByte LLC RU
139482 8 # Vilas Internet Services Pvt Ltd IN
203576 8 # Onur Ekren TR
200628 8 # BGO Cloud OOD BG
212913 8 # FOP Hornostay Mykhaylo Ivanovych RU
30823 8 # combahton GmbH
8048 8 # CANTV Servicios VE
30447 8 # InternetNamesForBusiness.com USA
60781 8 # Moosend ltd GB
399471 8 # Serverion LLC
213035 8 # Serverion BV NL
204601 8 # ON-LINE DATA LTD. SC
31034 8 # Aruba S.p.A.
28753 8 # Leaseweb Deutschland GmbH DE
16735 8 # Algar Telecom BR
132372 8 # GB Network Solutions Sdn. Bhd. MY
207569 8 # Network Management Ltd SC
213371 8 # ABC Consultancy NL
5432 8 # Proximus NV BE
16019 8 # Vodafone Czech Republic a.s. CZ
3462 8 # Data Communication Business Group TW
63949 8 # Linode LLC US
24961 8 # myLoc managed IT AG
7684 8 # SAKURA Internet Inc. JP
200484 8 # Sendinblue SAS FR
200069 8 # MAILJET SAS FR
394695 8 # P.D.R Solutions LLC
12338 8 # Euskaltel ES
3301 8 # Telia Company AB
135905 8 # Vietnam Posts and Telecommunications Group VN
46606 8 # Unified Layer US
38510 8 # Ministry of Agriculture ID
40244 8 # Turnkey Internet Inc. US
27659 8 # Ingenieria e Informatica Asociada Ltda CL
9123 8 # TimeWeb Ltd RU
14868 8 # COPEL Telecomunicaes BR
9430 8 # Software Technology Parks of India IN
25549 8 # JSC Avantel RU
56740 8 # DataHata Ltd BY
205072 8 # Layershift Ltd GB
22611 8 # InMotion Hosting, Inc. US
133380 8 # Layerstack Limited HK
262757 8 # Insidesign Tecnologia Ltda EPP BR
131711 10 # PT Global Teknologi Teraindo ID
50494 10 # Starlink Ltd UA
211252 10 # Delis LLC US
3175 20 # Citytelecom LLC RU
5483 20 # Magyar Telekom plc. HU
32244 20 # Liquid Web LLC US
147237 20 # Cloudminister Technologies IN
19318 20 # Interserver Inc US
35592 20 # Coolhousing sro CZ
201579 20 # Hostgnome Ltd GB
6663 20 # Euroweb Romania S.R.L.
35277 20 # LLHOST INC. SRL RO
51852 20 # Private Layer Inc PA
27357 20 # Rackspace Hosting
53667 20 # FranTech Solutions US
29571 20 # Orange Cote d'Ivoire CI
12586 20 # GHOSTnet GmbH DE
14061 20 # DigitalOcean LLC US
134330 20 # AVNI INFOTECH IN
55470 20 # Cyfuture India Pvt. Ltd IN
42612 20 # DinaHosting S.L. ES
47692 20 # Nessus GmbH
16276 20 # OVH SAS
34300 20 # Internet-Cosmos LLC RU
29182 20 # JSC Datacenter RU
59504 20 # VPSVILLE LLC RU
12616 20 # Filanco LLC RU
41853 20 # NTCOM LTD RU
207728 20 # EUROHOSTER Ltd BG
54290 20 # Hostwinds LLC USA
59939 20 # WIBO Baltic UAB LT
24810 20 # Rostelecom RU
31185 20 # TNPKO RU
200313 20 # INTERNET IT COMPANY INC SC
202423 20 # PE Viktor Tyurin RU
8100 20 # QuadraNet Enterprises LLC USA
7185 20 # QuadraNet Internet Services USA
64270 20 # QuadraNet Enterprises LLC USA
62878 20 # QuadraNet Enterprises LLC USA
62639 20 # QuadraNet Enterprises LLC USA
29761 20 # QuadraNet Enterprises LLC USA
22298 20 # QuadraNet Enterprises LLC USA
systemctl restart rspamd.service
asn.map brauch noch etwas Feinschliff. Funktioniert aber erstmal gut so
Super, habe es bei mir auch aktiviert, bringt richtig was.
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score [GELÖST]
Posted: Tue 26. Aug 2025, 11:08
by Alexander
Ich denke ich weiß jetzt, warum das SPAM-Lernen nicht zu funktionieren scheint.
Damit Rspamd entsprechend eine Mail Klassifizieren kann, muss es ausreichende Test-Samples haben. Das gilt sowohl für SPAM als auch für HAM Emails.
Das SPAM lernen übernimmt KeyHelp automatisch, sobald eine Mail in den JUNK Ordner verschoben wird, und sich dort für eine gewisse Dauer aufhält (Jeden Tag um 00:30 Uhr wird dort der learn-Prozess angestoßen).
JETZT WICHTIG: Die Rspamd Dokumentation sagt einem jedoch nicht, das auch HAM-Emails gelernt werden müssen, ansonsten erfolgt keine Filterung nach SPAM,... das erfährt man dann nur über den Log
Code: Select all
bayes_classify: not classified as ham. The ham class needs more training samples. Currently: 0; minimum 200 required
(Man könnte jetzt die Werte wie "min_learns" und "min_tokens" heruntersetzen, so das nur minimales Training notwendig ist, aber das scheint mir nicht zielführend, wenn man verlässliche Erkennungsraten haben möchte.)
Was ist nun also zu tun:
Wer immer fleißig Mails in den JUNK Ordner sortiert, hat schon die halbe Miete. Jetzt muss man nur noch Rspamd in Bezug auf HAM trainieren.
Also hab ich mir mein Hauptpostfach meines Servers genommen und dort den Posteingang vorher nochmal auf Spam untersucht und entsprechend alle Mails verschoben / gelöscht, die ich nicht als HAM betrachte.
Anschließend hab das HAM lernen getriggert. Diesen Befehl müsst ihr entsprechend euren eigenen Gegebenheiten anpassen, Domain, User und den Ordner angeben, der HAM Emails enthält (in meinem Fall war es einfach nur die Inbox "cur/").
Code: Select all
/usr/bin/rspamc learn_ham /var/mail/vhosts/<DOMAIN>/<USER>/cur/
Nun hab ich einen ausreichend großen Pool an Samples:
Code: Select all
# rspamc stat
[...]
Statfile: BAYES_SPAM type: redis; length: 0; free blocks: 0; total blocks: 0; free: 0.00%; learned: 316; users: 1; languages: 0
Statfile: BAYES_HAM type: redis; length: 0; free blocks: 0; total blocks: 0; free: 0.00%; learned: 643; users: 1; languages: 0
Anschließend hab ich eine neue Test-Mail verschickt und von nun an tauchen BAYES_SPAM und BAYES_HAM als Bewertungskriterien auf.
Code: Select all
BAYES_HAM • Message probably ham, probability: (-3) [99.99%]
Wahrscheinlich werde ich mit kommenden Update diesen Weg gehen:
Es gibt ein Autolearn Feature, was Mails mit niedrigem Score (< -0.5) als HAM lernt, das könnte ich per default aktivieren, könnte aber auch zu False/positive Klassifizierungen führen. Um das zu vermeiden, würde ich das Feature über die Email-Server-Optionen aktiv/inaktiv schaltbar machen.
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score
Posted: Tue 26. Aug 2025, 11:28
by Jolinar
Alexander wrote: ↑Tue 26. Aug 2025, 11:08
Es gibt ein Autolearn Feature, was Mails mit niedrigem Score (< -0.5) als HAM lernt, das könnte ich per default aktivieren, könnte aber auch zu False/positive Klassifizierungen führen. Um das zu vermeiden, würde ich das Feature über die Email-Server-Optionen aktiv/inaktiv schaltbar machen.
Wenn der Schwellwert per Konfiguration veränderbar ist, dann wäre es vllt. sinnvoll, diesen Wert übers Panel setzen zu können...
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score
Posted: Tue 26. Aug 2025, 12:12
by Blubby
Dazu habe ich noch eine Frage, wenn man das als Ham/Spam anlernt gilt das dann für den ganzen User/Postfächer oder nur das jeweilige Postfach?
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score
Posted: Tue 26. Aug 2025, 12:15
by Alexander
Auch Emails an andere Postfächer beinhalten nun das BAYES_HAM Symbol.
Ich warte noch auf die nächste organische SPAM Email, damit ich auch das BAYES_SPAM Symbol einmal sehe und so verifizieren kann, dass alles nun so läuft wie es soll.
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score
Posted: Tue 26. Aug 2025, 14:41
by Fezzi
Vielen Dank Alex für die Analyse und den Lösungsansatz...
Wie immer, top!
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score
Posted: Tue 26. Aug 2025, 17:23
by technotravel
Fezzi wrote: ↑Tue 26. Aug 2025, 14:41
Vielen Dank Alex für die Analyse und den Lösungsansatz...
Wie immer, top!
Dem schließe ich mich gerne an (mangels LIKE button)
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score
Posted: Wed 27. Aug 2025, 09:20
by Alexander
Update: Heute hab ich organischen Spam erhalten und folgende Zeile im Log:
Code: Select all
bayes; bayes_classify: no tokens found in bayes database (18 total tokens, 8 text tokens), ignore stats
Auch wurde nicht mit BAYES_SPAM markiert.
Ich weiß noch nicht so recht, wie ich die Aussage in Klammern interpretieren soll, aber da schein ich nicht der Einzige zu sein
(
https://github.com/rspamd/rspamd/issues/2774)
Würde also Sinn machen, wenn diese Spam-Email für das System bislang unbekannt ist. Jetzt heißt es wohl warten, bis die nächsten kommen.
Wenn ihr o.g. Änderung (
viewtopic.php?p=55750#p55750) auf eurem System durchgeführt habt, würde mich interessieren, wie euer Rspamd bei wiederholenden Spam-Emails reagiert und ob ihr das BAYES_SPAM flag seht.
Für die Logs:
Code: Select all
cat /var/log/rspamd/rspamd.log | grep 'bayes'
bzw.
cat /var/log/rspamd/rspamd.log.1 | grep 'bayes'
...
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score
Posted: Wed 27. Aug 2025, 12:36
by Fezzi
Eine Frage hierzu...
Wenn ich das HAM Training getriggert habe, wird dann von nun an alles was in mein Postfach als HAM eingeht mit eingelesen, oder nur was sich zu dem Zeitpunkt im Postfach befand?
Ich Archiviere die meisten Mails nach Bearbeitung sofort lokal weg und deshalb befinden sich in meinem Postfach selten mehr als 10 - 15 Mails.
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score
Posted: Wed 27. Aug 2025, 12:53
by Jolinar
Alexander wrote: ↑Wed 27. Aug 2025, 09:20
Ich weiß noch nicht so recht, wie ich die Aussage in Klammern interpretieren soll
Gemini sagt dazu folgendes:
Was der Eintrag im Detail bedeutet
bayes_classify: Dies ist der Prozess, bei dem Rspamd versucht, die E-Mail mithilfe des Bayes-Filters zu klassifizieren.
no tokens found in bayes database: Dies ist die zentrale Aussage. Sie bedeutet, dass keines der Wörter (Tokens) aus der E-Mail in der Bayes-Datenbank von Rspamd vorhanden war. Ein Bayes-Filter lernt aus Wörtern, die häufig in Spam oder Ham vorkommen. Wenn er auf eine E-Mail stößt, deren Wörter ihm unbekannt sind, kann er keine statistische Wahrscheinlichkeit berechnen.
18 total tokens, 8 text tokens: Dies gibt an, dass die E-Mail insgesamt 18 Tokens enthielt, wovon 8 als Text-Tokens identifiziert wurden. Tokens sind Wörter, E-Mail-Adressen, URLs oder andere Bestandteile der E-Mail, die der Filter analysiert.
ignore stats: Da keine relevanten Tokens gefunden wurden, ignoriert Rspamd die Bayes-Statistik für diese E-Mail. Die Klassifizierung wird daher nicht von diesem Filter beeinflusst.
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score
Posted: Wed 27. Aug 2025, 12:55
by Alexander
Fezzi wrote: ↑Wed 27. Aug 2025, 12:36
Wenn ich das HAM Training getriggert habe, wird dann von nun an alles was in mein Postfach als HAM eingeht mit eingelesen
Aktuell noch nicht, das behalte ich mir aber als Option für ein kommendes Update offen (siehe Zitat von mir).
Wenn das Feature kommt, dann würde es in dem Moment Emails lernen, sobald sie eintreffen. Du könntest danach also sofort archivieren/verschieben/etc.
Alexander wrote: ↑Tue 26. Aug 2025, 11:08
Wie kann ich im KeyHelp den Nutzern künftig unter die Arme greifen, was das Anlernen von HAM betrifft?
Wahrscheinlich werde ich mit kommenden Update diesen Weg gehen:
Es gibt ein Autolearn Feature, was Mails mit niedrigem Score (< -0.5) als HAM lernt, das könnte ich per default aktivieren, könnte aber auch zu False/positive Klassifizierungen führen. Um das zu vermeiden, würde ich das Feature über die Email-Server-Optionen aktiv/inaktiv schaltbar machen.
Fezzi wrote: ↑Wed 27. Aug 2025, 12:36
oder nur was sich zu dem Zeitpunkt im Postfach befand?
Aktuell ist es so, ja.
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score
Posted: Wed 27. Aug 2025, 16:27
by Alexander
Und hier ist die Bestätigung, das nun alles korrekt funktioniert.
Eben kam noch eine SPAM-Email. Diesmal wurde der BAYES_SPAM Tag gesetzt:
Code: Select all
BAYES_SPAM • Message probably spam, probability: (4.386893) [98.13%]
Perfekt
.
(Ihr braucht mir also auch kein Feedback mehr zu geben, wenn bei euch nun alles korrekt getaggt wird.)
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score
Posted: Thu 28. Aug 2025, 05:37
by Fezzi
Danke Alex.... und ja, ich kann Deinen letzten Post bestätigen...
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score
Posted: Fri 29. Aug 2025, 16:45
by KeksDipp
Vielen Dank, auch von mir!
Der Hinweis, dass HAM trainiert sein muss, war sehr hilfreich. Jetzt wird bei mir auch SPAM gefiltert.
Vielleicht kann mir noch jemand die Frage beantworten:
Was passiert, wenn eine Mail zunächst als SPAM trainiert wurde und anschließend als HAM? Und wie ist es umgekehrt?
Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score
Posted: Mon 8. Sep 2025, 14:09
by Alexander
Dafür gibt es weitere Optionen, so das vorheriges gelerntes mit der Zeit wieder vergessen wird und nach durch neue Learnings ersetzt wird.
Das ist per Default nicht aktiv. Könnte man aber aktivieren, wenn man es denn will.
Wenn eine Mail mal falsch gelernt wurde und das nicht im großen Stil mit 100ten Mails geschieht, sollte sich das normalerweise nicht so stark auswirken. Dann gibts halt statt einer Bewertung von 4.99 nur eine Bewertung von 4.79. Deswegen verlangt Rspamd ja auch einen großen Pool von Spam und Ham leanings, so das es seine Bewertung anhand von möglichst vielen Faktoren geben kann und nicht nur von Faktoren einer Mail.