Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score [GELÖST]

[ADG1]

Ich habe bei mir zusätzlich das ASN Modul aktiviert, das reduziert den Spam Mist nochmals um ca 40-70% je nach Server.
Ist in 1 min erledigt.

/etc/rspamd/override.d/multimap.conf

ASN_CUSTOM {
type = "asn";
map = "${CONFDIR}/local.d/asn.map";
description = "Sender ASN score";
score = 1;
}

/etc/rspamd/local.d/asn.map

Code: Select all

#ASN   SCORE   		DESC
24940   -1              #Hetzner Online GmbH
3209    -1              #Vodafone GmbH
14618   3               # Amazon SES US
16509   3               # Amazon SES US
31898   4               # Oracle Corporation US
15169   1               # Gmail
34984   4               # Superonline Iletisim Hizmetleri A.S. TR
8851    6               # GCI Network Solutions Ltd UK
205544  6               # LeaseWeb Ltd UK
216127  6               # INTERNATIONAL HOSTING COMPANY LIMITED UK
215540  6               # GLOBAL CONNECTIVITY SOLUTIONS LLP
5413    8               # Daisy Corporate Services Trading Ltd. UK
31727   8               # Node4 Ltd UK
21334   8               # Vodafone HU
47264   8               # LDeX Connect LTD UK
3269    8               # Telecom Italia SPA IT
327932  8               # Connectis-Data Angola AO
20857   8               # Signet B.V. NL
207713  8               # Global Internet Solutions LLC RU
263396  8               # BK Telecomunicacoes LTDA BR
55990   8               # Huawei Cloud Service data center CN
41770   8               # IMINGO SERVICES FR
197549  8               # GHOSTnet GmbH DE
40676   8               # Psychz Networks US
135392  8               # UAB HostBaltic LT
201671  8               # Nuxt Hosting Solution Limited GB
40476   8               # Scala Hosting LLC US
207651  8               # Hosting technology LTD RU
213373  8               # IP Connect Inc SC
210079  8               # EuroByte LLC RU
139482  8               # Vilas Internet Services Pvt Ltd IN
203576  8               # Onur Ekren TR
200628  8               # BGO Cloud OOD BG
212913  8               # FOP Hornostay Mykhaylo Ivanovych RU
30823   8               # combahton GmbH
8048    8               # CANTV Servicios VE
30447   8               # InternetNamesForBusiness.com USA
60781   8               # Moosend ltd GB
399471  8               # Serverion LLC
213035  8               # Serverion BV NL
204601  8               # ON-LINE DATA LTD. SC
31034   8               # Aruba S.p.A.
28753   8               # Leaseweb Deutschland GmbH DE
16735   8               # Algar Telecom BR
132372  8               # GB Network Solutions Sdn. Bhd. MY
207569  8               # Network Management Ltd SC
213371  8               # ABC Consultancy NL
5432    8               # Proximus NV BE
16019   8               # Vodafone Czech Republic a.s. CZ
3462    8               # Data Communication Business Group TW
63949   8               # Linode LLC US
24961   8               # myLoc managed IT AG
7684    8               # SAKURA Internet Inc. JP
200484  8               # Sendinblue SAS FR
200069  8               # MAILJET SAS FR
394695  8               # P.D.R Solutions LLC
12338   8               # Euskaltel ES
3301    8               # Telia Company AB
135905  8               # Vietnam Posts and Telecommunications Group VN
46606   8               # Unified Layer US
38510   8               # Ministry of Agriculture ID
40244   8               # Turnkey Internet Inc. US
27659   8               # Ingenieria e Informatica Asociada Ltda CL
9123    8               # TimeWeb Ltd RU
14868   8               # COPEL Telecomunicaes BR
9430    8               # Software Technology Parks of India IN
25549   8               # JSC Avantel RU
56740   8               # DataHata Ltd BY
205072  8               # Layershift Ltd GB
22611   8               # InMotion Hosting, Inc. US
133380  8               # Layerstack Limited HK
262757  8               # Insidesign Tecnologia Ltda EPP BR
131711  10              # PT Global Teknologi Teraindo ID
50494   10              # Starlink Ltd UA
211252  10              # Delis LLC US
3175    20              # Citytelecom LLC RU
5483    20              # Magyar Telekom plc. HU
32244   20              # Liquid Web LLC US
147237  20              # Cloudminister Technologies IN
19318   20              # Interserver Inc US
35592   20              # Coolhousing sro CZ
201579  20              # Hostgnome Ltd GB
6663    20              # Euroweb Romania S.R.L.
35277   20              # LLHOST INC. SRL RO
51852   20              # Private Layer Inc PA
27357   20              # Rackspace Hosting
53667   20              # FranTech Solutions US
29571   20              # Orange Cote d'Ivoire CI
12586   20              # GHOSTnet GmbH DE
14061   20              # DigitalOcean LLC US
134330  20              # AVNI INFOTECH IN
55470   20              # Cyfuture India Pvt. Ltd IN
42612   20              # DinaHosting S.L. ES
47692   20              # Nessus GmbH
16276   20              # OVH SAS
34300   20              # Internet-Cosmos LLC RU
29182   20              # JSC Datacenter RU
59504   20              # VPSVILLE LLC RU
12616   20              # Filanco LLC RU
41853   20              # NTCOM LTD RU
207728  20              # EUROHOSTER Ltd BG
54290   20              # Hostwinds LLC USA
59939   20              # WIBO Baltic UAB LT
24810   20              # Rostelecom RU
31185   20              # TNPKO RU
200313  20              # INTERNET IT COMPANY INC SC
202423  20              # PE Viktor Tyurin RU
8100    20              # QuadraNet Enterprises LLC USA
7185    20              # QuadraNet Internet Services USA
64270   20              # QuadraNet Enterprises LLC USA
62878   20              # QuadraNet Enterprises LLC USA
62639   20              # QuadraNet Enterprises LLC USA
29761   20              # QuadraNet Enterprises LLC USA
22298   20              # QuadraNet Enterprises LLC USA

systemctl restart rspamd.service

asn.map brauch noch etwas Feinschliff. Funktioniert aber erstmal gut so

Super, habe es bei mir auch aktiviert, bringt richtig was.

[Alexander]

Ich denke ich weiß jetzt, warum das SPAM-Lernen nicht zu funktionieren scheint.

Damit Rspamd entsprechend eine Mail Klassifizieren kann, muss es ausreichende Test-Samples haben. Das gilt sowohl für SPAM als auch für HAM Emails.
Das SPAM lernen übernimmt KeyHelp automatisch, sobald eine Mail in den JUNK Ordner verschoben wird, und sich dort für eine gewisse Dauer aufhält (Jeden Tag um 00:30 Uhr wird dort der learn-Prozess angestoßen).
JETZT WICHTIG: Die Rspamd Dokumentation sagt einem jedoch nicht, das auch HAM-Emails gelernt werden müssen, ansonsten erfolgt keine Filterung nach SPAM,... das erfährt man dann nur über den Log

Code: Select all

bayes_classify: not classified as ham. The ham class needs more training samples. Currently: 0; minimum 200 required

(Man könnte jetzt die Werte wie "min_learns" und "min_tokens" heruntersetzen, so das nur minimales Training notwendig ist, aber das scheint mir nicht zielführend, wenn man verlässliche Erkennungsraten haben möchte.)



Was ist nun also zu tun:

Wer immer fleißig Mails in den JUNK Ordner sortiert, hat schon die halbe Miete. Jetzt muss man nur noch Rspamd in Bezug auf HAM trainieren.

Also hab ich mir mein Hauptpostfach meines Servers genommen und dort den Posteingang vorher nochmal auf Spam untersucht und entsprechend alle Mails verschoben / gelöscht, die ich nicht als HAM betrachte.

Anschließend hab das HAM lernen getriggert. Diesen Befehl müsst ihr entsprechend euren eigenen Gegebenheiten anpassen, Domain, User und den Ordner angeben, der HAM Emails enthält (in meinem Fall war es einfach nur die Inbox "cur/").

Code: Select all

/usr/bin/rspamc learn_ham /var/mail/vhosts/<DOMAIN>/<USER>/cur/

Nun hab ich einen ausreichend großen Pool an Samples:

Code: Select all

# rspamc stat
[...]
Statfile: BAYES_SPAM type: redis; length: 0; free blocks: 0; total blocks: 0; free: 0.00%; learned: 316; users: 1; languages: 0
Statfile: BAYES_HAM type: redis; length: 0; free blocks: 0; total blocks: 0; free: 0.00%; learned: 643; users: 1; languages: 0

Anschließend hab ich eine neue Test-Mail verschickt und von nun an tauchen BAYES_SPAM und BAYES_HAM als Bewertungskriterien auf.

Code: Select all

BAYES_HAM • Message probably ham, probability: (-3) [99.99%]

Wie kann ich im KeyHelp den Nutzern künftig unter die Arme greifen, was das Anlernen von HAM betrifft?

Wahrscheinlich werde ich mit kommenden Update diesen Weg gehen:
Es gibt ein Autolearn Feature, was Mails mit niedrigem Score (< -0.5) als HAM lernt, das könnte ich per default aktivieren, könnte aber auch zu False/positive Klassifizierungen führen. Um das zu vermeiden, würde ich das Feature über die Email-Server-Optionen aktiv/inaktiv schaltbar machen.

[Jolinar]

Es gibt ein Autolearn Feature, was Mails mit niedrigem Score (< -0.5) als HAM lernt, das könnte ich per default aktivieren, könnte aber auch zu False/positive Klassifizierungen führen. Um das zu vermeiden, würde ich das Feature über die Email-Server-Optionen aktiv/inaktiv schaltbar machen.

Wenn der Schwellwert per Konfiguration veränderbar ist, dann wäre es vllt. sinnvoll, diesen Wert übers Panel setzen zu können...

[Blubby]

Dazu habe ich noch eine Frage, wenn man das als Ham/Spam anlernt gilt das dann für den ganzen User/Postfächer oder nur das jeweilige Postfach?

[Alexander]

Auch Emails an andere Postfächer beinhalten nun das BAYES_HAM Symbol.

Ich warte noch auf die nächste organische SPAM Email, damit ich auch das BAYES_SPAM Symbol einmal sehe und so verifizieren kann, dass alles nun so läuft wie es soll.

[Fezzi]

Vielen Dank Alex für die Analyse und den Lösungsansatz...

Wie immer, top!

[technotravel]

Vielen Dank Alex für die Analyse und den Lösungsansatz...

Wie immer, top!

Dem schließe ich mich gerne an (mangels LIKE button)

[Alexander]

Update: Heute hab ich organischen Spam erhalten und folgende Zeile im Log:

Code: Select all

bayes; bayes_classify: no tokens found in bayes database (18 total tokens, 8 text tokens), ignore stats

Auch wurde nicht mit BAYES_SPAM markiert.

Ich weiß noch nicht so recht, wie ich die Aussage in Klammern interpretieren soll, aber da schein ich nicht der Einzige zu sein
(https://github.com/rspamd/rspamd/issues/2774)

Würde also Sinn machen, wenn diese Spam-Email für das System bislang unbekannt ist. Jetzt heißt es wohl warten, bis die nächsten kommen.

Wenn ihr o.g. Änderung (viewtopic.php?p=55750#p55750) auf eurem System durchgeführt habt, würde mich interessieren, wie euer Rspamd bei wiederholenden Spam-Emails reagiert und ob ihr das BAYES_SPAM flag seht.

Für die Logs:

Code: Select all

cat /var/log/rspamd/rspamd.log | grep 'bayes' 
bzw.
cat /var/log/rspamd/rspamd.log.1 | grep 'bayes'
...

[Fezzi]

Eine Frage hierzu...

Wenn ich das HAM Training getriggert habe, wird dann von nun an alles was in mein Postfach als HAM eingeht mit eingelesen, oder nur was sich zu dem Zeitpunkt im Postfach befand?

Ich Archiviere die meisten Mails nach Bearbeitung sofort lokal weg und deshalb befinden sich in meinem Postfach selten mehr als 10 - 15 Mails.

[Jolinar]

Ich weiß noch nicht so recht, wie ich die Aussage in Klammern interpretieren soll

Gemini sagt dazu folgendes:

Was der Eintrag im Detail bedeutet
bayes_classify: Dies ist der Prozess, bei dem Rspamd versucht, die E-Mail mithilfe des Bayes-Filters zu klassifizieren.

no tokens found in bayes database: Dies ist die zentrale Aussage. Sie bedeutet, dass keines der Wörter (Tokens) aus der E-Mail in der Bayes-Datenbank von Rspamd vorhanden war. Ein Bayes-Filter lernt aus Wörtern, die häufig in Spam oder Ham vorkommen. Wenn er auf eine E-Mail stößt, deren Wörter ihm unbekannt sind, kann er keine statistische Wahrscheinlichkeit berechnen.

18 total tokens, 8 text tokens: Dies gibt an, dass die E-Mail insgesamt 18 Tokens enthielt, wovon 8 als Text-Tokens identifiziert wurden. Tokens sind Wörter, E-Mail-Adressen, URLs oder andere Bestandteile der E-Mail, die der Filter analysiert.

ignore stats: Da keine relevanten Tokens gefunden wurden, ignoriert Rspamd die Bayes-Statistik für diese E-Mail. Die Klassifizierung wird daher nicht von diesem Filter beeinflusst.

[Alexander]

Wenn ich das HAM Training getriggert habe, wird dann von nun an alles was in mein Postfach als HAM eingeht mit eingelesen

Aktuell noch nicht, das behalte ich mir aber als Option für ein kommendes Update offen (siehe Zitat von mir).
Wenn das Feature kommt, dann würde es in dem Moment Emails lernen, sobald sie eintreffen. Du könntest danach also sofort archivieren/verschieben/etc.

Wie kann ich im KeyHelp den Nutzern künftig unter die Arme greifen, was das Anlernen von HAM betrifft?
Wahrscheinlich werde ich mit kommenden Update diesen Weg gehen:
Es gibt ein Autolearn Feature, was Mails mit niedrigem Score (< -0.5) als HAM lernt, das könnte ich per default aktivieren, könnte aber auch zu False/positive Klassifizierungen führen. Um das zu vermeiden, würde ich das Feature über die Email-Server-Optionen aktiv/inaktiv schaltbar machen.

oder nur was sich zu dem Zeitpunkt im Postfach befand?

Aktuell ist es so, ja.

[Alexander]

Und hier ist die Bestätigung, das nun alles korrekt funktioniert.
Eben kam noch eine SPAM-Email. Diesmal wurde der BAYES_SPAM Tag gesetzt:

Code: Select all

BAYES_SPAM • Message probably spam, probability: (4.386893) [98.13%]

Perfekt .

(Ihr braucht mir also auch kein Feedback mehr zu geben, wenn bei euch nun alles korrekt getaggt wird.)