Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Haben Sie einen Bug entdeckt? Teilen Sie es uns mit.
Blubby
Posts: 70
Joined: Tue 5. Mar 2024, 13:10

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by Blubby »

MLan wrote: Tue 25. Feb 2025, 21:34 Ich würde mich über ein Feedback oder Verbesserungsvorschläge freuen.
Ich werde das die nächsten Tage mal ausprobieren. Aber was hast du da für Schwellwerte? OVH und Co sind ja mit 20 dann schon ein Totalschaden oder?
User avatar
MLan
Posts: 483
Joined: Wed 20. Sep 2017, 23:05
Location: @home

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by MLan »

Blubby wrote: Tue 25. Feb 2025, 23:07
MLan wrote: Tue 25. Feb 2025, 21:34 Ich würde mich über ein Feedback oder Verbesserungsvorschläge freuen.
Ich werde das die nächsten Tage mal ausprobieren. Aber was hast du da für Schwellwerte? OVH und Co sind ja mit 20 dann schon ein Totalschaden oder?
Jupp das wäre ein Totalschaden, man könnte aber auch eine Raute vor OVH machen oder den Score anpassen,
aber von da kommt eigentlich auch nur Mist wenn überhaupt mal was.

Bin ja noch in der Testphase. Läßt sich aber gut an.

Bei Mithilfe könnte man eine gut funktionierende asn.map zusammenstellen.
Damit bekommt man auch nicht alles weg aber es hilft schon extrem.
Gruß Mlan
Mitch12
Posts: 12
Joined: Mon 20. Feb 2023, 10:14

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by Mitch12 »

MLan wrote: Tue 25. Feb 2025, 21:34 Ich würde mich über ein Feedback oder Verbesserungsvorschläge freuen.
Hattest Du auch Probleme, dass viele Spam-Mails nicht als Spam aufgrund des niedrigen Scores klassifiziert wurden?
User avatar
MLan
Posts: 483
Joined: Wed 20. Sep 2017, 23:05
Location: @home

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by MLan »

Mitch12 wrote: Thu 27. Feb 2025, 04:38
MLan wrote: Tue 25. Feb 2025, 21:34 Ich würde mich über ein Feedback oder Verbesserungsvorschläge freuen.
Hattest Du auch Probleme, dass viele Spam-Mails nicht als Spam aufgrund des niedrigen Scores klassifiziert wurden?
Ja hatte und habe ich obwohl ich den Spamscore schon sehr niegrig angesetzt habe.
f0tuser3
Posts: 17
Joined: Sat 8. Mar 2025, 21:19

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by f0tuser3 »

Guten Abend,

bei mir läuft es auch erst besser seit dem ich die asn.map eingebunden habe! Vielen Dank!

Bin aber dann eigentlich doch eher negativ überrascht, wie schlecht die eigentliche Spam-ERKENNUNG funktioniert. Dachte die Technik ist heutzutage schon so weit, dass das klappt. Es kamen und kommen immernoch viele doch sehr eindeutige Spam-Mails durch. Das sollte eine Software im Jahr 2025 schon erkennen.

Meine eigentliche Frage: Ist das Lernen von junk-Mails wirklich so schlecht oder muss man da noch eine configuration machen, damit das geht? Denn ich bekomme immer wieder Mails, die ich auch schon mehrfach in den Junk-Folder zum trainieren geschoben abe.
(das learn-spam scheint korrekt drüber zu laufen, wenn ich es manuell starte, kommt, dass mit den Mails schon trainiert wurde). Spätestens dann sollten die doch nichtmehr kommen?


Sofortiger zweisprachiger Sprachübersetzer
Herren-Medikamente bestellen


Freue mich, wenn ihr noch Tips dazu und Infos, wo es aktuelle asn-Einträge gibt....
Grüße
Blubby
Posts: 70
Joined: Tue 5. Mar 2024, 13:10

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by Blubby »

Ich überlege gerade ob es sinnig wäre noch Spamscores anhand der Uhrzeit zu vergeben. Nachts kommt fast nur Spam da könnte man noch ~2 Punkte draufgeben und wärend der normalen Tages und Geschäftszeiten halt nicht.
User avatar
Ralph
Posts: 1245
Joined: Mon 30. Mar 2020, 16:14

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by Ralph »

MLan wrote: Tue 25. Feb 2025, 20:46 Ich habe bei mir zusätzlich das ASN Modul aktiviert, das reduziert den Spam Mist nochmals um ca 40-70% je nach Server.
Ist in 1 min erledigt.

/etc/rspamd/override.d/multimap.conf
ASN_CUSTOM {
type = "asn";
map = "${CONFDIR}/local.d/asn.map";
description = "Sender ASN score";
score = 1;
}

/etc/rspamd/local.d/asn.map

Code: Select all


#ASN   SCORE   		DESC
24940   -1              #Hetzner Online GmbH
3209    -1              #Vodafone GmbH
14618   3               # Amazon SES US
16509   3               # Amazon SES US
31898   4               # Oracle Corporation US
15169   1               # Gmail
34984   4               # Superonline Iletisim Hizmetleri A.S. TR
8851    6               # GCI Network Solutions Ltd UK
205544  6               # LeaseWeb Ltd UK
216127  6               # INTERNATIONAL HOSTING COMPANY LIMITED UK
215540  6               # GLOBAL CONNECTIVITY SOLUTIONS LLP
5413    8               # Daisy Corporate Services Trading Ltd. UK
31727   8               # Node4 Ltd UK
21334   8               # Vodafone HU
47264   8               # LDeX Connect LTD UK
3269    8               # Telecom Italia SPA IT
327932  8               # Connectis-Data Angola AO
20857   8               # Signet B.V. NL
207713  8               # Global Internet Solutions LLC RU
263396  8               # BK Telecomunicacoes LTDA BR
55990   8               # Huawei Cloud Service data center CN
41770   8               # IMINGO SERVICES FR
197549  8               # GHOSTnet GmbH DE
40676   8               # Psychz Networks US
135392  8               # UAB HostBaltic LT
201671  8               # Nuxt Hosting Solution Limited GB
40476   8               # Scala Hosting LLC US
207651  8               # Hosting technology LTD RU
213373  8               # IP Connect Inc SC
210079  8               # EuroByte LLC RU
139482  8               # Vilas Internet Services Pvt Ltd IN
203576  8               # Onur Ekren TR
200628  8               # BGO Cloud OOD BG
212913  8               # FOP Hornostay Mykhaylo Ivanovych RU
30823   8               # combahton GmbH
8048    8               # CANTV Servicios VE
30447   8               # InternetNamesForBusiness.com USA
60781   8               # Moosend ltd GB
399471  8               # Serverion LLC
213035  8               # Serverion BV NL
204601  8               # ON-LINE DATA LTD. SC
31034   8               # Aruba S.p.A.
28753   8               # Leaseweb Deutschland GmbH DE
16735   8               # Algar Telecom BR
132372  8               # GB Network Solutions Sdn. Bhd. MY
207569  8               # Network Management Ltd SC
213371  8               # ABC Consultancy NL
5432    8               # Proximus NV BE
16019   8               # Vodafone Czech Republic a.s. CZ
3462    8               # Data Communication Business Group TW
63949   8               # Linode LLC US
24961   8               # myLoc managed IT AG
7684    8               # SAKURA Internet Inc. JP
200484  8               # Sendinblue SAS FR
200069  8               # MAILJET SAS FR
394695  8               # P.D.R Solutions LLC
12338   8               # Euskaltel ES
3301    8               # Telia Company AB
135905  8               # Vietnam Posts and Telecommunications Group VN
46606   8               # Unified Layer US
38510   8               # Ministry of Agriculture ID
40244   8               # Turnkey Internet Inc. US
27659   8               # Ingenieria e Informatica Asociada Ltda CL
9123    8               # TimeWeb Ltd RU
14868   8               # COPEL Telecomunicaes BR
9430    8               # Software Technology Parks of India IN
25549   8               # JSC Avantel RU
56740   8               # DataHata Ltd BY
205072  8               # Layershift Ltd GB
22611   8               # InMotion Hosting, Inc. US
133380  8               # Layerstack Limited HK
262757  8               # Insidesign Tecnologia Ltda EPP BR
131711  10              # PT Global Teknologi Teraindo ID
50494   10              # Starlink Ltd UA
211252  10              # Delis LLC US
3175    20              # Citytelecom LLC RU
5483    20              # Magyar Telekom plc. HU
32244   20              # Liquid Web LLC US
147237  20              # Cloudminister Technologies IN
19318   20              # Interserver Inc US
35592   20              # Coolhousing sro CZ
201579  20              # Hostgnome Ltd GB
6663    20              # Euroweb Romania S.R.L.
35277   20              # LLHOST INC. SRL RO
51852   20              # Private Layer Inc PA
27357   20              # Rackspace Hosting
53667   20              # FranTech Solutions US
29571   20              # Orange Cote d'Ivoire CI
12586   20              # GHOSTnet GmbH DE
14061   20              # DigitalOcean LLC US
134330  20              # AVNI INFOTECH IN
55470   20              # Cyfuture India Pvt. Ltd IN
42612   20              # DinaHosting S.L. ES
47692   20              # Nessus GmbH
16276   20              # OVH SAS
34300   20              # Internet-Cosmos LLC RU
29182   20              # JSC Datacenter RU
59504   20              # VPSVILLE LLC RU
12616   20              # Filanco LLC RU
41853   20              # NTCOM LTD RU
207728  20              # EUROHOSTER Ltd BG
54290   20              # Hostwinds LLC USA
59939   20              # WIBO Baltic UAB LT
24810   20              # Rostelecom RU
31185   20              # TNPKO RU
200313  20              # INTERNET IT COMPANY INC SC
202423  20              # PE Viktor Tyurin RU
8100    20              # QuadraNet Enterprises LLC USA
7185    20              # QuadraNet Internet Services USA
64270   20              # QuadraNet Enterprises LLC USA
62878   20              # QuadraNet Enterprises LLC USA
62639   20              # QuadraNet Enterprises LLC USA
29761   20              # QuadraNet Enterprises LLC USA
22298   20              # QuadraNet Enterprises LLC USA


systemctl restart rspamd.service

asn.map brauch noch etwas Feinschliff. Funktioniert aber erstmal gut so
Gar nicht mal so übel ... könnte noch auf weitere Bulkmail Anbieter erweitert werden, die bisher ganz ohne score eingehen ...
Muss da nicht noch vorher die provider_info (asn lookup) aktiviert werden? Also ich hab das bei meinem Test vorhin noch aktiviert:
https://rspamd.com/doc/modules/asn.html
User avatar
Ralph
Posts: 1245
Joined: Mon 30. Mar 2020, 16:14

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by Ralph »

rspamd openphish aktivieren:

Code: Select all

nano  /etc/rspamd/local.d/phishing.conf
# add
phishing {
        # Enable openphish support (default disabled)
        openphish_enabled = true;
        # URL of feed, default is public url:
        openphish_map = "https://www.openphish.com/feed.txt";
        # For premium feed, change that to your personal URL, e.g.
        # openphish_map = "https://openphish.com/samples/premium_feed.json";

        # Change this to true if premium feed is enabled
        openphish_premium = false;
}

phishtank_enabled = true

Code: Select all

systemctl restart rspamd
f0tuser3
Posts: 17
Joined: Sat 8. Mar 2025, 21:19

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by f0tuser3 »

danke Ralf, habe in modules.d/phishing.conf
openphish_enable = true gesetzt

die datei war ja schon da, sonst nichts geändert.

2025-03-10 10:56:20 #1003242(controller) <9i1dgi>; map; http_map_finish: cannot load map https://www.openphish.com/feed.txt from www.openphish.com: HTTP error 302

Nutzt jmd den premium Phishing Feed, lohnt sich das?


Dass täglich noch dutzende Mails wie "Sofortiger zweisprachiger Sprachübersetzer" durchkommen, wundert mich schon. Obwohl ich die jedesmal in den Junk-Ordner zum Training schicke.
User avatar
Ralph
Posts: 1245
Joined: Mon 30. Mar 2020, 16:14

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by Ralph »

Vorhin noch auf github entdeckt ...
könnte nützlich sein wenn es noch funktioniert (6 Jahre alt) ich hatte leider noch keine Zeit zum testen.
RSPAMD Country Blacklist über iso country codes:
https://gist.github.com/9had/e94f04daed ... e9f98d13b4
# List of country codes (ISO) on the blacklist.
# Usually countries I do not expect email traffic form.
TH
CN
RU
User avatar
MLan
Posts: 483
Joined: Wed 20. Sep 2017, 23:05
Location: @home

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by MLan »

Ralph wrote: Mon 10. Mar 2025, 17:36 Vorhin noch auf github entdeckt ...
könnte nützlich sein wenn es noch funktioniert (6 Jahre alt) ich hatte leider noch keine Zeit zum testen.
RSPAMD Country Blacklist über iso country codes:
https://gist.github.com/9had/e94f04daed ... e9f98d13b4
# List of country codes (ISO) on the blacklist.
# Usually countries I do not expect email traffic form.
TH
CN
RU

Sowas hab ich schon im postfifx drin

apt install postfix-pcre #PCRE map support for Postfix

/etc/postfix/main.cf

Code: Select all

smtpd_recipient_restrictions =
        permit_mynetworks,
        check_sender_access pcre:/etc/postfix/sender_access.pcre,
	....
/etc/postfix/sender_access.pcre

Code: Select all

/\.icu$/ REJECT Mail from the TLD .icu is not accepted
/\.ru$/  REJECT Mail from the TLD .ru  is not accepted
/\.br$/  REJECT Mail from the TLD .br  is not accepted
/\.ua$/  REJECT Mail from the TLD .ua  is not accepted

postmap sender_access.pcre
systemctl restart postfix.service
User avatar
Ralph
Posts: 1245
Joined: Mon 30. Mar 2020, 16:14

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by Ralph »

Ralph wrote: Mon 10. Mar 2025, 09:45 rspamd openphish aktivieren:
hatte bei mir keine Wirkung gezeigt, hier eine verbesserte Integration:
viewtopic.php?t=13808
f0tuser3
Posts: 17
Joined: Sat 8. Mar 2025, 21:19

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by f0tuser3 »

country code BL macht sicher weniger sinn, da es ja nicht die absenderdomains sind, sondern viel mehr kommt es auf den serverstandort an. dann wären wir wieder bei der ASN Liste.


mich wundert, dass immernoch soviele spams durchkommen, obwohl sie schon mehrfach als spam trainiert wurden.

vorname rez-eptfrei Pharma

mit eindeutigem inhalt. das darf doch nicht durchkommen.

Immerin:
RBL_SENDERSCORE_REPUT_4 • SenderScore Reputation: Bad (40-49). (2) [185.91.69.156:from
BAD_REP_POLICIES • Contains valid policies but are also marked by fuzzy/bayes/SURBL/RBL (0.1)
ASN (0) [asn:201579, ipnet:185.91.69.0/24, country:GB]

-> Bad sender reputation höher gewichten?
-> irgendwie ist ja schon was markiert, aber derzeit nur mit 0.1 (sehr gering) gewichtet?
habe jetzt 201579 in die asn.map, dann sollte auf jedenfall ruhe sein. besser aber, es geht auch ohne den asn-eintrag.
User avatar
Ralph
Posts: 1245
Joined: Mon 30. Mar 2020, 16:14

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by Ralph »

f0tuser3 wrote: Tue 11. Mar 2025, 22:30 country code BL macht sicher weniger sinn, da es ja nicht die absenderdomains sind, sondern viel mehr kommt es auf den serverstandort an. dann wären wir wieder bei der ASN Liste.
Der country code score sollte über rspamd ASN zugeordnet werden, also es handelt sich hierbei nicht um ein TLD black-listing.
f0tuser3 wrote: Tue 11. Mar 2025, 22:30 mich wundert, dass immernoch soviele spams durchkommen, obwohl sie schon mehrfach als spam trainiert wurden.
vorname rez-eptfrei Pharma
mit eindeutigem inhalt. das darf doch nicht durchkommen.
Schau dir mal den Quelltext der Email an ob dieser plain text ist und z.b. ein Keyword wie "rez-eptfrei" exakt so lesbar ist.
Möglicherweise werden auch immer wieder neue Kombis aus "rezeptfrei" (rez-eptfrei) verwendet
viewtopic.php?t=13799
f0tuser3
Posts: 17
Joined: Sat 8. Mar 2025, 21:19

Re: Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score

Post by f0tuser3 »

du meinst, https://gist.github.com/9had/e94f04daed ... e9f98d13b4 geht dann über ASN, nicht die absender-domain-tld? dann wärs ja besser und sinnvoller als dein postfix-pcre.

genau aus diesem grund (dauernde änderung usw) halte ich auch deine keyword-idee nicht für zielführend.
diese rezept-frei mails sehen ja auch eindeutig nach spam aus, also text, foto , urls usw, das muss rspamd doch auch so erkennen.
Post Reply