Problem mit Spam Erkennung, Spam-Abweisung und niedrigem Spam-Score [GELÖST]

[Ralph]

du meinst, https://gist.github.com/9had/e94f04daed ... e9f98d13b4 geht dann über ASN, nicht die absender-domain-tld? dann wärs ja besser und sinnvoller als dein postfix-pcre.

genau aus diesem grund (dauernde änderung usw) halte ich auch deine keyword-idee nicht für zielführend.
diese rezept-frei mails sehen ja auch eindeutig nach spam aus, also text, foto , urls usw, das muss rspamd doch auch so erkennen.

Um das zu beurteilen und adäquat reagieren zu können muß man in der Lage sein den Quelltext einer Email zu untersuchen und relevante "keywords" oder Domain Namen von URLs im Content zu finden und zu verwenden. Bei einem komplett codierten Content bleibt zur Auswertung nur der header zur Verfügung.
Rspamd Probleme und Verbesserungsvorschläge unter:
https://github.com/rspamd/rspamd/issues

[f0tuser3]

wenn ich doch nicht nur einmal, sondern mehrfach, die gleiche spam mail ins Learning schicke, dann muss die doch spätetens nach dem 2. oder 3. mal auch als spam erkannt werden? wieso funktioniert das lernen nicht richtig? wie kann man dem auf dem grund gehen?

[xister]

Das Phänomen muss ich leider auch immer wieder feststellen.
Sei es die r_ezeptfrei Mails, sofortiger Sprachübersetzer oder japanische Einlegesohlen....
Habe die Mails in den letzten Monaten schon zigfach als Spam markiert, auch die Erkennung manuell über die Console angestoßen um zu sehen ob er überhaupt lernt, aber sie landen leider immer wieder im Postfach.

rSpamd arbeitet da einfach noch nicht so zuverlässig wie man es sich wünschen würden.
Würde mir wünschen, dass man über die GUI Begriffe oder Phrasen blacklisten könnte oder er einfach das gelernte auch anwendet.

[Alexander]

wenn ich doch nicht nur einmal, sondern mehrfach, die gleiche spam mail ins Learning schicke, dann muss die doch spätetens nach dem 2. oder 3. mal auch als spam erkannt werden? wieso funktioniert das lernen nicht richtig? wie kann man dem auf dem grund gehen?

Man kann bei der Rspamd-Community / -Entwicklern nachfragen:
https://github.com/rspamd/rspamd/discussions

[f0tuser3]

hab grad nach autolearn gesucht und modules.d/gpt.conf gefunden. hat schon jmd die chatgpt anbindung aktiv?
https://rspamd.com/misc/2024/07/03/gpt.html

in statistic.conf ist autolearn auskommentiert, muss man das nicht aktivieren?

# Autolearn sample
# autolearn {
# spam_threshold = 6.0; # When to learn spam (score >= threshold and action is reject)
# junk_threshold = 4.0; # When to learn spam (score >= threshold and action is rewrite subject or add header, and has two or more positive results)
# ham_threshold = -0.5; # When to learn ham (score <= threshold and action is no action, and score is negative or has three or more negative results)
# check_balance = true; # Check spam and ham balance
# min_balance = 0.9; # Keep diff for spam/ham learns for at least this value
#}

[f0tuser3]

2025-03-19 22:36:16 #1712567(normal) <3558E4>; task; bayes_classify: not classified as ham. The ham class needs more training samples. Currently: 9; minimum 200 required
2025-03-19 22:36:16 #1712567(normal) <3558E4>; lua; gpt.lua:834: skip checking gpt as the condition is not met: negative score, already decided as ham

...vielleicht hilft es, wenn man auch ham trainiert?
gpt habe ich jetzt aktiv. mal sehen was das kostet.. und bringt.

[Ralph]

hab grad nach autolearn gesucht und modules.d/gpt.conf gefunden. hat schon jmd die chatgpt anbindung aktiv?
https://rspamd.com/misc/2024/07/03/gpt.html

These models can perform deep introspection with some sort of contextual “understanding”

Bei der inhaltlichen Zensur landen dann vermutlich sämtliche Emails (auch sensible Infos) auf den openai Cluster zur weiteren Verwurstung

[f0tuser3]

schon nur konkrete verdachtsfälle

The GPT plugin operates as follows:

It selects messages that qualify several pre-checks:
they must not contain any symbols from the excluded set (e.g. Fuzzy/Bayes spam/Whitelists)
they must not clearly appear as ham or spam (e.g. with reject action or no action with a high negative score)
they should have enough text tokens in the meaningful displayed part

bislang habe ich auch nur "skip checking gpt as the condition is not met: negative score, already decided as ham" im log.

[Blubby]

hab grad nach autolearn gesucht und modules.d/gpt.conf gefunden. hat schon jmd die chatgpt anbindung aktiv?

Joa funktioniert auch soweit recht gut. Ist halt die Frage inwieweit man das Datenschutz Problem regelt.

[f0tuser3]

joa, im grunde schon ne heisse kiste, emails an openai weiterzuleiten... solange es nur sehr verdächtige sind, passts ja.

[f0tuser3]

Hallo, also ich weiss nicht, wie es bei euch ist, aber bei mir habe ich das Gefühl, dass der spamschutz deaktiviert ist. Es kommt soviel (offensichtlicher!) Spam durch...

auch der Klassiker "Sofortiger zweisprachiger Sprachübersetzer" kommt nach wie vor mehrfach am Tag, ich kann nichtmehr zählen, wie oft ich den schonals Spam klassifiziert habe.

BAYES_SPAM redis: knapp 3000 Learns.

im log

Code: Select all

2025-08-05 09:27:05 #622294(normal) <ec537a>; task; rspamd_protocol_http_reply: regexp statistics: 0 pcre regexps scanned, 1 regexps matched, 180 regexps total, 91 regexps cached, 0B scanned using pcre, 6.72KiB scanned total
2025-08-05 09:27:05 #622291(rspamd_proxy) <d7883c>; proxy; proxy_milter_finish_handler: finished milter connection
2025-08-05 09:27:23 #622068(main) <7342f4>; main; rspamd_main_heartbeat_cb: lost 6 heartbeat from worker type controller with pid 622292, last beat on: 2025-08-05 09:25:03.05328
2025-08-05 09:27:43 #622068(main) <7342f4>; main; rspamd_main_heartbeat_cb: lost 7 heartbeat from worker type controller with pid 622292, last beat on: 2025-08-05 09:25:03.05328
... mail kommt rein...
2025-08-05 09:29:01 #622293(normal) <32cbc4>; task; rspamd_protocol_http_reply: regexp statistics: 0 pcre regexps scanned, 3 regexps matched, 180 regexps total, 36 regexps cached, 0B scanned using pcre, 1.19KiB scanned total
2025-08-05 09:29:01 #622291(rspamd_proxy) <5f9f5f>; proxy; proxy_milter_finish_handler: finished milter connection
2025-08-05 09:29:02 #622291(rspamd_proxy) <720c4a>; proxy; proxy_accept_socket: accepted milter connection from ::1 port 58864
2025-08-05 09:29:03 #622068(main) <7342f4>; main; rspamd_main_heartbeat_cb: lost 11 heartbeat from worker type controller with pid 622292, last beat on: 2025-08-05 09:25:03.05328
[[B2025-08-05 09:29:05 #622291(rspamd_proxy) <720c4a>; milter; rspamd_milter_process_command: got connection from 81.xx.xxx.xx:65096
2025-08-05 09:29:05 #622291(rspamd_proxy) <720c4a>; proxy; proxy_milter_finish_handler: finished milter connection

history

Code: Select all

5.8.2025, 06:39:24	normal	622294	lua	e45264	error querying dns "1.0.4.9.4.4.e.f.f.f.2.3.1.1.2.0.8.d.f.6.4.8.a.0.0.7.0.8.2.0.a.2.asn6.rspamd.com" on 87.xx.xxx: query timed out
5.8.2025, 06:27:46	normal	622293	task	a3e13b	the peer has closed connection unexpectedly
5.8.2025, 00:32:43	controller	622292	csession	34c670	cannot classify task: timeout while connecting the server (1 sec)
5.8.2025, 00:32:43	controller	622292	csession	0cb635	cannot classify task: timeout while connecting the server (1 sec)
5.8.2025, 00:32:43	controller	622292	csession	9f3a65	cannot classify task: timeout while connecting the server (1 sec)
5.8.2025, 00:32:43	controller	622292	csession	98b74f	cannot classify task: timeout while connecting the server (1 sec)
5.8.2025, 00:32:00	controller	622292	csession	8ccf92	cannot classify task: timeout while connecting the server (1 sec)
5.8.2025, 00:31:54	controller	622292	csession	69d918	cannot classify task: timeout while connecting the server (1 sec)
5.8.2025, 00:31:41	controller	622292	csession	3947f7	cannot classify task: timeout while connecting the server (1 sec)
5.8.2025, 00:31:41	controller	622292	csession	cff973	cannot classify task: timeout while connecting the server (1 sec)

der sprachüberstzer spam:

Code: Select all

 
 54511527X28062727X65343027Q51424541G@id.uzlibmm.devalser.hair	147.45.197.127	uzlibmm@devalser.hair
 
 
 GPT_SPAM (2.7) [0.95]
FORGED_RECIPIENTS (2) [m:info@hanseline.de,s:meine@emeilAdr]
R_SPF_ALLOW (-0.2) [+a]
ONCE_RECEIVED (0.1)
MIME_GOOD (-0.1) [multipart/related,multipart/alternative,text/plain]
MX_GOOD (-0.01) []
FROM_EQ_ENVFROM (0)
R_DKIM_NA (0)
MID_RHS_MATCH_FROMTLD (0)
GREYLIST (0) [pass,body]
MISSING_XM_UA (0)
ARC_NA (0)
RCPT_COUNT_ONE (0) [1]
ASN (0) [asn:216127, ipnet:147.45.197.0/24, country:GB]
RCVD_COUNT_ZERO (0) [0]
FROM_HAS_DN (0)
MIME_TRACE (0) [0:+,1:+,2:+,3:~,4:~,5:+]
DMARC_NA (0) [devalser.hair]
TO_DN_NONE (0) 

hab jetz mal rspamd neu gestartet.
meint ihr, es liegt da ein problem bei der instalation vor oder woran liegt die schlechte performance?

Grüße

[f0tuser3]

stimmt da was nicht? hohe systemlast

Code: Select all

# systemctl status rspamd
● rspamd.service - rapid spam filtering system
     Loaded: loaded (/usr/lib/systemd/system/rspamd.service; enabled; preset: enabled)
     Active: active (running) since Tue 2025-08-05 09:35:00 CEST; 2 days ago
       Docs: https://rspamd.com/doc/
   Main PID: 1978554 (rspamd)
      Tasks: 6 (limit: 18971)
     Memory: 3.7G (peak: 3.7G swap: 1.6G swap peak: 2.3G)
        CPU: 10min 26.754s
     CGroup: /system.slice/rspamd.service
             ├─1978554 "rspamd: main process; 0.1 msg/sec, 0.0 msg/sec spam, 0.1 msg/sec ham; 2.80s avg processing time"
             ├─1978847 "rspamd: rspamd_proxy process (localhost:11332)"
             ├─1978848 "rspamd: controller process (localhost:11334)"
             ├─1978849 "rspamd: normal process (localhost:11333)"
             ├─1978850 "rspamd: normal process (localhost:11333)"
             └─1978852 "rspamd: hs_helper process"

Aug 06 00:00:03 mail systemd[1]: rspamd.service: Sending signal SIGUSR1 to process 1978848 (rspamd) on client request.
Aug 06 00:00:03 mail systemd[1]: rspamd.service: Sending signal SIGUSR1 to process 1978849 (rspamd) on client request.
Aug 06 00:00:03 mail systemd[1]: rspamd.service: Sending signal SIGUSR1 to process 1978850 (rspamd) on client request.
Aug 06 00:00:03 mail systemd[1]: rspamd.service: Sending signal SIGUSR1 to process 1978852 (rspamd) on client request.
Aug 07 00:00:03 mail systemd[1]: rspamd.service: Sent signal SIGUSR1 to main process 1978554 (rspamd) on client request.
Aug 07 00:00:03 mail systemd[1]: rspamd.service: Sending signal SIGUSR1 to process 1978847 (rspamd) on client request.
Aug 07 00:00:03 mail systemd[1]: rspamd.service: Sending signal SIGUSR1 to process 1978848 (rspamd) on client request.
Aug 07 00:00:03 mail systemd[1]: rspamd.service: Sending signal SIGUSR1 to process 1978849 (rspamd) on client request.
Aug 07 00:00:03 mail systemd[1]: rspamd.service: Sending signal SIGUSR1 to process 1978850 (rspamd) on client request.
Aug 07 00:00:03 mail systemd[1]: rspamd.service: Sending signal SIGUSR1 to process 1978852 (rspamd) on client request.

[f0tuser3]

hallo, kann mir dabei jemand helfen?

danke!

[xmpl]

Mir scheint die Konfiguration von rspamd in KeyHelp bzgl. Bayes nicht ganz richtig zu sein. Trotz über 1.100 Learns wird bei keiner einzigen Mail, die schon x-mal gelernt wurde, das Bayes Symbol gesetzt.

[Alexander]

Kannst du einmal den Auszug der Rspamd-Web-UI posten, der die bereits mehrfach gelernte Mail zeigt, und wie sie seitens Rspamd bewertet wird?
(Siehe Rspamd History-Tab)