rspamd redis - zu hoher RAM Verbrauch [SOLVED]

[Ralph]

Per default belegt rspamd generell zu viel RAM (> 50%) als Empfehlung ergibt eine Suche u.a. eventl. die history in rspamd bzw. redis zu optimieren (reduzieren) ...
Bei Systemen ab 32 GB RAM sehe ich bisher keine Probleme, aber ich gehe mal davon aus dass viele User darunter liegen, selbst bei 16 GB Systemen belegt rspamd noch zuviel RAM und andere Services kommen zu kurz ... die history könnte man eventl. per default um 50% reduzieren ...

rspamd options.inc z.b. "history_rows"

Code: Select all

history_rows = 1000;

oder eine history_redis.conf

Code: Select all

module "history_redis" {
  enabled = true;
  compression = true;
  key_prefix = "rspamd";
  history_rows = 1000;
}

bzw. auch
https://docs.rspamd.com/modules/history_redis/

Wo wäre es am besten umzusetzen und mit welchen Werten?

[Alexander]

Da mir solche Aussagen immer zu pauschalisierend sind und potentielle Nutzer "verschrecken" könnte hier ein Gegenbeispiel:

Auf meinem privaten Server belegt Rspamd 630 MB RAM.

Auf einem kleineren Shared Server mit 18 Nutzern: 650 MB RAM

Etwas größerer Shared mit über 70 nutzern: 550 MB Ram


Alles Systeme bei denen Rspamd in den Standardparametern wie von der KeyHelp-Installation konfiguriert läuft, keine Änderungen in den Konfigurationen etc. und gehostet von Keyweb.

[Tobi]

Wo wäre es am besten umzusetzen und mit welchen Werten?

Das „Wo“ steht doch in dem von dir verlinkten Artikel?

Die Werte würde ich auch erstmal so lassen wie auf der HOWTO Seite angezeigt. Dann würde ich diese Konfiguration mal 14 Tage laufen lassen und gucken wie sich der RAM Verbrauch ändert.

Erst danach würde ich mir Gedanken über Optimierungen machen. Im besten Fall ist es bereits optimal.

[Ralph]

Es ist definitiv ein pauschales rspamd Problem (google suche) rspamd restarts oder ignorieren helfen sicherlich auch zeitweise ...
Ich teste es einfach mal mit den history settings und ggf. mit sonstigen dubiosen settings aus der Hölle

[Tobi]

Es ist definitiv ein pauschales rspamd Problem

Jetzt hast du mich wuschig gemacht und ich habe extra nachgeschaut.
Was soll ich sagen?
Auf meinem 16 GB RAM Server müssten deiner These nach durchweg 8 GB belegt sein.
Bei mir jedoch nur 2, inklusive sämtlicher Dienste.

(google suche)

Das ist definitiv eine zuverlässige Quellenangabe.

[Fezzi]

Nur zur zusaetzlichen Info...
....bei mir belegt RspamD auf zwei mehr oder weniger identischen Systemen, beide 32GB RAM (RspamD in der Ausgangskonfiguration) mit 1 x 4 und 1 x 8 User im Schnitt 8XX MB

Screenshot from 2025-07-18 16-04-20.png (8.08 KiB) Viewed 11594 times

[Ralph]

(google suche)
Das ist definitiv eine zuverlässige Quellenangabe.

Haha ... weder Scheibe noch Kugel, ich würde es eher als einen Brocken, Klumpen oder Popel im Universum bezeichnen.

Ok, ich sage ja nicht es ist grundsätzlich bei allen Systemen der Fall ...
Es kommt ja darauf an wie umfangreich diese History ist und wird, also bei einem rspamd was eine ruhige Kugel schiebt werden keine Auffälligkeiten zu beobachten sein. Ich habe diese Woche einige VPS (4-16 GB) mit Standard Konifiguration geprüft von Kunden die über einen Leistungsabfall berichtet haben (mem. am limit) nach einem rspamd restart war das Problem dann temp. gelöst. Dabei könnte es sich um gezielte Resourcen Attacken handeln oder eben automatisierter Massen Spam.
Ich kann derzeit nicht mit Sicherheit sagen ob eine Reduzierung der History dauerhaft Abhilfe schaffen kann und ob danach noch gute Resultate von rspamd zu erzielen sind ... aber ein Versuch wäre es wert.
Ansonsten bin ich für weitere Vorschäge die zu einer Reduzierung der rspamd Speicher Belegung beitragen überaus interessiert.

[Ralph]

Bei meinen shared Hosts habe ich die ASN und Phishing Plugins aktiv, dafür ist allerdings genügend RAM vorhanden ...
Ich teste derweil noch an den History Limits, bisher sehe ich keine Verschlechterung bei der Erkennung, RAM Auslastung ist derzeit "normal" es zeigt sich wohl erst während Stress Situationen.

Die Problem Fälle zeigen sich bei einigen Standard VPS bei denen die Email Virenprüfung aktiviert ist, clamav mit rspamd soll ebenfalls hohe RAM Last verursachen wenn zu viele bzw. bestimmte Signaturen aktiv sind ... die Virenprüfung für Emails möchte ich nur ungerne deaktivieren bzw. die Signatur Sourcen ausdünnen ... aber clamav wäre schon ein Kandidat, auch wg. der Last die mit den akuellen clamav Updates aufgekommen sind.

[Ralph]

Sieht gut aus, ich habe nun knapp 1 Woche mit 3 Kunden VPS getestet ... also nrows auf 1000.

Code: Select all

#nrows = 2500;
nrows = 1000;

Der RAM Verbrauch mit rspamd hält sich stabil, keine extremen Spitzen mehr, auch bei massiven Attacken ausgeglichen. An den Resultaten von rspamd kann ich keine Verschlechterung feststellen.
Seit 2 Tagen verwende ich auch bei meinen shared Hosts nrows 1000, ich denke 1000-1500 sollte ausreichen und kann die Gesamt Performance verbessern.

[Alexander]

Ich denke, 1000 als genereller neuer default Wert ab KeyHelp 25.2 sollte ausreichend sein.
Aktuell ist er schon ein wenig absurd hoch . Die Zahl der Leute, die sich 2500 History Einträge anschauen sollte eher gering sein.

Danke!

[Ralph]

Ich denke, 1000 als genereller neuer default Wert ab KeyHelp 25.2 sollte ausreichend sein.

Nur kurz zur Info ... ich habe noch 14 Tage mit nrows "500" getestet, die rspamd RAM Belegung geht dabei sehr deutlich runter, ich verwende es so im produktiven Einsatz. Bei VPS mit wenig RAM sollte nrows eventl. auf 200 bis max. 500 gesetzt werden.