Server gehackt. [SOLVED]

[Jolinar]

Ich bin sicher, dass die Ursache des Problems bei KeyHelp liegt

Ja

Öhhm...Nein.

und vielleicht ist eine Tür offen, wo es für alle vermieden werden kann

Öhhm...Ebenfalls Nein.
Sonst hätten wir hier im Forum zig Problemmeldungen dieser Art.

Mein Server ist gehackt. Bzw. Keyhelp Panel admin password wurde geändert. Email vom Benutzername ist geändert. Zweite Admin vom Panel Password ist geändert. Email genauso geändert.

Aufgrund deiner Problembeschreibung ist dein Server definitiv als kompromittiert zu betrachten.

Somit habe ich jetzt alles wieder erneuert und aber wie kann ich jetzt nachvollziehen, wie sie es geschaft haben und wie ich meinen Server wieder sichern kann, dass keine Türen offen sind.

Ein einfaches Neusetzen der Paßwörter dürfte hier zu >99% nicht reichen, denn die Sicherheitslücke, welche ausgenutzt wurde, ist ja trotzdem noch auf dem Server vorhanden.

Einzig sinnvoller Weg in deinem Fall:
1. Backup aller Nutzdaten anlegen
(1a. Forensiche Analyse des Systems)
2. System neu aufsetzen und das Panel installieren
3. Nutzdaten auf dem neuen System wiederherstellen
4. Beim Restore der Webanwendungen (du erwähntest WP) erstmal nur die Core Komponenten installieren und weitere benötigte Plugins einzeln hinzufügen und dabei die Logs immer im Auge behalten. So kannst du eventuell die Sicherheitslücke selber finden. Dazu auch mal nach den verwendeten Plugins googeln, ob woanders ähnliche Probleme mit dem jeweiligen Plugin gemeldet wurden.

Wenn du dir selber eine forensische Analyse des kompromittierten Systems nicht zutraust (speziell auch, wenn du Kunden auf deinem System hast), dann nimm lieber etwas Geld in die Hand und hol dir einen professionellen Admin ins Boot, der dich bei deiner Arbeit unterstützt.

[mumati]

Hi Jolinar,

Vielen Dank. Ich werde einen neuen Server bestellen und meinen Server auf neueste Debian übertragen.

Ich werde die Schritte auch überwachen, wie Du geschrieben hast.

Ich habe zwar Kuden auf dem Server aber die sind alle Freundenkreis, daher kann ich Forensiche Analyse meinen Server durchführen. Mein Ziel ist es, wenn Wordpress oder veraltete Debian Betriebsystem das verursacht hat, dass wir es rausfinden können. Ich habe auch Backup, somit habe ich auch die gelöschten Email Accounts wiederherstellen können.

Danke und Grüße

[Ralph]

Die Zugangsdaten habe ich in keinem Datei oder Mailbox gespeichert gehabt und ich kannte nur Admin password für Keyhelp Panel und auch Root Password für SSH Verbindungen. Die andere Passwörter konnte ich ja dadurch jede Zeit ändern.

Gibt es aktive API Zugänge im Panel?
Der Zugriff könnte auch über einen eigenen API client erfolgt sein (falls an eine IP gebunden).

Ich würde erst einmal die Firewall dicht machen nur SSH erlauben (am besten an eine feste IP binden falls möglich), dann versuchen den Zeitpunkt (Datum Uhrzeit) zu finden, diese Logs sichern und durch arbeiten.
Du solltest ein neues sauberes System aufsetzen (neue sichere Passwörter), dann kannst du Kunden darauf migrieren und das alte System genau überprüfen um den Zugangspunkt oder Schwachstelle zu finden.

Schau auch mal über welchen User diese 62000 Emails gesendet wurden, könnte bereits eine heiße Spur sein ....

Code: Select all

postqueue -p
postcat -qh xxxxxxxx

[mumati]

Die Zugangsdaten habe ich in keinem Datei oder Mailbox gespeichert gehabt und ich kannte nur Admin password für Keyhelp Panel und auch Root Password für SSH Verbindungen. Die andere Passwörter konnte ich ja dadurch jede Zeit ändern.

Gibt es aktive API Zugänge im Panel?
Der Zugriff könnte auch über einen eigenen API client erfolgt sein (falls an eine IP gebunden).

Ich würde erst einmal die Firewall dicht machen nur SSH erlauben (am besten an eine feste IP binden falls möglich), dann versuchen den Zeitpunkt (Datum Uhrzeit) zu finden, diese Logs sichern und durch arbeiten.
Du solltest ein neues sauberes System aufsetzen (neue sichere Passwörter), dann kannst du Kunden darauf migrieren und das alte System genau überprüfen um den Zugangspunkt oder Schwachstelle zu finden.

Schau auch mal über welchen User diese 62000 Emails gesendet wurden, könnte bereits eine heiße Spur sein ....

Code: Select all

postqueue -p
postcat -qh xxxxxxxx

Hi Ralph,

Da ich die MAil Warteschlange gelöscht habe, bekomme ich leider keine Ergebnisse nach dieser Anfgrage :

Code: Select all

ashosting:~# postqueue -p
Mail queue is empty

Da ich aber gestern die Emails gesehen hatte, schauten sie so aus.
Versender 24ß8493280932840983@sondem.de
Anderer Versender 3ß2343ß4832948-3493284098@ashosting.de
so gings weiter. Also die Mails wurden von verschiedene User versendet.
Da ich aber alle Passwörter geändert habe, habe ich keine Emails mehr in der Warteschlange.
Habe gerade neuen Server bestellt und in den nächsten Tagen werde ich meinen Server umziehen.
Ich sehe auch keine Ereignisse mehr im Panel.
Ich untersuche aber den Server detailliert, nach dem Umzug und den Grund werde ich noch mitteilen, wie sie reinkamen.

Danke vielmals.

Grüße

[mumati]

Die Zugangsdaten habe ich in keinem Datei oder Mailbox gespeichert gehabt und ich kannte nur Admin password für Keyhelp Panel und auch Root Password für SSH Verbindungen. Die andere Passwörter konnte ich ja dadurch jede Zeit ändern.

Gibt es aktive API Zugänge im Panel?
Der Zugriff könnte auch über einen eigenen API client erfolgt sein (falls an eine IP gebunden).

Ich würde erst einmal die Firewall dicht machen nur SSH erlauben (am besten an eine feste IP binden falls möglich), dann versuchen den Zeitpunkt (Datum Uhrzeit) zu finden, diese Logs sichern und durch arbeiten.
Du solltest ein neues sauberes System aufsetzen (neue sichere Passwörter), dann kannst du Kunden darauf migrieren und das alte System genau überprüfen um den Zugangspunkt oder Schwachstelle zu finden.

Schau auch mal über welchen User diese 62000 Emails gesendet wurden, könnte bereits eine heiße Spur sein ....

Code: Select all

postqueue -p
postcat -qh xxxxxxxx

Es gibts keine API Zugänge und gerade habe ich auch SSH über meine feste IP gemacht und den zweiten Admin für SSH auch blockiert.

[Ralph]

Das System eventl. mal mit rkhunter und/oder chkrootkit checken.
Um Malware in den Webs /home/users zu checken am besten maldet (an clamav angebunden)
https://www.rfxn.com/projects/linux-malware-detect/

[mumati]

Das System eventl. mal mit rkhunter und/oder chkrootkit checken.
Um Malware in den Webs /home/users zu checken am besten maldet (an clamav angebunden)
https://www.rfxn.com/projects/linux-malware-detect/

HAbe gerade chkrootkit installiert und gescannt. Ergebnisse :

Code: Select all

ashosting:~# sudo chkrootkit
ROOTDIR is `/'
Checking `amd'...                                           not found
Checking `basename'...                                      not infected
Checking `biff'...                                          not found
Checking `chfn'...                                          not infected
Checking `chsh'...                                          not infected
Checking `cron'...                                          not infected
Checking `crontab'...                                       not infected
Checking `date'...                                          not infected
Checking `du'...                                            not infected
Checking `dirname'...                                       not infected
Checking `echo'...                                          not infected
Checking `egrep'...                                         not infected
Checking `env'...                                           not infected
Checking `find'...                                          not infected
Checking `fingerd'...                                       not found
Checking `gpm'...                                           not found
Checking `grep'...                                          not infected
Checking `hdparm'...                                        not infected
Checking `su'...                                            not infected
Checking `ifconfig'...                                      not infected
Checking `inetd'...                                         not infected
Checking `inetdconf'...                                     not found
Checking `identd'...                                        not found
Checking `init'...                                          not infected
Checking `killall'...                                       not infected
Checking `ldsopreload'...                                   not infected
Checking `login'...                                         not infected
Checking `ls'...                                            not infected
Checking `lsof'...                                          not infected
Checking `mail'...                                          not infected
Checking `mingetty'...                                      not found
Checking `netstat'...                                       not infected
Checking `named'...                                         not infected
Checking `passwd'...                                        not infected
Checking `pidof'...                                         not infected
Checking `pop2'...                                          not found
Checking `pop3'...                                          not found
Checking `ps'...                                            not infected
Checking `pstree'...                                        not infected
Checking `rpcinfo'...                                       not found
Checking `rlogind'...                                       not found
Checking `rshd'...                                          not found
Checking `slogin'...                                        not infected
Checking `sendmail'...                                      not infected
Checking `sshd'...                                          not infected
Checking `syslogd'...                                       not tested
Checking `tar'...                                           not infected
Checking `tcpd'...                                          not found
Checking `tcpdump'...                                       not infected
Checking `top'...                                           not infected
Checking `telnetd'...                                       not found
Checking `timed'...                                         not found
Checking `traceroute'...                                    not infected
Checking `vdir'...                                          not infected
Checking `w'...                                             not infected
Checking `write'...                                         not infected
Checking `aliens'...                                        no suspect files
Searching for sniffer's logs, it may take a while...        nothing found
Searching for rootkit HiDrootkit's default files...         nothing found
Searching for rootkit t0rn's default files...               nothing found
Searching for t0rn's v8 defaults...                         nothing found
Searching for rootkit Lion's default files...               nothing found
Searching for rootkit RSHA's default files...               nothing found
Searching for rootkit RH-Sharpe's default files...          nothing found
Searching for Ambient's rootkit (ark) default files and dirs... nothing found
Searching for suspicious files and dirs, it may take a while... The following suspicious files and directories were found:
/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/digest_wrongrelm/.htaccess 
/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/digest_wrongrelm/.htpasswd 
/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/noentry/.htaccess 
/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/basic/file/.htaccess 
/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/basic/file/.htpasswd 
/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/basic/authz_owner/.htaccess 
/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/basic/authz_owner/.htpasswd 
/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/digest/.htaccess 
/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/digest/.htpasswd 
/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/digest_anon/.htaccess 
/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/digest_anon/.htpasswd 
/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/digest_time/.htaccess 
/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/digest_time/.htpasswd

Searching for LPD Worm files and dirs...                    nothing found
Searching for Ramen Worm files and dirs...                  nothing found
Searching for Maniac files and dirs...                      nothing found
Searching for RK17 files and dirs...                        nothing found
Searching for Ducoci rootkit...                             nothing found
Searching for Adore Worm...                                 nothing found
Searching for ShitC Worm...                                 nothing found
Searching for Omega Worm...                                 nothing found
Searching for Sadmind/IIS Worm...                           nothing found
Searching for MonKit...                                     nothing found
Searching for Showtee...                                    nothing found
Searching for OpticKit...                                   nothing found
Searching for T.R.K...                                      nothing found
Searching for Mithra...                                     nothing found
Searching for LOC rootkit...                                nothing found
Searching for Romanian rootkit...                           nothing found
Searching for Suckit rootkit...                             nothing found
Searching for Volc rootkit...                               nothing found
Searching for Gold2 rootkit...                              nothing found
Searching for TC2 Worm default files and dirs...            nothing found
Searching for Anonoying rootkit default files and dirs...   nothing found
Searching for ZK rootkit default files and dirs...          nothing found
Searching for ShKit rootkit default files and dirs...       nothing found
Searching for AjaKit rootkit default files and dirs...      nothing found
Searching for zaRwT rootkit default files and dirs...       nothing found
Searching for Madalin rootkit default files...              nothing found
Searching for Fu rootkit default files...                   nothing found
Searching for ESRK rootkit default files...                 nothing found
Searching for rootedoor...                                  nothing found
Searching for ENYELKM rootkit default files...              nothing found
Searching for common ssh-scanners default files...          nothing found
Searching for Linux/Ebury - Operation Windigo ssh...        not tested
Searching for 64-bit Linux Rootkit ...                      nothing found
Searching for 64-bit Linux Rootkit modules...               nothing found
Searching for Mumblehard Linux ...                          nothing found
Searching for Backdoor.Linux.Mokes.a ...                    nothing found
Searching for Malicious TinyDNS ...                         nothing found
Searching for Linux.Xor.DDoS ...                            nothing found
Searching for Linux.Proxy.1.0 ...                           nothing found
Searching for suspect PHP files...                          nothing found
Searching for anomalies in shell history files...           nothing found
Checking `asp'...                                           not infected
Checking `bindshell'...                                     INFECTED PORTS: ( 465)
Checking `lkm'...                                           chkproc: nothing detected
chkdirs: nothing detected
Checking `rexedcs'...                                       not found
Checking `sniffer'...                                       lo: not promisc and no packet sniffer sockets
eth0: not promisc and no packet sniffer sockets
Checking `w55808'...                                        not infected
Checking `wted'...                                          chkwtmp: nothing deleted
Checking `scalper'...                                       not infected
Checking `slapper'...                                       not infected
Checking `z2'...                                            chklastlog: nothing  deleted
Checking `chkutmp'...                                       chkutmp: nothing deleted
Checking `OSX_RSPLUG'...                                    not tested

[mumati]

in den folgenden Dateien stehen die Informationen :

Code: Select all

/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/digest_wrongrelm/.htaccess 

Code: Select all

AuthType Digest
AuthName "digest private area"
AuthDigestDomain /digest_wrongrelm/
AuthBasicProvider file
AuthUserFile /var/www/html/digest_wrongrelm/.htpasswd
Require valid-user

Code: Select all

/usr/lib/python3/dist-packages/fail2ban/tests/files/config/apache-auth/digest_wrongrelm/.htpasswd

Code: Select all

username:wrongrelm:99cd340e1283c6d0ab34734bd47bdc30
4105bbb04

Soll ich diese Dateien löschen ?

[mumati]

Code: Select all

ashosting:~# grep 465 /etc/services
submissions     465/tcp         ssmtp smtps urd # Submission over TLS [RFC8314]

Code: Select all

ashosting:~# lsof -Rpni :465
lsof: illegal process ID: ni
lsof 4.91
 latest revision: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/
 latest FAQ: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/FAQ
 latest man page: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/lsof_man
 usage: [-?abhKlnNoOPRtUvVX] [+|-c c] [+|-d s] [+D D] [+|-E] [+|-e s] [+|-f[gG]]
 [-F [f]] [-g [s]] [-i [i]] [+|-L [l]] [+m [m]] [+|-M] [-o [o]] [-p s]
 [+|-r [t]] [-s [p:s]] [-S [t]] [-T [t]] [-u s] [+|-w] [-x [fl]] [--] [names]
Use the ``-h'' option to get more help information.

[Ralph]

Soll ich diese Dateien löschen ?

Du solltest das System komplett dicht machen, nur noch SSH access und dann die User Webs mit maldet prüfen.
Wenn diese sauber sind, auf das neue System migrieren (neue Passwörter auch für die DB User, FTP, SSH user setzen) eventl. SSH für Kunden erst einmal deaktivieren.
Wenn Dateien auf dem alten System gelöscht werden kann man möglicherweise nicht mehr nachvollziehen wie der Hack zustandegekommen ist.
Das System also komplett unzugänglich machen und nicht weiter in Betrieb lassen!
Bindshell ist vermutlich eher ein false/positive result, prüfe alle Webs mit maldet und migriere die sauberen auf den neuen Server.

[mumati]

Ich habe jetzt über Portal Virusscan getätigt und aber der Server versuchte den Report noch an den Hacker Email zu senden.

Code: Select all

ID 	Status 	Absender 	Empfänger 	Ankunftsdatum 	Alter 	Größe 	
E55CF9415DD 	
	Zurückgestellt 	
	root@ashosting.de 	info@consorziocs.com 	08. Juni 2024, 10:10:49 	0 Tag(e) 00:40:36 	1,56 KB 	

Diese Email Empfänger stand unter Server Email Adressen zu weiterleiten, was ich aber geändert hatte.

Wo könnte es noch als Empfänger vom Server stehen?

[mumati]

Ergebnis vom Virus Scan sauber :

Code: Select all

------------- AV SCAN --------------
Start: 2024-06-08 10:44:05

---------- SCAN LOCATIONS ----------
/home/users
/tmp
/var/tmp

------ UPDATE VIRUS DATABASE -------
Start: 2024-06-08 10:44:05
End: 2024-06-08 10:44:05
Status: Success

------------ INFECTIONS ------------
Nothing found!

----------- SCAN SUMMARY -----------
Known viruses: 8694295
Engine version: 0.103.9
Scanned directories: 45625
Scanned files: 338018
Infected files: 0
Data scanned: 23443.01 MB
Data read: 28876.25 MB (ratio 0.81:1)
Time: 3228.505 sec (53 m 48 s)
Start Date: 2024:06:08 10:44:05
End Date: 2024:06:08 11:37:54

--------------- END ----------------
End: 2024-06-08 11:37:54
Status: Success

[tab-kh]

Also mein ganz persönlicher Rat wäre derselbe wie der von Jolinar. Versuche erst gar nicht, die bestehende Installation zu säubern. Du wirst niemals sicher sein, ob du wirklich alles gefunden hast. Der Angreifer hatte ja offensichtlich root-Zugriff oder Zugriff auf den Keyhelp-Admin - womit er letztlich auch alles machen kann. Irgendwelche Backdoors können an unzähligen Stellen im System installiert sein. Nur mit einer Neuinstallation kann die Sicherheit mit endlichem Aufwand wieder hergestellt werden. Und das auch nur, wenn man den Weg des Angreifers ins System herausgefunden und bei der Neuinstallation versperrt hat. Sonst muss er ja nur den selben Weg noch einmal benutzen.

[mumati]

Also mein ganz persönlicher Rat wäre derselbe wie der von Jolinar. Versuche erst gar nicht, die bestehende Installation zu säubern. Du wirst niemals sicher sein, ob du wirklich alles gefunden hast. Der Angreifer hatte ja offensichtlich root-Zugriff oder Zugriff auf den Keyhelp-Admin - womit er letztlich auch alles machen kann. Irgendwelche Backdoors können an unzähligen Stellen im System installiert sein. Nur mit einer Neuinstallation kann die Sicherheit mit endlichem Aufwand wieder hergestellt werden. Und das auch nur, wenn man den Weg des Angreifers ins System herausgefunden und bei der Neuinstallation versperrt hat. Sonst muss er ja nur den selben Weg noch einmal benutzen.

Hi,

Hast Du recht. Ich habe aufgegeben.
Da ich zweiten Admin auf dem Server hatten und der erste Login über seinen Account gelaufen ist, kann ich auch nicht sicher sein, ob er sein Password woanders mit seinem Benutzername verwendet hat und somit der Zugang ermöglicht war.
Er hat zwar gesagt, dass er seinen Password nur auf meinem Server verwendet hatte.
Ich will jetzt auf neuen Server den zweiten Admin nicht als zweite Hauptadmin definieren und somit die Änderungen nur mit meinem Account möglich.
Danke vielmals für Eure Unterstützung.

Übrigens;
Ich habe auf dem neuen Server Ubuntu 24 installiert.
Keyhelp Installation sagt, dass Ubuntu 24 nicht unterstützt wird. "unsupported OS "
Was empfehlt ihr am Besten ? Ubuntu, Debian oder ein anderer OS ?

Danke vielmals.

[Ralph]

Also mein ganz persönlicher Rat wäre derselbe wie der von Jolinar. Versuche erst gar nicht, die bestehende Installation zu säubern.

Ganz genau! Wenn jemand Zugriff auf das System hatte, ist es verbrannt ... also keine Kunden Services mehr darauf laufen lassen und alle Ports bis auf SSH (für dich) schließen.