Data Collector für Community Support -- Diskussionsthread

For topics beyond KeyHelp. / Für Themen jenseits von KeyHelp.
User avatar
Jolinar
Community Moderator
Posts: 3612
Joined: Sat 30. Jan 2016, 07:11
Location: Weimar (Thüringen)
Contact:

Re: Data Collector für Community Support -- Diskussionsthread

Post by Jolinar »

Alexander wrote: Tue 15. Aug 2023, 12:03 hier stellst du am Besten auf "ss" um - das "-tulpen" kann bleiben.
Erledigt.

Alexander wrote: Tue 15. Aug 2023, 12:03 Ansonsten sind die Systeme leer (keine Domains / user drauf), dann kommt das:

Code: Select all

grep: /etc/apache2/keyhelp/vhosts/*: No such file or directory
cat: '/etc/apache2/keyhelp/vhosts/*': No such file or directory
Ich hab mal noch eine Prüfung eingebaut. Schau mal bitte, ob es funktioniert...hab grad keine VM ohne eingerichtete vhosts da und will jetzt nicht noch eine aufsetzen... :lol: :lol:


Download und Aufruf des aktualisierten Scripts mit folgendem Befehl:

Code: Select all

wget -q https://ngc4594.eu/serverinfo.sh -O serverinfo.sh ; bash serverinfo.sh ;
Bitte mal testen und Ausgabe auf Korrektheit überprüfen. Danke.
Wenn jemand inkompetent ist, dann kann er nicht wissen, daß er inkompetent ist. (David Dunning)

Data Collector für Community Support
___
Ich verwende zwei verschiedene Schriftfarben in meinen Beiträgen /
I use two different font colors in my posts:
  • In dieser Farbe schreibe ich als Moderator und gebe moderative Hinweise oder begründe moderative Eingriffe /
    In this color, I write as a moderator and provide moderative guidance or justify moderative interventions
  • In dieser Farbe schreibe ich als Community Mitglied und teile meine private Meinung und persönlichen Ansichten mit /
    In this color, I write as a community member and share my personal opinions and views
User avatar
Alexander
Keyweb AG
Posts: 3842
Joined: Wed 20. Jan 2016, 02:23

Re: Data Collector für Community Support -- Diskussionsthread

Post by Alexander »

Ich hab mal noch eine Prüfung eingebaut. Schau mal bitte, ob es funktioniert..
Der Fehler wird noch angezeigt, weil in der Zeile

Code: Select all

for vhost in "$apache_vhosts_path"/*; do
bei einem leeren Verzeichnis, der Variable vhost dieser Wert zugewiesen wird: "/etc/apache2/keyhelp/vhosts/*".

Hier ein paar Möglichkeiten zum Abfangen dieses Verhaltens:
https://stackoverflow.com/questions/300 ... nt-in-bash
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
User avatar
Jolinar
Community Moderator
Posts: 3612
Joined: Sat 30. Jan 2016, 07:11
Location: Weimar (Thüringen)
Contact:

Re: Data Collector für Community Support -- Diskussionsthread

Post by Jolinar »

Alexander wrote: Tue 15. Aug 2023, 14:04 Der Fehler wird noch angezeigt
Ich habs verbessert und auch in einer extra VM getestet ;) :lol:

Weiterhin hab ich eine Abschlußmeldung am CLI eingebaut (ja @24unix, hab im Moment erstmal schnell einen Satz in deutsch reingeknallt :lol: ).

Da wäre jetzt mal die Frage an euch, wie ich die Abschlußmeldung dann letztendlich gestalten soll...
Logischerweise in englischer Sprache, in welches File die Infos geschrieben werden ist auch klar.
Sollte dann noch ein Satz dazu in der Art: "Das File bitte an den Supporter übermitteln der die Infos angefordert hat" oder will ich das jetzt schon wieder zu sehr "DAU-tauglich" machen...?




Download und Aufruf des aktualisierten Scripts mit folgendem Befehl:

Code: Select all

wget -q https://ngc4594.eu/serverinfo.sh -O serverinfo.sh ; bash serverinfo.sh ;
Bitte mal testen und Ausgabe auf Korrektheit überprüfen. Danke.
Wenn jemand inkompetent ist, dann kann er nicht wissen, daß er inkompetent ist. (David Dunning)

Data Collector für Community Support
___
Ich verwende zwei verschiedene Schriftfarben in meinen Beiträgen /
I use two different font colors in my posts:
  • In dieser Farbe schreibe ich als Moderator und gebe moderative Hinweise oder begründe moderative Eingriffe /
    In this color, I write as a moderator and provide moderative guidance or justify moderative interventions
  • In dieser Farbe schreibe ich als Community Mitglied und teile meine private Meinung und persönlichen Ansichten mit /
    In this color, I write as a community member and share my personal opinions and views
User avatar
Alexander
Keyweb AG
Posts: 3842
Joined: Wed 20. Jan 2016, 02:23

Re: Data Collector für Community Support -- Diskussionsthread

Post by Alexander »

Nur ein paar Ideen:

1)
Da das Daten sammeln ja etwas dauern kann, würde ich vielleicht noch jeden Schritt, der gerade durchgeführt wird, dem Nutzer anzeigen.

Collecting firewall data ... done
Collecting xyz data ... done

Finished

2)
Da die Ausgabe mitunter recht Umfang reich sein kann, besonders wenn der Server ein paar Domains mehr hat: Man braucht vielleicht nicht immer alle Daten. Ggf. möchte man das Script über Parameter steuern, damit nur bestimmte Komponenten ermittelt werden.

3)
Die info.txt dann an die Supporter zu bringen könnte ich mir noch als Knackpunkt vorstellen. Es ist halt sehr umfangreich und die Code-Boxen hier im Forum sind auch nicht für sooo viel Content gemacht, wenn man nicht permanent scrollen will.
Ggf. mag ja noch jemand den Teil zusteuern, der es direkt an einen pastebin ähnlichen Dienst schickt und das Script gibt schlussendlich nur die URL zum pastebin (o.Ä.) aus. Die kann man sicher (?) recht einfach per API ansteuern und der ein oder andere Dienst unterstützt wohl auch markdown.


Klar, man kann sich an der ganzen Sache auch vergeistigen, aber wenn es ein Community Projekt sein soll, können ja viele Hände anpacken ;).
(dann wirds aber auf kurz oder lang nicht mehr ohne git gehen)
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
User avatar
24unix
Posts: 1645
Joined: Sun 21. Jun 2020, 17:16
Location: Kollmar
Contact:

Re: Data Collector für Community Support -- Diskussionsthread

Post by 24unix »

Die Idee mit dem PasteBin finde ich gut.

Ich habe mit PrivateBin gute Erfahrungen gemacht: https://pastebin.24unix.net
mfg Micha
--
If Bill Gates had a nickel for every time Windows crashed …
… oh wait, he does.
User avatar
Jolinar
Community Moderator
Posts: 3612
Joined: Sat 30. Jan 2016, 07:11
Location: Weimar (Thüringen)
Contact:

Re: Data Collector für Community Support -- Diskussionsthread

Post by Jolinar »

Alexander wrote: Tue 15. Aug 2023, 15:16 Da das Daten sammeln ja etwas dauern kann, würde ich vielleicht noch jeden Schritt, der gerade durchgeführt wird, dem Nutzer anzeigen.

Collecting firewall data ... done
Collecting xyz data ... done

Finished
Gute Idee, läßt sich auch leicht umsetzen.

Alexander wrote: Tue 15. Aug 2023, 15:16 Die info.txt dann an die Supporter zu bringen könnte ich mir noch als Knackpunkt vorstellen. Es ist halt sehr umfangreich und die Code-Boxen hier im Forum sind auch nicht für sooo viel Content gemacht, wenn man nicht permanent scrollen will.
Da hab ich auch schon drüber gegrübelt.
Ich hab die Ausgabe in ein Textfile u.a. auch deswegen gemacht, weil ich mir überlegt hatte, daß File als Dateianhang im Forenpost mitzugeben bzw. per PN zu schicken (für die Paranoiker, die öffentliche Infos wie DNS-RR, IP-Adressen u.ä. lieber nicht öffentlich preisgeben wollen).

Alexander wrote: Tue 15. Aug 2023, 15:16 Da die Ausgabe mitunter recht Umfang reich sein kann, besonders wenn der Server ein paar Domains mehr hat: Man braucht vielleicht nicht immer alle Daten. Ggf. möchte man das Script über Parameter steuern, damit nur bestimmte Komponenten ermittelt werden.
Mit dem Gedanken tue ich mich ehrlich gesagt etwas schwer.
Nicht wegen der Umsetzung im Script sondern aus zwei anderen Gründen:
1. Wäre es dann nicht mehr so DAU-tauglich und du müßtest schlimmstenfalls noch extra Support geben, wie man die Aufrufparameter richtig mitgibt.
2. Dann würde eventuell auch wieder das Hinterfragen von Infos im Forum notwendig werden, wenn doch nicht alle Infos zum Supporten verfügbar sind. Wenn immer alle essenziellen Infos gesammelt werden, hätte man dieses Problem nicht.

Alexander wrote: Tue 15. Aug 2023, 15:16 Ggf. mag ja noch jemand den Teil zusteuern, der es direkt an einen pastebin ähnlichen Dienst schickt und das Script gibt schlussendlich nur die URL zum pastebin (o.Ä.) aus. Die kann man sicher (?) recht einfach per API ansteuern und der ein oder andere Dienst unterstützt wohl auch markdown.
Und da sind wir gleich wieder bei den o.g. Paranoikern...die werden das nicht so toll finden... ;) :?
Wenn jemand inkompetent ist, dann kann er nicht wissen, daß er inkompetent ist. (David Dunning)

Data Collector für Community Support
___
Ich verwende zwei verschiedene Schriftfarben in meinen Beiträgen /
I use two different font colors in my posts:
  • In dieser Farbe schreibe ich als Moderator und gebe moderative Hinweise oder begründe moderative Eingriffe /
    In this color, I write as a moderator and provide moderative guidance or justify moderative interventions
  • In dieser Farbe schreibe ich als Community Mitglied und teile meine private Meinung und persönlichen Ansichten mit /
    In this color, I write as a community member and share my personal opinions and views
User avatar
24unix
Posts: 1645
Joined: Sun 21. Jun 2020, 17:16
Location: Kollmar
Contact:

Re: Data Collector für Community Support -- Diskussionsthread

Post by 24unix »

Jolinar wrote: Tue 15. Aug 2023, 15:42 Und da sind wir gleich wieder bei den o.g. Paranoikern...die werden das nicht so toll finden... ;) :?
PrivateBin unterstützt Passwortschutz :)

Ausgabe könnte also sein:

URL ist: blablubb: https…
Passwort ist: aweirdone
mfg Micha
--
If Bill Gates had a nickel for every time Windows crashed …
… oh wait, he does.
User avatar
Jolinar
Community Moderator
Posts: 3612
Joined: Sat 30. Jan 2016, 07:11
Location: Weimar (Thüringen)
Contact:

Re: Data Collector für Community Support -- Diskussionsthread

Post by Jolinar »

24unix wrote: Tue 15. Aug 2023, 15:49 PrivateBin unterstützt Passwortschutz :)

Ausgabe könnte also sein:

URL ist: blablubb: https…
Passwort ist: aweirdone
Dann würden die Paranoiker dir aber das PW auch nur per PN schicken wollen und nicht im Forum posten...Dann können dir die Leute auch gleich das Textfile per PN schicken ;) :lol:
Wenn jemand inkompetent ist, dann kann er nicht wissen, daß er inkompetent ist. (David Dunning)

Data Collector für Community Support
___
Ich verwende zwei verschiedene Schriftfarben in meinen Beiträgen /
I use two different font colors in my posts:
  • In dieser Farbe schreibe ich als Moderator und gebe moderative Hinweise oder begründe moderative Eingriffe /
    In this color, I write as a moderator and provide moderative guidance or justify moderative interventions
  • In dieser Farbe schreibe ich als Community Mitglied und teile meine private Meinung und persönlichen Ansichten mit /
    In this color, I write as a community member and share my personal opinions and views
User avatar
24unix
Posts: 1645
Joined: Sun 21. Jun 2020, 17:16
Location: Kollmar
Contact:

Re: Data Collector für Community Support -- Diskussionsthread

Post by 24unix »

Jolinar wrote: Tue 15. Aug 2023, 15:56
24unix wrote: Tue 15. Aug 2023, 15:49 PrivateBin unterstützt Passwortschutz :)

Ausgabe könnte also sein:

URL ist: blablubb: https…
Passwort ist: aweirdone
Dann würden die Paranoiker dir aber das PW auch nur per PN schicken wollen und nicht im Forum posten...Dann können dir die Leute auch gleich das Textfile per PN schicken ;) :lol:
Abe ein Passwort per PN geht leichter als der ggf doch recht umfangreiche Text :)
Das mit der Länge hatte Alex ja oben schon adressiert.
mfg Micha
--
If Bill Gates had a nickel for every time Windows crashed …
… oh wait, he does.
User avatar
Jolinar
Community Moderator
Posts: 3612
Joined: Sat 30. Jan 2016, 07:11
Location: Weimar (Thüringen)
Contact:

Re: Data Collector für Community Support -- Diskussionsthread

Post by Jolinar »

Alexander wrote: Tue 15. Aug 2023, 15:16 Da das Daten sammeln ja etwas dauern kann, würde ich vielleicht noch jeden Schritt, der gerade durchgeführt wird, dem Nutzer anzeigen.

Collecting firewall data ... done
Collecting xyz data ... done

Finished
Erledigt.




Download und Aufruf des aktualisierten Scripts mit folgendem Befehl:

Code: Select all

wget -q https://ngc4594.eu/serverinfo.sh -O serverinfo.sh ; bash serverinfo.sh ;
Bitte mal testen und Ausgabe auf Korrektheit überprüfen. Danke.
Wenn jemand inkompetent ist, dann kann er nicht wissen, daß er inkompetent ist. (David Dunning)

Data Collector für Community Support
___
Ich verwende zwei verschiedene Schriftfarben in meinen Beiträgen /
I use two different font colors in my posts:
  • In dieser Farbe schreibe ich als Moderator und gebe moderative Hinweise oder begründe moderative Eingriffe /
    In this color, I write as a moderator and provide moderative guidance or justify moderative interventions
  • In dieser Farbe schreibe ich als Community Mitglied und teile meine private Meinung und persönlichen Ansichten mit /
    In this color, I write as a community member and share my personal opinions and views
User avatar
Jolinar
Community Moderator
Posts: 3612
Joined: Sat 30. Jan 2016, 07:11
Location: Weimar (Thüringen)
Contact:

Re: Data Collector für Community Support -- Diskussionsthread

Post by Jolinar »

ich möchte gern Feedback zu den gesammelten Infos von euch...

1. Firewallregeln
Was wäre sinnvoller, Firewall-Regeln mit Namen von Diensten und Ports oder IP-Adressen und Ports in numerischer Form?
Also entweder:

Code: Select all

ACCEPT     tcp  --  anywhere             anywhere             tcp dpt:ssh
oder:

Code: Select all

ACCEPT     tcp  --  0.0.0.0/0            0.0.0.0/0            tcp dpt:22


2. Routingtabelle
Sollte ich die Ausgabe von:

Code: Select all

ip -route
noch mit ins Infofile schreiben?


3. Software-Pakete
Sollte ich auch eine Liste der installierten Pakete, also die Ausgabe von:

Code: Select all

dpkg -l
mit ins Infofile schreiben?
Das würde allerdings das Infofile um weitere >= 600 Zeilen vergößern...


4. Laufende Dienste
Hat eine Liste der laufenden Dienste, also die Ausgabe von:

Code: Select all

systemctl list-units --type=service
einen Mehrwert für erfolgreichen Support?


5. Inhalt von weiteren Konfigurationsdateien
Ich könnte noch weitere Configs wie zB.:

Code: Select all

/etc/fstab
/etc/hostname
/etc/network/interfaces
und andere mit ins Infofile schreiben...


Habt ihr vielleicht noch weitere sinnvolle Infos, die ich grad nicht auf dem Radar hab?
Wenn jemand inkompetent ist, dann kann er nicht wissen, daß er inkompetent ist. (David Dunning)

Data Collector für Community Support
___
Ich verwende zwei verschiedene Schriftfarben in meinen Beiträgen /
I use two different font colors in my posts:
  • In dieser Farbe schreibe ich als Moderator und gebe moderative Hinweise oder begründe moderative Eingriffe /
    In this color, I write as a moderator and provide moderative guidance or justify moderative interventions
  • In dieser Farbe schreibe ich als Community Mitglied und teile meine private Meinung und persönlichen Ansichten mit /
    In this color, I write as a community member and share my personal opinions and views
User avatar
Jolinar
Community Moderator
Posts: 3612
Joined: Sat 30. Jan 2016, 07:11
Location: Weimar (Thüringen)
Contact:

Re: Data Collector für Community Support -- Diskussionsthread

Post by Jolinar »

Ich hab nochmal die Hypervisor-Erkennung etwas verbessert, weil ich da noch Probleme gefunden hatte.

Auch habe ich am Anfang des Scripts eine kleine Kommentarsektion eingefügt, wo die Funktion und der Output kurz erklärt werden.
Weiterhin habe ich jetzt eine Versionsnummer eingeführt und hab auch alle Communitymember dort namentlich erwähnt, die mir Zuarbeit geleistet haben.

Ich stelle das Script jetzt auch in den Forenbereich Modifikationen / Skripte ->
viewtopic.php?t=12581
English version ->
viewtopic.php?t=12582

An diser Stelle möchte ich mich auch nochmal ganz herzlich bei Alexander, 24unix, l_fish und FaWa für das Feedback und die Unterstützzung bedanken!
:mrgreen: :geek: :ugeek:
Wenn jemand inkompetent ist, dann kann er nicht wissen, daß er inkompetent ist. (David Dunning)

Data Collector für Community Support
___
Ich verwende zwei verschiedene Schriftfarben in meinen Beiträgen /
I use two different font colors in my posts:
  • In dieser Farbe schreibe ich als Moderator und gebe moderative Hinweise oder begründe moderative Eingriffe /
    In this color, I write as a moderator and provide moderative guidance or justify moderative interventions
  • In dieser Farbe schreibe ich als Community Mitglied und teile meine private Meinung und persönlichen Ansichten mit /
    In this color, I write as a community member and share my personal opinions and views
l_fish
Posts: 147
Joined: Tue 15. Aug 2017, 11:49

Re: Data Collector für Community Support -- Diskussionsthread

Post by l_fish »

Sehr schön! Ich habe es auch noch einmal auf einem unserer Server getestet und die Daten stimmen soweit.

Eine Kleinigkeit ist mir noch aufgefallen: In der Ausgabe hatte ich zwei allein stehende "Done."s. Und zwar bei "Collecting DNS resource records for..." jeweils nach den Zeilen für den ersten und den zweiten Kunden-vhost, nicht jedoch nach dem dritten (und letzten), siehe:

Code: Select all

root@web3:~# wget -q https://ngc4594.eu/serverinfo.sh -O serverinfo.sh ; bash serverinfo.sh ;
Collecting hostname data ...  Done.
Collecting PTR records for IPv4 data ...  Done.
Collecting PTR records for IPv6 data ...  Done.
Collecting system information data ...  Done.
Collecting CPU information data ...  Done.
Collecting current CPU usage data ...  Done.
Collecting memory data ...  Done.
Collecting disk space data ...  Done.
Collecting additional disk information data ...  Done.
Collecting running processes data ...  Done.
Collecting network adapters data ...  Done.
Collecting network connections data ...  Done.
Collecting firewall rules data ...  Done.
Collecting used nameservers data ...  Done.
Collecting enabled virtual hosts data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
 Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
 Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.
Collecting DNS resource records for [entfernt] data ...  Done.

Script completed.
Und dann hätte ich noch einen Vorschlag: Wenn das Script (ausschließlich) für Keyhelp-System gedacht ist, könntest du vielleicht noch die Keyhelp-Version auslesen. Damit hätte man die drei Fragen der Beitragsvorlage zum System (Betriebssystem, Virtualisierung, Keyhelp-Version) schon komplett beantwortet :)

Die Version bekommt man u.a. so:

Code: Select all

mysql --batch -e "SELECT value FROM settings WHERE category='sys' AND name='version'" keyhelp | tail -n 1
Da fehlt dann allerdings noch die Build-Nummer, aber vielleicht kann Alex hier weiter helfen.
User avatar
Alexander
Keyweb AG
Posts: 3842
Joined: Wed 20. Jan 2016, 02:23

Re: Data Collector für Community Support -- Diskussionsthread

Post by Alexander »

1)
mit Namen von Diensten und Ports oder IP-Adressen und Ports in numerischer Form?
Ich präferiere da immer eher die numerische Ausgabe (ist dann auch schneller, wenn der Name nicht erst ermittelt werden muss ;)). Sieht für mich zumindest immer aufgeräumter aus.


2)
Habe bei mir in der Aussgabe noch ein einsames "Done."

Code: Select all

Collecting DNS resource records for abc.de data ...  Done.
Collecting DNS resource records for www.abc.de data ...  Done.
 Done.
Collecting DNS resource records for aaa.xyz.de data ...  Done.
Collecting DNS resource records for sub.bbb.xyz.de data ...  Done.
Collecting DNS resource records for www.sub.sub.bbb.xyz.de data ...  Done.
 Done.
Collecting DNS resource records for ccc.xyz.de data ...  Done.
Es kommt immer dann, wenn der "Benutzer" gewechselt, weil ein neues vhost file eingelesen wird. Leg mal einen weiteren Benutzer auf deim Test-Server an, dann solltest du es auch sehen können.

=> l_fish war schneller ;)


3)
Und noch eine Anregung:
Finde z.B. "server-info.txt" schicker als "serverinfo.txt", sind ja 2 Worte. Respektive sollte dann auch der Scriptname etc. angepasst werden.


4)
l_fish wrote: Thu 17. Aug 2023, 09:01Da fehlt dann allerdings noch die Build-Nummer, aber vielleicht kann Alex hier weiter helfen.
Ja, einfach den Befehl aufrufen ;):

Code: Select all

keyhelp version
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
l_fish
Posts: 147
Joined: Tue 15. Aug 2017, 11:49

Re: Data Collector für Community Support -- Diskussionsthread

Post by l_fish »

Alexander wrote: Thu 17. Aug 2023, 09:21
l_fish wrote: Thu 17. Aug 2023, 09:01Da fehlt dann allerdings noch die Build-Nummer, aber vielleicht kann Alex hier weiter helfen.
Ja, einfach den Befehl aufrufen ;):

Code: Select all

keyhelp version
Warum denn so einfach, wenn man es auch kompliziert machen kann? :lol: Danke für den Hinweis, das cli-Tool hatte ich ja komplett vergessen...
Post Reply