Restic, regelmäßig "unable to create lock"  [GELÖST]

Locked
select name from me;
Posts: 579
Joined: Tue 9. Feb 2016, 16:44

Restic, regelmäßig "unable to create lock"

Post by select name from me; »

Mit einem lokalem Repository erstelle ich ein Backup. Eine Weile läuft das problemlos. Aber nach ein paar Aufrufen klemmt das Backup regelmäßig mit folgender Meldung:

Code: Select all

Failed to create backup: unable to create lock in backend: repository is already locked
Bei meiner Prüfung war bisher kein alter Prozess mehr vorhanden.

Die restic Version lautet 0.12.1.

Auf dem gleichen Server sichere ich auch auf eine Keydisc. Interessanterweise hatte ich das Problem bisher nur bei dem lokalen Repository. Bei der Keydisc nicht.

Hat jemand einen Tipp für mich? Tritt das Problem bei euch auch auf oder bin ich da ein Einzelfall?
Ich würde das neue Backup System gerne auf mehr Servern aktivieren. Aktuell scheue ich mich aber davor.

PS: Für die Nachwelt, falls jemand diesen Beitrag über die Suche finden. Das Problem kann man im Einzelfall wie folgt lösen:
viewtopic.php?p=29866#p29866
Viele Grüße, Christian
select name from me;
Posts: 579
Joined: Tue 9. Feb 2016, 16:44

Re: Restic, regelmäßig "unable to create lock"

Post by select name from me; »

Ich pushe das Thema noch mal. :)
Hat noch jemand das Thema oder läuft es bei euch problemlos?
Viele Grüße, Christian
User avatar
OlliTheDarkness
Posts: 1854
Joined: Tue 14. Aug 2018, 16:41
Location: Essen (NRW)

Re: Restic, regelmäßig "unable to create lock"

Post by OlliTheDarkness »

select name from me; wrote: Mon 11. Oct 2021, 17:20 Ich pushe das Thema noch mal. :)
Hat noch jemand das Thema oder läuft es bei euch problemlos?
Also bei mir läuft es von Anbeginn an super :/
Bis heute keine "größeren" Zwischenfälle.
Sorry , is keine Hilfe ich weiß :roll:
Mit freundlichen Grüßen
OlliTheDarkness

**************************************************************
Helden leben lange, Legenden sterben nie

:!: World Hack Organization :!:
**************************************************************
Blackmoon
Posts: 345
Joined: Sat 1. Dec 2018, 16:42

Re: Restic, regelmäßig "unable to create lock"

Post by Blackmoon »

Aber nach ein paar Aufrufen klemmt das Backup regelmäßig mit folgender Meldung:
Die Sicherung war bevor dem Fehler wirklich erfolgreich?

Code: Select all

Hat jemand einen Tipp für mich?
Noch nicht. Möchtest du deine Rahmenbedingungen posten?
- Bei welchem Webhoster läuft der Server?
- Welches OS setzt du ein und in welcher Version?
- Welche KeyHelp Version ist installiert?
User avatar
Alexander
Keyweb AG
Posts: 3810
Joined: Wed 20. Jan 2016, 02:23

Re: Restic, regelmäßig "unable to create lock"

Post by Alexander »

Ist es ein Server-Backup oder ein User-Backup?

Kannst du ausschließen, das das Repository vielleicht noch an anderer Stelle konfiguriert ist und dann quasi mehrere Jobs gleichzeitig versuchen auf das selbe Repo zuzugreifen?

Eine Prozess-ID ist in der Fehlermeldung nicht angegeben, oder?
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
select name from me;
Posts: 579
Joined: Tue 9. Feb 2016, 16:44

Re: Restic, regelmäßig "unable to create lock"

Post by select name from me; »

OlliTheDarkness wrote: Mon 11. Oct 2021, 17:26 Sorry , is keine Hilfe ich weiß :roll:
Doch, doch. Es hilft mir das Problem einzugrenzen. :)
Viele Grüße, Christian
select name from me;
Posts: 579
Joined: Tue 9. Feb 2016, 16:44

Re: Restic, regelmäßig "unable to create lock"

Post by select name from me; »

Blackmoon wrote: Mon 11. Oct 2021, 18:39 Die Sicherung war bevor dem Fehler wirklich erfolgreich?
Ja. Nach jedem "unlock" läuft es auch wieder bis zum nächsten hängenden Lock.
Blackmoon wrote: Mon 11. Oct 2021, 18:39 - Bei welchem Webhoster läuft der Server?
- Welches OS setzt du ein und in welcher Version?
- Welche KeyHelp Version ist installiert?
Der Server steht in meinem Büro, verwendet Keyhelp in der aktuellen Version und läuft unter Ubuntu 18.04.
Viele Grüße, Christian
select name from me;
Posts: 579
Joined: Tue 9. Feb 2016, 16:44

Re: Restic, regelmäßig "unable to create lock"

Post by select name from me; »

Alexander wrote: Tue 12. Oct 2021, 14:47 Ist es ein Server-Backup oder ein User-Backup?

Kannst du ausschließen, das das Repository vielleicht noch an anderer Stelle konfiguriert ist und dann quasi mehrere Jobs gleichzeitig versuchen auf das selbe Repo zuzugreifen?

Eine Prozess-ID ist in der Fehlermeldung nicht angegeben, oder?
Es ist ein Server Backup. Nur ich richte Backups ein und es läuft kein zweites Backup parallel.
Eine PID ist im Fehler angegeben. Die Meldung lautet sinngemäß:

Code: Select all

Failed to create backup: unable to create lock in backend: repository is already locked exclusively by PID 9755 on SERVERNAME by root (UID 0, GID 0) lock was created at 2021-10-0x 20:22:42 (xxxxx7s ago)
Ich habe jetzt aber einen Fehler im Log entdeckt, der mir vorher nicht aufgefallen war:

Code: Select all

[06-Oct-2021 20:22:41] INFO  --> Remove old snapshots
[06-Oct-2021 20:31:48] ERROR --> Failed to prune repository: Killed
[06-Oct-2021 20:31:49] INFO  --> All finished, releasing lock.
Könnte das der Deadlock aus dem Changelog des Update auf 21.2 sein? Das Update war zu dem Zeitpunkt bereits installiert:

Code: Select all

2021-09-15 04:08:52	 Hinweis	Control panel was updated to version 21.2
Viele Grüße, Christian
User avatar
Alexander
Keyweb AG
Posts: 3810
Joined: Wed 20. Jan 2016, 02:23

Re: Restic, regelmäßig "unable to create lock"

Post by Alexander »

Aktuell sind mir keinerlei Deadlocks mehr bekannt - bzw. habe ich entsprechende Maßnahmen ergriffen, so dass diese überhaupt nicht mehr entstehen können. 21.2 sollte eigentlich prima laufen - auch hier ist mir zumindest nichts was in Richtung deines Fehlers geht bekannt.

Diese Meldung "Killed" stammt direkt von Restic bzw. ist die Meldung, die dann irgendwann durch den Aufruf des Befehls zurückgegeben wird.
Wieviel RAM hat dieser Server / was läuft zu fraglichem Zeitpunkt noch so alles? Ggf. schlägt der OOM Killer zu?
Würde dafür sprechen, dass Restic nie normal beendet wird und hinter sich den Lock somit nicht mehr entfernt. Die Folge, der nächste Aufruf beschwert sich über den vorhandenen Lock.
Mit freundlichen Grüßen / Best regards
Alexander Mahr

**************************************************************
Keyweb AG - Die Hosting Marke
Neuwerkstr. 45/46, 99084 Erfurt / Germany
http://www.keyweb.de - http://www.keyhelp.de
**************************************************************
select name from me;
Posts: 579
Joined: Tue 9. Feb 2016, 16:44

Re: Restic, regelmäßig "unable to create lock"  [GELÖST]

Post by select name from me; »

Alexander wrote: Wed 13. Oct 2021, 09:20 Ggf. schlägt der OOM Killer zu?
Vielen Dank für Deine Hilfe Alex. Das ist das Problem. :)

Für die Nachwelt:
Das Problem ist in der /var/log/syslog zu erkennen an dieser Fehlermeldung.

Code: Select all

grep -i kill /var/log/syslog
...
Out of memory: Kill process PID (restic) score 523 or sacrifice child
...
Viele Grüße, Christian
Locked