Sperre pro Config und atomare checkzfs-Ausgabe #17

Closed

thorsten.spille wants to merge 0 commits from thorsten.spille/fix-2-lock-per-config into main AGit

pull from: thorsten.spille/fix-2-lock-per-config

merge into: bashclub:main

bashclub:main

bashclub:feature/12-systemd-timer

bashclub:feature/11-unprivileged

bashclub:feature/8-resume

bashclub:feature/7-skip-deleted-snapshots

bashclub:feature/6-holds

bashclub:feature/22-bookmarks

bashclub:fix/30-sort-createtxg

bashclub:fix/ci-checkzfs-fallback

bashclub:feature/25-integration-job

bashclub:feature/25-integration-tests

bashclub:feature/26-local-mode

bashclub:feature/9-bandwidth-limit

bashclub:feature/5-target-rollback

bashclub:feature/21-dataset-states

bashclub:feature/4-refquota

bashclub:feature/15-checkmk-monitoring

bashclub:fix/3-label-match

bashclub:fix/2-lock-per-config

bashclub:refactor/cleanup

bashclub:ci/forgejo

Conversation 1 Commits - Files changed -

thorsten.spille commented 2026-10-15 18:10:26 +02:00

Owner

Copy link

Behebt #2: überlappende Läufe derselben Config (Cron + Handstart) haben gleichzeitig Snapshots erzeugt und repliziert und sich die Spooldatei in /tmp geteilt (Failed to create snapshot, mv: cannot stat '/tmp/900_zsync_…').

Änderungen

• Sperre pro Config: das Skript läuft unter flock -n -o erneut; ein zweiter Lauf mit derselben Config wird mit [ERROR] Another run … is still active (pid …) und Exit-Code 1 übersprungen, bevor er etwas tut. Andere Configs laufen weiter parallel. -o, weil der ssh-Master (ControlPersist) sonst die Sperre nach dem Lauf weiter hält (Gegenprobe gemacht). Ohne flock aus util-linux läuft alles wie bisher, mit [WARN].
• Atomare checkzfs-Ausgabe: eigene Datei pro Lauf (mktemp), als Punktdatei neben den Spool kopiert und umbenannt – lokal und auf der Quelle. Kein Rest mehr in /tmp, Rechte 644 wie bisher.
• Label nicht doppelt filtern, wenn es schon in snapshot_filter steht.
• README: Cron-Beispiele (auch TrueNAS) hängen ans Log an (>>), sonst leert ein übersprungener Lauf das Log des aktiven Laufs.
• Log-Rotation ohne logrotate: geht die Ausgabe in eine Datei, deren Verzeichnis keine logrotate-Config nennt (z. B. TrueNAS im Dataset), rotiert das Skript sie bei 10 MiB und behält 4 komprimierte alte Logs. Nur der Lauf mit der Sperre rotiert; Pipe, Journal und /var/log/bashclub-zsync (paketiertes logrotate) bleiben unverändert.

Replikations- und Löschalgorithmus unverändert.

Tests

• Szenarien 1–8: verändernde Aufrufe identisch zu main, außer dem gewollten atomaren scp/mv in Szenario 3
• neu 9-locked (Sperre gehalten → Lauf ohne einen einzigen zfs/ssh-Aufruf übersprungen) und 10-label-in-filter (jedes Intervall nur einmal geprüft; das eine destroy weniger im Vergleich kommt nur vom Stub, der nicht wirklich löscht)
• echt parallel im Container: zweiter Lauf abgewiesen, erster läuft durch; Neustart trotz zurückgebliebener Hintergrundprozesse möglich; andere Config parallel ok; -h ohne Sperre; ohne flock nur Warnung
• Log-Rotation im Container: 11 MiB in /mnt/… → rotiert, neues Log mit stdout+stderr; 5 Rotationen → höchstens .1–.4.gz; kleines Log, Verzeichnis in logrotate.d und Pipe → keine Rotation

Closes #2

🤖 Generated with Claude Code

Behebt #2: überlappende Läufe derselben Config (Cron + Handstart) haben gleichzeitig Snapshots erzeugt und repliziert und sich die Spooldatei in /tmp geteilt (`Failed to create snapshot`, `mv: cannot stat '/tmp/900_zsync_…'`). ## Änderungen - **Sperre pro Config:** das Skript läuft unter `flock -n -o` erneut; ein zweiter Lauf mit derselben Config wird mit `[ERROR] Another run … is still active (pid …)` und Exit-Code 1 übersprungen, bevor er etwas tut. Andere Configs laufen weiter parallel. `-o`, weil der ssh-Master (ControlPersist) sonst die Sperre nach dem Lauf weiter hält (Gegenprobe gemacht). Ohne `flock` aus util-linux läuft alles wie bisher, mit `[WARN]`. - **Atomare checkzfs-Ausgabe:** eigene Datei pro Lauf (`mktemp`), als Punktdatei neben den Spool kopiert und umbenannt – lokal und auf der Quelle. Kein Rest mehr in /tmp, Rechte 644 wie bisher. - **Label nicht doppelt filtern**, wenn es schon in `snapshot_filter` steht. - **README:** Cron-Beispiele (auch TrueNAS) hängen ans Log an (`>>`), sonst leert ein übersprungener Lauf das Log des aktiven Laufs. - **Log-Rotation ohne logrotate:** geht die Ausgabe in eine Datei, deren Verzeichnis keine logrotate-Config nennt (z. B. TrueNAS im Dataset), rotiert das Skript sie bei 10 MiB und behält 4 komprimierte alte Logs. Nur der Lauf mit der Sperre rotiert; Pipe, Journal und `/var/log/bashclub-zsync` (paketiertes logrotate) bleiben unverändert. Replikations- und Löschalgorithmus unverändert. ## Tests - Szenarien 1–8: verändernde Aufrufe identisch zu `main`, außer dem gewollten atomaren `scp`/`mv` in Szenario 3 - neu `9-locked` (Sperre gehalten → Lauf ohne einen einzigen zfs/ssh-Aufruf übersprungen) und `10-label-in-filter` (jedes Intervall nur einmal geprüft; das eine `destroy` weniger im Vergleich kommt nur vom Stub, der nicht wirklich löscht) - echt parallel im Container: zweiter Lauf abgewiesen, erster läuft durch; Neustart trotz zurückgebliebener Hintergrundprozesse möglich; andere Config parallel ok; `-h` ohne Sperre; ohne flock nur Warnung - Log-Rotation im Container: 11 MiB in /mnt/… → rotiert, neues Log mit stdout+stderr; 5 Rotationen → höchstens .1–.4.gz; kleines Log, Verzeichnis in logrotate.d und Pipe → keine Rotation Closes #2 🤖 Generated with [Claude Code](https://claude.com/claude-code)

thorsten.spille added 2 commits 2026-10-15 18:10:26 +02:00

Allow only one run per configuration and write the checkzfs output atomically ... cc58a54fc9

A second run with the same configuration (e.g. cron and a manual start) created
snapshots and replicated at the same time as the active run, and both used the
same spool file in /tmp ("mv: cannot stat").

- the script runs again under flock (util-linux, -o so the background ssh master
  does not keep the lock); a second run is skipped with an error and exit code 1,
  without flock everything runs as before with a warning
- checkzfs writes to a temporary file of the run, which is copied next to the
  spool file as dot file and renamed, locally and on the source
- the snapshot label is not added to snapshot_filter a second time

Tests: scenarios for a held lock and for the label in the filter, hooks in run.sh,
scp stub copies, leftover files are listed.

Refs #2

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

README: append to the log in the cron examples ... f7b26fa2be

With ">" a skipped run would empty the log of the run that is still active.

Refs #2

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

thorsten.spille added 1 commit 2026-10-15 18:18:47 +02:00

Rotate a log file that is not covered by logrotate ... ecdfc27052

With ">>" in the cron job the log on TrueNAS SCALE (in a dataset, no logrotate)
would grow without limit. If the output is appended to a file whose directory
no logrotate config mentions, the script rotates it at 10 MiB and keeps 4
compressed old logs. Only the run holding the lock rotates; output to a pipe,
the journal or /var/log/bashclub-zsync (packaged logrotate config) is unchanged.

Refs #2

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

thorsten.spille commented 2026-10-15 18:22:23 +02:00

Author

Owner

Copy link

Manuell nach main gemergt (522ae54), CI inkl. publish nach testing grün. Schließe den PR.

Manuell nach `main` gemergt (522ae54), CI inkl. publish nach testing grün. Schließe den PR.

thorsten.spille closed this pull request 2026-10-15 18:22:24 +02:00

All checks were successful

Hide checks

/ build (pull_request) Successful in 25s

Details

/ test (debian-13) (pull_request) Successful in 43s

Details

/ test (ubuntu-24.04) (pull_request) Successful in 43s

Details

/ test (ubuntu-26.04) (pull_request) Successful in 47s

Details

/ test (debian-12) (pull_request) Successful in 51s

Details

/ publish (pull_request) Has been skipped

Details

/ package (pull_request) Successful in 0s

Details

Pull request closed

Please reopen this pull request to perform a merge.

Sign in to join this conversation.

Reviewers

No reviewers

Labels

Clear labels   

bug

  

enhancement

No labels

bug

enhancement

Milestone

Clear milestone

No items

No milestone

Projects

Clear projects

No items

No project

Assignees

Clear assignees

No assignees

1 participant

Notifications

Subscribe

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference

bashclub/zsync!17

No description provided.