bashclub/zsync
Watch
1
0
Fork
You've already forked zsync
 0
Code Issues 6 Pull requests Projects Releases Packages Wiki Activity Actions

ZFS-Integrationstests auf dauerhaften Test-VMs in der CI #25

New issue
Closed
opened 2026-10-15 20:44:39 +02:00 by thorsten.spille · 1 comment
thorsten.spille commented 2026-10-15 20:44:39 +02:00
Owner
Copy link

Die Stub-Tests (tests/run.sh) prüfen die Aufrufe, aber nicht ZFS selbst (raw-Send aus Bookmarks, Holds, Resume-Token, Rollback, refquota, D-Zustand). Dafür echte ZFS-Tests bei jedem PR.

Umgebung

  • VM 1 (Quelle): Proxmox VE 9 als Betriebssystem (gleicher Kernel und dieselbe ZFS-Version wie in Produktion), Forgejo-Runner mit Label zfs
  • VM 2 (Backupserver, später): Debian 13 mit ZFS, nur per SSH von VM 1 erreichbar – für Netzabbruch (#8), Bandbreite (#9), Betrieb ohne root (#11), Parallelität (#10)
  • dauerhaft laufend, nicht pro Lauf neu aufgesetzt (ZFS-DKMS/Installation dauert, bringt nichts). Saubere Ausgangslage pro Lauf durch eigene Datei-Pools pro Lauf (truncate + zpool create zci-<run>-src/dst), Aufräumen per trap und zusätzlich am Anfang jedes Laufs (Reste abgebrochener Läufe: alle zci-*-Pools)
  • VM-Snapshot als Rückfallpunkt; neu aufsetzen nur bei Bedarf (z. B. nach zinject-Experimenten, Kernel-Problemen)
  • Updates kontrolliert (kein unbeaufsichtigtes Kernel-Update mitten im Testlauf), Runner-Kapazität 1
  • keine Daten, keine Secrets auf den VMs; Runner nur für Repos der Organisation

Tests

  • Job integration in .forgejo/workflows/package.yml nach dem Paketbau: installiert das gebaute .deb auf VM 1, führt tests/integration/*.sh aus
  • Replikation Pool → Pool über source=root@localhost (echter Weg mit ssh/ControlMaster), später VM 1 → VM 2
  • Fälle: Erst- und Delta-Replikation (auch raw-verschlüsselt), Rotation/Löschen, refquota „quota exceeded“, Rollback (#5), Zustände (#21) inkl. gerissener Kette, Checkmk-Check gegen echte Läufe, Hänger per zinject -D (D-Zustand, #15); danach je Feature (#22, #6, #7, #8 …)

Benötigt vom Admin

  • VM(s) mit Root-SSH-Zugang für die Entwicklung (Schlüssel des Entwicklungsrechners)
  • Registrierungs-Token für einen Forgejo-Runner (Organisation bashclub) mit Label zfs
Die Stub-Tests (`tests/run.sh`) prüfen die Aufrufe, aber nicht ZFS selbst (raw-Send aus Bookmarks, Holds, Resume-Token, Rollback, refquota, D-Zustand). Dafür echte ZFS-Tests bei jedem PR. ## Umgebung - **VM 1 (Quelle):** Proxmox VE 9 als Betriebssystem (gleicher Kernel und dieselbe ZFS-Version wie in Produktion), Forgejo-Runner mit Label `zfs` - **VM 2 (Backupserver, später):** Debian 13 mit ZFS, nur per SSH von VM 1 erreichbar – für Netzabbruch (#8), Bandbreite (#9), Betrieb ohne root (#11), Parallelität (#10) - **dauerhaft laufend**, nicht pro Lauf neu aufgesetzt (ZFS-DKMS/Installation dauert, bringt nichts). Saubere Ausgangslage pro Lauf durch **eigene Datei-Pools pro Lauf** (`truncate` + `zpool create zci-<run>-src/dst`), Aufräumen per `trap` und zusätzlich am Anfang jedes Laufs (Reste abgebrochener Läufe: alle `zci-*`-Pools) - VM-Snapshot als Rückfallpunkt; neu aufsetzen nur bei Bedarf (z. B. nach `zinject`-Experimenten, Kernel-Problemen) - Updates kontrolliert (kein unbeaufsichtigtes Kernel-Update mitten im Testlauf), Runner-Kapazität 1 - keine Daten, keine Secrets auf den VMs; Runner nur für Repos der Organisation ## Tests - Job `integration` in `.forgejo/workflows/package.yml` nach dem Paketbau: installiert das gebaute `.deb` auf VM 1, führt `tests/integration/*.sh` aus - Replikation Pool → Pool über `source=root@localhost` (echter Weg mit ssh/ControlMaster), später VM 1 → VM 2 - Fälle: Erst- und Delta-Replikation (auch raw-verschlüsselt), Rotation/Löschen, refquota „quota exceeded“, Rollback (#5), Zustände (#21) inkl. gerissener Kette, Checkmk-Check gegen echte Läufe, Hänger per `zinject -D` (D-Zustand, #15); danach je Feature (#22, #6, #7, #8 …) ## Benötigt vom Admin - VM(s) mit Root-SSH-Zugang für die Entwicklung (Schlüssel des Entwicklungsrechners) - Registrierungs-Token für einen Forgejo-Runner (Organisation bashclub) mit Label `zfs`
thorsten.spille added this to the 2.0.0 milestone 2026-10-15 20:44:39 +02:00
thorsten.spille commented 2026-10-15 21:56:44 +02:00
Author
Owner
Copy link

Fertig: Runner zfs-forgejo-runner (forgejo-runner 13.2.0, Host-Modus, Label zfs) auf der Test-VM, Job integration in package.yml läuft bei jedem PR und auf main (10/10 Fälle mit echtem ZFS).

Fertig: Runner `zfs-forgejo-runner` (forgejo-runner 13.2.0, Host-Modus, Label `zfs`) auf der Test-VM, Job `integration` in `package.yml` läuft bei jedem PR und auf `main` (10/10 Fälle mit echtem ZFS).
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
feature/12-systemd-timer
feature/11-unprivileged
feature/8-resume
feature/7-skip-deleted-snapshots
feature/6-holds
feature/22-bookmarks
fix/30-sort-createtxg
fix/ci-checkzfs-fallback
feature/25-integration-job
feature/25-integration-tests
feature/26-local-mode
feature/9-bandwidth-limit
feature/5-target-rollback
feature/21-dataset-states
feature/4-refquota
feature/15-checkmk-monitoring
fix/3-label-match
fix/2-lock-per-config
refactor/cleanup
ci/forgejo
v1.0.19
1.0.18
v1.0.18
1.0.17
1.0.16
1.0.15
1.0.14
1.0.13
1.0.12
1.0.11
1.0.10
1.0.9
1.0.8
1.0.7
1.0.6
1.0.5
1.0.4
1.0.3
1.0.2
1.0.1
1.0.0
Labels
Clear labels   
bug

   
enhancement
No labels
bug
enhancement
Milestone
Clear milestone
No items
No milestone
2.0.0
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
bashclub/zsync#25
No description provided.