Skip to content

Schritt 2a: RAID-Knoten mit Verschlüsselung, Reed-Solomon und Prüfsumme je Block - #21

Merged
T-mp merged 1 commit into
mainfrom
claude/project-thread-jy84ea
Oct 30, 2026
Merged

T-mp merged 1 commit into
mainfrom
claude/project-thread-jy84ea

Conversation

@T-mp

@T-mp T-mp commented Oct 29, 2026

Copy link
Copy Markdown
Owner

Requested by Thomas · project thread

Erster Teil von Schritt 2 (RAID-Kern). Der neue RaidNode fasst mehrere IRawNode zu einem ausfallsicheren, verschlüsselten INode zusammen.

Wie eine Datei abgelegt wird

  1. Die Datei wird in Segmente geteilt (Standard 1 MiB).
  2. Jedes Segment wird mit ChaCha20-Poly1305 verschlüsselt. Jede Dateiversion bekommt dafür einen eigenen zufälligen Schlüssel.
  3. Reed-Solomon über GF(2^8) zerlegt jedes Segment in k Daten- und m Paritätsblöcke. Jeder Block landet auf einem anderen Knoten.
  4. Für jeden Block steht ein SHA-256-Wert im Manifest. Ein beschädigter oder manipulierter Block zählt beim Lesen als Ausfall und wird aus den anderen rekonstruiert.
  5. Das Manifest (Schlüssel, Aufteilung, Hashes) wird mit einem aus dem Hauptschlüssel abgeleiteten Schlüssel verschlüsselt. Es wird mit k=2 auf alle Knoten verteilt und bleibt damit lesbar, solange zwei Knoten erreichbar sind (Wurzel-Regel).

Was ein Anbieter sieht

  • Die Manifest-Adresse ist ein HMAC des Dateinamens.
  • Die Blockadressen stammen aus einer zufälligen Kennung je Version. Ohne Manifest gibt es keinen Bezug zum Dateinamen oder zwischen den Blöcken.
  • Inhalte liegen nur verschlüsselt vor. Ein Test prüft, dass auf keinem Knoten Klartext oder Dateinamen liegen.

Verhalten bei Fehlern

  • Lesen: Bis zu m Knoten dürfen ausfallen oder falsche Daten liefern.
  • Schreiben:
    • Das Schreiben gelingt, solange jedes Segment auf mindestens k Knoten landet. Weniger als k+m ergibt eine Warnung im Log, weil die Redundanz dann eingeschränkt ist.
    • Gelingt es nicht, bleibt die vorherige Version erhalten.
    • Alte Blöcke werden erst nach erfolgreichem Schreiben gelöscht.
  • Mehrere Manifest-Stände (z. B. weil ein Knoten beim Überschreiben offline war): Es gewinnt die höchste Version.

Bewusst noch nicht enthalten

  • 2b: Rollback-Schutz über einen versionierten Hash-Baum, Redundanz je Ordner, Ausfallgruppen und Sperre gegen gleichzeitige Schreiber.
  • 2c: Schlüsselverwaltung (DPAPI, Passphrase, Wiederherstellungscode), Snapshots und Prüflauf. Bis dahin gibt es nur FesterSchluessel für Tests und noch keine DI-Registrierung.
  • Speicherverbrauch: Get puffert die ganze Datei im Speicher. Streaming kommt mit dem Cache in Schritt 3.

Tests

  • dotnet test: 172 Tests grün, davon 44 neu.
  • Reed-Solomon: jede Ausfallkombination bis m für mehrere (k, m), darunter (10, 4).
  • RAID-Knoten:
    • Dateigrößen 0, 1 und an den Segmentgrenzen.
    • Alle Zweier-Ausfälle bei k=3/m=2.
    • Zu viele Ausfälle und verfälschte Blöcke.
    • Nur noch zwei Knoten bei k=2.
    • Vertraulichkeit, falscher Schlüssel und beschädigtes Manifest.
    • Überschreiben und Löschen.
    • Teilweise fehlgeschlagene Schreibvorgänge und gemischte Manifest-Stände.
  • Gemeinsame Knoten-Tests: RaidNode besteht die Suite aus PR Gemeinsame Knoten-Tests aus develop übernehmen #20.
  • Durchsatz: Ein grober Test im Speicher (64 MiB, k=3/m=2, unoptimierter Code) ergab etwa 30 bis 90 MB/s. Das liegt weit über typischen Upload-Raten.

Generated by Claude Code

- WebRaid.Node.Raid: RaidNode fasst mehrere IRawNode zu einem INode zusammen
  - Segmente mit ChaCha20-Poly1305, eigener Schlüssel je Dateiversion
  - Reed-Solomon (k Daten- + m Paritätsblöcke, GF(2^8)), je Block auf anderem Knoten
  - SHA-256 je Block im Manifest: beschädigte/manipulierte Blöcke zählen als Ausfall
  - Manifest mit Hauptschlüssel verschlüsselt, auf allen Knoten mit k=2 verteilt
    (lesbar, solange zwei Knoten da sind), Adresse per HMAC verschleiert
  - Blockadressen aus zufälliger Kennung je Version, ohne Bezug zum Dateinamen
  - Bei mehreren Manifest-Ständen gewinnt die höchste Version
  - Überschreiben entfernt alte Blöcke erst nach erfolgreichem Schreiben
- ISchluesselQuelle mit FesterSchluessel (DPAPI/Passphrase folgen in 2c)
- Tests: Reed-Solomon für alle Ausfallkombinationen, RAID-Knoten mit Ausfällen,
  Manipulation, Teil-Schreibfehlern, Vertraulichkeit; gemeinsame Knoten-Tests

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01CwfuGEictFvuXinDVnV7HD
@T-mp T-mp self-assigned this Oct 29, 2026
@T-mp
T-mp merged commit 18ac58a into main Oct 30, 2026
4 checks passed
@T-mp
T-mp deleted the claude/project-thread-jy84ea branch October 30, 2026 16:05
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants