Wie Restow belegt, dass Ihre Sicherungen wiederherstellbar sind
Eine Sicherung ist nur so viel wert wie das, was im Ernstfall zurückkommt. Ein beendeter Sicherungsjob sagt, dass Daten geschrieben wurden, nicht dass sie sich wieder lesen lassen. Restow hält deshalb zwei Zustände auseinander: „gesichert“ und „nachweislich wiederherstellbar“. Als wiederherstellbar gilt eine Sicherung erst, wenn Restow sie zurückgelesen und als identisch mit dem befunden hat, was die Sicherung bei ihrer Entstehung festgehalten hat.
Was eine Restore-Prüfung ist
Wenn Restow sichert, hält es von jedem Element einen Fingerabdruck fest: eine SHA-256-Prüfsumme, die sich vollständig ändert, sobald sich auch nur ein Byte ändert. Eine Restore-Prüfung nimmt eine Zufallsstichprobe aus der neuesten Sicherung, liest sie über denselben Weg zurück, den ein echter Restore nimmt, einschließlich der Entschlüsselung, und vergleicht das Ergebnis mit diesen Fingerabdrücken. Die Prüfung läuft auf dem Server und liest aus Ihrem Speicher. Sie schreibt nichts in ein Postfach und nichts über die Dateien auf einem Rechner.
Wie oft sie läuft
- Postfächer, OneDrive und IMAP-Konten: jede Woche (im empfohlenen Zeitplan sonntags um 03:00, änderbar) und, solange dieser Zeitplan aktiv ist, nach jeder Sicherung. Eine Prüfung lässt sich außerdem jederzeit starten. Eine Prüfung, die nicht vollständig laufen konnte, wird wenige Minuten später wiederholt, bis zu dreimal, und sonst bei der nächsten geplanten Prüfung.
- Server und Clients: nach jeder neuen guten Sicherung. Konnte die Prüfung des Servers nicht vollständig laufen, wird sie stündlich wiederholt, bis sie es tut. Der Restore-Test auf dem Rechner wird nach 1, 2, 4, 8, 16 und 24 Stunden erneut angeboten, solange die geprüfte Sicherung die neueste des Rechners ist; danach bringt die nächste Sicherung einen neuen Test.
- Dateifreigaben: nach jedem neuen Sicherungsstand (seit 0.4.0); das Repository der Freigabe bekommt außerdem wöchentlich einen restic check von 5 Prozent seiner Daten.
- Proxmox-VE-VMs und -Container (Preview): binnen Minuten nach jedem neuen Sicherungsstand (seit 0.4.2, standardmäßig an und für die Installation abschaltbar), und der neueste Sicherungsstand jedes Gasts mindestens jede Woche. „Jetzt prüfen“ in der Wiederherstellbarkeit startet eine Prüfung von Hand.
- Startprüfungen für Proxmox VE (Preview): standardmäßig aus; wenn ein Job sie einschaltet, wöchentlich am neuesten Sicherungsstand oder nach jeder Sicherung, oder von Hand mit „Jetzt Start prüfen“.
- Der Speicher selbst: jede Woche eine Stichprobe und jeden Monat jede gespeicherte Datei (siehe „Die Speicherprüfung“ unten), und für Server und Clients jede Woche ein Zwanzigstel der Sicherungsdaten jedes Rechners, sodass in etwa fünf Monaten alles einmal gelesen ist.
Was bei Postfächern und OneDrive geprüft wird
Aus der neuesten Sicherung jedes Postfachs, OneDrive oder IMAP-Kontos zieht Restow zufällig 20 Mails, 20 Dateien und einige Kalendereinträge und Kontakte. Jedes Element wird zurückgelesen und Stück für Stück geprüft: Jedes gespeicherte Stück muss sich entschlüsseln lassen und genau das Stück sein, das die Sicherung nennt, und das ganze Element muss die Größe und den Fingerabdruck haben, die die Sicherung festgehalten hat. Hat die Speicherprüfung beschädigte Daten gefunden, die diese Sicherung nutzt, gilt die Sicherung als nicht wiederherstellbar, auch wenn die Stichprobe diese Daten nicht berührt hat.
Was bei Servern und Clients geprüft wird
Nach jeder guten Sicherung wählt der Agent auf dem Rechner bis zu 20 zufällige Dateien, die sich während der Sicherung nicht geändert haben, und hält ihre Fingerabdrücke fest. Der Restow-Server liest genau diese Dateien dann aus der Sicherung zurück und vergleicht die Fingerabdrücke. Der Agent stellt dieselben Dateien außerdem einmal in einen temporären Ordner auf dem Rechner wieder her, vergleicht sie dort und löscht die Kopie, sodass der Restore auch auf dem Rechner selbst belegt ist. Der Agent meldet Datei für Datei, was er vorgefunden hat, und der Restow-Server bewertet diese Meldung nach derselben Regel wie seine eigene Prüfung (unten).
Was bei SharePoint-Websites, Dateifreigaben und Proxmox VE geprüft wird
Eine SharePoint-Website wird wie ein OneDrive geprüft: Restow zieht Dateien aus ihren Dokumentbibliotheken als Stichprobe und liest sie zurück. Bei einer Dateifreigabe wird jeder neue Sicherungsstand geprüft: Bis zu 20 stichprobenartig gewählte Dateien werden zurückgelesen und mit dem verglichen, was die Sicherung festgehalten hat, und das Repository der Freigabe bekommt wöchentlich einen restic check von 5 Prozent seiner Daten; die Wiederherstellbarkeit bewertet eine Freigabe nach ihrem neuesten Sicherungsstand. Für Proxmox VE (eine Preview) kann ein Job außerdem Startprüfungen ausführen, standardmäßig aus: Der Knoten des Gasts stellt den neuesten Sicherungsstand als neuen, vom Netzwerk getrennten Gast wieder her, startet ihn, wartet auf den Gast-Agent und löscht ihn wieder. Grün heißt, der Gast-Agent hat geantwortet, Gelb, dass der Gast nur gestartet ist, Rot, dass die Wiederherstellung, der Start oder das Hochfahren fehlschlug; was im Gast läuft, wird nicht geprüft. Außerdem wird jeder neue Sicherungsstand eines Gasts binnen Minuten nach seiner Sicherung zurückgelesen (eine Stichprobe seiner Datenblöcke, verglichen mit dem aufgezeichneten SHA-256, bei einem Container ein restic-Check einer Teilmenge), und die optionale monatliche Restore-Prüfung eines Proxmox-VE-Gasts und die wöchentliche Prüfung gibt es weiterhin.
Was Grün, Rot und „Nicht nachgewiesen“ bedeuten
- Bereit (grün): nur nach einer bestandenen Restore-Prüfung der neuesten Sicherung. Für eine Sicherung, die nur beendet ist, wird nie Grün gezeigt.
- Achtung (gelb): Die Sicherung lässt sich wiederherstellen, aber etwas braucht einen Blick: Die neueste Sicherung ist zwei Tage alt oder älter, es gab darin nichts zu prüfen, die Sicherung eines Rechners war nur teilweise vollständig, oder die letzte Speicherprüfung konnte ein Pack, das diese Sicherung nutzt, nicht lesen (ein Verbindungs- oder Berechtigungsfehler, kein nachgewiesener Schaden).
- Nicht wiederherstellbar (rot): Es gibt einen Beleg, dass ein Restore heute nicht vollständig wäre: Ein Element kam verändert zurück oder fehlte, gespeicherte Daten sind ohne unversehrte Kopie beschädigt, ein Pack ließ sich in drei Speicherprüfungen in Folge über mindestens 24 Stunden nicht lesen, oder die neueste Sicherung ist eine Woche alt oder älter, sodass neuere Daten verloren gingen. Benachrichtigungen melden diesen letzten Fall als „Sicherung zu alt“, nicht als fehlgeschlagene Prüfung. Für jedes Postfach, jedes OneDrive, jedes IMAP-Konto, jeden Server und jeden Client gilt dieselbe Regel: Eine Prüfung bewertet nur mit einem Beleg rot, also mit Daten, die fehlen, die von dem abweichen, was die Sicherung festgehalten hat, oder die sich nicht entschlüsseln oder lesen lassen. Bei Servern und Clients heißt das: ein abweichender Fingerabdruck, oder restic meldet, dass die Datei oder die Daten, die sie braucht, fehlen oder beschädigt sind.
- Nicht nachgewiesen: Eine Sicherung existiert, aber noch keine Prüfung genau dieser Sicherung ist vollständig gelaufen. Eine neuere Sicherung nach einer grünen Prüfung beginnt wieder als „Nicht nachgewiesen“. Eine Prüfung, die nicht vollständig laufen konnte (der Speicher antwortete nicht, nicht rechtzeitig oder nur gedrosselt, die Sicherung war beschäftigt, das Prüfprogramm konnte nicht starten), bewertet nichts und löst keine Benachrichtigung aus: In der Liste der Läufe steht „Nicht abgeschlossen, wird wiederholt“, weder rot noch grün, und sie wird wiederholt.
Zwei Fälle werden seit 0.4.7 anders bewertet. Ein aus seiner Quelle entferntes Objekt (etwa ein in Microsoft 365 gelöschtes Postfach) wird nur danach bewertet, ob sich seine neueste aufbewahrte Sicherung wiederherstellen lässt, nicht nach ihrem Alter, weil nichts es mehr sichert und die Aufbewahrung diese Sicherung behält. Und ein Objekt, das Restow nicht mehr sichert (Konto deaktiviert, keine Lizenz, von Microsoft gesperrt oder entfernt), wartet zuerst gelb auf die Bestätigung eines Administrators: kein Fehler, aber die Bereitschaft des Mandanten bleibt mindestens gelb, nie grün, bis es mit „Ja, beabsichtigt“ bestätigt ist.
Die Speicherprüfung
Sicherungen liegen in größeren Dateien, den Packs. Beim Schreiben eines Packs hält Restow seine Größe und seinen Fingerabdruck fest. Die Speicherprüfung liest Packs erneut, auf jedem Repository, das eine Kopie hält, und vergleicht sie: jede Woche eine Zufallsstichprobe und jeden Monat jedes Pack. Eine beschädigte Kopie wird automatisch aus einer unversehrten Kopie an einem anderen Ort repariert. Ein Pack, das überall beschädigt ist, markiert jede Sicherung, die es nutzt, sofort als nicht wiederherstellbar, löst eine Benachrichtigung aus, und spätere Sicherungen schreiben diese Daten erneut aus der Quelle, soweit die Quelle sie noch hat.
Seit 0.4.2 unterscheidet die Prüfung Beschädigung von einem Lesen, das fehlschlug. Ein Pack, das sie im Moment nicht lesen konnte (ein mitten in der Übertragung abgebrochener Download, eine zurückgesetzte Verbindung, ein Timeout, der Speicher mit der Bitte um langsameres Tempo oder verweigerter Zugriff), beweist nichts über die Daten. Die Prüfung liest es erneut, bis zu dreimal, und ein Pack, das unlesbar bleibt, steht in Wiederherstellbarkeit, Speicherintegrität als „vorübergehend nicht lesbar“, mit dem Fehler, in wie vielen Prüfungen in Folge es nicht lesbar war und wann. Sicherungen, die es nutzen, zeigen „Achtung“, nicht „Nicht wiederherstellbar“. Jede weitere Prüfung liest die markierten Packs zuerst, „Diese Packs erneut prüfen“ liest nur sie noch einmal, und lesen sie wieder intakt, endet der Befund. Nur ein Pack, das nachweislich beschädigt ist (fehlt, falsche Größe oder Prüfsumme) oder in drei Prüfungen in Folge über mindestens 24 Stunden nicht gelesen werden konnte, macht die Sicherungen, die es nutzen, nicht wiederherstellbar.
Was Sie sehen
- Wiederherstellbarkeit: eine Tabelle mit jedem Postfach, OneDrive, IMAP-Konto, Server und Client, ihrem Zustand, wann und mit welchem Ergebnis zuletzt geprüft wurde, und einem Bericht je Prüfung, der auflistet, was zurückgelesen wurde.
- Benachrichtigungen: Regeln, die eine E-Mail, einen Eintrag in der Glocke oder einen signierten Webhook senden, wenn eine Prüfung fehlschlägt, Aufmerksamkeit braucht oder sich erholt, und wenn gespeicherte Daten beschädigt sind.
- Übersicht und Berichte: der Anteil nachweislich wiederherstellbarer Sicherungen und der Verlauf der Prüfungen in der Übersicht (Reiter Statistik) und, mit Business und Service Provider, zeitgesteuerte Zusammenfassungen.
- Für IT-Dienstleister: mit Service Provider die Provider-Sicht der Übersicht über alle Mandanten, und die Integrations-API meldet dieselben Zustände an Ihr RMM oder PSA, sodass eine fehlgeschlagene Prüfung ein Ticket öffnen kann.
Ehrliche Grenzen
- Eine Stichprobe ist eine Stichprobe. 20 von 50.000 Mails belegen, dass der Restore-Weg und diese Mails funktionieren, nicht jede einzelne Mail. Die monatliche Speicherprüfung, die jedes gespeicherte Pack liest, schließt einen großen Teil dieser Lücke, und eine vollständige Prüfung, die jedes Element einer Sicherung liest, lässt sich bei Bedarf anfordern.
- Die Prüfung belegt, dass sich Ihre Sicherung unversehrt zurücklesen lässt. Sie stellt nicht in ein laufendes Microsoft-365-Postfach, OneDrive oder IMAP-Konto wieder her. Ein Test-Restore in ein eigenes Ziel ist nicht Teil von 0.2.1; stellen Sie deshalb von Zeit zu Zeit selbst ein Testpostfach wieder her.
- Microsoft-365-Backup und -Restore liefen in den Release-Prüfungen noch nicht gegen einen echten Microsoft-365-Mandanten; sie sind durch Tests gegen eine simulierte Graph-API abgedeckt.
- Bei Servern und Clients umfasst die Stichprobe nur Dateien, die sich während der Sicherung nicht geändert haben. Ob ein Datenbank-Dump konsistent ist, hängt davon ab, wie er vor der Sicherung entsteht.
- Eine Prüfung findet Schäden, sie verhindert kein Löschen. Auf S3 mit Object Lock lehnt der Speicher selbst das Löschen gesperrter Daten ab, wenn ein Administrator unveränderbare Backups je Repository eingeschaltet hat (aus, bis man es tut); ein Verzeichnis oder eine NFS-Freigabe bekommt nur eine Löschverzögerung, die keine Unveränderbarkeit ist. Darüber hinaus schützen Sie den Speicher selbst, zum Beispiel mit Kopien an einem zweiten Ort.
- Die Prüfungen der Dateifreigaben liefen in den Release-Prüfungen gegen Samba, nicht gegen Windows Server, Synology, TrueNAS oder echte NFS-Exporte; die Startprüfungen, die Prüfung nach jedem Backup und der Datei-Restore von Proxmox-VE-Gästen liefen gegen den simulierten Knoten der Testsuiten, nicht auf einem Proxmox-VE-Cluster.
Die technischen Einzelheiten, mit jeder Prüfsumme, jeder Stichprobengröße und jeder Regel so, wie der Code sie anwendet, stehen in der Dokumentation: Wie die Wiederherstellbarkeit geprüft wird, im Detail. Siehe auch die Funktionsseite zur Verifizierung.
Die Methode dahinter, für jedes Tool, steht unter wie man nachweist, dass ein Backup wiederherstellbar ist.
Häufig gefragt
Gilt ein beendeter Sicherungsjob als Beleg?
Nein. Ein beendeter Sicherungsjob sagt nur, dass Daten geschrieben wurden. Als wiederherstellbar gilt eine Sicherung erst, wenn eine Restore-Prüfung sie zurückgelesen und als identisch mit dem befunden hat, was die Sicherung festgehalten hat. Bis dahin steht sie auf „Nicht nachgewiesen“, nie auf Grün.
Schreibt die Restore-Prüfung etwas in mein Postfach oder auf meinen Server?
Nein. Der Server liest die Sicherung aus Ihrem Speicher und vergleicht sie. Bei einem Server oder Client stellt der Agent zusätzlich einmal einige Dateien in einen temporären Ordner auf dem Rechner wieder her, vergleicht sie und löscht die Kopie. Ein laufendes Postfach und die vorhandenen Dateien des Rechners bleiben unberührt.
Was passiert, wenn eine Prüfung nicht laufen kann?
Dann bewertet sie nichts, bei Postfächern wie bei Servern und Clients. Rot braucht einen Beleg: Daten, die fehlen, die von dem abweichen, was die Sicherung festgehalten hat, oder die sich nicht entschlüsseln oder lesen lassen. Eine Prüfung, die aus einem anderen Grund nicht vollständig laufen konnte, etwa weil Ihr Speicher nicht antwortete (ein Netzwerkfehler, eine Zeitüberschreitung, eine Drosselung), das Repository beschäftigt war oder restic nicht starten konnte, ändert keine Bewertung und löst keine Benachrichtigung aus; in der Liste der Läufe steht „Nicht abgeschlossen, wird wiederholt“. Sie wird wiederholt: bei Postfächern wenige Minuten später und sonst bei der nächsten geplanten Prüfung, die Prüfung des Servers für einen Rechner stündlich und der Restore-Test auf dem Rechner nach 1, 2, 4, 8, 16 und 24 Stunden, solange die geprüfte Sicherung die neueste des Rechners ist. Rot oder Grün zeigt eine solche Prüfung nie.
Wie sehe ich als IT-Dienstleister den Stand aller Kunden?
Jeder Mandant hat seine eigene Seite Wiederherstellbarkeit. Mit der Edition Service Provider fasst die Provider-Sicht der Übersicht die Mandanten zusammen, Benachrichtigungsregeln schicken bei einer fehlgeschlagenen Prüfung eine Mail oder einen signierten Webhook in Ihr Ticketsystem, und die Integrations-API meldet dieselben Zustände an Ihr RMM oder PSA.