Fehlerüberprüfung bei Backups

Tusor · 2 Januar 2006

moin, moin,

ich muss mich so langsam mal mit dem Thema befassen, wie ich mit der Datenmenge an Bildern bei uns in der Familie umgehe. Da es bei uns numehr drei Kameras sind, wachsen die entsprechenden Ordner auf der Festplatte ganz schön. Da habe ich mir gedacht, dass wenn ich mich sowieso damit befasse, kann ich auch gleich das Problem der Sicherung mit angehen. Dazu habe ich mal die Suche bemüht und bin zum Thema der Medien und der Sicherungsart auf interessante Diskussionen gestoßen. Daraus ergab sich für mich, dass ich wahrscheinlich das ganze mit zwei Festplatten einmal bei mir und einmal bei meinen Eltern machen werde.
Eine Frage blieb aber leider offen: Wie kann ich effektiv überprüfen, welche Daten noch fehlerfrei sind? Reichen dazu Tools wie Scandisk, oder braucht man da spezielleres? Es wäre ja schade, wenn man dummerweise das Backup mit einer fehlerhaften Datei überschreibt.
Ich hoffe ihr könnt mir auch damit weiterhelfen.
Schonmal vielen Dank dafür.

mfg

Tusor

Dachstein · 2 Januar 2006

Hallo Tusor,

ich stehe momentan so in etwa vor der selben Frage, wie man Datensicherung da am Besten betreibt.

Ich habe für das Problem zwar keine konkrete Lösung, aber eine Idee wie man
so etwas machen könnte. Habe aber noch eine Ahnung, wie zeitaufwendig diese Idee ist.

Es gab früher mal zu guten alten DOS-Zeiten eine Software namens Integrity Master. Mit dieser Software wurde von jeder Datei eine Prüfsumme erzeugt,
anhand der festgestellt werden konnte, ob eine Datei seit der letzten Prüfummenberechnung verändert wurde.

Ich habe noch nicht konkret nachgeforscht, aber so eine Software gibt es bestimmt auch heute noch.

Damit wären dann Bilddateien eindeutig identifizierbar, die eventuell unbeabsichtigt verändert wurden, gelöscht wurden oder durch einen Plattenfehler nicht mehr lesbar sind.

Wie gesagt: Nur so eine Idee, die ich aber in der nächsten Zeit selbst mal prüfen werde. Insbesondere kann ich im Moment nicht abschätzen, wie
lange so eine Prüfsummenberechnung von tausenden Bilddateien mit zig Gigabyte Datenvolumen dauern würde.

Grüße

Stephan

Tusor · 2 Januar 2006

Ich habe die gleiche Frage auch bei uns in der Uni-Newsgroup gestellt und bekam auch dort die Antwort das ganze per Prüfsumme zu machen. Die interessanteste Methode war:
1 CD Daten A
1 CD Daten B
1 CD Daten A XOR B
Damit mit kann man die Daten einer der ersten beiden CD's wieder herstellen, wenn die XOR-CD und die andere noch lesbar sind.
Die Frage nach entsprechende Software bleibt aber leider immer noch offen.

mfg

Tusor

Dachstein · 2 Januar 2006

Hallo Tusor,

ich hatte die Aufgabenstellung ein klein wenig anders verstanden und eigentlich folgende Lösung überlegt:

1. Sicherung der Daten auf zwei Rechnern : dem eigenen und dem der Eltern.
Das könnte man zum Beispiel mittels ausreichend großer externer USB-Laufwerke lösen, die nicht immer "online" sind.
Dabei bleiben nur die aktuell benötigten Bilddateien auf der internen Festplatte. Eben so lange, wie sie bearbeitet werden. Danach
werden sie ins Backup geschoben.

2. Vorteil der USB-Laufwerke : Wenn sie gerade nicht benötigt werden kann man sie einfach abschalten und es besteht nicht die
Gefahr, dass Dateien durch Fehlbedienung oder Programmfehlfunktionen oder Rechnerabstürze verändert werden.

3. Auf diese Festplatten lässt man nun in regelmäßigen Abständen die Prüfsummenüberprüfung und Prüfsummenberechnung los.

4. Stellt man mittels der Prüfsummenüberprüfung nun fest, dass eine Datei
verändert wurde, kann man nun nachsehen, was der Grund dafür ist.
Und diese Datei dann gegebenenfalls von der anderen Backup Platte vom anderen Rechner zurückzuholen.

5. Kommen neue Bilder hinzu, so muss für diese Bilder die Checksumme natürlich neu berechnet werden.

Ich habe gerade mal nachgeforscht und mit Google herausgefunden, dass es diese Software "Integrity Master" immer noch gibt. Es ist eine spezielle Form eines Antivirus, der eben Dateien auf Veränderungen überprüpft.

Grüße

Stephan

Tusor · 3 Januar 2006

Du hast das eigentlich schon richtig verstanden. Das Beispiel oben mit den CD's wurde mir nur so vorgeschlagen. Liese sich ja rein theoretisch auch mit Festplatten machen.
Das mit den externen Platten muss ich mir mal noch überlegen. Dafür spricht zwar das von dir genannte plus noch die evtl. Diebstahlsicherheit (wenn man Rechner und Platte weit von einander entfernt). Ich will aber so wenig wie möglich Platz verbrauchen (ich meine jetzt physischen), deshalb würde ich auf interne zurückgreifen. Das soll hier aber eigentlich nicht Gegenstand der Diskussion sein.
Es soll hier wirklich um Software gehen, die mir sagen kann, ob ich mit meinen Daten noch etwas anfangen kann, oder nicht. Das Integrity Master werde ich mir daraufhin mal anschauen.

zergman · 3 Januar 2006

Hallo

was haltet ihr von dem MD5 Algorithmus? (siehe hier und hier)

Es gibt hier sogar eine GUI fuer Windows.

Das Ganze funktioniert aber nur, um zu sehen, ob die Daten noch ohne Veraenderung vorliegen. Zum Wiederherstellen veraenderter Daten ist diese Methode nicht zu gebrauchen. Sie nimmt dafuer aber auch (fast) keinen zusaetzlichen Plattenplatz in Anspruch.
Der grosse Vorteil (meiner Meinung nach) liegt in der weiten Verbreitung und der systemuebergreifenden Implementierung der Methode.
Die Geschwindigkeit des Ganzen wird wohl hauptsaechlich davon abhaengen, wie schnell man die Bilder von der Festplatte auslesen kann.

Gruss
Karsten

Dracon · 3 Januar 2006

zergman schrieb:
Hallo

was haltet ihr von dem MD5 Algorithmus? (siehe hier und hier)

Es gibt hier sogar eine GUI fuer Windows.

Das Ganze funktioniert aber nur, um zu sehen, ob die Daten noch ohne Veraenderung vorliegen. Zum Wiederherstellen veraenderter Daten ist diese Methode nicht zu gebrauchen. Sie nimmt dafuer aber auch (fast) keinen zusaetzlichen Plattenplatz in Anspruch.
Der grosse Vorteil (meiner Meinung nach) liegt in der weiten Verbreitung und der systemuebergreifenden Implementierung der Methode.
Die Geschwindigkeit des Ganzen wird wohl hauptsaechlich davon abhaengen, wie schnell man die Bilder von der Festplatte auslesen kann.

Gruss
Karsten

...da gibt es einen kleinen Haken: Mit Md5 kannst Du eine Prüfsumme bilden, mit deren Hilfe, wie du ja auch richtig sagst, ich feststellen kann, ob der Inhalt des Mediums / der Datei verändert wurde. Allerdings: erst NACHDEM die Daten auf dem Medium sind. D.h. ich habe dann zwar einen Kontrollmechanismus darüber, ob die Daten verändert wurden, nachdem ich die MD5-Summe berechnet lassen habe, aber ob die Daten schon richitg auf meinem Backup-Medium gelandet sind, weiss ich immer noch nicht...

Ich archiviere derzeit als "Endlager" auf DVD-RAM. Gemäß Spezifikation mind. 30 Jahre haltbar und nahezu beliebig of wiederbeschreibbar. (Falls mann das überhaupt möchte...) Dazu das Fehlermanagement einer HDD (Sektor-Orientierung).

HTH

Christian

zergman · 3 Januar 2006

Dracon schrieb:
...da gibt es einen kleinen Haken: Mit Md5 kannst Du eine Prüfsumme bilden, mit deren Hilfe, wie du ja auch richtig sagst, ich feststellen kann, ob der Inhalt des Mediums / der Datei verändert wurde. Allerdings: erst NACHDEM die Daten auf dem Medium sind. D.h. ich habe dann zwar einen Kontrollmechanismus darüber, ob die Daten verändert wurden, nachdem ich die MD5-Summe berechnet lassen habe, aber ob die Daten schon richitg auf meinem Backup-Medium gelandet sind, weiss ich immer noch nicht...

Das verstehe ich jetzt nicht. Probieren wir es mal mit folgender Vorgehensweise:

Daten zum Archivieren zusammensuchen
davon die MD5-Pruefsumme bilden
Daten auf ein Backup-Medium kopieren
Inhalt des Mediums mit der vorher erstellen Pruefsumme verifizieren
Inhalt des Mediums regelmaessig mit MD5-Pruefsumme verifizieren, um Konsistenz des Backup zu pruefen

Meiner Meinung nach habe ich damit sichergestellt, dass die Daten so archiviert wurden, wie ich es gern haette und ich habe ein Mittel die Konsistenz des Archives zu ueberpruefen (also ob sich das Backup veraendert hat).

Dracon schrieb:
Ich archiviere derzeit als "Endlager" auf DVD-RAM. Gemäß Spezifikation mind. 30 Jahre haltbar und nahezu beliebig of wiederbeschreibbar. (Falls mann das überhaupt möchte...) Dazu das Fehlermanagement einer HDD (Sektor-Orientierung).

Und allein damit hast du noch keine Methode zu ueberpruefen, ob dein Backup (durch welche Umstaende es auch immer veraendert werden kann) noch genauso auf der Scheibe ist, wie du es draufgespielt hast. Denn selbst ein sektor-orientiertes Fehlermanagement kann leicht so "ausgetrickst" werden, dass es veraenderte Daten als fehlerfrei ausliest.

Gruss
Karsten

Dachstein · 3 Januar 2006

zergman schrieb:
davon die MD5-Pruefsumme bilden

Daten auf ein Backup-Medium kopieren

Inhalt des Mediums mit der vorher erstellen Pruefsumme verifizieren

Das muss meiner Ansicht nach geprüft werden, ob das funktioniert. Nicht
dass in der Checksummen-Datei irgendwo der Name der Bilddatei mit
vollständigem Pfad drinsteht. (Eine Datei könnte auch als geändert betrachtet werden wenn sie wo anders hingeschoben wird). Dann würde die Sache schief gehen.

Grüße

Stephan

Frank Eberle · 3 Januar 2006

Hallo,

trifft die Sache vielleicht auch nur am Rand: Bei Archivierung/Backup auf CD bietet sich auch ein regelmäßiger C2-Scan der CD an. Damit lassen sich ggf. Fehler auf der CD erkennen, die wegen der Fehler-Korrektur überhaupt nicht beim Betriebssystem ankommen und somit von MD5-Prüfsummen nicht erfaßt werden. Hat auch den Vorteil, dass bei der Zunahme von C2-Fehlern durch Alterung die CD umkopiert werden kann, bevor tatsächlich Daten verloren sind. Stimmt irgendwann die MD5-Prüfsumme nicht mehr, sind die Daten eh weg.

Frank

Dachstein · 3 Januar 2006

Hört sich prinzipiell auch interessant an. Mit welcher Software führt man
so einen Scan durch ?
Der Haken dabei ist nur, die Menge der zu scannenden CDs / DVDs mit der Zeit ...

Grüße

Stephan

zergman · 3 Januar 2006

snicolay schrieb:
Das muss meiner Ansicht nach geprüft werden, ob das funktioniert. Nicht
dass in der Checksummen-Datei irgendwo der Name der Bilddatei mit
vollständigem Pfad drinsteht. (Eine Datei könnte auch als geändert betrachtet werden wenn sie wo anders hingeschoben wird). Dann würde die Sache schief gehen.

hier zur Info mal eine MD5-Datei

3290ec3c19a8a39362f7d70043f15627 test.txt
d41d8cd98f00b204e9800998ecf8427e test2.txt

Falls vorhanden wird vor den Dateinamen noch der relative Pfad geschrieben.
Diese Datei(en) brenne ich immer mit auf meine Backup-CDs.

Gruss
Karsten

Dachstein · 3 Januar 2006

Sehr gut. Ich glaube damit hat sich die Frage nach der passenden Software geklärt. Werde mir das Teil auch selbst mal ansehen.

Grüße

Stephan

photographix · 3 Januar 2006

Neben den C2 oder Sektorentest benutze ich noch DVD Disaster. Ein Programm was eine Prüfsummendatei erstellt mit der man auch CD's oder DVD's in einem gewissen Rahmen wieder herstellen kann. Leider sind die erzeugten Dateien dann auch recht groß (und die müssen ja auch irgendwo verwaltet werden) sodaß ich mich auf das Prüfen der CD DVD begrenze.

Lg Tobias

Frank Eberle · 3 Januar 2006

Hallo,

snicolay schrieb:
Hört sich prinzipiell auch interessant an. Mit welcher Software führt man
so einen Scan durch ?
Der Haken dabei ist nur, die Menge der zu scannenden CDs / DVDs mit der Zeit ...

Unter Linux (und anderen Unix-Derivaten) gibt es die cdrtools (readcd mit der Option -c2scan). Für Windows gibt es wohl auch einige Programme (Infos gibt es z.B. unter http://www.jokan.de/technik-c2.html).

Interessant ist sicherlich auch die Möglichkeit die CD gleich nach dem Brennen zu scannen und somit die Qualität des Rohlings und des Brennvorgangs zu beurteilen. Ob dies alles auch mit DVDs funktioniert weiß ich nicht und interessiert mich wegen fehlendem DVD-Brenner z.Z. auch nicht

Vielleicht gibt es hier einen Brennexperten?

Frank

Tusor · 4 Januar 2006

Das klingt ja wirklich wunderbar. Das Problem des Wiederherstellns der Daten sollte nicht das Problem sein, da ich die Bilder ja gleichzeitig auf zwei Platten haben will. Da kann man sich dann im Falle einer Veränderung die passende wieder raussuchen.

mfg

Tusor