Korrupte NEF Dateien nach Jahren auf Festplatte

[anhilde]

Hallo,

ich habe meine NEF Dateien aus z.B. 2008, 2009 auf Festplatten in einem Linux System gespeichert. Aufgesetzt als Software Raid mit 3 Platten bzw. einige auf einem LVM mit 2 Platten. Der Rechner war jahrelang so ca. seit 2015 aus. Die Platten haben sehr wenig Laufzeit und sind nach diversen Check Tools in Ordnung. Damals habe ich die Dateien vermutlich per Kartenleser eingelesen und in Lightroom gesichtet bzw. "entwickelt". Es gibt für jede NEF Datei eine XMP Sidecar Datei. Es handelt sich um etwas über 11000 Dateien. Heute habe ich die Dateien anschauen wollen und festgestellt das scheinbar alle NEF Dateien korrupt sind. Es sind Streifen und Artefakte drin, wenn ich sie mit NX Studio exportiere sind auch die exportierten JPG Dateien unbrauchbar. NX Studio verwende ich auf einem Mac, die Dateien kopiere ich über das WLAN per scp vom Linux Rechner zum Mac Rechner. Ich habe natürlich nicht alle 11000 sichten können, aber bisher keine einzige heile NEF Datei gefunden, gehe also davon aus, dass alle korrupt sind. Mir ist völlig unklar wie das passiert sein kann. Andere Dateien auf dem Datenträger sind in Ordnung. Alle JPG Dateien die im selben Verzeichnisbaum liegen, bzw. teilweise in den selben Ordnern sind in Ordnung. Die NEF und JPG Dateien haben immer "zusammen gelebt" im selben Verzeichnis. Sie sind also, wenn die Dateien umkopiert wurden immer zusammen von a nach b gewandert. Ich wäre sehr dankbar, wenn jemand dazu etwas sagen könnte, oder Ideen hätte was die Ursache sein könnte oder was ich übersehen haben könnte. Ich denke die gängige Antwort, SD Karte oder Kartenleser defekt scheidet definitv aus, denn nach dem Schritt waren die Dateien in Ordnung. Es sind ja aus den NEF auch die vorhandenen JPG erzeugt worden die in Ordnung sind. Na ja, ich bin ziemlich ratlos...

Viele Grüsse,

anhilde

 

[Fabricator]

NEF Dateien aus z.B. 2008, 2009 auf Festplatten in einem Linux System gespeichert.

Welche Platten? Wie lange ist deren angegebene Datenretention bei Raumtemperatur? Welches Dateisystem?

Die Platten haben sehr wenig Laufzeit und sind nach diversen Check Tools in Ordnung.

Das Dateisystem wurde ebenfalls geprüft?

Es sind Streifen und Artefakte drin, wenn ich sie mit NX Studio exportiere sind auch die exportierten JPG Dateien unbrauchbar.

Damit ist so gut wie sicher dass die NEF tatsächlich defekt sind. Kannst Du eine defekte NEF-Datei wo hochladen?

Ich habe natürlich nicht alle 11000 sichten können, aber bisher keine einzige heile NEF Datei gefunden, gehe also davon aus, dass alle korrupt sind. Mir ist völlig unklar wie das passiert sein kann. Andere Dateien auf dem Datenträger sind in Ordnung.

Dass einzig und allein alle NEF Dateien kaputt sind und alle anderen in Ordnung ist in der Tat sehr seltsam, die Wahrscheinlichkeit dafür ist bei einem Datenträgerdefekt verschwindend gering.
Gibt es irgendeine Möglichkeit zur Integritätsprüfung der gespeicherten Daten, z.B. Prüfsummen? Vergleich mit dem Backup möglich?
Ist gesichert dass die NEF Dateien vor 2015 auf diesen Datenträgern in Ordnung waren?


Bevor Du irgendetwas Anderes machst, sichere (dd) den Inhalt der alten Platten damit nicht noch mehr zerstört wird wenn sie versagen oder eine womöglich nötige FS-Reparatur fehlschlägt.

 

[anhilde]

Welche Platten? Wie lange ist deren angegebene Datenretention bei Raumtemperatur? Welches Dateisystem?

Es ist ein ext4 Dateisystem. Die Platten sind 2x Seagate Barracuda ST3250410AS sowie 3x SAMSUNG HD753LJ. Zur Datenretention habe ich bei beiden Platten nichts gefunden. Der Rechner ist ca. alle 2 Jahre mal gestartet worden. Hat immer im temparierten Büro gestanden und ist per Schiff einmal von Europa nach Südamerika gereist. Dabei ist er vermutlich durch ein XRay Gerät gegangen. Er hat aber problemlos von der SSD gebootet danach die verbaut war, ein update durchgeführt und ist problemlos gelaufen.

Das Dateisystem wurde ebenfalls geprüft?

Dateisystem habe ich mit fsck.ext4 -f geprüft. Es sind keine Fehler gemeldet worden.

Damit ist so gut wie sicher dass die NEF tatsächlich defekt sind. Kannst Du eine defekte NEF-Datei wo hochladen?

Datei habe ich angehängt, diese wurde per scp vom Linux Rechner über das WLAN auf den Mac gespielt, mit NX Studio geöffnet. Zum Anhängen hier habe ich sie gezipped da NEFs anscheinen direkt nicht gehen. Ausserdem habe ich noch ein exportiertes JPG angehängt.

Dass einzig und allein alle NEF Dateien kaputt sind und alle anderen in Ordnung ist in der Tat sehr seltsam, die Wahrscheinlichkeit dafür ist bei einem Datenträgerdefekt verschwindend gering.
Gibt es irgendeine Möglichkeit zur Integritätsprüfung der gespeicherten Daten, z.B. Prüfsummen? Vergleich mit dem Backup möglich?
Ist gesichert dass die NEF Dateien vor 2015 auf diesen Datenträgern in Ordnung waren?

Leider habe ich keine Möglichkeit der Integritätsprüfung, habe keine Checksums etc. angelegt. Es sind auf dem selben Dateisystem auch Videodateien (.MOD) Format von einem Camcorder gespeichert. Diese lassen sich problemlos abspielen. Hundert prozentig gesichert ist es nicht, dass die NEFs vor 2015 in Ordnung waren. Da es aber von defekten NEF Dateien nicht defekte exportierte JPGs gibt, müssten sie ja in Ordnung gewesen sein. Woher sollten sonst die brauchbaren JPGs kommen. Ich werde mal ein Beispiel raussuchen.

Bevor Du irgendetwas Anderes machst, sichere (dd) den Inhalt der alten Platten damit nicht noch mehr zerstört wird wenn sie versagen oder eine womöglich nötige FS-Reparatur fehlschlägt.

Werde ich machen. Muss aber erst Plattenplatz organisieren.

 

[anhilde]

Das gezippte NEF ist leider zu gross. Wie wird sowas normalerweise hier eingestellt?

 

[anhilde]

Da ich das NEF nicht anhängen kann hier mal ein NEF screenshot zusammen mit dem dazugehörigen jpg.

 

[anhilde]

Mein ursprünglicher Plan war eigentlich alle 5 Jahre die physischen Platten auszutauschen. Auf jeder klebt ein Sticker mit Datum der Inbetriebnahme... Dann kam das Leben dazwischen. Letztendlich sind es "nur" Erinnerungen. Es gibt viele exportierte JPGs somit ist nicht alles verloren. Mittlerweile wird alles was wir Aufnehmen in der Cloud gesichert, nun zahle ich den monatlichen Obolus noch lieber...

Was ich gerne wüsste, wenn ich alles als JPG exportiert gespeichert hätte, hätte ich dann nichts verloren? Ist das NEF Format empfindlicher als Andere Formate? Meinem Verständnis von digitalen Formaten geht das, was ich hier erlebe allerdings zu wider und ich habe 20 Jahre in der IT gearbeitet und mal E Technik studiert. Ich glaube fast eher, dass hier irgendwo ein Software Fehler die NEFs zerschossen hat, auch wenn ich nicht darauf komme was da gelaufen sein könnte.

 

[RobiWan]

Also mir wäre es jetzt neu, wenn im ausgeschalteten Zustand etwas plötzlich kaputtgehen kann, wenn weder das OS/ FS noch Überprüfung der Hardware einen Fehler findet.

Was ich aus Deiner Beschreibung entnehme - und die eine oder andere Frage stelle
- wie sind die Daten damals auf das Linux System draufgekommen?
- hast Du danach geprüft, dass der Vorgang auch erfolgreich war? (also dass die Daten in Ordnung waren?)
- sind die Daten warum auch immer "zu groß" oder werden jetzt verändert durch irgendeine Software?
- hast mal geguckt und eine MD5 Summe direkt auf der Linux Kiste zu erstellen und dann für die gleiche Datei die auf dem Mac liegt mit der Shell?

 

[Firlefanz]

kann es sein dass die NEF heute einfach anders 'interpretiert' werden ?
Was zeigt z.B. der FastStone Image Viewer oder vergleichbare Software an ?
Hättest Du die Möglichkeit, eine 'Entwicklungssoftware' (NX etc.) aus 2008 zu installieren und es damit zu probieren ?

 

[Gelöschtes Mitglied 540500]

Was zeigt z.B. der FastStone Image Viewer oder vergleichbare Software an ?

Ich fürchte diese Viewer zeigen ja nur das eingepackten Mini-Jpeg an ....

 

[Mauleselchen]

Versich mal die NEFs mit dem DNG-Konverter von Adobe umzuwandeln. Der versteht fast alle NEF-Versionen die es gab.

 

[Firlefanz]

Ich fürchte diese Viewer zeigen ja nur das eingepackten Mini-Jpeg an ....

ja gut, damit könnte man dann aber immer noch ein gutes JPEG rausholen, war mir nicht klar ob schon alle NEF auch als JPG gespeichert sind

 

[Fabricator]

Da es aber von defekten NEF Dateien nicht defekte exportierte JPGs gibt, müssten sie ja in Ordnung gewesen sein. Woher sollten sonst die brauchbaren JPGs kommen.

Sind diese JPEGs aus den NEF erstellt worden als sie bereits auf exakt diesen Datenträgern lagen?
Dass ext4 selbst mit LVM darunter derart spezifisch nur NEF beschädigt oder durch Bitrot verliert und daneben alle anderen Dateien, inklusive größerer Videos, in Ordnung sind ist nahe an unmöglich.

Das gezippte NEF ist leider zu gross. Wie wird sowas normalerweise hier eingestellt?

Link zu einem externen Hoster. Das Forum erlaubt nur kleine JPEGs .

Leider habe ich keine Möglichkeit der Integritätsprüfung, habe keine Checksums etc. angelegt.

Da bleibt nur noch jene Version von NX zu versuchen mit der diese NEF in Vergangenheit bearbeitet wurden um die Software gänzlich auszuschliessen. Höchstwahrscheinlich wird es nichts ändern denn NX ist hat mit älteren Kameras kein Problem, die aktuelle Version liest sogar noch D100 NEF.
Noch besser wäre es mit RAW Digger in die NEF zu sehen, gibt auch eine Demo Version um das selbst zu tun wenn Du keine Datei hochladen kannst.

Ist das NEF Format empfindlicher als Andere Formate?

Im Grunde sind es nur TIFF Dateien. Die Auswirkung von Datenkorruption hängt von der ausgewählten Kompression ab. Wenn bei den Huffman komprimierten RAW Dateien nur ein Bit kippt wird die ganze Datei dahinter hinüber sein. Bei unkomprimierten ist der Schaden nur auf die direkt betroffenen Pixel begrenzt. Bei einem gekippten Bit also einen Pixel, der Rest ist in Ordnung.

Das angehängte Beispielbild sieht jedenfalls typisch für eine beschädigte komprimierte NEF aus, hatte ich zur Genüge bei einem HDD Ausfall.

 

[Rawdy59]

Faststone ImageViewer greift direkt auf das RAW zu, wenn man beim angezeigten Foto die Taste »A« drückt (die Option »Farben zählen« zeigt dann auch einen deutlichen Unterschied).
Sind die Dateigrößen der defekten Bilder realistisch? Via Betriebssystem und RAW-Entwickler bzw. Bildbetrachter?
Schon mal den Nikon-Kundendienst kontaktet?

viel Erfolg!

Eddy

 

[ernst.w]

Der Rechner war jahrelang so ca. seit 2015 aus. ... Mir ist völlig unklar wie das passiert sein kann.

Ich habe erst gestern/vorgestern in einem anderen Thread geschrieben, dass (auch) Festplatten Daten durch Magnetic Drop Out verlieren können und daher sinnvollerweise nach etwa zwei Jahren umkopiert werden sollten. Im Betrieb wirkt sich das meist nicht ganz so dramatisch aus, weil die Daten beispielsweise durch Optimierungen immer wieder umgeschlichtet, also an andere Stellen der Platte geschrieben werden.

Bei dir ist aber viele Jahre lang gar nichts geschehen. Wenn also jetzt auch andere Dateien betroffen sind, so tippe ich auf einen magnetischen Schaden. Ansonsten, also wenn tatsächlich ausschließlich NEFs betroffen sind, hast du hier bereits einige Tipps bekommen.

 

[anhilde]

Danke, ja Tips sind gut. Ich habe mittlerweile einiges durchforstet. Bin dabei mir scripte zu schreiben um Ordnung in das Chaos zu bekommen. Es gibt tatsächlich Ordnerweise auch NEFs die OK sind. Grosse Video Dateien sind auch alle ok vom selben Datenträger, bzw. Datenträgern. Glaube nichr dass Magnetic Drop Out eine Rolle spielt in diesem Fall. Mir scheint das beim kopieren der Daten was schief gegangen ist. Vermutlich sind sie damals vom Laptop (Mac) irgendwann per SMB über das Netz auf den Linux Rechner gekommen. Dabei muss irgendwas schief gegangen sein, aber nur mit einem Teil der Dateien. Die Platten funktionieren ausserdem seit Tagen problemlos. Stand heute kann ich noch nicht sagen wieviele der NEFs defekt sind. Arbeite daran das automatisiert raus zu finden, dauert aber, da ich aus der Übung bin und nicht viel Zeit dafür habe.

Die Dateigrössen sind realistisch. Es gibt auch viele NEFs die kaputt sind wo ein kleines Vorschau JPG drin ist. Diese JPGs sind scheinbar auch ok. Sprich irgendwann war das NEF mal in Ordnung.

Danke vielmals für die Tips und Hinweise.

 

[cp995]

Sprich irgendwann war das NEF mal in Ordnung.

Ich kann mir nicht vorstellen, daß die NEFs "kaputt" sind und tippe auch eher auf eine Inkompatibilität mit den heutigen Programmen.
Daher auch meine Empfehlung, mal eine Problemdatei mit dem DNG Konverter zu konvertieren.

 

[Henry06]

Letztens hatte ein Forenmitglied viele "defekte" *.jpg-Dateien, an deren außergewöhnlichen Dateiheader konnte man erkennen, das irgendein Übertragungsprogramm die Dateien 'umgespeichert'/verschlüsselt hatte.

Du kannst ja mal in einem Editor die Dateiheader / ersten paar Zeilen von einer defekten und einer heilen NEF vergleichen (die müssten ja aussehen wie bei TIFFs)?!

 

[renderscout]

Mal ne ganz dumme Frage. Warum exportierst du nicht einmal testweise eine dir bekannte Problemdatei direkt aus Lightroom und schaust ob es von dort geht? Gerade mit dem NX Studio liest man immer mal wieder von Problemen.

 

[Henry06]

… Es gibt tatsächlich Ordnerweise auch NEFs die OK sind. … Dabei muss irgendwas schief gegangen sein, aber nur mit einem Teil der Dateien.…

Eventuell lassen sich alle Defekten auf einen bestimmten Zeitraum (= Erstellungsdatum) beschränken!