DAS - Festplatten. Welche... (Cache Größe)

[RobiWan]

Moin,

mit meinem Umstieg auf Mac will ich das erste Mal versuchen mit einem 2 Bay DAS System für Bildablage zu arbeiten. Wegen Platz kommen nur konventionelle Festplatten ins Spiel. Die sollen auch als Raid 0 laufen. (Bitte keine Diskussion über was passiert wenn..., denn das weiß ich sehr gut)
Was mich interessiert und das weiß ich tatsächlich nicht mehr - die Platten haben auch ein Cache. Ist die Größe auch für Schreiben von Bedeutung? Hintergrund ist relativ einfach WD Platten zumindest ab der Größe die mich interessiert 14TB+ haben 512MB Cache, Seagate 256MB.
Auf den Platten liegen nur Bilder und alle Metadaten die dazugehören (*.dop, *.on1, *.xmp)

 

[f5d]

Bei der Kombination (USB ? +RAID0) ist die Wahrscheinlichkeit für Ärger sehr groß. Spricht etwas gegen eine einzelne 24TB Festplatte?

Ich glaube nicht, dass man in der Praxis einen wahrnehmbaren Unterschied zwischen den beiden Cache-Größen feststellen wird. Bei der Auswahl sind m.E. andere Faktoren wichtiger (Kosten, Geräuschverhalten, Stromverbrauch, Zuverlässigkeit, ...)

 

[RobiWan]

Spricht etwas gegen eine einzelne 24TB Festplatte?

Eine SATA Platte kommt halt nicht auf die "möglichen" 10GBit ran. Nur deswegen die Idee mit DAS und Raid0
Wieso sollte es für Ärger sorgen?

Stromverbrauch interessiert mich nicht. Geräuschkulisse ja durchaus.

 

[Marco R.]

10Gbit entspricht 1250 Megabyte pro Sekunde. NAS Festplatten im Raid 0 werden wenn es gut geht 400-450 bringen.
Wenn du 10GBit ausreizen willst, müssen schon SSD´s im Verbund verbaut werden. Da könnte man an die 1000-1100 Megabyts dran kommen.

 

[RobiWan]

NAS Festplatten im Raid 0 werden wenn es gut geht 400-450 bringen.

Richtig und das ist fast doppelt so schnell wie 1 Platte..

müssen schon SSD´s im Verbund verbaut werden.

Wegen Größe und Preis nicht machbar.

Was mich aber primär interessiert ist eben Cache und sein Einfluss auf Schreibgeschwindigkeit.

 

[Marco R.]

Im Raid 0 wird nur der Cache einer Platte angesprochen, die zweite gibt nur das Volumen, ist aber in keinsterweise Spürbar da selbst 512 nur wenig. puffert.
Kein Parameter der Kaufentscheident ist.

 

[f5d]

Eine SATA Platte kommt halt nicht auf die "möglichen" 10GBit ran. Nur deswegen die Idee mit DAS und Raid0
Wieso sollte es für Ärger sorgen?

Sollte der Anschluss per USB erfolgen oder per Ethernet? Ich habe mit USB-Controllerchips mehrmals schlechte Erfahrungen gemacht und würde für Daten empfehlen davon möglichst Abstand zu nehmen bzw. alle geschriebenen Daten zu überprüfen.

Wenn es nicht USB sondern Ethernet sein soll, dann fährst du mit einer NAS + SSD Cache von den bekannten üblichen Verdächtigen wahrscheinlich am besten. Das ist dann wirklich eine solide Basis. Je nach Budget mit 2.5 / 5.0 oder 10 GBit/s.

Bezüglich Cache noch eine Anmerkung:
Das Betriebssystem nutzt üblicherweise freien RAM als Cache. Dadurch ergeben sich sehr schnell Mengen, die so groß sind, dass es überhaupt keine Rolle mehr spielt ob die Festplatte 256 oder 512 MB Cache hat. Die Standardeinstellungen sind üblicherweise konservativ gewählt, weil ein zu großer Cache zB bei einem Stromausfall auch Risiken haben kann (d.h. wenig Write-Cache, Stichwort Stromausfall)
OpenMediavault läuft bei meinem Heimserver in einer VM mit 8GB RAM und nutzt davon ca. 6GB als Cache.

Stromverbrauch interessiert mich nicht. Geräuschkulisse ja durchaus.

Heliumgefüllte Festplatten sind typischerweise leiser.

 

[RobiWan]

Sollte der Anschluss per USB erfolgen oder per Ethernet?

USB, sonst wäre es nicht DAS sondern NAS.

Heliumgefüllte Festplatten sind typischerweise leiser.

Ja weil die auch oft nicht so schnell drehen und damit auch oft/ meistens langsamer sind.

Kein Parameter der Kaufentscheident ist.

OK, danke

Ich könnte hier natürlich zu einer Fertiglösung wie z.B die von WD "My Book Duo" setzen, habe aber so meine Bedenken, dass hier am Ende A* langsame Platten verbaut sind. Sind wohl doch die Red Platten drin wenn man danach sucht.

 

[sunraid]

M. E. wird man die Cachegröße ob nun 256MB oder 512MB in der Praxis nicht wahrnehmen. Spaßbremse werden wohl eher die kleinen Dateien sein.
Hatte nicht @ernst.w in seinen Threat Wechsel von Windows zu Mac auch davon berichtet?

Auf den Platten liegen nur Bilder und alle Metadaten die dazugehören (*.dop, *.on1, *.xmp)

Vielleicht nicht ganz vergleichbar, da bei mir ein NAS mit drehenden Platten als Datengrab angebunden ist, aber kann man sicher analog sehen:

Bilderordner mit .cr3 Dateien aus der R6MII werden mit so ca. 180 bis 200 MB/s übertragen.
Befinden sich in den Ordnern zusätzlich noch die .xmp Dateien, dann bricht die Übertragung teilweise auf unter 50MB/s ein.

 

[RobiWan]

Spaßbremse werden wohl eher die kleinen Dateien sein.

Jein. Ich betrachte hier natürlich das Gesamtkonstrukt.

Es ist anders als bei @ernst.w bei mir "Spaß und Hobby". Die kleine Dateien sind immer "ein Problem" und verschlechtern den Durchsatz. Das ist aber an sich nur relevant wenn ich sehr viele Daten von A nach B bringen muss. Diese Zeit ist oft bei mir total egal, weil es automatisch im Hintergrund abläuft.
Mit meinem NAS komme ich natürlich "nur" auf max 85-95MB/s, weil 1GBit Netz. Veränderung auf 2.5 würde auch schon Unmenge an Geld kosten und ich will u.a wegen vorschreitendem Alter meine IT Infrastruktur in den nächsten Jahren etwas reduzieren, sonst könnte es sein, dass ich später selbst damit nicht klar komme, wenn etwas plötzlich hakt.

Ich komme auf DAS System halt nur wegen den Programmen wie LrC, C1, ON1 - die wollen alle halt die Fotos am liebsten lokal und so schnell lesen wie es nur geht. Ich könnte natürlich hingehen und mein ganzes Bestand auf 2-4 Medien aufteilen und so das was sagen wir im letzten Jahr zusammenkam auf eine schnelle NVME legen und später immer auf eine langsamere HDD verschieben. Sicherlich auch eine Lösung und vielleicht auch bessere als meine. Die macht aber Synchronisation etwas komplizierter und komplexer.

So bald mein Mac da ist - hoffe nächste Woche, werde ich eine WD Book Duo bestellen und schauen wie es läuft. Wenn es doch nichts bringt im Vergleich zu einer Platte, kann ich es zurückschicken oder auf Raid1 umstellen.

 

[Marco R.]

Ich komme auf DAS System halt nur wegen den Programmen wie LrC, C1, ON1 - die wollen alle halt die Fotos am liebsten lokal und so schnell lesen wie es nur geht.

Wer erzählt den so ein Quatsch ?
Du hast doch Sicherlich irgendwo noch Alte SD Karten, Lese die mal aus, wenn die um 80mbs bringen, lege Fotos drauf und Bearbeite mit LRrc direkt auf der Karte.
Du wirst sehen das selbst 80 mbs ausreichend sind. Kritisch wird es unter 50mbs
Ich hab im PC 2 alte HDD laufen auch auf Raid0 die bringen um 100mbs und darauf Arbeite ich fast Täglich, ohne Probleme.
Lokal auf der schnellsten Platte muss ur der Katalog und der Cache von LRc liegen.

 

[ernst.w]

Was mich aber primär interessiert ist eben Cache und sein Einfluss auf Schreibgeschwindigkeit.

Der ist vorhanden, wenn du kleinere Dateien schaufelst, der ist nicht vorhanden, wenn deine meist-geschaufelten Datenmengen über der Cachegröße liegen. Dieser Punkt ist mit 256MB Cache schneller erreicht als mit 512MB.

Und jetzt mal etwas anderes, nachdem ich den Weg zum Mac schon vorgegangen bin:

Du solltest schon mal nachdenken, ob du USB oder TB nutzen willst. Es geht jetzt mal nicht so sehr um die Bandbreite, sondern darum, dass ein Mac TB auch im Ruhezustand mit Strom versorgt, also wie eine interne Platte behandelt. USB wird gerne mal auch unkontrolliert ausgeworfen und danach, beim nächsten Start, nicht mehr automatisch gemounted. (Die Software "Jettison" kann helfen.)

 

[Torsten1974]

Mit meinem NAS komme ich natürlich "nur" auf max 85-95MB/s, weil 1GBit Netz. Veränderung auf 2.5 würde auch schon Unmenge an Geld kosten und ich will u.a wegen vorschreitendem Alter meine IT Infrastruktur in den nächsten Jahren etwas reduzieren, sonst könnte es sein, dass ich später selbst damit nicht klar komme, wenn etwas plötzlich hakt.

Wie groß ist deine interne Platte?

Ich importiere neue Dateien direkt auf das Macbook, der Ordner wird über Synology Drive direkt auf das NAS gespiegelt. Nach 1-2 Monaten schiebe ich immer wieder mal nen ganzen Ordner in den "Archiv-Ordner" auf dem NAS. In Lightroom habe ich damit nur 2 Quellen, entweder die lokale SSD oder den "Archiv-Ordner" vom NAS. Die Ordnerstruktur in Lr ist natürlich einfach nach dem Schema "YYYY / YYYY-MM"

 

[ewm]

Sorry, hab vom iPhone aus editiert und versehentlich alles gelöscht. War aber nicht viel Neues und der TO hat es ja gelesen…

 

[RobiWan]

Wer erzählt den so ein Quatsch ?

Wieso muss es gleich Quatsch sein? Ich habe in allen 3 Programmen ca. 250000 Bilder drin und sehe fast jeden Tag wie sich das so verhält.
Natürlich ist es nicht so, dass ich dann "Stundenlang" warten muss, wenn es aber die Möglichkeit gibt etwas schneller und somit effizienter zu machen, wusste ich jetzt nicht warum ich diese Möglichkeit nicht nutzen soll.

dass ein Mac TB auch im Ruhezustand mit Strom versorgt,

Und genau das will ich nicht. Ich kenne diese gefüllt alle 2 Tage aufkommende Threads in Mac Forum. Sowohl damals also ~2010 wie auch jetzt werde ich dafür sorgen, dass Platten sauber unmounted werden bevor der mac schlafen geht. Wie ich es jetzt machen werde, weiß ich noch nicht, weil der mac selbst noch nicht da ist. Eine Lösung die auch alles automatisch macht werden ich schon für mich finden. Wenn nicht, dann wird der Mac halt kurzes Leben bei mir haben.

Wie groß ist deine interne Platte?

14TB

In Lightroom habe ich damit nur 2

Der Punkt ist aber - mein primäres RAW Editor ist Capture One. Unter Windows undenkbar Bilder auf NAS zu legen, wie es heute bei Mac aussieht weiß ich nicht. So um 2010-2013 war es auch einfach eine Katastrophe.

mit der Zeit erarbeiteten eigenen Routine.

Genau. Ich bin bei vielen Punkten eher unorganisiert, heißt wie z.B aktuell - ich war Anfang Dezember in Spanien. Die Bilder sind noch nicht mal komplett durchsortiert. Meine "Faulheit" und Zeitmangel führen nun mal dazu, dass ich oft erst nach Monaten, manchmal auch nach Jahren wirklich Abschließende Bearbeitungen gemacht habe. Unter anderen aus dem Grund möchte ich die Bilder zumindest noch nicht trennen.


Bevor die Diskussion plötzlich komplett andere Richtung abbiegt, sollten wir es bei dem Stand belassen. Größe von dem HDD Cache hat keinen/ minimalen Einfluss auf das was ich erreichen will. Es wird damit entweder das von mir genannte WD Duo oder halt einzelne Externe Platte sein. Heute habe ich auch im Desktop eine interne Platte und am Laptop eine externe Platte. An beiden Geräten kann ich arbeiten., es geht also um eine Verbesserung mit einem überschaubaren finanziellen Aufwand.

 

[jo59]

… werde ich eine WD Book Duo bestellen und schauen wie es läuft.

Die 16 TB-Version hatte ich versuchsweise mal an meiner Win-Workstation als „Vergleich“ zum mit 10GB angebundenen Synology-NAS. Das Teil ist nach weniger als einem Jahr zu meinem Enkel abgewandert…

Edit: Ich hatte das Teil testweise auch mal an meinem MacStudio und als untauglich befunden.

 

[ernst.w]

Eine Lösung die auch alles automatisch macht werden ich schon für mich finden.

Nochmal: für diese Anforderung „Jettison“. Ich habe das, was du jetzt beginnst, schon hinter mir.

Übrigens: Die Threads, die du meinst, kannst du zu 98% vergessen. Würden die TEs vorher sinnerfassend lesen, würden sie sich diese immer wiederkehrenden Threads ersparen. Wer Thunderbolt, USB, speziell USB4, nicht auseinanderhalten kann und nicht willens ist, wenigstens einmal die Specs zu lesen und zu verstehen, sollte die Finger von externen Devices am Mac lassen.

Nachdem ich weiß, dass du lesen und verstehen kannst, sehe ich die allermeisten dieser Threads für dich als obsolet an.

 

[RobiWan]

zum mit 10GB angebundenen Synology-NAS.

Tja ich habe "nur" 1Gb und dann im NAS laufen 5 Platten. Zum einem wäre 10Gb unbezahlbar für mich, zum anderen wie soll ich es dann mit normalen Platten auslasten können. Die Rechnung hatte schon @Marco R. in #4 gemacht.

Nochmal: für diese Anforderung „Jettison“. Ich habe das, was du jetzt beginnst, schon hinter mir.

Das wird sich halt zeigen. Ich hatte damals so ein winziges Binary welches ich als Dienst laufen hatte. Ob das auch auf ARM laufen wird oder ich es neu übersetzen muss usw. dass wird sich alles zeigen.
Im Unterschied zu Dir - habe ich kein Zeitdruck, dass alles in wenigen Tagen laufen muss. Ich habe dann nach wie vor mein Desktop und mein Laptop

 

[f5d]

Welche Festplatten bei derartigen Lösungen verbaut ist, ist oft ein Glücksspiel - sieht man erst nach dem Zerlegen. Reparatur oder Ersatzteile sind nicht vorgesehen.

Bei WD USB Festplatten ist es teilweise so, dass der USB Controllerchip die Sektorgrößen (512e/4K) korrigiert. Falls das Gehäuse kaputt geht, dann erhält man dadurch nur Datenmüll wenn die Festplatte über SATA angeschlossen wird (d.h. wenn das Gehäuse kaputt geht, dann kann man das gleiche Gehäuse noch einmal nachkaufen und muss hoffen, dass das System vielleicht wieder läuft) Noch viel schlimmer sind Festplatten mit fest verlöteter SATA<->USB Platine.

Generell ist aus meiner Sicht USB unzuverlässig und für wichtige Daten nicht geeignet.

 

[ernst.w]

Ich habe dann nach wie vor mein Desktop und mein Laptop

Auch ich habe noch meinen Desktop. Nur habe ich den - auch zu meiner Überraschung - seit Erstinbetriebnahme des Mac nicht ein einziges Mal mehr aufgedreht. Kein Witz.