Erfahrungen: Bildbearbeitung auf Hi End NAS mit 2.5Gbit/s vs 10 GBit/s

[dslr-fanboy]

Ein Update zum Thread: Die Mellanox 10GBit Netzwerkkarten sind heute angekommen und wurden natürlich auch direkt verbaut.
Anbei ein paar Eindrücke für diejenigen, die eventuell ähnliches aufbauen möchten.

1. Einbau
Die Mellanox Karten benötigen je einen PCI-E x4 Anschluss im PC.
Die vorher verbauten 2.5GBit/s karten benötigen jeweils nur einen PCI-E x1 Anschluss.
Der Einbau an sich ist völlig problemlos.

2. Verkabelung
Ich hatte die beiden SFP+ Karten mit einem beigelegten, 1m langen DAC (Direct Attached Copper) bestellt.
Das ist die günstigste und für diesen Anwendungszweck auch empfohlene Methode.
Die Transceiver steckt man in den SFP+ Eingang bis es sauber arretiert und das war's auch schon.

3. TrueNAS SCALE / Treiber
Absolut problemlos. Die Karte wurde vom System gefunden und auch direkt sauber eingebunden.
Anschließend wurde diese als "enp1s0" Gerät in TrueNAS registriert.
Die IP Adresse musste ich natürlich händisch vergeben, nachdem ich mich über die LAN IP mit der Weboberfläche verbunden hatte.



4. Windows 11

Ebenfalls problemlos. Gebootet - und der Gerätemanager hat diese Karte automatisch sauber mit angezeigt.



In den Eigenschaften wird dann die IPv4 vergeben.
Wichtig: Nur die IP + Subnet Maske vergeben; kein DNS und auch kein Gateway eintragen! [DNS und Gateway ins Internet wird über den LAN Anschluss 1GBit/s bereitgestellt)



Ein Ping zur in der TrueNAS verbauten Netzwerkkarte war auch direkt erfolgreich.

Irritierend ist, dass nun folgendes seitens Win 11 in den "erweiterten Netzwerkeinstellungen" dargestellt wird:


Wie man sieht: "Nur" 1410 MBps?
Das schreit nach Geschwindigkeitstest!!!

5.. IPerf3

Die Netzwerkgeschwindigkeit testet man am besten mit "IPerf3". In der TrueNAS Shell wird die Serverseite gestartet...

Windows 11 kennt kein IPerf3; hier muss das Programm zusätzlich installiert werden.
Anschließend ist es über die Windows Command Shell verfügbar.


Hier ist das erwartbare Ergebnis und zeigt, dass man die Windows 11 Darstellung mit 1410 MBPs ignorieren kann.
Übrigens: Die "nur" 8.x GBit/s ergeben sich aus der Tatsache, dass die Karten "nur" PCI-E x4 Karten sind.
PCIE-x4 kann max. 8GBit/s über den Bus bringen. Das war mir vorher bewusst; 8 GBit/s sind für meine Zwecke schon oversized und vollkommen ausreichend.

6. Keine Freigaben mehr?

Nach dem Tausch / Einbau der LAN Karten und Reboot waren die SMB Freigaben der NAS nicht verfügbar. Eine kurze Fehlersuche brachte was triviales hervor: Der SMB Dienst von TrueNAS war nicht gestartet worden. Ein manuelles "SMB DIENST STARTEN" brachte Erfolg.

7. Praxis

Mein TrueNAS Setup besteht aus 2 Festplatten, die in RAID 1 (Mirroring) laufen.
Es sind spezielle 24/7 Platten mit je 12 TByte. [12TB Seagate IronWolf NAS HDD ST12000VN0008 / 256MB 3.5" (8.9cm) / SATA 6Gb/s]
Beim RAID 1 ist die Gesamtgeschwindigkeit beim Datentransfer minimal unter der Transferrate, die eine HDD für sich schaffen würde.
Die HDDs drehen mit je 7200U/min und verbrauchen je zwischen 5-8 Watt im Betrieb.
Seagate gibt pro Platte 5 Jahre Garantie.
Es sind CMR Platten und Helium ist als Füllgas verwendet.

Die Schreib/Leserate beträgt ca. 250MB/sec


Bei meinem Setup werden diese 250MByte/s auch durchgehend bei Nutzung der 2.5GBit/s LAN Anbindung erreicht (logisch!).

2.5Gbit/s in der Praxis

Wenn man im Netz recherchiert stellt man schnell fest, dass die 2.5Gbit/s Lösung von einigen als Suboptimale Lösung angesehen wird, die teilweise instabil funktioniert. Insbesondere mit REALTEK Chipsätzen wird immer wieder von "Ärger" berichtet.

Meine zuerst präferierte TrueNAS CORE Installation /=TrueNAS auf FreeBSD Basis) erkannte die eigens angeschaffte tp-link 2.5 GBit/s Karte (TX201) überhaupt nicht. Deshalb kaufte ich mir nach Recherche eine INTEL Basierende LAN Karte, die dann unter BSD erkannt wurde.

Ich hatte aber ständig "Abrisse" im Transfer beim Zusammenspiel eben dieser INTEL 2.5Gbit/s Karte mit der Onboard Realtek 2.5 meiner MSI Onboard Lösung des BildbearbeitungsPC. Ein nicht hinzunehmender Zustand.

Daraufhin hatte ich dann die nun freigewordene TP Link 2.5 Karte im BildBeaPC verbaut und diese war schon besser als die Onboard Lösung, auch wenn beide einen REALTEK Chip verwenden. Trotzdem waren immer noch Abrisse beim kopieren die Regel.

Als einzige Lösung schien mir ein Test mit TrueNAS SCALE, der auf Debian Linux basierenden TrueNAS Variante.
Diese ist jünger, schneller, moderner - aber eventuell nicht so "rock solid" wie die seit 2005 existierende FreBSD Variante.
Aber was hatte ich zu verlieren?

Der Schwenk auf TrueNAS SCALE brachte die positive Wendung. Das Zusammenspiel zwischen der INTEL 2.5GBit/s (NAS Seite) und er TP-LINK TX201 (BildBeaPC Seite) war problemlos. Beim kopieren wurden gut 250MB/s erreicht. Das wichtigste: Keine Datenfehler mehr!

Zu dem Zeitpunkt hatte ich aber schon die Mellanox 10GBit/s Karten bestellt.

8. ZFS

Beim Transfer von großen Datenpaketen landet man irgendwann immer bei der Transferleistung, die die HDDs lesen/schreiben können.
Eine funktionierende 2.5Gbit/s LAN reizt hier diese Rahmenparameter gut aus.

TrueNAS nutzt das ZFS FileSystem, welches als fortschrittlichstes Datei System angesehen werden kann. Mindestens 8 GByte RAM braucht eine TrueNAS Instanz, mehr ist besser. Man sagt: Pro Terabyte Speicher sollte 1GB RAM verbaut sein.

Meine TrueNAS hat 16GB RAM, so hat der ZFS Speicherpool gut 7-8GByte "ZFS Cache".

Beim Schreiben von Dateien, die in den Cache passen, ist nun über die 10Gbit/s Verbindung ein drastischer Geschwindigkeitszuwachs zu sehen. Obwohl real im System die 250MByte/s weggeschrieben werden, cached die NAS mit "RAM Geschwindigkeit" die Daten und ich habe real eine tolle Schreibleistung.



Hier wurde eine 4.7Gbyte große ISO von NVME auf die NAS geschrieben. Es startet mit gut 1GByte/sec, um dann, wenn der ZFS Cache gefüllt ist - auf eben diese realistischen 262 MByte/s zurückzufallen.

9. Lessons learned

Mein RAID 1 Setup ist nicht optimal. Ich wusste es (leider) beim "Design" nicht besser.

Heute würde ich es anders machen: 3 HDDs statt 2 kaufen und diese im ZFS Modus "Raid-Z1" betreiben.
Dabei werden die Daten zeitgleich auf HDD1 und 2 verteilt, die Streamingleistung verdoppelt.
Das System schreibt/liest dann also reale 500MByte/s weg.

Es hätten dann auch kleinere Platten ausgereicht, z.B. 3x8TByte; die ja immerhin dann auch 16 TByte realen Speicherpool zur Verfügung stellen. (Die dritte HDD dient der Datenintegrität und sorgt dafür, dass eine Festplatte aus dem Dreierpool ausfallen könnte; die Verfügbarkeit trotzdem gesichert sei.)


10. Arbeiten am BildPC

Das eigentliche Ziel war, den Lightroom Speicherpool komplett auf die NAS zu verlagern und trotzdem "normal" und schnell arbeiten zu können.

Das ist ohne wenn und aber gegeben; Mission erfüllt.

Der Lightroom Katalog ist allerdings weiterhin auf einer Systemplatte, einer mit 600MByte/s angebundenen SATA SSD vorhanden.
Dieser umfasst aktuell gut 200.000 Bilddateien.

Die NAS speichert ja neben dem Bilderpool auch sämtliche Daten, die sich die letzten 25 Jahre so angesammelt haben (Homelaufwerk meiner Frau und mir; die Kinder sind schon aus dem Haus). Durch die "Snapshots", die das ZFS System so sauber verwaltet, kann ich jederzeit auf einen vorherigen Datenstand eines Laufwerks zurückgehen und so versehetliche Löschungen wiederherstellen. Auch eine Verschlüsselung per Ransomware ist so kein Problem, da ich jederzeit den Datenbestand "vor Verschlüsselung" weiterhin als Snapshot zur Verfügung habe.



Dieser Screenshot zeigt einen Ausschnitt aus meine HomeDrive: Jede Nacht um 02:00 Uhr wird ein Snapshot der Daten angelegt. Da nur die "deltas" zum vorherigen Stand mitgeschnitten werden, ist die Größe eines Snapshots in der Regel recht klein (solange keine umfangreichen Änderungen im Pool vorgenommen wurden). Wenn sich nichts gegenüber dem Vortag geändert hat, bleibst das Snapshot für den Ordner "leer" und wird nicht erzeugt. [deshalb fehlt bsp. der 05.03.2024)

11. Nachteile

Der NAS PC ist seitens CPU/Gehäuse Lüfter fast unhörbar, allerdings sind die NAS HDDs keine Leisetreter. Man hört diese "schruppeln" bei jedem Datenzugriff.

Es kann gut sein, dass ich - wenn es mich packt - die NAS in den Nebenraum stelle und die Netzwerkverkabelung entsprechend verlängere, dann über eine dünne LWL und 2 Switche die auch SFP+ tauglich sind.

Eine Alternative wären SSDs, die unhörbar und stromsparender sind. Hier kostet aber eine 4TByte SSD ungefähr das, was eine 12TByte HDD kostet. Wenn man allerdings 12 Terabyte über 4 SSDs im Raid ZF1 Verbund betreiben würde, könnte man 3x 600MByte/s Streaminggeschwindigkeit erreichen (=1800MByte/s); sicherlich interessant für Videoschnitt. Rechnet man aber den Preis für das eventuelle auslagern aus akustischen Gründen und die damit verbundene Infrastrukturanpassung / Kauf von Switchen dazu, sind die SSDs eine echte Überlegung wert.

12. Fazit

Für mich hat sich das gelohnt. TrueNAS Scale ist trotz seiner "jungen Existenz" ein ausgereiftes System welches auch eine ideale Basis für einen Heimserver darstellt. Über Docker Container bzw. VMs kann man das System stark ausbauen.

Die Mellanox 8GBit/s sind günstig, schnell und stabil und einer 2.5Gbit/s Lösung vorzuziehen; zumindest, wenn man "eh" zusätzliche 2.5Gbit/s Karten benötigt.

Die TX201 kostete ca. 25,-€, die INTEL 27,-€.
Das Set 2x Mellanox inkl. DAC Kabel lag bei 59,95€

Eine 3 HDD Lösung, und damit 500Mbyte/s Transfergeschwindigkeit, reizt mich und eventuell stelle ich die Konfiguration nochmal dahingehend um.

Eine echte Backup Lösung - also einen 2. TrueNAS SCALE in einem separaten Brandabschnitt, wäre auch noch eine Idee.

Ist es für jeden? Sicherlich nicht; der Komfort einer Synology ist besser und es bedarf dort weniger IT - Wissen, um ans Ziel zu kommen.
Dieselbe Leistung ist aber nicht zu erreichen, zumindest nicht im bezahlbaren Home Segment.

Mir hat das Projekt bisher Spaß gemacht und ich habe wieder einiges gelernt.
Viel Spaß beim nachmachen

 

[dslr-fanboy]

Einkaufsliste:










UND DAS BESTE IST GRATIS!




Was hier noch fehlt ist die "Boot" Festplatte. Dafür hatte ich noch eine "alte" 250GByte HDD im Keller liegen.
SATA Kabel und ein paar Schrauben sind ggf. auch noch erforderlich.

 

[Marco R.]

Unterstützt TruNAS nicht eine M2 als zwischenspeicher, wie früher ich glaube das hieß Intel Rapid Storage oder so, da wird eine SSD vor die HDD geschaltet und von dort im Hintergrund auf die HDD geschrieben.
Das würde sich aber nur lohnen wenn man oft große Datenmengen verschiebt. So ne 250er nvme kostet ja auch nur um 35 Euro

 

[dslr-fanboy]

Unterstützt TruNAS nicht eine M2 als zwischenspeicher, wie früher ich glaube das hieß Intel Rapid Storage oder so, da wird eine SSD vor die HDD geschaltet und von dort im Hintergrund auf die HDD geschrieben.
Das würde sich aber nur lohnen wenn man oft große Datenmengen verschiebt. So ne 250er nvme kostet ja auch nur um 35 Euro

Ja - das geht. Allerdings habe ich nichts davon - die NAS soll ja primär beim lesen und bereitstellen für den BildbeaPC schnell sein. Und wenn dann von den 250MByte/s in den Cache geschrieben werden, macht es ein Cache nicht schneller, wenn das Netzwerk es genauso schnell aufs Zielsystem transferieren könnte.

Dann würde ich lieber den ZFS Cache ausbauen und 32Gbyte RAM anstelle von 16Gbyte nutzen.

 

[schmadde]

Übrigens: Die "nur" 8.x GBit/s ergeben sich aus der Tatsache, dass die Karten "nur" PCI-E x4 Karten sind.
PCIE-x4 kann max. 8GBit/s über den Bus bringen. Das war mir vorher bewusst; 8 GBit/s sind für meine Zwecke schon oversized und vollkommen ausreichend.

Das stimmt nicht. Schon PCIe 3.0 kann 8GT/s *pro Lane* übertragen, das macht bei x4 ca. 4 GByte/s. Reicht grade so für eine 2 Port Karte im Fullduplex Betrieb aus. Bei PCIe 4 und 5 würde vermutlich sogar eine Lane ausreichen für eine 1-Port Karte. 10G braucht halt eine potente CPU oder Offloading auf der Karte, das sind viele Interrupts. Evtl. lässt sich mit Jumbo Frames noch was rausholen, die

Mein RAID 1 Setup ist nicht optimal. Ich wusste es (leider) beim "Design" nicht besser.

Wurde Dir hier mehrfach im Thread gesagt. Die HDD Lösung an sich ist suboptimal, das wird auch mit 3 HDDs nicht besser.

Eine Alternative wären SSDs, die unhörbar und stromsparender sind. Hier kostet aber eine 4TByte SSD ungefähr das, was eine 12TByte HDD kostet. Wenn man allerdings 12 Terabyte über 4 SSDs im Raid ZF1 Verbund betreiben würde, könnte man 3x 600MByte/s Streaminggeschwindigkeit erreichen (=1800MByte/s); sicherlich interessant für Videoschnitt. Rechnet man aber den Preis für das eventuelle auslagern aus akustischen Gründen und die damit verbundene Infrastrukturanpassung / Kauf von Switchen dazu, sind die SSDs eine echte Überlegung wert.

4 TB SSD kosten derzeit 250€ - bis vor kurzem gabs für den Preis noch eine 8 TB SSD. Da reicht dann auch eine, brauchst kein RAID1 dafür. Backups müssen ja eh vorhanden sein und die Ausfallwahrscheinlichkeit ist im Vergleich zur HDD gering.

 

[dslr-fanboy]

Die von mir gemessene IPerf3 Rate scheint das höchste zu sein, was mit diesen Karten geht. Ich bin da "on par" mit anderen Messergebnissen im Netz.
Mein Vorposter hat recht; es liegt nicht an der von mir gebrachten Begründung, dass hier PCI-E x4 Gen 3 der Engpass sei. Darüber können ca. 4 GByte/s max. übertragen werden.

"Wahrscheinlich" wurde die 1 Port Karte intern auf eine Lane beschnitten, so dass 8GT/s (=~1 GByte/s) das Maximum darstellen.

Aber das ist Erbsenzählerei. Selbst mit realen 8GBit/s im P2P Netzwerkbetrieb kann mehr übertragen werden, als die NAS aktuell liefern kann. Außerdem läuft das Netzwerk stabil und kostet vergleichsweise wenig. Der günstige Preis ist dem Alter der Technik geschuldet; diese Karten sind schon seit 2019 "EOL" (End of Life) und diverse Restbestände scheinen aktuell günstig verkauft zu werden; meine Karten waren als Neuware deklariert. Aktuelle 10G Karten sind deutlich teurer und selbst ein ausreichend schnelles 2.5 GBit/s nicht viel billiger (und unter Umständen problembehafteter).

Zum Thema HDD vs SSD im Bereich der Storage gibt es einige unterschiedliche Ansätze.

Unbenommen sind über SATA angebundene SSDs bzw. die über PCI-E angebundenen NVMe Geschwister wesentlich schneller im Zugriff und Schreib/Leserate.
Deshalb werden diese auch INTERN im PC verbaut.

Mein Lightroom Katalog beispielsweise ist auf einer eigenen 1GB große SSD vorhanden.
Dieser Katalog hat nun Zugriff auf die Daten im Backend, die mit ca. 150MByte/s (beim Schaufeln einzelner Bilddateien) bereitgestellt werden.
Möchte ich nun einen Altbestand Bilder sinnvoll bearbeiten, lasse ich eh 1:1 Vorschauen des Ordners bzw. der Sammlung generieren, damit ich schnell und fluffig meine Bearbeitung vornehmen kann.

Diese stoße ich an und die 1:1 Vorschauen werden Bestandteil des LR Katalogs, der ja auf SSD im Zugriff ist.

Damit stellt das HDD Backend keinen spürbaren Flaschenhals dar. Und selbst wenn es so wäre, könnte ich immer noch den zu bearbeitenden Bilderpool auf eine der nun freigewordenen 2TByte SSDs ziehen, um von dort sämtliche Bearbeitungen vorzunehmen, bevor ich den Pool wieder auf die NAS verschiebe

Natürlich wäre eine reine SSD NAS schneller, aber hier darf man nicht die Desktop SSD, die für 20/80 Betrieb gedacht ist mit einer Enterprise HDD, die für 24/7 ausgelegt ist, vergleichen. Kalkuliert man mit einer NAS SSD, sieht das ganz wieder anders aus.



Baut mal auf diese Weise ein 12TB System mit Raid1 Datenverfügbarkeit auf. Das ist ungleich teurer und für meinen Zweck kaum besser.
Selbst ein Raid Z1 bedarf 4 von diesen SSDs, um 12 TByte bereitzustellen. Die Ausfallsicherheit sinkt aber erheblich, nun dürfen max. 25% des Pools ausfallen.

Es sind also 4x 422,69€ vs 2x 255€ einzusetzen, um dieselbe Speichergröße zu realisieren.

Wie gesagt - in der Praxis kann ich gut mit der von mir vorgestellten Lösung arbeiten.

 

[kk7]

Selbst ein Raid Z1 bedarf 4 von diesen SSDs, um 12 TByte bereitzustellen

Es sind 5, die für 12 TB nutzbar benötigt werden. Nur falls jemand meint, es gehe auch mit 4

 

[ClimberM]

@dslr-fanboy der Preis von 422,69€ erscheint recht hoch eher in der 8TB Region angesiedelt. Ob SSDs tatsächlich einer 24/7 Spezifikation bedürfen sei in Frage gestellt. Oder schöpft WD damit eher seine Marktgängigkeit ab?

 

[scorpio]

Nun verliert euch bitte nicht in dieses Computerharware-Kleinklein. Wir sind immer noch ein Fotoforum. Ob 422€ für die SSD viel oder wenig sind, hat keinerlei fotografische Relvanz!

 

[dslr-fanboy]

Es sind 5, die für 12 TB nutzbar benötigt werden. Nur falls jemand meint, es gehe auch mit 4

Falsch. Raid Z1 ist nicht Raid 5.
Bei Raid Z1 wird eine Festplatte für die Integrität gebraucht, die anderen können in der Bruttogröße addiert werden.

3 x 4 TByte = 12 TByte + 1 x 4 TByte zur Ausfallsicherheit

Siehe --> https://www.storage-insider.de/was-ist-raid-z-a-846129/

 

[dslr-fanboy]

@dslr-fanboy der Preis von 422,69€ erscheint recht hoch eher in der 8TB Region angesiedelt. Ob SSDs tatsächlich einer 24/7 Spezifikation bedürfen sei in Frage gestellt. Oder schöpft WD damit eher seine Marktgängigkeit ab?

Man sollte wie gesagt nicht Äpfel mit Birnen vergleichen. Es gibt SSDs für den Desktop und SSDs für Storage.
Ob man jetzt was wie braucht bleibt jedem selbst überlassen.
Die Botschaft soll lauten: Ja - SSDs ist toller und schneller - aber auch viel teurer, wenn man 24/7 taugliche Speichermedien miteinander vergleicht.

Du kannst ja selbst mal nach "NAS SSD" suchen.

Und ich hatte - allerdings vor 10 Jahren - schlechte Erfahrung mit SSD im 24/7 Betrieb gemacht.
Mein Arbeitgeber hatte eine Außenstelle mit Videoüberwachung versehen und der IT-Dienstleister hatte zur Videoaufzeichnung einen neuen PC mit SSD als Aufzeichnungsplatte für 24/7 gestellt.
Nach 8 Wochen war die erste SSD im Eimer. Die zweite kam irgendwann als Ersatz, und war wieder nach 8 Wochen Platt - ziemlich derselbe Zeitraum, bis die Flashzellen verschlissen waren.
Danach wurde eine HDD verbaut, die dann jahrelang durchhielt.

 

[kk7]

@dslr-fanboy Hast recht, kann heute nicht rechnen …

 

[dslr-fanboy]

Das Thema Selbstbau NAS hat mir einiges an Erfahrungen mit Storage Systemen gebracht.
Und führte zu weiteren Erkenntnissen, die ich nicht vorenthalten möchte.

Zum Thema TrueNAS: Es gibt zwei "freie" Versionen.

1.) TrueNAS Core (TNCore): Das "klassische" TrueNAS, welches seit 2005 unter Nutzung des Betriebssystems FreeBSD entwickelt wird.
2.) TrueNAS Scale (TNScale): Der "modernere" Ableger, der seit 2020 entwickelt wird und DEBIAN LINUX als Unterbau nutzt.

Beide TrueNAS Versionen reklamieren, ungefähr gleich bezüglich der Features zu sein.
Herzstück bei beiden ist das ZFS FileSystem.

Ich mach es kurz: Nachdem ich zunächst TrueNAS Core präferiert (und installiert) hatte, kam es in der Praxis zu Abrissen beim Kopiervorgang.
Schuld war (nach meinen Erkenntnissen) die nicht optimale Unterstützung meiner 2.5GBit Netzwerkkarte (INTEL Basierter Chipsatz) seitens FreeBSD.

Nach Neuinstallation von TrueNAS Scale auf derselben Hardware waren die Abrisse weg, das System lief stabil. Ich war happy.
Nach einiger Zeit der Nutzung gab es aber Beobachtungen, die gegen Scale sprechen:

- Teilweise Ungereimtheiten / Probleme mit den SMB Freigaben.
- Nutzung des Arbeitsspeichers als ZFS Cache "seltsam".

Da ich ja die 2.5Gbit/s inzwischen gegen die 10GBit "Mellanox X-Cat311A" SFP+ Karten getauscht hatte, wollte ich TrueNAS Core eine erneute Chance geben.
Also flux TrueNAS Core erneut installiert, den Pool und die Datasets neu aufgebaut und die SMB Shares eingerichtet.

- Die Mellanox 311A läuft einwandfrei out of the box. Die mit IPerf3 gemessene Netzwerkübertragungsleistung ist höher als bei SCALE (das ist aber eher ein akademischer Vorteil ;-))

- Beim Debian basierten TNScale wird max. 50% des RAMS (=ca. 8 GByte) für den ZFS Cache genutzt. Dagegen ist bei TNCore ist eine optimale Ausnutzung der zur Verfügung stehenden Ressourcen erkennbar, von den 16 Gbyte RAM werden in der Praxis gut bis knapp 12 Gbyte genutzt.
- Die Kopierperformance / HDD PErformance ist schneller bei TN Core (ca. 10-20%)
- Die SMB Freigaben funktionieren a) einfacher und b) auch wirklich. Das erwartete Vehalten ist identisch mit dem tatsächlichen Verhalten.

Ich bin also nun wieder "glücklicher" Nutzer von TrueNAS Core. TN Scale ist auf dem richtigen Weg, meines Erachtens aber immer noch zu sehr "BETA" Software.

Bei TNCore verzichtet man auf die moderneren Zusatzfunktionen des Debian Linux, z.B. der Einbindung von Docker Containern.
Ich möchte aber einfach nur eine "ordentliche NAS" haben, die das macht , was es soll.


Mein Fazit: Am Ende ist die Übertragungsleistung bei 2 gespiegelten HDDs irgendwo zwischen 150Gbyte/s - 280 GByte/s.

Eine fertige NAS (z.B: Synology) mit 2 / 2.5Gbit/s LAN Anschluss ist "eigentlich" nicht teurer in der Anschaffung und erspart einiges an "Lehrgeld", wenn es auch meist in Form von eingebrachten Stunden ist.
Am Ende hat es mir Spaß gemacht und ich habe einiges gelernt. Empfehlenswert ist es aber tatsächlich der Griff zur fertigen Lösung; zumindest, wenn man im Bereich der 2.5Gbit/s realen Datenleistung unterwegs ist.

"Meine" NAS ist natürlich flexibler bzgl. zukünftigem Ausbau. Das Teil wird nun die nächsten 5 Jahre im Dauerbetrieb werkeln, danach wird die Hardware ersetzt und eh "neu bewertet".
Stand heute würde ich von TN SCALE abraten; nehmt TN CORE und vermeidet REALTEK Chipsatz Netzwerkkarten>1 GBit/s.

 

[ClimberM]

Oops, ich holpere heftig über "die" NAS... Weshalb wurde das weibliche Geschlecht gewählt? Gendern oder gibt es andere Gründe?

 

[blaubaer_65]

Mein BAC , Dein BAC

Oops, ich holpere heftig über "die" NAS... Weshalb wurde das weibliche Geschlecht gewählt? Gendern oder gibt es ander Gründe?

Gendern ist es nicht denn da versucht man ja, alle Geschlechter abzuholen.

 

[ClimberM]

Mein BAC , Dein BAC



Gendern ist es nicht denn da versucht man ja, alle Geschlechter abzuholen.

Das wären dann NAS:innen ..., die

 

[dslr-fanboy]

Oops, ich holpere heftig über "die" NAS... Weshalb wurde das weibliche Geschlecht gewählt? Gendern oder gibt es andere Gründe?

Ja - der Grund ist, dass am Gipfel des Himalaya die Bratwurstpreise binnen eines Jahres verdoppelt wurden.
Das weckt in mir die weibliche Seite.

Kann ich dir sonst noch wichtige Fragen beantworten?

 

[JensLPZ]

@ dslr-fanboy

Respekt für Deine Mühen und noch größeren Respekt fürs Mittteilen Deiner Erfahrungen hier.


Seitdem ich jedoch beruflich mit der IT zu tun habe, versuchte ich mich aus vielerlei Gründen nie wieder an einem Selbstbauprojekt. Profi-Firmen (wie die, für die ich arbeite) testen bereits bei der Produktentwicklung jedes Detail und jede verwendete Technik und supportede Betriebssysteme und geben bei Servern und Storage (und anderem Enterprise Equipment) auf Wunsch sogar bis zum 24x7x4h oder gar 24x7x2h Support.

Selbst für PCs, die ich vorher Immer selber baute, gilt das, aber natürlich nur an Werktagen. Ist was defekt, kommt selbst da am nächsten Tag ein Techniker nach Hause und tauscht das defekte Teil.

Beim privaten NAS nutze ich natürlich keines dieser gerade beschriebenen Storage-Systeme. Da bin ich seit Jahren mit meinem Synology NAS glücklich. Das Teil funktioniert einfach, es gibt Updates fürs System und alle Apps (wie zb das geniale Cloud Sync).

Wenn ich so an die Zeit und die Nerven denke, die ich früher dafür ließ (klappte was nicht) - da fotografiere ich heute lieber.

Aber das ist nur meine bescheidene Meinung.

.

 

[ClimberM]

Die von mir gemessene IPerf3 Rate scheint das höchste zu sein, was mit diesen Karten geht. Ich bin da "on par" mit anderen Messergebnissen im Netz.
Mein Vorposter hat recht; es liegt nicht an der von mir gebrachten Begründung, dass hier PCI-E x4 Gen 3 der Engpass sei. Darüber können ca. 4 GByte/s max. übertragen werden.

"Wahrscheinlich" wurde die 1 Port Karte intern auf eine Lane beschnitten, so dass 8GT/s (=~1 GByte/s) das Maximum darstellen.

Aber das ist Erbsenzählerei. Selbst mit realen 8GBit/s im P2P Netzwerkbetrieb kann mehr übertragen werden, als die NAS aktuell liefern kann. Außerdem läuft das Netzwerk stabil und kostet vergleichsweise wenig. Der günstige Preis ist dem Alter der Technik geschuldet; diese Karten sind schon seit 2019 "EOL" (End of Life) und diverse Restbestände scheinen aktuell günstig verkauft zu werden; meine Karten waren als Neuware deklariert. Aktuelle 10G Karten sind deutlich teurer und selbst ein ausreichend schnelles 2.5 GBit/s nicht viel billiger (und unter Umständen problembehafteter).

Zum Thema HDD vs SSD im Bereich der Storage gibt es einige unterschiedliche Ansätze.

Unbenommen sind über SATA angebundene SSDs bzw. die über PCI-E angebundenen NVMe Geschwister wesentlich schneller im Zugriff und Schreib/Leserate.
Deshalb werden diese auch INTERN im PC verbaut.

Mein Lightroom Katalog beispielsweise ist auf einer eigenen 1GB große SSD vorhanden.
Dieser Katalog hat nun Zugriff auf die Daten im Backend, die mit ca. 150MByte/s (beim Schaufeln einzelner Bilddateien) bereitgestellt werden.
Möchte ich nun einen Altbestand Bilder sinnvoll bearbeiten, lasse ich eh 1:1 Vorschauen des Ordners bzw. der Sammlung generieren, damit ich schnell und fluffig meine Bearbeitung vornehmen kann.

Diese stoße ich an und die 1:1 Vorschauen werden Bestandteil des LR Katalogs, der ja auf SSD im Zugriff ist.

Damit stellt das HDD Backend keinen spürbaren Flaschenhals dar. Und selbst wenn es so wäre, könnte ich immer noch den zu bearbeitenden Bilderpool auf eine der nun freigewordenen 2TByte SSDs ziehen, um von dort sämtliche Bearbeitungen vorzunehmen, bevor ich den Pool wieder auf die NAS verschiebe

Natürlich wäre eine reine SSD NAS schneller, aber hier darf man nicht die Desktop SSD, die für 20/80 Betrieb gedacht ist mit einer Enterprise HDD, die für 24/7 ausgelegt ist, vergleichen. Kalkuliert man mit einer NAS SSD, sieht das ganz wieder anders aus.

Anhang anzeigen 4592410

Baut mal auf diese Weise ein 12TB System mit Raid1 Datenverfügbarkeit auf. Das ist ungleich teurer und für meinen Zweck kaum besser.
Selbst ein Raid Z1 bedarf 4 von diesen SSDs, um 12 TByte bereitzustellen. Die Ausfallsicherheit sinkt aber erheblich, nun dürfen max. 25% des Pools ausfallen.

Es sind also 4x 422,69€ vs 2x 255€ einzusetzen, um dieselbe Speichergröße zu realisieren.

Wie gesagt - in der Praxis kann ich gut mit der von mir vorgestellten Lösung arbeiten.

Ähm,
ich sehe nicht dass hier eine 24/7 Lösung angestrebt wird nur eine bei der Mainboard und SSDs 24/7 angeschlossen bleiben also ähnlich modernen Notebooks
Zur WD Red SA500 weshalb diese und nicht eine Samsung mit fast doppelter Schreibleistung?
https://geizhals.de/samsung-enterprise-ssd-pm893-3-84tb-mz-7l33t800-a2915839.html?hloc=at&hloc=de mit 7 PBW
oder als Datacenter PM883 sowie PM893 auch SM883 PM882 etc.
Die vorgestellte Anwendung unterscheidet sich doch stark von einer 24/7 Server Auslastung!

Man kann auch nicht 10 Jahre zurückliegende Erfahrungen aus den Anfängen der SSDs hernehmen um auf aktuelle Produkte zu schließen. Ebenso kann man die Fehlerursache nicht so einfach auf defektes Flash schieben. Da können schlechte Hardware Chargen, Konzept- sowie Softwarefehler ebenso entscheidend mitwirken.

 

[dslr-fanboy]

Ähm,
ich sehe nicht dass hier eine 24/7 Lösung angestrebt wird nur eine bei der Mainboard und SSDs 24/7 angeschlossen bleiben also ähnlich modernen Notebooks
Zur WD Red SA500 weshalb diese und nicht eine Samsung mit fast doppelter Schreibleistung?
https://geizhals.de/samsung-enterprise-ssd-pm893-3-84tb-mz-7l33t800-a2915839.html?hloc=at&hloc=de mit 7 PBW
oder als Datacenter PM883 sowie PM893 auch SM883 PM882 etc.
Die vorgestellte Anwendung unterscheidet sich doch stark von einer 24/7 Server Auslastung!

Man kann auch nicht 10 Jahre zurückliegende Erfahrungen aus den Anfängen der SSDs hernehmen um auf aktuelle Produkte zu schließen. Ebenso kann man die Fehlerursache nicht so einfach auf defektes Flash schieben. Da können schlechte Hardware Chargen, Konzept- sowie Softwarefehler ebenso entscheidend mitwirken.

Erstmal muss ich meine Lösung nicht verteidigen und zweitens habe ich nie geschrieben, dass das jetzt "dein Weg" sein soll.
Ich habe aufgezeigt was man machen kann und am Ende funktioniert es bestens für mich.

Wieso soll das Gerät nicht 24/7 laufen? Neben der reinen NAS Funktionalität sind nun auch ein Plex Media Server (Streamt Musik und Video per DLNA Server) und Nextcloud Office installiert. Dazu gesellt sich bald eine 24/7 Kameraufzeichnung. Ich werde im Frühjahr mein Haus dahingehend absichern, nachdem sich letztens jemand an der Haustüre versucht hat.

In Kombination mit einer OPNsense Firewall, die für die Absicherung der LAN und als VPN Gateway dient, werde ich zukünftig auch mit den Mobilgeräten komplett auf meine "HomeCloud" zugreifen bzgl. Kalender / Kontakte / Messenger und Kamerabilder. Die NAS mutiert zum Homeserver.

Übrigens: Festplatten mit höherer Schreibrate und 10.000 U/min sind für Serverräume - die machen Hitze und Krach.
Meine 7200er sind schon laut genug.
Durch Anpassung der HDD Konfig im Gehäuse + Umsetzung des Lüfters sind die HDDs nun ca. 35°C warm (vorher ca. 50°C).

Ich werde noch 16GB RAM dazu stecken und habe dann gut 24Gbyte ZFS Cache.

Klar ist das Ding von der CPU Power oversized. Aber das ganze ist ja auch Teil meines Hobbies.