Hi da! Kurze Frage zu einem RAID-Verbund. Bisher nutzte ich die letzten Jahre immer ein Synology NAS, früher immer selbst gebaute FreeNAS usw. Nun habe ich mir neue Hardware für einen Server-PC zusammen gesucht und sah, dass alle Mainbords kein RAID6 unterstützen. Heißt das aber auch, dass ein FreeNAS auf dem Mainboard dies nicht trotzdem als Software-RAID anbieten wird? Evtl. kann mir das ja jemand beantworten... Danke Euch Björn
Software RAID die dir Mainboards anbieten willst du eh nicht, die Lösung seitens OS hat damit eigentlich nichts zu tun und ist in eigentlich allen Fällen zu bevorzugen. Selbst teure RAID Controller sind inzwischen schon grenzwertig. Wenn du einen Server baust, dann kauf ein Board mit mindestens 8 SATA Anschlüssen, eher mehr, wer hier spart, der bezahlt diesen Fehler später, denn PCIe SATA Karten sind eine Seuche da sie nie sauber funktionieren und nur eine zusätzliche Fehlerquelle darstellen.
Ich lese da was von ZFS Raid-Z2 und FreeNAS. D.h. da ist die Raid-6 Unterstützung ins FS-Layer gewandert, da kann man IMHO kein Hardware RAID direkt einsetzen. Hardware Raid braucht man unter Linux und *BSD eigentlich nur in den Ausnahmefällen wo man die CPU zu 100% für was anderes benutzen will - oder wo eine zu schlappe CPU verbaut wurde. Außerdem hat Software RAID noch den Vorteil dass man 'ne beliebige PCIe Karte für zusätzliche SATA-Ports einstecken kann, falls mal ein Port aufgibt oder man doch noch mehr Disks braucht.
Hanz schrieb: > Selbst teure RAID Controller sind inzwischen schon grenzwertig. Hanz schrieb: > denn PCIe SATA Karten sind eine Seuche da sie nie sauber funktionieren Aus was anstelle von Erfahrung speist Du diese Vorurteile?
Wer viele Disks anschliessen will, der sollte sich sich evtl. Server-Gehäuse mit Disk-Backplane und darauf integriertem Port-Multiplier ansehen.
Björn G. schrieb: > Nun habe ich mir neue Hardware für einen Server-PC zusammen gesucht und > sah, dass alle Mainbords kein RAID6 unterstützen. Das könnte daran liegen, dass man im professionellen Bereich solche Systeme gerne mit der Option für SAS Disks versieht. Dann ist auf dem Board bereits ein SAS RAID-Controller drauf, der auch SATA kann. Der bringt z.B. von Haus aus RAID 1 mit und man kann per Geldbeutel RAID 5/6&Co freischalten und auch gepuffertem Cache nachrüsten. RAID 5 und 6 funktionieren mit einigem Pufferspeicher deutlich besser. Ohne Absicherung gegen Stromausfall muss aber direkt durchgeschrieben werden, was bei HDDs erheblich auf die Performance geht. PC-Mainboards mit RAID-Funktion implementieren diese im Treiber, nicht in Hardware. Ist also Software-RAID. In NAS-Distributionen auf Linux- oder BSD-Basis braucht man das aber nicht, die machen das selber auf Basis ganz normaler SATA-Ports. Sie benötigen also keine RAID-Funktion vom Board.
:
Bearbeitet durch User
Rufus Τ. F. schrieb: > Hanz schrieb: >> Selbst teure RAID Controller sind inzwischen schon grenzwertig. > > Hanz schrieb: >> denn PCIe SATA Karten sind eine Seuche da sie nie sauber funktionieren > > Aus was anstelle von Erfahrung speist Du diese Vorurteile? Selber schon schlechte Erfahrungen mit LSI und ASM1061 gemacht. Aber kauf nur weiter 500€ RAID Controller und nutze sie als Passthrough für einen anständigen DMRAID.
Hanz schrieb: > Selber schon schlechte Erfahrungen mit LSI und ASM1061 gemacht. Wenn du für einen ASM1061 500€ gezahlt hast, dann hat man dich wohl übers Ohr gehauen. ;-) Mit den PCIe Karten waren wohl keine 500€ RAID-Controller gemeint, sondern reine SATA Controller-Karten für ein wenige €, mit oder ohne Fake-RAID. Wenn man mehr Disks anschliessen will als das Mobo hergibt, oder SATA 6Gb haben wollte, wo das Mobo nur 1,5/3Gb anbot. Die hatten zumindest vor einigen Jahren wirklich nicht den besten Ruf. Mit den 500€ teuren SAS RAID-Controllern (die oft auch SATA können) habe ich bessere Erfahrungen. Die sind auch eine völlig andere Klasse. Wenn man in einen App- oder Virtualisierungs-Server (also kein NAS) Disks reinsteckt, ist das schon ein gangbarer Weg. Hier kann ein Schreibpuffer entscheidend sein. Man kann damit zwar auch NAS/SAN so bauen. Beispielsweise auf Basis des Windows Storage Servers. Viele darauf spezialisierten Fertiggeräte machen das jedoch nicht, sondern arbeiten mit Software-RAID, oder mit COW-Filesystemen mit integrierter Redundanz wie ZFS.
:
Bearbeitet durch User
A. K. schrieb: > Hanz schrieb: >> Selber schon schlechte Erfahrungen mit LSI und ASM1061 gemacht. > > Wenn du für einen ASM1061 500€ gezahlt hast, dann hat man dich wohl > übers Ohr gehauen. ;-) > > Mit den PCIe Karten waren wohl keine 500€ RAID-Controller gemeint, > sondern reine SATA Controller-Karten für ein wenige €, mit oder ohne > Fake-RAID. Wenn man mehr Disks anschliessen will als das Mobo hergibt, > oder SATA 6Gb haben wollte, wo das Mobo nur 1,5/3Gb anbot. Die hatten > zumindest vor einigen Jahren wirklich nicht den besten Ruf. > > Mit den 500€ teuren SAS RAID-Controllern (die oft auch SATA können) habe > ich bessere Erfahrungen. Die sind auch eine völlig andere Klasse. Wenn > man in einen App- oder Virtualisierungs-Server (also kein NAS) Disks > reinsteckt, ist das schon ein gangbarer Weg. Hier kann ein Schreibpuffer > entscheidend sein. > > Man kann damit zwar auch NAS/SAN so bauen. Beispielsweise auf Basis des > Windows Storage Servers. Viele darauf spezialisierten Fertiggeräte > machen das jedoch nicht, sondern arbeiten mit Software-RAID, oder mit > COW-Filesystemen mit integrierter Redundanz wie ZFS. Pfeif auf den 1GB Cache. Arbeitsspeicher kostet nichts mehr. Da pack ich eher 128GB RAM rein, eher mehr, 1TB ist bei heutigen Mainboards kein Problem mehr. Selbst wenn mir eine geringere Geschwindigkeit reicht benutze ich eine SSD als Cache, kann man unter Linux schön einbinden. Oder eine PCIe SSD. In der heutigen Zeit lohnen sich diese RAID Controller kaum noch, einzig bei z.B. ESXI ist so ein RAID Controller sinnvoll, denn Software RAID ist bei ESXI Pain in the Ass. Cache war zu pre SSD Zeiten noch interessant, aber inzwischen bekommt man Rechner mit 0,5TB RAM schon für unter 3000€ hinterhergeschmissen, hat man speicherintensive Anwendungen die auf Performance angewiesen sind lohnt sich das dann eher. Oder man geht gleich auf SSD fürs Caching, 100€ waren da mal für 500GB grob aktuell vor ein paar Monaten.
Hanz schrieb: > Pfeif auf den 1GB Cache. Ich schrieb von Schreibpuffer, nicht von Cache, und erwähnte nicht ohne Grund HDDs. Dafür ist Arbeitsspeicher herzlich ungeeignet. Weil weg wenn Strom weg. Ohne Schreibpuffer müssen mindestens Metadaten-Operationen geordnet auf Disk durchschreiben und bei HDDs merkt man das. Mit per SRAM+Akku (früher) oder Flash+DoppelschichtCap (heute) abgesichertem Schreibpuffer sieht das sehr viel besser aus.
:
Bearbeitet durch User
A. K. schrieb: > Hanz schrieb: >> Pfeif auf den 1GB Cache. > > Ich schrieb von Schreibpuffer, nicht von Cache, und erwähnte nicht ohne > Grund HDDs. Dafür ist Arbeitsspeicher herzlich ungeeignet. Weil weg wenn > Strom weg. > > Ohne Schreibpuffer müssen mindestens Metadaten-Operationen geordnet auf > Disk durchschreiben und bei HDDs merkt man das. Mit per Akku+RAM > (früher) oder Flash+Doppelschicht-Cap (heute) abgesichertem > Schreibpuffer sieht das sehr viel besser aus. Akku hat die USV (bzw. die beiden USV, man benutzt schließlich auch redundante Netzteile). Muss man halt den Dienst dafür passend einrichten. Das was in diesem Cache landet kommt in der Regel aus dem RAM, wieso also nicht einfach den RAM vergrößern? Und SSD kann man zusätzlich auch noch einbinden, aber selbst die sind für die meisten Anwendungen zu langsam, selbst der Arbeitsspeicher ist zu langsam in vielen Fällen. Die 1GB Cache auf dem Controller nützen da rein gar nichts... Der Pufferakku hält nicht all zu lang.
Hanz schrieb: > Akku hat die USV (bzw. die beiden USV, man benutzt schließlich auch > redundante Netzteile). Muss man halt den Dienst dafür passend > einrichten. Auch USVs verrecken, und nicht nur die kleinen. Wir haben schon mal eine aus der 100kVA Klasse reparieren dürfen, bei der ein Grossteil der Elektronik abgeraucht und das komplette RZ stromlos war (*). Mit etwas Pech verreckt in dieser Dimension nicht nur die USV, sondern auch die Gebäudesicherung, weshalb ein zweites Bein an der USV vorbei auch nicht wirklich hilft. Wem die Daten etwas wert sind, der verlässt sich nicht auf Strom. Sondern baut die Technik so, dass sie recht wahrscheinlich bei Server-Crash oder Stromausfall sauber wieder hoch kommt. Backups sind nötig, aber wenn bereits eine Verzögerung von einigen Stunden zum ernsten Problem wird, dann sind sie für solche Szenarien nutzlos. > Das was in diesem Cache landet kommt in der Regel aus dem RAM, wieso > also nicht einfach den RAM vergrößern? Andersrum. Ein Schreibpuffer puffert Daten, bis sie vom RAM auf dem Speichermedium angekommen sind. Mehr Arbeitsspeicher hilft da nicht, wenn der Inhalt genauso weg ist. > Der Pufferakku hält nicht all zu lang. Ein paar Tage schon, was für solche Szenarien reicht. Aber SRAM+Akku ist sowieso veraltet, heute nimmt man gerne Flash+DoppelschichtCaps. Die Caps puffern den Controller so lange, bis der die Daten aus dem Schreibpuffer in seinem RAM ins Flash gewuchtet hat. Das hält dann länger vor. *: Eines der IGBT-Module: https://www.mikrocontroller.net/attachment/350130/20171211_122209.jpg
:
Bearbeitet durch User
Hui, viele Antworten :) Erst einmal: Danke Euch für den schnellen Rat! Ich werde auch definitiv von einem Hardware-Raid Abstand nehmen. Wirklich Performance ohne CPU Belastung brauche ich eigentlich eher weniger. Mir ist es an der Stelle lieber, die Platten bei MB Ausfall einfach an ein Linux anschließen zu können und ich habe meine Daten. Das Problem hatte ich gerade nämlich bei einem gecrypteten NAS. Hier waren vier Festplatten mit RAID6 integriert und dann ist spontan ohne Belastung die Kiste abgeraucht. Gott sei Dank in der Garantiezeit. Leider hat Synology nun 1,5MONATE für den Austausch gebraucht. Da ich dies nicht toleriere, wenn es nicht mein eigens verschuldeter Fehler ist, kommt nun nochmal einzel Hardware ins Haus. Mainboard hat acht SATAs on Board, mehr konnte ich mit meinen Eckpunkten leider nicht finden... Gehäuse hat jedenfalls Platz für 16, die werde ich aber sicher niemals brauchen ;) Schwanke derzeit noch zwischen einem Pentium G4560 und einem Xeon mit mehr Power. Wobei ich sagen muss, dass ich derzeit keine Virtualisierung auf dem NAS am Laufen habe und der jährliche Stromverbrauch auch im Auge zu behalten ist ;) Grüße und allen nen schönen Rest-Samstag, Björn
:
Bearbeitet durch User
Björn G. schrieb: > Schwanke derzeit noch zwischen einem Pentium G4560 und einem Xeon mit > mehr Power. Selbst RAID 6 ist nicht dermassen anspruchsvoll, dass man dafür in die Vollen gehen müsste. Wer bei 4 Disks RAID 6 verwendet, statt im Extremfall auf Backup zu setzen, den habe ich allerdings im Verdacht, dass er bei der ebenfalls seltenen Aussicht auf unentdeckte RAM-Fehler auch einen Kasper kriegt. Was für ECC RAM spräche.
Björn G. schrieb: > Schwanke derzeit noch zwischen einem Pentium G4560 und einem Xeon mit > mehr Power. Wobei ich sagen muss, dass ich derzeit keine Virtualisierung > auf dem NAS am Laufen habe und der jährliche Stromverbrauch auch im Auge > zu behalten ist ;) Wenn du 8 Festplatten hast, macht das auch keinen Unterschied mehr (im Leerlauf). 5-10W pro Festplatte (3,5", 7k Umdrehungen) 5-10W für den Pentium 20-30W für den Xeon (geschätzt, ~40W braucht mein 5 Jahre alter Xeon)
A. K. schrieb: > Wer bei 4 Disks RAID 6 verwendet, statt im Extremfall auf Backup zu > setzen, den habe ich allerdings im Verdacht, dass er bei der ebenfalls > seltenen Aussicht auf unentdeckte RAM-Fehler auch einen Kasper kriegt. > Was für ECC RAM spräche. ECC-RAM kommt ohnehin hinein. Es gibt zu dem RAID auch noch Backups. Mir ist bei den Daten ein RAID6 einfach lieber. Bei einem Ausfall und neue Platte bespielen kann es eben immer zu noch nem Ausfall wegen höherer Last kommen... jz23 schrieb: > Wenn du 8 Festplatten hast, macht das auch keinen Unterschied mehr (im > Leerlauf). > > 5-10W pro Festplatte (3,5", 7k Umdrehungen) > 5-10W für den Pentium > 20-30W für den Xeon (geschätzt, ~40W braucht mein 5 Jahre alter Xeon) Muß mal einen aktuellen XEON raus suchen, der nicht gleich 16Cores hat und vergleichen ;)
Bei allen Erfahrungen mit Raid Controllern von allen Herstellern, kommen mit nur noch ARECA SAS oder SATA Ins Haus. Habe welche laufen mit 24Ports + HP Port Expander insgesamt 50 1TB HDD. Wird jetzt leider zur Schnecke degradiert, seit PCIexpress SSDs alles andere zu ältesten degradiert. Die Samsung 960 ist der Renner. Und wenn dann noch ein paar 10tB Platten ins Raid 60 mit Hotspares sollen kommt ein gebrauchter Area immer noch besser als alles andere. Areca hat als einziger Hersteller immer Abwärtskompatibilität alles Raids geliefert. Selbst Softwareraid auf dem Mainboard kann das nicht. Mfg Michael
Björn G. schrieb: > Mir ist bei den Daten ein RAID6 einfach lieber. Bei einem Ausfall und > neue Platte bespielen kann es eben immer zu noch nem Ausfall wegen > höherer Last kommen... Ich mach das ja schon ein ganzes Weilchen beruflich. Und hatte in der ganzen Zeit erst einen einzigen Mehrfachausfall, also mehrere in einem Server in kurzer Zeit. Obwohl es sich (zwangsläufig) immer um die gleichen Typen handelt, gleichzeitig beschafft. Dieser eine, schon etwas länger her, war in den ersten Tagen nach Inbetriebnahme. Da kam IBM etwas ins schwitzen, weil die Disks aus dieser Serie nicht nur bei uns in den ersten Tagen ausfielen. Produktion war gerade frisch in den billigen Osten umgezogen, wenn ich mich recht erinnere. Im unteren Bereich der Badewannenkurve gab es nie Ausfälle in einer Dichte, bei der man hätte Sorgen haben müssen. Es gab mal eine Server-Serie, da war nach an rund 10 Jahren Betrieb der hintere Bereich der Kurve erreicht, d.h. die Ausfälle der 3,5er SAS Disks häuften sich. Es sind auch ein paar SATA RAID 6 Systeme mit je rund einem Dutzend Disks dabei, normale handelsübliche Hitachi 7K. Zwei dieser (Sekundär-) Systeme sind über 5 Jahre alt, da gab es meiner Erinnerung nach bisher nur einen einzigen Disk-Ausfall. > Muß mal einen aktuellen XEON raus suchen, der nicht gleich 16Cores hat > und vergleichen ;) Müsste auf die E3-12xx rauslaufen.
jz23 schrieb: > Funktioniert das überhaupt mit nem Pentium? Erstaunlicherweise ja. Das war nämlich auch meine Überlegung gewesen. Aber der oben angegebene Typ kann laut Intel Ark tatsächlich ECC.
Michael O. schrieb: > Wird jetzt leider zur Schnecke degradiert, seit PCIexpress SSDs alles > andere zu ältesten degradiert. Für Archiv- und Backup-Speicher taugen HDDs immer noch. Als Primärsystem sind sie erledigt.
jz23 schrieb: >> ECC-RAM kommt ohnehin hinein. > Funktioniert das überhaupt mit nem Pentium? Jups, mit dem schon :) A. K. schrieb: > Björn G. schrieb: >> Mir ist bei den Daten ein RAID6 einfach lieber... > > Ich mach das ja schon ein ganzes Weilchen beruflich. Und hatte in der > ganzen Zeit erst einen einzigen Mehrfachausfall, also mehrere in einem > Server in kurzer Zeit. Obwohl es sich (zwangsläufig) immer um die > gleichen Typen handelt, gleichzeitig beschafft. >... Es sind auch ein paar SATA RAID 6 Systeme mit je rund einem Dutzend > Disks dabei, normale handelsübliche Hitachi 7K. Zwei dieser (Sekundär-) > Systeme sind über 5 Jahre alt, da gab es meiner Erinnerung nach bisher > nur einen einzigen Disk-Ausfall. Genial, vielen Dank für die Info von der Front ;) Evtl. hab ich in der Sache auch schon Paranoia. Bisher sind auf diesem Platten auch relativ unwichtige Daten enthalten...evtl. muß ich da echt mal anders aufteilen. >> Muß mal einen aktuellen XEON raus suchen, der nicht gleich 16Cores hat >> und vergleichen ;) > Müsste auf die E3-12xx rauslaufen. Okay, schau ich mir gleich mal an. A. K. schrieb: > Michael O. schrieb: >> Wird jetzt leider zur Schnecke degradiert, seit PCIexpress SSDs alles >> andere zu ältesten degradiert. > > Für Archiv- und Backup-Speicher taugen HDDs immer noch. Als Primärsystem > sind sie erledigt. Seh ich auch so.
A. K. schrieb: >> Mir ist bei den Daten ein RAID6 einfach lieber. Bei einem Ausfall und >> neue Platte bespielen kann es eben immer zu noch nem Ausfall wegen >> höherer Last kommen... > > Ich mach das ja schon ein ganzes Weilchen beruflich. Und hatte in der > ganzen Zeit erst einen einzigen Mehrfachausfall, also mehrere in einem > Server in kurzer Zeit. Obwohl es sich (zwangsläufig) immer um die > gleichen Typen handelt, gleichzeitig beschafft. Das ist sehr interessant! Ich hab' nämlich auch ein RAID6 (mit 6 Platten) im NAS, weil ich ein paar Male gelesen habe, dass ein Raid5 ganz gerne nach dem Ausfall und Tausch einer Platte beim Rebuild die nächste Platte schrotten würde - eben weil die Platten alle gleich alt wären. Das ist dann also nach deinen Erfahrungen eher eine urban legend, ja?
Matthias L. schrieb: > A. K. schrieb: >>> Mir ist bei den Daten ein RAID6 einfach lieber. Bei einem Ausfall und >>> neue Platte bespielen kann es eben immer zu noch nem Ausfall wegen >>> höherer Last kommen... >> >> Ich mach das ja schon ein ganzes Weilchen beruflich. Und hatte in der >> ganzen Zeit erst einen einzigen Mehrfachausfall, also mehrere in einem >> Server in kurzer Zeit. Obwohl es sich (zwangsläufig) immer um die >> gleichen Typen handelt, gleichzeitig beschafft. > > Das ist sehr interessant! Ich hab' nämlich auch ein RAID6 (mit 6 > Platten) im NAS, weil ich ein paar Male gelesen habe, dass ein Raid5 > ganz gerne nach dem Ausfall und Tausch einer Platte beim Rebuild die > nächste Platte schrotten würde - eben weil die Platten alle gleich alt > wären. > > Das ist dann also nach deinen Erfahrungen eher eine urban legend, ja? Nicht wirklich. Hängt mit den nicht korrigierbaren Fehlern zusammen. Der Hersteller garantiert für 10^schlagmichtot dass kein nicht korrigierbarer Fehler beim Lesen auftritt. Jetzt sind wir bei >=4TB Platten (ich kauf nix unter 6TB mehr) aber bereits in Bereichen, in denen wir diese 10^schlagmichtot bei einem Rebuild teils mehrfach überschreiten, sprich das kann knallen. Daher gibt es auch etwas teurer Platten mit 10^(schlagmichtot+1) (WD RED) bzw. 10^(schlagmichtot+2) (Serverkram, SAS oder so), der Aufpreis lohnt sich aber meistens gar nicht nachdem man für den Aufpreis auch einfach mehr Festplatten kaufen kann. Ob es in der Praxis wirklich relevant ist: Keine Ahnung, ext4/ZFS kann sowas zum Teil ggf. abfangen und selbst wenn wäre eine Datei kaputt. Das Problem beim Rebuild kann auch das sein, dass durch die Beanspruchung (viel Lesen/Schreiben) die nächste Platte ausfällt (bzw. dabei ist die Performance eh am Sack, sprich arbeiten kann man damit auch kaum). Nachdem man aber eh Backups haben sollte halte ich das Risiko im Privatbereich für vernachlässigbar, im Businessbereich würde ich mir präventiv Hotspare halten damit kein stundenlanger bis mehrtägiger Rebuild notwenig wird (Hot Raid 5 von 4 Platten auf 5 Platten hat bei mir mit so einem Hardware RAID Controller trotz Cache bei 4TB Platten über 2 Tage gedauert), daheim ist das nicht so das Problem. Da lieber einen Raid 5 (wenn überhaupt) und dann einfach mit einer weiteren Platte ein Backup erstellen.
Ehrenmann schrieb: > Ob es in der Praxis wirklich relevant ist: Keine Ahnung, ext4/ZFS kann > sowas zum Teil ggf. abfangen und selbst wenn wäre eine Datei kaputt. RAID Systeme sollten regelmässige Kontrollen über die Integrität der RAID-Paritäten durchführen. Fehler fallen da auf und können repariert werden. Gute Systeme nehmen auffällig gewordene Disks automatisch raus und ersetzen sie durch Spares. Wenn eine Disk beim normalen Lesen falsche Daten liefert, wird das dadurch nicht abgefangen. Aber man merkt beim Check, ob sowas überhaupt auftritt. > Das Problem beim Rebuild kann auch das sein, dass durch die > Beanspruchung (viel Lesen/Schreiben) die nächste Platte ausfällt Zwar sind der erwähnten Sekundärsysteme nicht annähernd so beansprucht wie die Primärsysteme, aber arbeitslos rumstehen tun sie nicht. Gerade Backup-Systeme sind zeitweise mit recht grossen Datenmengen aktiv. > Nachdem man aber eh Backups haben sollte halte ich das > Risiko im Privatbereich für vernachlässigbar, Das Risiko besteht darin, dass man wesentlich Zeit verliert. Betrieblich kann das fatal sein, privat ist es das meist nicht. > im Businessbereich würde ich mir präventiv Hotspare halten Klar. Die hatte ich nicht eigens erwähnt.
:
Bearbeitet durch User
Matthias L. schrieb: > Das ist sehr interessant! Ich hab' nämlich auch ein RAID6 (mit 6 > Platten) im NAS, weil ich ein paar Male gelesen habe, dass ein Raid5 > ganz gerne nach dem Ausfall und Tausch einer Platte beim Rebuild die > nächste Platte schrotten würde - eben weil die Platten alle gleich alt > wären. > > Das ist dann also nach deinen Erfahrungen eher eine urban legend, ja? Es gibt noch einen anderen Grund, zumindest, wenn man moderne Dateisysteme (die eigentlich mehr sind als das) wie ZFS nutzt. ZFS speichert ja zu jedem Block eine Prüfsumme, und erkennt so einzelne Fehler ("Bitrot"), die auf großen Festplatten ab und zu vorkommen. Den meisten anderen Dateisystemen ist so etwas egal, da bekommt man eben Datenmüll zurück. Hat man ein "normales" RAID, dann bekommt man zufällig die "gute" oder die "verrottete" Kopie. ZFS hingegen weiß über die Prüfsumme, welche Kopie die richtige ist, und gibt diese zurück. Das Problem kommt, wenn im RAID5 eine defekte Platte ausgetauscht wird, und ZFS beim Rebuild auf einen kaputten Block stößt. Dann gibt es in diesem Zustand nämlich keine intakte Kopie mehr. Und kaputte Blöcke mag ZFS gar nicht. Mit RAID6 (bei ZFS glaube ich RAIDZ2) läuft der Rebuild hingegen sauber durch.
Matthias L. schrieb: > Das ist dann also nach deinen Erfahrungen eher eine urban legend, ja? Für eine sichere Aussage reicht meine Erfahrung allein nicht aus. Ich kann nur sagen, dass es ich das in der ganzen Zeit nicht erlebt habe.
Ehrenmann schrieb: > Daher gibt es auch etwas teurer Platten mit 10^(schlagmichtot+1) (WD > RED) bzw. 10^(schlagmichtot+2) (Serverkram, SAS oder so), der Aufpreis > lohnt sich aber meistens gar nicht nachdem man für den Aufpreis auch > einfach mehr Festplatten kaufen kann. Im privaten Bereich sind die N+2 SAS-HDDs selten sinnvoll. Im Business sind bzw. waren sie auch aus anderen Gründen relevant: Sie sind wesentlich schneller und die Requests verteilen sich auf mehr Disks, weil 2,5er Format mit wesentlich geringerer Kapazität pro Disk. Die Transaktionsrate des Systems ist sehr viel höher als bei einem System auf Basis von 3,5er SATAs. Im Zeitalter von SSDs hat sich das allerdings erledigt.
Jan H. schrieb: > ZFS speichert ja zu jedem Block eine Prüfsumme, und erkennt so einzelne > Fehler ("Bitrot"), die auf großen Festplatten ab und zu vorkommen. Den > meisten anderen Dateisystemen ist so etwas egal, da bekommt man eben > Datenmüll zurück. Wobei auf einem der erwähnten Systeme in erheblichem Umfang Backup-Daten landen, die mit eigener Prüfsumme abgesichert sind. Die sammeln sich dort, bevor sie dann auf Band landen. Entsprechende Fehler fallen also auf. Genauer: Sie würden auffallen. Ich will damit nicht bestreiten, dass Bitrot auftreten kann. Es ist richtig, dass man rechtzeitig Verfahren wie in ZFS und btrfs entwickelt, um damit umzugehen. Aber solange man nicht mal eben das Internet auf seinen Disks speichert, also im normalen Rahmen für Business oder auch privat bleibt, sehe ich für Panik bislang keinen Anlass.
:
Bearbeitet durch User
A. K. schrieb: > Aber solange man nicht mal eben das Internet auf seinen Disks speichert, > also im normalen Rahmen für Business oder auch privat bleibt, sehe ich > für Panik bislang keinen Anlass. Wenn man sich schon ein ordentliches NAS mit ECC-RAM leistet, dann will man wahrscheinlich auch ZFS. Und wenn man dann beim Rebuild bei 7 von 10TB einen Fehler bekommt, wünscht man sich, die zusätzliche Festplatte dich eingebaut zu haben. Ein Muss ist es natürlich nicht.
Meine kleine Frage hat einen echt interessanten Thread heraus gebracht :) ZFS möchte ich definitiv nutzen, auch bleibe ich mal sicherheitshalber bei dem Teil an Daten auf Raid6. Andere Dinge sind bei mir aber definitiv aussonderbar (n+1 reicht da), woraus ich beim R6 einiges an Platz wieder frei bekäme. Evtl. stell ich das mal um... Jetzt aber erst einmal an die Sache mit Prozessor aussuchen, ich glaub es wird doch ein XEON. Es ist halt einiges am Preis dazwischen... Den Pentium G4560 bekommt man für 67€ und einen XEON E3-1220 v6 für 200€. Das ist natürlich ne Ansage... Muß ich noch eruieren obs das bringt. Auch in Sachen Stromverbrauch. Grüße!
Vielen Dank für eure Erklärungen! Bei mir läuft derdiedas NAS unter OpenMediaVault mit 6 WD Red im RAID6 mit Ext4 als Dateisystem. Und natürlich wird ab und an ein Backup auf externe USB-Platten gezogen.
Björn G. schrieb: > Jetzt aber erst einmal an die Sache mit Prozessor aussuchen, ich glaub > es wird doch ein XEON. Es ist halt einiges am Preis dazwischen... > Den Pentium G4560 bekommt man für 67€ und einen XEON E3-1220 v6 für > 200€. Prinzipiell kann man durchaus mal schauen was AMD da inzwischen im Programm hat´, mit Ryzen haben die inzwischen ja durchaus brauchbare CPU im Programm und was ich gesehen hab unterstützen die auch problemlos ECC.
Ehrenmann schrieb: > Prinzipiell kann man durchaus mal schauen was AMD da inzwischen im > Programm hat Ach nee, ich bleibe lieber bei Intel. Mit AMD hab ich nicht so gute Erfahrungen, da müssen erst mal paar Jahre wieder ins Land gehen bis ich sowas nochmal anfasse ;) Danke aber für den Einwand!
Wenn ich sehe das dier Leute Raid-Z1 (Raid 5) empfehlen denke ich das du hier: https://forums.freenas.org/index.php?forums/hardware.18/ besser aufgehoben bist. Beüglich Prozessor: Es gibt Dinge zwischen Pentium and Xeon. Ich nutzte einen i3-6600 (https://ark.intel.com/products/90729/Intel-Core-i3-6100-Processor-3M-Cache-3_70-GHz) für mein FreeNAS system. Nicht alle i3 unterstützen ECC, das musst du im Detail abklären. (Das Freenas Forum hat Empfehlungslisten.)
Björn G. schrieb: > Jetzt aber erst einmal an die Sache mit Prozessor aussuchen, ich glaub > es wird doch ein XEON. Es ist halt einiges am Preis dazwischen... Ich denke nicht, dass du in privatem Rahmen den Unterschied an Leistung bei einem weitgehend nur als NAS genutzten System spüren wirst.
:
Bearbeitet durch User
Dirk K. schrieb: > Beüglich Prozessor: Es gibt Dinge zwischen Pentium and Xeon. Ich nutzte > einen i3-6600 > (https://ark.intel.com/products/90729/Intel-Core-i3-6100-Processor-3M-Cache-3_70-GHz) Richtiger Link, falsche Nummer, sorry. Es ist ein i3-6100.
Dirk K. schrieb: > Wenn ich sehe das dier Leute Raid-Z1 (Raid 5) empfehlen denke ich > das du > hier: https://forums.freenas.org/index.php?forums/hardware.18/ besser > aufgehoben bist. Ein totes Forum in dem die meisten Beiträge von 2016 sind und die Hardwareempfehlungsliste ebenfalls aus dem letzten Jahrtausend stammt ist da echt die bessere Wahl? Was soll an RAID-5 schlecht sein? Weil es die Heinis die auf dem Stand von 1910 hinsichtlich IT sind aus deinem Forum nicht toll finden?
Ehrenmann schrieb: > Dirk K. schrieb: >> Wenn ich sehe das dier Leute Raid-Z1 (Raid 5) empfehlen denke ich >> das du >> hier: https://forums.freenas.org/index.php?forums/hardware.18/ besser >> aufgehoben bist. > > Ein totes Forum in dem die meisten Beiträge von 2016 sind und die Du scheinst Verständnisprobleme zu haben. In dem Subforum auf das ich verlinkt habe (es gibt noch viele andere subforen dort) ist diese Woche in 23 Threads geposted worden. Weitere Statistiken über das Gesamtforum erspare ich mir. > Hardwareempfehlungsliste ebenfalls aus dem letzten Jahrtausend stammt Die Hardwareliste (Dokument auf das im Forum verlinkt wird: https://forums.freenas.org/index.php?resources/hardware-recommendations-guide.12/, "Download now" button rechts oben) wurde zuletzt 2017-05-06 geupdated. Letztes Jahrtausend ist für mich anderst!? > ist da echt die bessere Wahl? Das ist das offizielle Forum für FreeNas. FreeNas = die Software die der Threadstarter nutzt. > Was soll an RAID-5 schlecht sein? Weil es die Heinis die auf dem Stand > von 1910 hinsichtlich IT sind aus deinem Forum nicht toll finden? Fälle: (1) Wenn Daten nicht wichtig sind kann man sich den ganzen Spass (FreeNAS, zfs, ecc-ram, raid, usv) sparen. (2) Wenn Daten wichtig sind aber nicht verfügbar sein müssen kann man sich raid sparen und sicherstellen das man Backups macht. (3) Wenn Daten wichtig sind und auch verfügbar sein sollen kann man sich raid nicht sparen. Wie du oben "vorgerechnet" hast ist die Chance das eine zweite Platte abraucht während die erste recovered nicht mehr unwahrcheinlich. Wie Jan oben schrieb ist da noch das zusätzliche Problem von bitrot (auch ein Grund für ecc-ram+usv) noch schlimmer, speziell bei ZFS. Wenn wir in diesem Fall angekommen sind (Verfügbarkeit wichtig ist) gibt es keinen Grund hier eine Platte sparen zu wollen (Raid-Z1 statt Raid-Z2). Falls das zuviel ist kann man gleich zu Fall zwei zurück. (Das heisst nicht das man in Fall drei nicht auch Backups haben sollte). Btw.: Mein FreeNAS system läuft als Raid-Z3. Dein Beitrag oben hat gezeigt das du Probleme mit Leseverstännis hast (totes Forum, letztes Jahrtausend, 1910). Deshalb werde ich mir jetzt nicht die Mühe machen den wissenschaftlichen Artikel zu dem Thema rauszukramen und mich aus diesem Thread verabschieden.
:
Bearbeitet durch User
Dirk K. schrieb: > Fälle: Es gibt noch mehr Fälle, wie etwa Kompromisse zwischen RAID-garnix und RAID-Z3 - und auch Varianten darüber hinaus. Ist dann eben eine Abwägung der Risiken. Wenn einer mit der Axt aufs Speichersystem losgeht, nützt auch 3fach-Parität nicht viel. Wenn man ein System in einer Aussenstelle stehen hat, dann will man trotz einer defekten Disk automatisch weiterarbeiten können. Weil das schon ab und zu vorkommt. Aber wenn die Bude abbrennt (hatten wir schon) oder der Bagger die Anbindung stillegt (hatten wir schon), dann hilft keinerlei RAID. Verfügbarer als solche Szenarien muss der Speicher nicht sein. Ausserdem ist SAS ohnehin pro Bit nominell 2 Grössenordnungen zuverlässiger als SATA. Da reicht ggf. RAID 5, weil ausreichend kleines Restrisiko. In der Zentrale siehts dann wieder etwas anders aus. Aber auch da hilft kein RAID-Topf, wenn das Gebäude stromlos ist (hatten wir schon). Da kann es dann auf räumlich getrennte replizierte RAID DP (vgl. RAID 6) Systeme rauslaufen, die bei Ausfall automatisch übernehmen. Bissel teurer, aber an dieser Stelle lohnt das. Etwas mehr Varianten als alles oder nichts können also schon rauskommen.
:
Bearbeitet durch User
Zu den guten alten Adaptec Zeiten ging der RAID rebuild regelmäßig in den Orkus weil das defekt Management der Platten erst intern übergelaufen ist und dann die Reservespuren übergelaufen sind. Daraufhin wurden am Ende der Festplatten Spuren als defekt gemeldet und intern umgemappt. Kam der rebuildprozess nun dort an, war Schluss mit lustig Abbruch, Raid tot Daten weg stress mit Kunden, neue Platten besorgen Datensicherung einspielen und sich bis zu 8 Arbeitsstunden abschminken weil man das ganze dem Kunden ja mal als sicher verkauft hat. Seit ich ARECAs im Einsatz habe läuft immer der automatische selbsttest der alle Festplatten regelmäßig überprüft. Wenn gewünscht auch die E-mail versenderei. Seit dem keine Probleme mehr mit Datenverlust. SAS Festplatten und SATA Festplatten sterben aber nach wie vor wie die Fliegen. Bei meinem Teilzeitbrötchengeber ersetze ich jede gestorbenen 800GB SAS 15kU/min durch eine 1TB SSD was am ARECA auch ab 1882 wunderbar funktioniert. mfg Michael
IBM hatte vor langer Zeit Adaptec drin. Aber diesem Problem bin ich nie begegnet. Die schwer beschäftigten SAS-Disks im Primärsystem sterben auch recht häufig. Die 2,5er häufiger als die 3,5er im Vorgängersystem. Die SATAs in den diversen Sekundärsystemen hingegen sterben selten.
Hatte auch gerade einen Ausfall einer 2.5er SAS in einem Dell/EMC iSCSI-SAN nach gerade mal 7 Monaten Betrieb. Mit dem Dell-Service wird einem die Platte aber immerhin gleich quasi automatisch vorbeigeschickt, einbauen wollte ich sie dann doch noch selber ;) Weniger spassig war vorher der massive Performance-Verlust beim automatischen Umwidmen der Hot-Spare-Platte als aktive Platte ins RAID5 über ca. 20min. Das hat den Sendebetrieb zur Prime-Time schon etwas gestört. Die Einrichtung war vor unserer Zeit, wir hätten da mit den Platten eher RAID6 gemacht. Ob jetzt 11 im RAID5 + eine Hot-Spare oder 12 im RAID6 ist bei der Verschwendung auch egal. Dann hätte man den Rebuild wenigstens in eine verkehrsärmere Zeit legen können...
Georg A. schrieb: > Mit dem Dell-Service wird > einem die Platte aber immerhin gleich quasi automatisch vorbeigeschickt, > einbauen wollte ich sie dann doch noch selber ;) Das wird zur Routine. Bei grösseren Speichersystemen kommt die Disk automatisch, weil das System selbsttätig nach Hause telefoniert. > Weniger spassig war vorher der massive Performance-Verlust beim > automatischen Umwidmen der Hot-Spare-Platte als aktive Platte ins RAID5 > über ca. 20min. Das hat den Sendebetrieb zur Prime-Time schon etwas > gestört. Schau mal in die Einstellungen des RAID Controllers. Da kann man möglicherweise die Priorität vom Rebuild einstellen, in Prozent oder so. Dauert dann länger, lässt aber mehr Luft zum arbeiten. > Die Einrichtung war vor unserer Zeit, wir hätten da mit den > Platten eher RAID6 gemacht. Ob jetzt 11 im RAID5 + eine Hot-Spare oder > 12 im RAID6 ist bei der Verschwendung auch egal. In dieser Dimension sollte man heute immer auf RAID 6 gehen. Diese Frage stellt sich eigentlich nur bei Björns 4 Disks in RAID 6.
:
Bearbeitet durch User
A. K. schrieb: > Schau mal in die Einstellungen des RAID Controllers. Da kann man > möglicherweise die Priorität vom Rebuild einstellen, in Prozent oder so. > Dauert dann länger, lässt aber mehr Luft zum arbeiten. Hatte ich damals schon (ist ein SCV2020). Alles schön bunt, aber zumindest nichts offensichtlich. > In dieser Dimension sollte man heute immer auf RAID 6 gehen. Diese Frage > stellt sich eigentlich nur bei Björns 4 Disks in RAID 6. Geerbte Altlast... Inklusive der verfxxxten FS-Deduplizierung des MS-Server 2012 obendrauf. Ein Lotteriespiel hat zuverlässigere Performance. Wenn man da mal 20000 kleine Futzelfiles löscht, stellt der Server je nach Mondstand den "Serve"-Betrieb schon mal für 20-30min ein. Lokal gibts aber keine CPU oder I/O-Last :(
Thread beobachten
Seitenaufteilung abschalten
Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.