Hallo zusammen, Ich habe folgende Ausgangssituation: acht externe USB-Festplatten (jeweils 4 TB) sollen ersetzt werden, damit mehr Speicherplatz (wegen zukünftig anfallender Daten) zur Verfügung steht und eine gewisse Datensicherheit gewährleistet ist. Belegter Speicher sind 18,66 TB. Insgesamt verfügbar wären 29,95 TB. Grund des Anstoßes: Eine USB-HDD fiel vor einiger Zeit aus und die Wiederbeschaffung der Daten war recht aufwändig. Mein Gedanke ging natürlich gleich in Richtung NAS. Aber die Kosten haben mich da schon etwas erschreckt. Vor allem, weil so ein NAS sicherlich auch keine zehn Jahre hält, folglich die Investition in dieser Höhe regelmäßig anfällt. (Derzeit tausche ich nach vier Jahren vorsorglich die Festplatten aus.) Mein Gedanke war ein NAS mit acht Einschüben und konfiguriert als RAID5. Wenn wieder 4 TB-Festplatten zum Einsatz kämen (7*3,63 TB nutzbar=25,41TB), wären dann immerhin noch gut ein Viertel Speicherplatz für die Zukunft frei. Nicht die Welt, aber besser als nix. Ein NAS mit vier Einschüben und 8 TB-Festplatten hätte keinen Vorteil (3*7,26 TB nutzbar=21,78 TB). Festplatten mit mehr als 8 TB traue ich irgendwie nicht. Wenn die mit weniger Speicherkapazität schon so empfindlich sind. Wie soll dann jahrelang Ruhe mit den hochgezüchteten Laufwerken sein. Aber beide Optionen liegen preislich schon deutlich über dem Budget, was ich mir dafür vorgestellt habe. Vermutlich weil die NAS ganz anderes Anforderungsprofil haben, mir reichen 100 MBit Ethernet, ich brauche kein 10 GBit oder dergleichen. Die gehen da von einem Unternehmenseinsatz aus mit x Mitarbeiterin, die gleichzeitig Videoschnitt oder dergleichen machen wollen. Im Grunde geht es nur darum etwa 30 TB Daten sicher für Jahre abgelegt vorhalten zu können und beim Ausfall einer Festplatte soll nicht gleich Datenverlust entstehen, wenn ich rechtzeitig das defekte Laufwerk ersetzen kann. Eine Festplatte mit 8 TB kostet so etwa 160 Euro. Das ist preislich okay. Gibt es keinen Controller zur Verwaltung, der weniger kostet als alle Laufwerke zusammen? Im Grunde wäre mir auch irgendein Ding recht, dass auf der einen Seite Ethernet hat, auf der anderen Seite acht USB-Ports und das RAID softwareseitig macht. Dann würde ich einfach externe USB-Festplatten daran anschließen. Wenn das kaputt ginge, würde ich einfach das Teil ersetzen. Für Tipps wäre ich dankbar. Viele Grüße, Lars
Möchtest du ständigen Zugriff auf die Daten haben oder einen Großteil der Daten einfach nur sicher archivieren? Für die Archivierung wären dann vielleicht LTO-Tapes (redundant und ordentlich Backups von der Master Library) eine Möglichkeit.
Sebastian R. schrieb: > Möchtest du ständigen Zugriff auf die Daten haben oder einen Großteil > der Daten einfach nur sicher archivieren? Ständig muss der Zugriff nicht möglich sein. Es kann gerne fünf Minuten dauern, bis das einsatzfähig ist. Wichtig ist nur, dass der Zugriff auf die Dateien wahlfrei möglich ist (ganz normal wie im Dateisystem) und dass ich bei Erfordernis neue Dateien hinzu schreiben kann. Ein Ändern der bereits vorhandenen Dateien ist nie erforderlich. Sebastian R. schrieb: > Für die Archivierung wären dann vielleicht LTO-Tapes (redundant und > ordentlich Backups von der Master Library) eine Möglichkeit. Damit muss ich mich aber wieder selbst um die Backups kümmern und selbst wenn ich drei Bänder mit denselben Daten habe, weiß ich nie, ob das wirklich konsistent ist. Bänder hatte ich zum letzten Mal unter Win-NT4.0 im Einsatz, da war das ein elendes Arbeiten und man konnte nicht wirklich darauf zugreifen wie auf eine Festplatte. Ist das heute so transparent wie ein USB-Stick?
Lars R. schrieb: > Vor allem, weil so ein NAS > sicherlich auch keine zehn Jahre hält, 2-stellige Anzahl QNAP TS-112P mit 3 TB Hitachi-Disks, seit über einem Jahrzehnt genutzt für Backups. Letzthin gab es einen Security-Update. Keine Ausfälle der NAS, eine Disk mit SMART-Warnung.
:
Bearbeitet durch User
Lars R. schrieb: > Gibt es keinen Controller zur Verwaltung, der weniger kostet als > alle Laufwerke zusammen? Wenn es darum geht, reicht eine Art PC, in den genug HDDs für die gewünsche Kapazität reinpassen. RAID Controller unnötig. Den Rest erledigt freie NAS-Software, oder auch blankes Linux wenn man mag und kann. Da liegt auch der Hase im Pfeffer. Indem du auf vergleichsweise kleinen Disks bestehst, und daher viele davon benötigst, schiesst du dir preislich selbst ins Knie. Geräte mit vielen Disks sind speziell für Storage gebaut, und aufgrund Zielmarkt, Spezialgehäuse, Backplane und Anschlüssen teurer als normale PCs.
:
Bearbeitet durch User
Moin, Lars R. schrieb: > mir reichen 100 MBit Ethernet, Da waere wohl die billigste Loesung irgendein Raspi-artiger SBC mit Ethernet und USB, ein USB-Hub und ein paar USB-Pladden im RAID Verbund deiner Wahl. Gruss WK
(prx) A. K. schrieb: > Da liegt auch der Hase im Pfeffer. Indem du auf vergleichsweise kleinen > Disks bestehst, und daher viele davon benötigst, schiesst du dir > preislich selbst ins Knie. Geräte mit vielen Disks sind speziell für > Storage gebaut, und aufgrund Zielmarkt, Spezialgehäuse, Backplane und > Anschlüssen teurer als normale PCs. Was wäre also deine Empfehlung? 3x 16 TB? Oder wie würdest du wirtschaftlich das Problem angehen? (prx) A. K. schrieb: > Wenn es darum geht, reicht eine Art PC, in den genug HDDs für die > gewünsche Kapazität reinpassen. RAID Controller unnötig. Den Rest > erledigt freie NAS-Software, oder auch blankes Linux wenn man mag und > kann. So eine Kiste wollte ich ungern herumstehen haben, nicht nur wegen des Strombedarfes, sondern auch wegen der Größe.
Ich hatte (privat) Anno 2011 einen HP Microserver mit Platz für 4 Disks sehr günstig eingefangen, und der ist seither mit Linux in dieser Rolle. Die Disks wechselten, die Redundanzlösung auch, der Server blieb. Normales Linux mit btrfs.
:
Bearbeitet durch User
Lars R. schrieb: > Was wäre also deine Empfehlung? 3x 16 TB? Oder wie würdest du > wirtschaftlich das Problem angehen? Ich bin auch der Meinung, dass Platten mit 6-8Tb die richtige Wahl ist. Darüber hinaus habe ich auch schwere Bedenken. Denn: HDD's mit oder ab 6Tb sind Teils SMR Platten. Diese sind NICHT geeignet für Raid-Systeme. WEenn man Raid plant, dann CMR Typen. Und da ist man dann heutzutage in der Enterprise Ebene von HDD's. Ein Qnap 4-8 Schächter. Den kann man konfigurieren, wie man will. Er kann aufch per WOL (wake on Lan) geweckt werden. Benötigt aber zum Hochlaufen, bis erreichbar ist, dann ca. 3-5 Min.
Lars R. schrieb: > Mein Gedanke ging natürlich gleich in Richtung NAS. Aber die Kosten > haben mich da schon etwas erschreckt. Wesentlich billiger wird's nicht, wenn du auf kleinen HDs bestehst und dementsprechend viele Ports benötigst. Die einzige Alternative wäre eine älterer (aber zu seiner Zeit "stromsparender") PC mit hinreichender Portzahl. Mit 6 Ports findet man recht viele, bei 8 Ports wird's aber auch hier eng.
Ob S. schrieb: > Wesentlich billiger wird's nicht, wenn du auf kleinen HDs bestehst und > dementsprechend viele Ports benötigst. > > Die einzige Alternative wäre eine älterer (aber zu seiner Zeit > "stromsparender") PC mit hinreichender Portzahl. Mit 6 Ports findet man > recht viele, bei 8 Ports wird's aber auch hier eng. Fuer SATA gibt es SATA-Port Multiplier. Das muss der SATA-Controller aber auch unterstuetzen. Die preisguenstigste Loesung die das konnte, war die Seagate Netflex. Enthaelt ein kleines ARM-Board, einen 1 Gbit Ethernet, 1 USB2-Port und 2 multiplierfaehige SATA Ports. https://en.wikipedia.org/wiki/Port_multiplier "it allows one equipped port to connect up to 15 disks"
Lars R. schrieb: > So eine Kiste wollte ich ungern herumstehen haben, nicht nur wegen des > Strombedarfes, sondern auch wegen der Größe. Der Strombedarf sollte kein Problem darstellen. Es gab genug stromsparende Rechner, die es durchaus mit dedizierten NAS (entsprechender Portzahl) aufnehmen können. Und wenn die reine mechanische Größe dich stört: Mich würde viel mehr der Lüfterkrach der NAS stören. PCs mit 6 SATA-Ports gab's komplett Fanless. Ein großer Langsam-Läufer reicht, um die Platten genügend mit Frischluft zu befächeln. Hast du da mal drüber nachgedacht?
Ob S. schrieb: > Der Strombedarf sollte kein Problem darstellen. Es gab genug > stromsparende Rechner, die es durchaus mit dedizierten NAS > (entsprechender Portzahl) aufnehmen können. Einen 1.3 GHz ARM werden sie sicher auch nicht unterbieten koennen. Dem kann man einen Kuehlkoerper "goennen", muss aber nicht. Aus dem Kuehlungsbedarf kann sich jeder selbst den Leistungsbedarf ableiten. > Und wenn die reine mechanische Größe dich stört: Mich würde viel mehr > der Lüfterkrach der NAS stören. PCs mit 6 SATA-Ports gab's komplett > Fanless. Ein großer Langsam-Läufer reicht, um die Platten genügend mit > Frischluft zu befächeln. SATA/SAS-Platten die auf "Performance" getrimmt sind, haben kein "Akustikmanagement", so wie Consumer-HDs. Eine laufende Seagate Exos 16 TB ist an sich nahezu unhoerbar. Aber wenn dann ein Array auf Daten zugreift, wird es schon laut. Aeltere Platten aus dieser Ecke sind eher noch lauter. > Hast du da mal drüber nachgedacht? Vermutlich noch nicht. :)
Motopick schrieb: > SATA/SAS-Platten die auf "Performance" getrimmt sind, haben kein > "Akustikmanagement", so wie Consumer-HDs. > Eine laufende Seagate Exos 16 TB ist an sich nahezu unhoerbar. > Aber wenn dann ein Array auf Daten zugreift, wird es schon laut. > Aeltere Platten aus dieser Ecke sind eher noch lauter. Jepp. Und in einem mechanisch großen PC-Gehäuse kann man die Platten halt auch noch in geräuschdämmende Umverpackungen einbauen. Schlicht und einfach deshalb, weil genug Platz dafür vorhanden ist.
Sebastian R. schrieb: > Für die Archivierung wären dann vielleicht LTO-Tapes (redundant und > ordentlich Backups von der Master Library) eine Möglichkeit. In welchen Jahrhundert lebst du?
Ob S. schrieb: > Jepp. Und in einem mechanisch großen PC-Gehäuse kann man die Platten > halt auch noch in geräuschdämmende Umverpackungen einbauen. Schlicht und > einfach deshalb, weil genug Platz dafür vorhanden ist. Ganz ernsthaft eher nicht. Weil dass was die Akustikdaempfung an Akustik daempft, daempft sie mindestens auch thermisch. So "verbaute" Platten waeren schnell hinueber. Die moegen es eher kuehl statt kuschlig. Also nichts mit "Umverpackung". Und solche Platten darf man noch nicht mal geraeuschgedaemmt montieren. Die bewegten Massen in den Platten brauchen einen festen "Rueckhalt". :) Krach gehoert bei ihnen eben zum Geschaeft.
Lars R. schrieb: > Mein Gedanke war ein NAS mit acht Einschüben und konfiguriert als RAID5. > Wenn wieder 4 TB-Festplatten zum Einsatz kämen (7*3,63 TB > nutzbar=25,41TB), wären dann immerhin noch gut ein Viertel Speicherplatz > für die Zukunft frei. Nicht die Welt, aber besser als nix. > Ein NAS mit vier Einschüben und 8 TB-Festplatten hätte keinen Vorteil > (3*7,26 TB nutzbar=21,78 TB). > Festplatten mit mehr als 8 TB traue ich irgendwie nicht. Wenn die mit > weniger Speicherkapazität schon so empfindlich sind. Wie soll dann > jahrelang Ruhe mit den hochgezüchteten Laufwerken sein. Wenn man an Voodoo glaubt, muss man halt Aufpreis zahlen. Für alle anderen gibt es NAS-geeignete Platten mit 12 TB für unter 200 €.
Motopick schrieb: > Ganz ernsthaft eher nicht. Weil dass was die Akustikdaempfung an > Akustik daempft, daempft sie mindestens auch thermisch. Da ist definitiv was dran. Natürlich verschlechtert die Akustik-Dämmung typisch die thermische Situation. > So "verbaute" Platten waeren schnell hinueber. Nein. Das hängt halt von der typischen Nutzung ab. Welche Backup-Platte (und um diesen Themenkreis geht es in diesem Thread) muss mit ständiger Vollast klarkommen?
Ob S. schrieb: > Nein. Das hängt halt von der typischen Nutzung ab. Welche Backup-Platte > (und um diesen Themenkreis geht es in diesem Thread) muss mit ständiger > Vollast klarkommen? Tipp: Die Temperatur der Platte kommt in erster Naeherung nicht von Zugriffen. Platten mit 15 krpm hatten sogar Kuehlrippen. :) Warum wohl. Aber der TO kann ja machen was er will. Da er hier fragt, kann er es wohl selbst nicht. Er wird sich also vermutlich "irgendetwas" fertiges kaufen und die damit verbundenen (proprietaeren) Nachteile dann ueber die Jahre selbst erfahren muessen.
Motopick schrieb: > Tipp: > Die Temperatur der Platte kommt in erster Naeherung nicht von Zugriffen. > Platten mit 15 krpm hatten sogar Kuehlrippen. :) Warum wohl. Ja, auch das ist wahr. Also: nur ein Vollhonk würde für Backup-Zwecke sowas verwenden. Das ist dafür schlicht nicht gedacht und auch nur eingeschränkt dafür geeignet.
Stromsparend geht heute eh nur mit SSDs viele kleine Platten sind gut für high speed aber das brauchst Du ja eher nicht. Propietäre Raid Systeme haben halt den Nachteil das alle Daten futsch sind wenn die Hardware defekt ist ubd nicht identisch wiederbeschaftt werden kann. Mein Favorit sind gebrauchte DELL Server. Keine Probleme mit fremden HDDs oder RAMs. Ich habe einige 15 Jahre alte bei denen noch alles läuft, nur selten mal ein NT platt oder ein Lüfter noisy. Genug 3,5" Einschübe oder 2,5" Schächte für SAS, SATA oder NVMe. Selbst als dual Xeon Gold mit 128GB Ram inkl. RAID Controller für 1500€ ältere unter 200€. Noch lieber mag ich Areca raid Controller. Seit über 15 Jahren kann man ein Raid 6 Abklemmen, an den neusten Controller klemmen und weiterarbeiten. Test mit background rekalculation und E-Mail bei Fehlern sind selbstverständlich. MfG Michael
Ob S. schrieb: > Also: nur ein Vollhonk würde für Backup-Zwecke sowas verwenden. Wenn er welche findet. 10K und 15K HDDs gibts seit Jahren nur noch im Schrotthandel.
:
Bearbeitet durch User
10k 2,5" gibt es neu wie Sand am Meer, 15k 3,5" gibt es auch noch neu kommen aber langsam aus der Mode. SAS SSDs mit 12GByte/sekunde sind im Moment schwer zu bekommen und sau teuer. MfG Michael
Re D. schrieb: > In welchen Jahrhundert lebst du? Im 21. Jahrhundert, in dem auf ein LTO-9-Tape 18 Terabyte unkomprimiert passen.
Lars R. schrieb: > Mein Gedanke ging natürlich gleich in Richtung NAS. Aber die Kosten > haben mich da schon etwas erschreckt. Vor allem, weil so ein NAS > sicherlich auch keine zehn Jahre hält mein QNAP453a wird nun 9 Jahre alt Ein 4-Bay mit 4x16TB reicht und ist bezahlbar, im Fehlerfall könnte man die Platten in ein anderes QNAP stecken, basiert alles auf Linux und ich vermute stark das die Platten als Teile von NAS erkannt werden. Bei Synology wird es ähnlich sein, aber ich würde kein 2-Bay wählen, meine persönliche Meinung, mein Bruder war eben anderer Meinung und kaufte nur ein 2-Bay Gehäuse. Geiz ist nicht immer geil und 8-16 Bay Gehäuse werden arg überbewertet.
Joachim B. schrieb: > und ich > vermute stark das die Platten als Teile von NAS erkannt werden. Da wäre ich vorsichtig. Dazu sollte der Softwarestand auf Quell und Ziel-Qnap gleich sein. Ich hatte das Problem, dass ich mit einer HDD von einer TS-439 auf TS-459 Pro umgebaut habe. Dann hat das Ziel-Qnap gemeckert, und will migrieren. Schön, dann migrier halt. Ende vom Lied war nach Stunden, dass ALLE Daten weg waren. Warum weiß ich nicht. Ich musste dann mühevoll die Daten wieder scannen und einpflegen. Sehr vorsichtig sein. Es kann sein, dass dies von den unterschiedlichen Softwareständen kam.
Thomas S. schrieb: > Sehr vorsichtig sein klaro immer, ein NAS ersetzt kein Backup. Ich hatte auch Schwierigkeiten mein NAS aufzustocken, einfachste Lösung, ein weiteres kaufen
Sebastian R. schrieb: > Im 21. Jahrhundert, in dem auf ein LTO-9-Tape 18 Terabyte unkomprimiert > passen. Jo, für die paar tausend Euro, was das Laufwerk dazu kostet bekommt man ein Vielfaches an Kapazität als HDD. Joachim B. schrieb: > im Fehlerfall könnte man die Platten in ein anderes QNAP stecken, Im Fehlerfall hat man eine Sicherung. Thomas S. schrieb: > Ende vom Lied war nach Stunden, dass ALLE Daten weg waren. > Warum weiß ich nicht. Ich musste dann mühevoll die Daten wieder scannen > und einpflegen. Wer so eine Aktion ohne vorherige Sicherung startet, hat es nicht anders verdient.
Joachim B. schrieb: > schrieb ich das nicht auch gerade? Nein, du schriebst: Joachim B. schrieb: > im Fehlerfall könnte man die Platten in ein anderes QNAP stecken, > basiert alles auf Linux und ich vermute stark das die Platten als Teile > von NAS erkannt werden. Du merkst scheinbar selber nicht mehr was du schreibst.
Thomas S. schrieb: > Joachim B. schrieb: >> und ich >> vermute stark das die Platten als Teile von NAS erkannt werden. > > Da wäre ich vorsichtig. Dazu sollte der Softwarestand auf Quell und > Ziel-Qnap gleich sein. > Ich hatte das Problem, dass ich mit einer HDD von einer TS-439 auf > TS-459 Pro umgebaut habe. Dann hat das Ziel-Qnap gemeckert, und will > migrieren. Schön, dann migrier halt. Ende vom Lied war nach Stunden, > dass ALLE Daten weg waren. > Warum weiß ich nicht. Ich musste dann mühevoll die Daten wieder scannen > und einpflegen. > > Sehr vorsichtig sein. Es kann sein, dass dies von den unterschiedlichen > Softwareständen kam. Ein schoenes Beispiel dafuer, was ich mit: > ... Er wird sich also > vermutlich "irgendetwas" fertiges kaufen und die damit verbundenen > (proprietaeren) Nachteile dann ueber die Jahre selbst erfahren muessen. gemeint habe. > Ich hatte auch Schwierigkeiten mein NAS aufzustocken, einfachste Lösung, > ein weiteres kaufen Das die Hersteller auch keine vernuenftigen Konzepte zur spaeteren Skalierung bereits im Einsatz befindlicher Systeme anbieten, setzt dem noch ein Kroenchen auf.
Re D. schrieb: > Wer so eine Aktion ohne vorherige Sicherung startet, hat es nicht anders > verdient. Hinterher ist man immer schlauer. Es betraf ja damals die Platte, die eh schon im Qnap steckte und verblieb. Es wurde aus meinem anderen Qnap eine Platte dort raus und in dieses rein gesteckt. Qnap und andere werben ja mit 'Hot PlugIn'. Also sollte es auch funktionieren. Ein Raid sollte man ja auch im Betrieb erweitern können, weil der Speicher erweitert werden muss.
wurde neulich in einer c't uplink Folge besprochen. vielleicht gibt dir das paar Denkanstöße und Hilfen https://www.heise.de/news/Netzwerkspeicher-NAS-Kiste-vs-Selbstbauserver-c-t-uplink-9615949.html
Re D. schrieb: > Du merkst scheinbar selber nicht mehr was du schreibst. ach Joachim B. schrieb: > klaro immer, ein NAS ersetzt kein Backup.
Guten Morgen, > Grund des Anstoßes: Eine USB-HDD fiel vor einiger Zeit aus und die > Wiederbeschaffung der Daten war recht aufwändig. Kein backup gemacht? > Mein Gedanke ging natürlich gleich in Richtung NAS. Aber die Kosten Selbstbau NAS kommt nicht in Frage? Mit OMV oder FreeNAs oder ähnlichen Sachen? > Festplatten mit mehr als 8 TB traue ich irgendwie nicht. Warum das? Langsam drehende Palten nehmen, max 5900 touren und fertig. > Für Tipps wäre ich dankbar. Mainboard mit 6xSATA im ATX Format auswählen. PCI-E auf SATA Expander auswählen, davon gibts auch mit mehr als 6x SATAs. z.B. OMV drauf instalieren(Dafür eine SSD nehmen) und evtl ein RAID konfigurieren. Fertig. Die alten Platen kannst du entweder als Backup nutzen oder da draus ein backup NAS in ähnlicher Form bauen. Mfg aus dem Rhein-Ruhr Gebiet
Meine Lösung sieht so aus: HP Microserver mit 16 GB RAM und 4 x Seagate Skyhawk 4TB. 60 GB SSD (im CD Schacht eingebaut) für das Betriebssystem TrueNAS Core. Filesystem ZFS. Ergibt netto 8 TB Speicherplatz. Transferrate via 1Gb/s LAN bei rund 99 MByte/Sekunde. Die Microserver bekommt man gebraucht für kleines Geld und die kostenlose Software läuft sehr sehr stabil. TrueNAS läuft auf jeder PC Hardware. Jedoch finde ich die HP Microserver ideal, da die ganze Mimik für Dauerbetrieb ausgelegt ist und HDDs gut gekühlt werden.
Lars R. schrieb: > Im Grunde geht es nur darum etwa 30 TB Daten sicher für Jahre abgelegt > vorhalten zu können und beim Ausfall einer Festplatte soll nicht gleich > Datenverlust entstehen, wenn ich rechtzeitig das defekte Laufwerk > ersetzen kann. Für eine Lösung ohne Dauerstromverbrauchs-NAS könntest du dir git-annex anschauen. Damit kannst du deinen Zoo an externen Festplatten verwalten, und z.B. vorgeben dass von jeder Datei mindestens zwei Kopien existieren müssen, und/oder z.B mindestens eine Kopie im Büro und eine Zuhause. Wenn du eine Datei brauchst, sagt dir "git annex whereis", welche USB-Platte du anstöpseln musst. Wenn eine Platte kaputt geht, trägst du das ein, und git-annex versucht die Redundanz wiederherzustellen. Dateien werden (optional) mit Prüfsummen gesichert, regelmäßiger Scrub-Lauf um Bitrot zu entdecken ist möglich. (git annex fsck) Datenaustausch zwischen "Standorten" geht Cloud-Frei über SSH, oder auch per Turnschuh-Netz mit einem USB-Stick den du hin- und herträgst, und der jeweils automatisch befüllt/entleert wird, wenn Dateien zu transferieren sind... Falls irgendwann doch "Cloud" gewünscht ist, könnte git-annex das auch, wahlweise mit Verschlüsselung bevor die Dateien im Google-Drive/Dropbox/Amazon-S3/whatever landen. Lässt sich über Weboberfläche konfigurieren/bedienen, oder über die Kommandozeile, wenn man eh schon mit "git" vertraut ist. https://git-annex.branchable.com/
:
Bearbeitet durch User
Joachim B. schrieb: > Re D. schrieb: >> Du merkst scheinbar selber nicht mehr was du schreibst. > > ach > Joachim B. schrieb: >> klaro immer, ein NAS ersetzt kein Backup. Guck noch mal auf die Zeitstempel und schaut dein Hirn an.
Erst einmal Danke für die vielen Rückmeldungen, da habe ich jetzt einiges zum Überlegen! Thomas S. schrieb: > Ich bin auch der Meinung, dass Platten mit 6-8Tb die richtige Wahl ist. > Darüber hinaus habe ich auch schwere Bedenken. Danke dir für die Bestätigung. Mir sind die Teile einfach suspekt. Ob S. schrieb: > Hast du da mal drüber nachgedacht? Die Lüfter würden mich weniger stören. Das Ding muss nur unregelmäßig laufen, dann sind die fünf Minuten Startzeit auch okay. Außerdem ist es in meinem Büro, da läuft sowieso der Rechner mit Lüfter und die Klimaanlage (auch zum Heizen im Winter genutzt) macht auch ein paar Geräusche. Εrnst B. schrieb: > Für eine Lösung ohne Dauerstromverbrauchs-NAS könntest du dir git-annex > anschauen. Schaue ich mir an! Kannte ich noch nicht. Danke. Thomas S. schrieb: > Da wäre ich vorsichtig. Dazu sollte der Softwarestand auf Quell und > Ziel-Qnap gleich sein. > [...] > Sehr vorsichtig sein. Es kann sein, dass dies von den unterschiedlichen > Softwareständen kam. So etwas hatte ich auch schon einmal vor Jahren erlebt (aber Backup war vorhanden). Ich habe ehrlich gesagt noch nie verstanden, wieso das RAID auf der Festplatte nicht transparent implementiert wird. Also vereinfacht gesagt, wieso bei RAID1 nicht einfach zwei absolut gleiche Festplatten vorhanden sind, die jeweils für sich in einen PC eingebaut, ohne irgendwelche Software genutzt werden können. Solange die Festplatten exakt gleich groß sind, sollte sich die Sicherungsebene doch total transparent durch den Controller realisieren lassen ohne besondere Vorkehrungen im Dateisystem der jeweiligen Festplatte.
Lars R. schrieb: > wieso bei RAID1 nicht einfach zwei absolut gleiche > Festplatten vorhanden sind, die jeweils für sich in einen PC eingebaut, > ohne irgendwelche Software genutzt werden können Weil auf die Disks Verwaltungsinformation drauf sollte. Allein schon, um zu identifizieren, welche Disk zu welchem Paar gehört, und in welchem Zustand sie ist. Sonst drohen Datenkatastrophen und grosses Geschrei.
(prx) A. K. schrieb: > Lars R. schrieb: >> wieso bei RAID1 nicht einfach zwei absolut gleiche >> Festplatten vorhanden sind, die jeweils für sich in einen PC eingebaut, >> ohne irgendwelche Software genutzt werden können > > Weil auf die Disks Verwaltungsinformation drauf sollte. Allein schon, um > zu identifizieren, welche Disk zu welchem Paar gehört, und in welchem > Zustand sie ist. Sonst drohen Datenkatastrophen und grosses Geschrei. Eigentlich ist das nicht so, jedenfalls nicht bei RAID1. Windows zeigte das schon vor vielen Jahren. Ich weiß allerdings nicht mehr, ob dieses Software-RAID1 nur in den Server-Versionen verfügbar war oder auch für die Desktop-Versionen. Jedenfalls hat es hervorragend funktioniert. Das habe ich damals selber einmal zwangsweise durchspielen dürfen. Müßte ein Server2008 gewesen sein. Wenn eine Platte krachen ging, mußte man schlimmstenfalls im BIOS die Bootplatte ändern (je nachdem, welche kaputt gegangen war) und die Sache lief auf jeden Fall erstmal wieder an. Wenn man dann eine Ersatzplatte beschafft hatte, konnte man das System runterfahren, die Platte einbauen, neu starten und das RAID wurde automatisch im Hintergrund wieder synchronisiert. Man konnte aber auch die heile Platte in irgendein anderes (nicht zu verschiedenes) Blech einbauen und die Kiste lief auch hoch. Und dann eine zweite Platte hinzufügen und automagisch wurde das wieder ein RAID1. Ja, so funktionieren richtig gute und einfache Lösungen...
Beitrag #7621275 wurde vom Autor gelöscht.
Ob S. schrieb: > Eigentlich ist das nicht so, jedenfalls nicht bei RAID1. Windows zeigte > das schon vor vielen Jahren. Die erwähnte Verwaltungsinformation steht auch dort auf der Disk. Nur nicht als eigenständiger Layer. Weshalb das auch nur mit Windows funktioniert, und m.W. GPT Partitionierung voraussetzt. > Windows zeigte das schon vor vielen Jahren. Zuerst begegnete ich einem solchen Verfahren 1990 in AIX 3. Spiegelung ist dort ins Betriebssystem eingebaut, in den Logical Volume Manager, der das Vorbild für den LVM von Linux sein dürfte. Linux allerdings neigte früher zur Entkopplung getrennter Funktionen, weshalb dort mdadm und LVM getrennt arbeiten.
:
Bearbeitet durch User
(prx) A. K. schrieb: > Die erwähnte Verwaltungsinformation steht auch dort auf der Disk. Nur > nicht als eigenständiger Layer. Und eben genau das ist das Gute daran. Das sorgt dafür, dass es einfach und ohne Klimmzüge, also schnell weiter gehen kann. > der das Vorbild für den LVM in Linux sein dürfte. Tja, LVM ist diesbezüglich klar Over-Engineered. Da klappt das eben leider nicht so einfach. Klar: kann auch nicht für jedes RAID so einfach sein. Aber für das eine, was diese Möglichkeiten bieten würde (also RAID1), hätte man schon eine Sonderbehandlung einbauen können...
Ob S. schrieb: > hätte man schon eine Sonderbehandlung einbauen können... In Zeiten von Filesystemen wie ZFS und btrfs ist das ohnehin Schnee von gestern. > LVM ist diesbezüglich klar Over-Engineered. Der LVM von Linux ist mir nur ohne Mirroring vertraut, den von AIX kenne ich besser. In AIX konnte man schon von Windows NT Platten beliebiger Kapazität mit Spiegelung zusammen spannen, weil sie auf der Ebene vom LVM-Blöcken erfolgt (damals z.B. 4 MB) und daher nur sichergestellt sein muss, dass es für jeden Block auf irgend einer anderen Disk eine Kopie gibt. Egal auf welcher, ohne Zusammenhang zwischen der Position der Blöcke auf den diversen Disks. Eine exzellente Feature, keineswegs over-engineered. Dieser Aspekt findet sich in ZFS und btrfs wieder.
:
Bearbeitet durch User
Εrnst B. schrieb: > Für eine Lösung ohne Dauerstromverbrauchs-NAS könntest du dir git-annex > anschauen. > > Damit kannst du deinen Zoo an externen Festplatten verwalten, und z.B. > vorgeben dass von jeder Datei mindestens zwei Kopien existieren müssen, > und/oder z.B mindestens eine Kopie im Büro und eine Zuhause. > ... mal ehrlich...nutzt das wer? klingt nicht sehr komfortabel
(prx) A. K. schrieb: > Ob S. schrieb: >> hätte man schon eine Sonderbehandlung einbauen können... > > In Zeiten von Filesystemen wie ZFS und btrfs ist das ohnehin Schnee von > gestern. Vorsicht, vor raid56 von btrfs ist nicht stabil! https://btrfs.readthedocs.io/en/latest/btrfs-man5.html#raid56-status-and-recommended-practices Mein goto ist freenas. Wichtig beim datengrab ist übrigens das scrubbing. Ich habe übrigens am raidZ2 mit snapshots noch git (über eine gitea Instanz). Damit existieren alle Daten am raid, auf den arbeisplätzen, den snapshots und dem backup. Bis auf das gelegentliche backupen auf eine externe HDD läuft alles automatisiert. Bei der Hardware würde ich mich auf ältere Server Hardware nicht mehr einlassen.... zu laut... Lieber eine vernünftige Workstation, in die man genügend Raum reinstecken kann und die Platten (bei mir SSDs) unterbringt. Mit de-deduplication und Kompression bekomme ich 1gbit locker gesättigt auf einem alten i3 aus der 4000 Reihe. 73
Ich habe mir gebraucht 5-Bay-NAS (Thecus N5550 und N5810 bzw. baugleich) gekauft. Darin werkeln schon jahrelang 5T und 8T HDs im RAID5. Bislang ohne Ausfall. Gegen Ausfall eines NAS habe ich immer ein 2. gleiches in das ich dann den Plattenstapel umstecken kann.
Thomas S. schrieb: > Ein Qnap 4-8 Schächter. Den kann man konfigurieren, wie man will. Er > kann aufch per WOL (wake on Lan) geweckt werden. Benötigt aber zum > Hochlaufen, bis erreichbar ist, dann ca. 3-5 Min. QNAP und so schnell? Mein TS879 braucht zum Hochfahren mindestens 20 Min, weshalb er ständig läuft. Sebastian R. schrieb: > Im 21. Jahrhundert, in dem auf ein LTO-9-Tape 18 Terabyte unkomprimiert > passen. Wer kann sowas bezahlen? Schon LTO6-Bänder sind mit nur 2,5TB und ca. 25€ unverschämt teuer...
Lars R. schrieb: > Bänder hatte ich zum letzten Mal unter Win-NT4.0 im Einsatz, da war das > ein elendes Arbeiten und man konnte nicht wirklich darauf zugreifen wie > auf eine Festplatte. Ist das heute so transparent wie ein USB-Stick? Ab LTO-5 gibt es LTFS, d.h. man braucht keine spezielle Backupsoftware mehr, sondern kann auf Bänder mit normalen Dateisystemfunktionen zugreifen - also auch mit dem Windows-Explorer. Entsprechende Laufwerke gibt es gebraucht recht günstig (< 200 EUR), wenn es Fibrechannel-Laufwerke sind, einen passenden FC-HBA für PCIe kann man ebenfalls recht günstig (< 50 EUR) bekommen. LTO-5-Bänder kosten neu etwa 20..25 EUR und fassen unkomprimiert 1.5 TByte. Mit den älteren LTO-Varianten sollte man sich nicht mehr abgeben, da die nur mit spezieller Backupsoftware verwendbar sind. Gut, unter unixoiden Systemen gibt es tar und mt, aber das ist halt ... etwas rustikal. LTO ist verdammt schnell; wenn man übers Netzwerk sichern möchte, reicht GBit-Ethernet nicht aus, so ein LTO-5-Laufwerk möchte schon kontinuierlich mit 150 MByte/sec bespaßt werden, sonst stoppt es und spult zurück, was das ganze langsam macht und die Bandlebensdauer reduziert.
Harald K. schrieb: > Ab LTO-5 gibt es LTFS, d.h. man braucht keine spezielle Backupsoftware > mehr, sondern kann auf Bänder mit normalen Dateisystemfunktionen > zugreifen - also auch mit dem Windows-Explorer. Man muß sich aber etwas in Geduld fassen. Das Vollschreiben eines LTO6-Bandes (2,5TB) mit H2testw wird mit 30h veranschlagt. Wie lange es dauert, bis eine bestimmte Datei gefunden und geladen ist, muß ich noch rausfinden... Das Verzeichnis selbst ist sofort da. PS: Das Band ist ja ca. 800m lang und hat mehrere tausend Spuren. Wieviel Spuren werden immer gleichzeitig gelesen/geschrieben?
:
Bearbeitet durch User
Peter N. schrieb: > Wie lange es dauert, bis eine bestimmte Datei gefunden und geladen ist, > muß ich noch rausfinden... Dauert halt... nebenbei: Rückspiel-Test nicht vergessen. Ich hatte mal einen Kunden, der jahrelang Backups mit seiner Tapelibrary gemacht hat... bis er die mal gebraucht hat und dann feststellen mußte, daß die Bänder sich nicht lesen ließen, IIRC wegen eines zuvor unentdeckten Defekts am Schreibkopf.
Peter N. schrieb: > Man muß sich aber etwas in Geduld fassen. > Das Vollschreiben eines LTO6-Bandes (2,5TB) mit H2testw wird mit 30h > veranschlagt. Das muss dann aber an h2testw oder der Kombination davon mit LTFS liegen; LTO-6 selbst ist deutlich schneller. Das schreibt mit 160 MByte/sec, also 576 GByte/h. Das sind dann 5, nicht 30 Stunden. Heutige Festplatten* sind bestenfalls knapp doppelt so schnell. (z.B. Seagate Exos X20 wird beim linearen Schreiben mit ~280 MByte/sec spezifiziert) *) Damit meine ich Festplatten, drehende Teile, nicht SSDs.
:
Bearbeitet durch User
Harald K. schrieb: > Das muss dann aber an h2testw oder der Kombination davon mit LTFS > liegen; LTO-6 selbst ist deutlich schneller. Schreibgeschwindigkeit liegt laut H2testw bei 25MB/s, obwohl der Streamer mit 8G am PC angebunden ist. Liegt vielleicht u.a. daran, daß H2testw nur 1GB-Dateien erzeugt...? Ein T. schrieb: > Dauert halt... nebenbei: Rückspiel-Test nicht vergessen. Über Laufwerke kopiere ich grundsätzlich mit Verify. Bei LTFS sollte das auch funktionieren.
Motopick schrieb: > Das die Hersteller auch keine vernuenftigen Konzepte zur spaeteren > Skalierung bereits im Einsatz befindlicher Systeme anbieten, setzt > dem noch ein Kroenchen auf. Du bist reich, bring so was doch einfach auf den Markt.
Motopick schrieb: > Das die Hersteller auch keine vernuenftigen Konzepte zur spaeteren > Skalierung bereits im Einsatz befindlicher Systeme anbieten, setzt > dem noch ein Kroenchen auf. Gibts doch: Z.B. das QNAP TS-879 hat 8 Einschübe, die kannst du nach und nach mit HDs bestücken. Sind alle 8 Einschübe voll, gibts Erweiterungsgehäuse mit 12 oder 16 Einschüben. An ein TS-879 kann man m.w. bis zu 15 Erweiterungsgehäuse hängen. Das sollte dann schon eine Weile reichen...
Peter N. schrieb: > Schreibgeschwindigkeit liegt laut H2testw bei 25MB/s, obwohl der > Streamer mit 8G am PC angebunden ist. Riecht komisch. > Liegt vielleicht u.a. daran, daß H2testw nur 1GB-Dateien erzeugt...? Mag ich mir nicht so recht vorstellen. Ein einfacher Test mit Powershell und einem Copy-Kommando bringt vielleicht andere Ergebnisse:
1 | param([string]$command) |
2 | $x = Invoke-Expression -Command $command |
3 | measure-command {$x | write-host}
|
(speichern als timethis.ps1) Aufrufen mit timethis.ps1 copy riesigedatei.dat f: (angenommen, daß f: der Laufwerksbuchstabe des LTFS-Treibers ist)
G. K. schrieb: > Motopick schrieb: > >> Das die Hersteller auch keine vernuenftigen Konzepte zur spaeteren >> Skalierung bereits im Einsatz befindlicher Systeme anbieten, setzt >> dem noch ein Kroenchen auf. > > Du bist reich, bring so was doch einfach auf den Markt. Ich habe kein NAS Problem. Ich brauche auch kein NAS, dass nebenbei noch VMs laufen lassen kann, oder Videos wegspeichert. Dieser Bedarf waere aber eine Voraussetzung, dass ich mich mit dem Thema beschaeftige. Ich wuerde privat solche "proprietaeren" Wundertueten nicht kaufen. Falls ich operativ mal mehr Platz brauche, kann ich an meinen ESX Host noch 8 Platten SAS/SATA extern anschliessen, und wenn es dann kein "Eigenbedarf" fuer VM(s) ist, auch eine VM starten, die das im Netzwerk bereitstellt. So angeschlossener Speicher ist zumindest fuer VMs auch besser (= performanter) erreichbar. Das "intern" angeschlossene Kabel steckt dafuer schon immer. Dazu muss ich an meinen NAS erstmal genau nichts aendern. Falls sich der Bedarf als dauerhafter manifestiert, kann ich es erweitern. Die noetigen Stichworte gab es ja schon. > Gibts doch: > Z.B. das QNAP TS-879 hat 8 Einschübe, die kannst du nach und nach mit > HDs bestücken. > Sind alle 8 Einschübe voll, gibts Erweiterungsgehäuse mit 12 oder 16 > Einschüben. An ein TS-879 kann man m.w. bis zu 15 Erweiterungsgehäuse > hängen. Und warum kann man das Geraet mit 2 Einschueben nicht auch so erweiterbar machen?
Motopick schrieb: > Und warum kann man das Geraet mit 2 Einschueben nicht auch so > erweiterbar machen? Technisch könnte man es, ökonomisch wird man es nicht tun. Es hätte zusätzliche Kosten zur Folge, die in den allermeisten Fällen nicht genutzt werden und im Billigsektor stören. Wer davon ausgeht, seine 2-Slot NAS vielleicht irgendwann mit 4 Disks ausstatten zu wollen, sollte eine 4-Slot NAS kaufen und anfangs nicht voll bestücken. Bei des grossen Geräten mit 8 oder mehr Slots verhält es sich etwas anders.
:
Bearbeitet durch User
(prx) A. K. schrieb: > Technisch könnte man es, ökonomisch wird man es nicht tun. Es hätte > zusätzliche Kosten zur Folge, die in den allermeisten Fällen nicht > genutzt werden und im Billigsektor stören. Falls der verwendete Chipsatz schon mehr als 2 SATA-Ports hat, halte ich die Kosten fuer 1 oder 2 ESATA-Buchsen schon fuer recht ueberschaubar. Die koennten auch den Betrieb, z.B. fuer Backups erleichtern. Eher ist es wohl so, dass der Hersteller es ausdruecklich nicht wuenscht. Das ist aber nur eine Mutmassung. :)
Motopick schrieb: > Falls ich operativ mal mehr Platz brauche, kann ich an meinen > ESX Host noch 8 Platten SAS/SATA extern anschliessen Dir ist bekannt, daß ESXi tot ist? Ja, man kann es natürlich immer noch verwenden, aber es gibt keine Weiterentwicklung, keine Patches und auch keine neuen Lizenzen mehr. https://www.heise.de/news/Jetzt-offiziell-VMware-stampft-kostenlosen-vSphere-Hypervisor-ein-9627260.html
Harald K. schrieb: > Dir ist bekannt, daß ESXi tot ist? Ja, man kann es natürlich immer noch > verwenden, aber es gibt keine Weiterentwicklung, keine Patches und auch > keine neuen Lizenzen mehr. An den neueren Versionen haette/habe ich ohnehin kein gesteigertes Interesse. Fuer meinen habe ich eine Lizenz, und das reicht mir. Wenn das Blech mal durchgerostet sein sollte, wird sich ganz sicher ein neues Blech finden. Und wenn die Gaeste partout nach etwas anderem fragen sollten, werde ich mich dann umsehen. Es ist mir also jetzt schlicht egal. :)
Witzig dass auch hier sofort wieder von einem einem RAID die Rede ist aber nicht von einem Backup. RAIDs dienen der Verfügbarkeit deiner Dienste bei Plattenausfall. Sie bieten keine Datensicherheit. Bevor du dir über ein RAID auch nur Gedanken machst solltest du erstmal einen Plan für Backups haben.
Harald K. schrieb: > daß ESXi tot ist Nur das kostenlose ESXi ist tot. Ansonsten wird es nur unverschämt teuer.
:
Bearbeitet durch User
Dieter D. schrieb: > Witzig dass auch hier sofort wieder von einem einem RAID die Rede > ist > aber nicht von einem Backup. RAIDs dienen der Verfügbarkeit deiner > Dienste bei Plattenausfall. Sie bieten keine Datensicherheit. Bevor du > dir über ein RAID auch nur Gedanken machst solltest du erstmal einen > Plan für Backups haben. So einfach stimmt das nicht. Was bei unerfahrenen Usern kritisiert wird: Weil sie EIN Raid-System haben, glauben sie oft, dass sie damit auch gleichzeitig ein Backup haben. Das ist natürlich falsch (Brand, Einbruch, Controller defekt usw.). Ein sicheres Backup hat man dann, wenn das in einem zweiten, unabhängigen und möglichst weit entfernten System steckt. Das darf aber natürlich auch ein RAID sein.
:
Bearbeitet durch User
Frank E. schrieb: > Ein sicheres Backup hat man dann, wenn das in einem zweiten, > unabhängigen und möglichst weit entfernten System steckt Welcher Privatmensch kann denn sowas haben?
Peter N. schrieb: > Frank E. schrieb: >> Ein sicheres Backup hat man dann, wenn das in einem zweiten, >> unabhängigen und möglichst weit entfernten System steckt > Welcher Privatmensch kann denn sowas haben? Und worauf backupt man seine TB an Daten? Selbst mit LTO-Streamern dauert das ewig und ist unverschämt teuer.
Peter N. schrieb: > Frank E. schrieb: >> Ein sicheres Backup hat man dann, wenn das in einem zweiten, >> unabhängigen und möglichst weit entfernten System steckt > > Welcher Privatmensch kann denn sowas haben? So in den '90 habe ich Datentraeger bei der akt. Freundin gebunkert, spaeter im Buero und Wohnung, jetzt bei den Schwiegereltern (1 Platte ist heute 20TByte). Atomwaffen-Angriff hatte ich nicht abgedeckt, OK, vielleicht hat man dann andere Probleme.
Thomas W. schrieb: > Atomwaffen-Angriff hatte ich nicht abgedeckt, OK, vielleicht hat man > dann andere Probleme. Ach Quatsch! Wen interessiert denn so ein bisschen Strahlung? Aber die wertvolle pr0n-Sammlung zu verlieren, so definiert sich der echte Katastrophenfall.
Thomas W. schrieb: > (1 Platte ist heute 20TByte) Das Problem ist bei solchen Datenmenge dann die Übertragungsrate. Mit sata6g bekommt man 500MB/s. 20TB=20000GB=20000000MB mach 40000s=666min=11h So ein Backup sollte in vernüntiger Zeit erstell- und rückspielbar sein. Bei RaidZ2 gibt der langsamste Datenträger den Ton an. Daher ist es ggf sinnvoll mehrere volumes (auf unterschiedlichen plattenverbünden) zu haben. Dann könnte man, falls der PCIe Bus das auch hergibt, auch 2 volumes parallel per USB-c auf ein externes Laufwerk bringen. Das sollte man auf jedenfall berücksichtigen! Dann gibt's da noch vom Dateisystem unterstütze Funktionen... RaidZ und btrfs haben beispielsweise ein snapshot feature. Scrubbing wäre noch so ein wichtiges Feature... Nach einigen Recherchen bin ich bei FreeNAS (jetzt TrueNAS) gelandet. Heute gibt's noch einige andere interessante Lösungen. Eine eigene Lösungen würde ich mir nicht antun wollen. Auch von günstigen off-the-shelf lösungen mit z.B nur 2 bays finde ich nicht all zu verlockend. Da fehlen einfach die "Enterprise Features" die man IMHO einfach haben sollte. Ein refurbished business Gerät mit einer günstigen SATA Karte und einige SSDs sind eigentlich gut erschwinglich. Bei mir sind 4 unterschiedliche SSDs von unterschiedlichen Herstellern als RaidZ2 verschaltet. Offline Backups über USB-C sind sowieso Pflicht... 73
Hans W. schrieb: > Das Problem ist bei solchen Datenmenge dann die Übertragungsrate. Das Konzept inkrementeller Backups wurde schon vor sehr langer Zeit erfunden.
Hans W. schrieb: > 20TB=20000GB=20000000MB mach 40000s=666min=11h Ja, ja, aber nur am äußeren Rand der HDD. Nach innen fällt die Datenrate dann ganz erheblich.
Thomas S. schrieb: > Hans W. schrieb: >> 20TB=20000GB=20000000MB mach 40000s=666min=11h > > Ja, ja, aber nur am äußeren Rand der HDD. Nach innen fällt die Datenrate > dann ganz erheblich. 500MB/s als kontinuierliche Datenrate eines rotierenden Roststapels anzunehmen halte ich für überaus – hmm, ambitioniert. Selbst auf den äußeren Spuren.
Hans W. schrieb: > Mit sata6g bekommt man 500MB/s. > > 20TB=20000GB=20000000MB mach 40000s=666min=11h Aber nur, wenn das keine Festplatte, sondern eine SSD ist. Festplatten schaffen als Spitzendatenrate knapp 300 MByte/sec, und sie werden mit sinkendem Spurdurchmesser noch langsamer. Du hast wohl die Datenrate der Schnittstelle und die des Mediums durcheinandergebracht. Norbert schrieb: > rotierenden Roststapels Die Magnetschicht von Festplatten ist seit über 30 Jahren nicht mehr rostfarben. Das war sie zu Zeiten von Festplatten wie der ST225 ... Seitdem aber ist so etwas ein silbrig glänzender Spiegel.
Norbert schrieb: > Thomas S. schrieb: >> Hans W. schrieb: >>> 20TB=20000GB=20000000MB mach 40000s=666min=11h >> >> Ja, ja, aber nur am äußeren Rand der HDD. Nach innen fällt die Datenrate >> dann ganz erheblich. > > 500MB/s als kontinuierliche Datenrate eines rotierenden Roststapels > anzunehmen halte ich für überaus – hmm, ambitioniert. Selbst auf den > äußeren Spuren. Ob S. schrieb: > Hans W. schrieb: >> Das Problem ist bei solchen Datenmenge dann die Übertragungsrate. > > Das Konzept inkrementeller Backups wurde schon vor sehr langer Zeit > erfunden. Ist mir bewusst. Ich wollte mit der Rechnung verdeutlichen, dass man sich darüber Gedanken machen sollte. 1. Ist das Backup (selbst inkrementelle) nicht in 0 Zeit erledigt 2. Dauer das Rückspielen seine Zeit. Daher habe ich auch (in etwa) die (theoretische) Bandbreite von SATA genommen und keine Schreibraten von typischen Datenträgern.... SSDs sind ja bekanntlich auch nicht beliebig schnell in der Größe.... 73
Hans W. schrieb: > 2. Dauer das Rückspielen seine Zeit. Wenn man ein vollständiges Backup zurückspielen muss, und nicht nur eine Handvoll Dateien. Brauchbare Backupsoftware kann Images von Festplatten anfertigen, die man wahlweise vollständig zurückspielt oder aber aus denen man einzelne Dateien rausholt. Ein schöes Beispiel für eine derartige Backupsoftware ist das mit den etwas besseren Synology-Modellen mitgelieferte "Active Backup for Business", das kann mit btrfs sehr speicherplatzsparend inkrementelle Imagebackups erzeugen, und bietet einen Zugriff auch auf einzelne Dateien aus so einem Backup. Geben tut's das ab DS224+ oder vergleichbaren älteren Modellen, nicht aber bei den Varianten ohne + im Namen. Eine Preisklasse höher (DS723+) kann man einerseits NVMe-SSDs als Schreib-/Lese-Cache im NAS verwenden und andererseits die durch das Netzwerk begrenzte Übertragungsrate mit einer 10-GBit-Netzwerkkarte erhöhen. Das spielt dann aber in einer Preisklasse, die man sich als sparsamer Hobby-PC-Nutzer kaum noch hinstellt, sowas liegt dann schon in der Preisklasse einfacher bis mittlerer Gaming-Graphikkarten.
Harald K. schrieb: > Die Magnetschicht von Festplatten ist seit über 30 Jahren nicht mehr > rostfarben. Das war sie zu Zeiten von Festplatten wie der ST225 ... > Seitdem aber ist so etwas ein silbrig glänzender Spiegel. Das kann sich bei feuchter Lagerung schnell aendern. Habe ich selbst bei 4 GB Seagate Disks gesehen. Die habe ich naemlich aufgeschraubt, nachdem sie "Geraeusche" machten. Da waren die Platter alle schoen rostbraun. :) Die Zerfallsrate der Daten war vorher schon exponentiell angestiegen. Mit einem Stripeset kann man auch bei rotierendem Rost erhebliche Datenraten erreichen. Man muss einfach nur genug Disks nehmen. Das sollten vorzugsweise Disks mit 7.2 krpm oder schneller sein. Und natuerlich ohne "Akustikmanagement". Der Einbruch der Uebertragungsrate beim Transfer, faellt weit weniger heftig aus, als bei SSDs, wenn deren Cache vollgeschrieben ist.
Harald K. schrieb: > Hans W. schrieb: >> 2. Dauer das Rückspielen seine Zeit. > > Wenn man ein vollständiges Backup zurückspielen muss, und nicht nur > eine Handvoll Dateien. > > Brauchbare Backupsoftware kann Images von Festplatten anfertigen, die > man wahlweise vollständig zurückspielt oder aber aus denen man > einzelne Dateien rausholt. > > Ein schöes Beispiel für eine derartige Backupsoftware ist das mit den > etwas besseren Synology-Modellen mitgelieferte "Active Backup for > Business", das kann mit btrfs sehr speicherplatzsparend inkrementelle > Imagebackups erzeugen, und bietet einen Zugriff auch auf einzelne > Dateien aus so einem Backup. Geben tut's das ab DS224+ oder > vergleichbaren älteren Modellen, nicht aber bei den Varianten ohne + im > Namen. Mit Imagebackups gibt sich wirklich gute Backupsoftware gar nicht ab. Bei der muss man per Backupclient/system, eine "Bare Metal Recovery" erzeugen. Die gibt sich auch mit den Spezifika von Filesystemen nicht ab, sondern nutzt dafuer eine Datenbank(en). Und macht damit quasi ganz nebenbei, auch Datendeduplikation und Versionierung. Und, die ist auch nicht an "irgendwelche" Modelle eines Systems gebunden. Waere ja auch noch schoener, dass man auf das Backup ohne dieses System nicht zugreifen kann. Ganz vorbildlich ist da z.B. der Tivoli Storage Manager. Da gibt es sogar Quellcode, um auf das Backup(file/system) zuzugreifen, und Daten zu restaurieren. Das was du da als "gut" bezeichnest, ist vom Standpunkt eines professionellen Anwenders nur schimmliger Murks. Und auch der (Consumer-)Anwender sollte sich den Einsatz gut ueberlegen.
Harald K. schrieb: > Brauchbare Backupsoftware kann Images von Festplatten anfertigen, die > man wahlweise vollständig zurückspielt oder aber aus denen man > einzelne Dateien rausholt. Ähm, snap-shop replication mit vernünftigem Dateisystem. Da braucht es keine Backup Software. Das macht eigentlich das Dateisystem... mit etwas Hilfe vom Betriebssystem (für offline-usb-backups) bzw SSH (für remote backups). "Backup-software" braucht es eigentlich nur damit die Daten aufs NAS wandern und über mehrere Clients konsistent bleiben. Das macht bei mir hauptsächlich git. Ab da übernimmt dann bei mir ZFS. Backups von einer Platte sind privat mit einem Rechner vielleicht ausreichend...spätesten, würde ich zu "Enterprise Lösungen" greifen. Selbst am eigenen PC: ZFS, btrfs oä macht eigentlich jegliche Backup Software obsolet... Und bring Raid nebenbei mit. Und rückspielen tut man nicht einzelne Files. Das braucht man hin und wieder um alte Dateistände wiederherzustellen, die nicht in einem repository liegen. Ansonsten arbeitet man auf seiner Node weiter bis das NAS wieder auf Stand ist und repliziert die aktualisierten Daten von der Node zurück aufs NAS. BTDT. Nach dem 1. kapitalen beinahe Verlust mit erfolgreichem Recovery ist man dann wirklich gelassener :) Trotzdem, ein paar TB kopieren sich nicht Mal eben so... 73
Peter N. schrieb: >>> Ein sicheres Backup hat man dann, wenn das in einem zweiten, >>> unabhängigen und möglichst weit entfernten System steckt >> > Welcher Privatmensch kann denn sowas haben? Man muss vielleicht nicht zig TB auf solche Backups legen, sondern das Wichtige. Etwa auf eine Arbeitsplatz deponierte und rotierte USB Disk. Oder per VPN im Familien- oder Freundeskreis. Oder in die Cloud. Verschlüsselt, versteht sich.
Hans W. schrieb: > Trotzdem, ein paar TB kopieren sich nicht Mal eben so... Wer täglich ein paar TB an Daten in die Sicherung schaufelt, ist wahrscheinlich ein Unternehmen mit sehr grossem Datenanfall oder sollte seine Strategie überdenken. Es reicht, die geänderten Daten zu sichern. Es existieren zuverlässige Methoden, das durchzuführen.
:
Bearbeitet durch User
(prx) A. K. schrieb: > Hans W. schrieb: >> Trotzdem, ein paar TB kopieren sich nicht Mal eben so... > > Wer täglich ein paar TB an Daten in die Sicherung schaufelt, ist > wahrscheinlich ein Unternehmen mit sehr grossem Datenanfall oder sollte > seine Strategie überdenken. Es reicht, die geänderten Daten zu sichern. > Es existieren zuverlässige Methoden, das durchzuführen. Noch Mal: in die Sicherung rein ist nicht das Problem, das ich ansprechen wollte! Es ist eher, das man dazu neigt, z.B das NAS Backup und das Recovery zu vergessen. Wenn du 100GB mit nur 100MB/s sichern kannst, dann ist das im privaten sicher i.O. Wenn du vom NAS aber 1x im Monat ein inkrementelles Backup von 1 TB machen willst dann sind das schon fast 3h. Musst du 1x im Jahr ein Backup auf den neuen PC oder Laptop zurückspielen geht ein Tag vorbei. Im Eingangspost ging's übrigens um 20-30TB Daten und 100mbit(!!!). Da kannst du meine Zahlen x10 nehmen. Auf das wolle ich hinweisen! Ab einer gewissen Datenmenge ist einfach der Durchsatz auch ein Thema - nicht nur die Größe und Kosten der Speichermedien. Deswegen habe ich oben auch angemerkt, dass ZFS im RaidZ keinen Geschwindigkeitsvorteil mit mehreren Platten bringt. Dafür hat es einige andere Vorteile. Da bringt dann irgendwann selbst ein Upgrade auf 10g Ethernet nichts und man müss mit m.2 storage ran... Hab ich z.B auch für ein kleineres Volume gemacht, bei dem ich Speed wollte (da liegen/laufen unter anderem VMs). Der Rest liegt auf langsamen NAS Platten, weil bei meinem normalen Workflow keine Datenmenge zusammen kommt. Beim Backup stecke ich in der früh die Platte an und repliziert ich einfach den letzten auto-snapshot. Das darf dann meinetwegen auch den ganzen Tag kopieren. Deshalb wollte ich darauf hinweisen, dass man die grobe spec Mal am post-it durchrechnen sollte... 73
Harald K. schrieb: > Die Magnetschicht von Festplatten ist seit über 30 Jahren nicht mehr > rostfarben. Das war sie zu Zeiten von Festplatten wie der ST225 ... > Seitdem aber ist so etwas ein silbrig glänzender Spiegel. Das ist formell richtig, dennoch hat sich die Bezeichnung ›spinning rust‹ bis heute gehalten. Hört sich auch irgendwie netter an als: ›Schnell rotierende Platten welche mit einem speziellen Gemisch verschiedener magnetisch reagierender Komponenten einige Mikrometer dünn beschichtet sind‹
Norbert schrieb: > Hört sich auch irgendwie netter an als: Man könnte ja auch den Kindergartenstuhlkreis verlassen und einfach "Festplatte" sagen. Aber das wäre vermutlich viel zu einfach.
Peter N. schrieb: > Frank E. schrieb: >> Ein sicheres Backup hat man dann, wenn das in einem zweiten, >> unabhängigen und möglichst weit entfernten System steckt > > Welcher Privatmensch kann denn sowas haben? Ich. fchk
Harald K. schrieb: > Man könnte ja auch den Kindergartenstuhlkreis verlassen Man könnte ja auch den Proleten-Stuhlkreis verlassen. Aber das scheint oftmals nicht in der Genetik verankert zu sein.
Frank K. schrieb: > Peter N. schrieb: >> Frank E. schrieb: >>> Ein sicheres Backup hat man dann, wenn das in einem zweiten, >>> unabhängigen und möglichst weit entfernten System steckt >> >> Welcher Privatmensch kann denn sowas haben? > > Ich. > fchk Ist ja nicht soooo schwer. Ideen wie gelegentlich auf externe Festplatte kopieren und irgendwo mitnehmen standen ja schon oben. Replikation in die Cloud oder per VPN zu Eltern/Bruder/... auch. 73
Hans W. schrieb: > Ideen wie gelegentlich auf externe Festplatte kopieren und irgendwo > mitnehmen standen ja schon oben. Eine externe Festplatte halte ich als Backup für wesentlich unsicheerer, als ein NAS.
Hans W. schrieb: > 20TB=20000GB=20000000MB mach 40000s=666min=11h > > So ein Backup sollte in vernüntiger Zeit erstell- und rückspielbar sein. Am Wochenende kann es schon mal vorkommen, dass ich 9-10 h schlafe, da empfinde ich 11 h jetzt als doch vernünftige Zeit für etwas das ich privat ja auch eher Quartalsweise mache. Sehr interessant ist die Frage natürlich wenn du in einem 3 oder sogar 4 Schicht Betrieb arbeitest (oder über Zeitzonen verteilt) wo es nie eine Zeit gibt, in der nicht auf der Datenbank Transaktionen durchgeführt werden.
Peter N. schrieb: > Eine externe Festplatte halte ich als Backup für wesentlich > unsicheerer, als ein NAS. Wenn sie im Schrank/Regal steht, sind die Daten darauf recht sicher. Der groesste Feind aller Daten sitzt vor dem Bildschirm!
:
Bearbeitet durch User
Motopick schrieb: > Wenn sie im Schrank/Regal steht, sind die Daten darauf recht sicher. Kommt darauf an, wie lange sie da steht. Ich habe letztens einige alte HD-Sammlungen (ca. 15 Jahre gelagert) weitergegeben. Von diesen HDs waren nur noch ca. 50% lesbar. Fehler der meisten: liefen nicht an. Wahrscheinlich klebten die Köpfe auf den Platten...
Lars R. schrieb: > Im Grunde geht es nur darum etwa 30 TB Daten sicher für Jahre abgelegt > vorhalten zu können und beim Ausfall einer Festplatte soll nicht gleich > Datenverlust entstehen Dann brauchst Du minimal 60 TB Platz, ich würde aber wenigsten zu 90 TB raten (Original + 2 Kopien). Und nicht vergessen, sie wenigstens jährlich komplett zu prüfen (MD5). Zur Zeit sind 22TB HDDs preislich o.k. Helium HDDs sind stromsparender und laufen mit 7200U/min.
Peter D. schrieb: > Und nicht vergessen, sie wenigstens > jährlich komplett zu prüfen (MD5). Das hat das Dateisystem zu machen. Daher habe ich auch zu einem dafür gedachten Dateisystem geraten. Mit ZFS und btrfs nennen das scrubbing und in Verbindung mit dem eingebauten "RAID" (es ist ja eigentlich etwas komplexer als ein simples RAID von anno-dazumal) bleibt alles auf dauer konsistent. Deshalb bevorzuge ich eigentlich ein off-site backup, das per VPN gesynct wird. Es gibt da aber viele unterschiedliche Ansätz mit unterschiedlichsten Vor- und Nachteilen. Wenn du es schaffst, 2 große USB disks abwechselnd und vor allem regelmäßig an dein NAS zu stecken dann sollte das schon passen... solange du auch diese platten scrubbst... wobei ich mir dann nicht zu 100% sicher bin, wie ZFS dann reagiert. wahrscheinlich wirst du den kompletten Inhalt des Volumes verwerfen müssen, weil ja auch die meta-daten nicht mehr stimmen. 73
Peter N. schrieb: > ... Fehler der meisten: liefen > nicht an. Wahrscheinlich klebten die Köpfe auf den Platten... Klebrige Koepfe habe ich schon Ende der 80er bei Seagateplatten durch ein kraeftiges "Anschwenken" kuriert. Das Problem ist also nicht neu. Aber doch eher selten geworden. Die meissten Platten brauchen einfach nur etwas laenger. Und trotzdem: > Der groesste Feind aller Daten sitzt vor dem Bildschirm!
Frank K. schrieb: > Peter N. schrieb: >> Frank E. schrieb: >>> Ein sicheres Backup hat man dann, wenn das in einem zweiten, >>> unabhängigen und möglichst weit entfernten System steckt >> >> Welcher Privatmensch kann denn sowas haben? > > Ich. Ich auch. Hab' sogar drei, eins 2,5km entfernt, eins ca. 700km entfernt und eins ca. 12000km entfernt. Nunja, im Gegenzug liegen die Backups der drei "Hoster" wiederum bei mir. Zumindest jeweils eine Generation. Ich habe keine Ahnung, ob die andere Generationen vielleicht noch irgendwo anders hosten. Ich denke: Eher nein. Sind alle nicht IT-affin. Aber dafür enge Freunde oder nahe Familie. Ob das alles aber wirklich Sinn macht? Ich denke mal: nicht wirklich. Im Prinzip habe ich nur das einmal für die 2,5km-Entfernung etablierte (und so weit definitiv noch sinnvolle) System auf zwei neue Peers erweitert (die damals auch im Umkreis von wenigen km gewohnt haben). Irgendwann sind die aber umgezogen und so hat sich das heutige Konstrukt ergeben. Fast atomkriegssicher, aber: Wenn es wirklich in so einem Ausmaß knallt, haben wir definitiv andere Sorgen, als Backups einzuspielen...
Ob S. schrieb: > Ich auch. Hab' sogar drei, ... Gute Wahl. Drei braucht man auch fuer ein Quorum. :)
Thread beobachten
Seitenaufteilung abschaltenBitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.