Gibt es irgend ein bezahlbares / möglichst billiges Speichermedium, mit
dem man ~100TB oder so Speichern kann? Darf auch WORM (Write Once Read
Many) sein.
Und was ist eigentlich mit all den Fancy neuen Speichern passiert, von
denen man vor Jahren gehört hat, dass daran geforscht würde? Optische
Glaswürfel und Tesafilm speicher, 5D optical data storage, etc. wo
bleibt das Zeugs?
Optische Bandspeicher existieren wohl?
https://de.wikipedia.org/wiki/Optisches_Band
Wo kriegt man sowas?
Sebastian schrieb:> Suchst du etwas in der Art?
Mal gesehen, was die LTO8-Bandlaufwerke kosten?
Wenn's bei den 100TB bleibt, ist's billiger da einen Berg Festplatten in
USB-Gehäuse zu schrauben.
Jenachdem kannst du es zwischen 300€ und 1200€ bei Amazon in den
Gletscher schieben. Lohnt halt nur wenn man nur im Notfall an die Daten
muss, dafür hat man aber ziehmlich sicheres Backup.
Gut die meisten kommen jetzt wieder mit der Amazon ist der Teufel Keule,
aber man kann es ja trotzdem mal sagen :D
Die Frage nach der Speichermenge hast du zwar beantwortet, aber da
fehlen noch ein paar Faktoren:
- Wie oft muss auf die Daten Zugegriffen werden?
- Wie schnell muss so ein Zugriff ablaufen?
- Wie schmerzhaft ist ein Totalverlust der Daten?
Je nach Antwort darauf läuft es auf Cloud/Festplatten/LTO hinaus.
Insbesondere bei vielen schnellen Zugriffen sind die klassischen
Festplatten immernoch die Sieger.
🐧 DPA 🐧 schrieb:> Und was ist eigentlich mit all den Fancy neuen Speichern passiert, von> denen man vor Jahren gehört hat, dass daran geforscht würde? Optische> Glaswürfel und Tesafilm speicher, 5D optical data storage, etc. wo> bleibt das Zeugs?
Daran wird weiter geforscht. Vieles scheitert im Langzeitversuch oder
ist nicht praktikabel außerhalb eines Labors. Auch ist das alles immer
eine Kostenfrage. Wenn dein Tesafilmspeicher 200€ pro TB in der
Herstellung kostet, kauft den keiner.
🐧 DPA 🐧 schrieb:> LTO7
100 TB in 6/15 TB (51€) pro Band? Bei komprimierten Daten eher 6TB. Da
kannst Du einen Disjokey einstellen der Bänder wechselt Tag und Nacht?
Nach 20x Band beschreiben kommen die ersten Verschleißfehler? Da würde
ich lieber einige Stapel große Platten als schnelle Lösung in
verschiedene Tresore legen. Das verringert die Wiederherstellungszeit.
Ntldr -. schrieb:> Die Frage nach der Speichermenge hast du zwar beantwortet, aber da> fehlen noch ein paar Faktoren:>> - Wie oft muss auf die Daten Zugegriffen werden?
Vielleicht so alle paar Tage mal, eventuell auch mal 2-3 mal an einem
Tag. Das sind viele eher kleine Datensätze, von denen ich jeweils aber
nur einen brauche.
> - Wie schnell muss so ein Zugriff ablaufen?
Das sollte schon <5min sein, so lange kann ich warten. Kleiner 5s wäre
aber natürlich toll.
> - Wie schmerzhaft ist ein Totalverlust der Daten?
Nicht besonders. Die sind alle entweder generiert oder repliziert.
Dauert aber leider sehr lange die zu regenerieren.
oszi40 schrieb:> Nach 20x Band beschreiben kommen die ersten Verschleißfehler? Da würde> ich lieber einige Stapel große Platten als schnelle Lösung in> verschiedene Tresore legen.
Ok, stimmt eigentlich. Und wenn man die Platten insgesamt für ~3k kriegt
ist das eigentlich ja sogar noch erstaunlich preiswert. Dann läuft es
wohl doch auf Festplatten hinaus.
Peter D. schrieb:> 7 Stück WD 14TB sind ~1700€.
Oh, wow, das ist ja regelrecht günstig! Etwas Klobig zwar, nicht sicher,
wo ich die am besten alle hinstelle.
In dem Fall würde ich auch zu HDDs raten, die gibts ja mittlerweile auch
mit bis zu 18TB. Du könntest ein NAS mit ZFS aufbauen, jenachdem wie
deine Datensätze aussehen kannst du mit der Deduplizierung und der live
Kompression von ZFS noch einiges an Speicher einsparen.
Das macht mich jetzt neugierig:
Was bitte sind 100TB Daten die man im Zugriff braucht, wenn man sie
generieren kann? Rainbow Tables?
Irgendeine Cryptowährung gab es auch mal, die Festplattenplatz in Coins
umwandelte...
Ich hätte auch gesagt ein 8-Slot NAS und da ein Sack voll dicke Platten
rein.
Als Sicherung ohne NAS einzeln in externen Gehäusen, oder zur
Langzeitaufbewahrung in Tapes, aber dazu braucht man fast eine Library,
zumal die Schreibgeschwindigkeit auch ein Problem werden könnte.
🐧 DPA 🐧 schrieb:> Optische Bandspeicher existieren wohl?
Zitat
"mehrere Prototypen[3][4] wurden bis heute entwickelt, aber keine dieser
Technologien ist weit verbreitet. "
🐧 DPA 🐧 schrieb:> was ist eigentlich mit all den Fancy neuen Speichern passiert
Die kommen auch nicht aus den Laboren heraus. Derzeit gibt es nur
Festplatten und Bänder (LTO), Techniken, die schon in der Steinzeit im
vorigen Jahrtausend verwendet wurden, aber immer und immer weiter
entwickelt wurden.
Nichts davon ist so billig wie die versprochene Rolle Tesafilm aus dem
Schreibwarenladen für viele TB, bloss gibt es die halt bloss als Idee.
Georg
🐧 DPA 🐧 schrieb:> Vielleicht so alle paar Tage mal, eventuell auch mal 2-3 mal an einem> Tag. Das sind viele eher kleine Datensätze, von denen ich jeweils aber> nur einen brauche.
Und es gibt keine Möglichkeit, nur die benötigen Daten zu generieren?
Dann könnte man das backup nach /dev/null schreiben, das ist die
günstigste und wartunsgärmste Lösung für solche Daten ;)
Oliver
Georg schrieb:> aber immer und immer weiter> entwickelt wurden.
Zur Illustration: unsere erste Festplatte von Nixdorf hatte das Format
einer Toplader-Waschmaschine und die sagenhafte Kapazität von 5 MB.
Georg
Sowas geht nur mit Festplatten, für Bänder sind die doch recht häufigen
Zugriffe ein Ausschlusskriterium. 100TB sind heutzutage immer noch eine
ziemlich unhandliche Datenmenge. Wenn man das als ein einziges Laufwerk
haben möchte, sprengt man schnell die Grenzen vieler Dateisysteme,
müsste aber mit ext4 oder so gehen.
Wo liegen die Daten denn im Moment, oder werden die erst noch erzeugt?
Was mich interessieren würde, beinhalten die 100TB bereits den Speicher
für das Backup? Sprich 50TB Nutzdaten plus 50TB Backup?
Angenommen die 100TB sind alles Nutzdaten, dann würde ich das mit einem
großen RAID5 oder so probieren, mit entsprechender Redundanz. Damit
bekommt man eine gewisse Sicherheit gegen den Ausfall einzelner
Festplatten, aber spätestens wenn eine Platte aus einer nicht mehr
verfügbaren Serie ausfällt, endet das schnell mit dem Austausch aller
Platten und dem Problem, wie man so eine Menge Daten umkopiert.
Die LTO-Bänder sind nur als reine Sicherheitskopie zu gebrauchen, mit
dem Vorteil, daß man die auch an einem anderen Ort aufbewahren kann als
die aktive Kopie. Mit LTO-7/L7 sind das 6GB ohne Kompression,
schlimmstenfalls also 17 Bänder. Das macht ohne Tapeloader keinen
wirklichen Spaß und dauert recht lange. LTO-8 würde 12GB schaffen, sind
9 Bänder, aber wirklich schneller als LTO-7 ist es auch nicht. 100TB mit
360MB/s sind über 3 Tage 5 Stunden reine Kopierzeit, ohne Fehler und
Bandwechselzeit. Ein 12TB LTO-8 dauert etwa 9 Stunden 16 Minuten. So ein
Backup startet man kurz vor Feierabend und schaut am nächsten Arbeitstag
obs fehlerfrei durchgelaufen ist...
Edit:
Gerade mal geschaut, LTO-8 Laufwerke bekäme man für 2000..2500 Euro,
damit wäre LTO-7 für mich raus. LTO-7 ist nicht so viel preiswerter um
den Nachteil beim Handling zu rechtfertigen.
🐧 DPA 🐧 schrieb:> Ok, stimmt eigentlich. Und wenn man die Platten insgesamt für ~3k kriegt> ist das eigentlich ja sogar noch erstaunlich preiswert. Dann läuft es> wohl doch auf Festplatten hinaus.
Brauchst du Ausfallsicherheit?
Dann muss noch RAID eingeplant werden.
Das kostet dich ein paar mehr Platten als nur die eigentliche Größe.
Wenn du noch Backups brauchst, währen Bänder die sinnvollere Lösung.
Beachte übrigens auch, dass es keine gute Idee ist mit Helium gefüllte
Festplatten zu nehmen.
Der Wunsch diese zu nehmen liegt nahe, da sie deutlich mehr speichern
können. Z.B. 8 TB und mehr pro Platte, als bspw. nur 4 TB, aber das
Helium wird irgendwann entweichen.
Für langfristige Lösungen wären also Platten ohne Helium besser und wenn
du da mit 4 TB Platten rechnest, sind das bei 100 TB mindestens 25
Stück.
Eine kostet ca. 100 €. Macht dann also 2500 €.
Dazu noch ein 19" Rackgehäuse um die 25 Platten unterzubringen, ein Xeon
und eventuell noch SAS/SATA Controllerkarten und dann als Software ein
NAS System wie bspw. TrueNAS.
Dann kannst du die Datenmenge auch gut verwalten.
Wenn du SAS anstatt SATA nimmst, wird es noch teuer, da die Platten mehr
kosten.
Mit einem Raid-Z2, also 2 Platten zur Sicherheit und z.b. 5 Platten für
die Daten brauchst du noch 10 zusätzliche Platten, also 35 Stück.
Preis dann für die Platten grob bei SATA mind. 3500 €.
Wenn Performance wichtig ist, dann wäre ein Mirror sinnvoller. Also 50
Platten und gegebenenfalls zwei 19" Rackgehäuse um die alle
unterzubringen.
Also mindestens 5000 € + Rackgehäuse + Rackschrank + Rechner also
geschätzt 10000 €.
Es gibt aber auch mit Z-LOC Lösungen als Zwischencache günstigere
Lösungen. Kostet dann halt entsprechend.
Irgendwo zwischen 4000 bis 10000 € wirst du mit der Platten- +
NAS-lösung + Rackschrank bei SATA also schon liegen.
Und dann nicht die Stromversorgung vernachlässigen.
Eine USV für diese Festplattenmenge dürfte auch nicht billig sein.
🐧 DPA 🐧 schrieb:> Peter D. schrieb:>> 7 Stück WD 14TB sind ~1700€.>> Oh, wow, das ist ja regelrecht günstig! Etwas Klobig zwar, nicht sicher,> wo ich die am besten alle hinstelle.
Und die sind Heliumgefüllt.
🐧 DPA 🐧 schrieb:>> 7 Stück WD 14TB sind ~1700€.>> Oh, wow, das ist ja regelrecht günstig! Etwas Klobig zwar, nicht sicher,> wo ich die am besten alle hinstelle.
Ja, glücklicherweise sind die Zeiten, wo 20MB-Platten 2000€ kosteten,
schon lange vorbei.
🐧 DPA 🐧 schrieb:> Gibt es irgend ein bezahlbares / möglichst billiges Speichermedium, mit> dem man ~100TB oder so Speichern kann? Darf auch WORM (Write Once Read> Many) sein.
Am billigsten wäre wohl ein Stapel beschreibbarer DVDs samt
zugehörigen Laufwerk. Die Speichersicherheit ist aber m.W.
geringer als bei Festplatten.
Harald W. schrieb:> 🐧 DPA 🐧 schrieb:>>> Gibt es irgend ein bezahlbares / möglichst billiges Speichermedium, mit>> dem man ~100TB oder so Speichern kann? Darf auch WORM (Write Once Read>> Many) sein.>> Am billigsten wäre wohl ein Stapel beschreibbarer DVDs samt> zugehörigen Laufwerk. Die Speichersicherheit ist aber m.W.> geringer als bei Festplatten.
Du solltest vor dem Kommentieren erst einmal rechnen.
100 TB sind 102400 GB.
Auf eine DVD passen 4,3 GB.
Du brauchst also 23814 DVD um die Datenmenge unterzubringen und da sind
Verluste durch den Overhead noch gar nicht mitberücksichtigt.
Nano schrieb:> Also 50 Platten und gegebenenfalls zwei 19" Rackgehäuse um die alle> unterzubringen.> Also mindestens 5000 € + Rackgehäuse + Rackschrank + Rechner also> geschätzt 10000 €.
Hast du die Anforderungen gelesen? Fünfzig Platten? Bist du
Festplattenverkäufer?
100 TB sind zwar nicht nichts, aber bringt man doch locker in einem
größeren NAS unter. Je nach Archivanforderung mit oder ohne Helium.
Jan H. schrieb:> Nano schrieb:>> Also 50 Platten und gegebenenfalls zwei 19" Rackgehäuse um die alle>> unterzubringen.>> Also mindestens 5000 € + Rackgehäuse + Rackschrank + Rechner also>> geschätzt 10000 €.>> Hast du die Anforderungen gelesen? Fünfzig Platten? Bist du> Festplattenverkäufer?
Kannst du kein Mathe?
Die Rechnung oben sollte man doch nachvollziehen können, wenn man nicht
auf den Kopf gefallen ist!
> 100 TB sind zwar nicht nichts, aber bringt man doch locker in einem> größeren NAS unter. Je nach Archivanforderung mit oder ohne Helium.
Oben steht alles erklärt, würdest du mal richtig lesen und vor allem
mitdenken hättest du dir dein Kommentar sparen können.
Nano schrieb:> Beachte übrigens auch, dass es keine gute Idee ist> mit Helium gefüllte Festplatten zu nehmen.> Der Wunsch diese zu nehmen liegt nahe, da sie deutlich> mehr speichern können. Z.B. 8 TB und mehr pro Platte,> als bspw. nur 4 TB, aber das Helium wird irgendwann> entweichen.
Lt. c't gibt es bisher keine handfesten Belege dafür,
dass das noch innerhalb der (typischen) Nutzungsdauer
der Platten passiert.
Ansonsten: Gesamtes NAS in eine heliumgefüllte Glovebox
setzen :-)
oszi40 schrieb:> 🐧 DPA 🐧 schrieb:>> LTO7>> 100 TB in 6/15 TB (51€) pro Band? Bei komprimierten Daten eher 6TB. Da> kannst Du einen Disjokey einstellen der Bänder wechselt Tag und Nacht?
Gibt automatische Wechselsysteme dafür. Dürfte natürlich dann im
5stelligen Bereich liegen :D Und für 2-3mal täglich auch nicht die Wucht
sein...
ACDC (Gast)
>> ~100TB>Meinst du 100GB oder vielleicht 100MB?
Da er 3000€ schon als Kostenpunkt akzeptiert hat, und sogar als recht
preiswert betrachtet hat, wird es wohl bei 100TB bleiben.
Nano schrieb:> Auf eine DVD passen 4,3 GB.
nein
4,7 GB Single layer DVD (4,38 GiB)
8,5 GB Double layer DVD
oder beidseitige mit 17 GB
Eine Klasse höher wären dann BDXL mit 128GB
Gibt aber in jedem Fall einen grooooßen Stapel und ohne automatisirtes,
je nach Datenträgertyp bis zu raumgroßen Magazin macht das keinen Spaß.
100TB sind allerdings noch die Domäne von HDDs. Backup möglicherweise
auf Bänder oder in die Cloud.
Bei 100TB sind HDDs und (noch) LTO-8 Streamer preislich in einer
ähnlichen Region.
Nano schrieb:> 100 TB sind 102400 GB.
Nein
100 TB = 100.000 GB (10^12 Byte)
100 TiB = ca. 109.952 GB (2^40 Byte)
Der Unterschied könnte bei größeren Datenmengen durchaus relevant sein.
🐧 DPA 🐧 schrieb:>> - Wie schmerzhaft ist ein Totalverlust der Daten?>> Nicht besonders. Die sind alle entweder generiert oder repliziert.> Dauert aber leider sehr lange die zu regenerieren.
Da du die replizieren kannst, müssen die doch bereits irgendwo gesichert
sein?
Reinhard S. schrieb:>> kannst Du einen Disjokey einstellen der Bänder wechselt Tag und Nacht?>> Gibt automatische Wechselsysteme dafür. Dürfte natürlich dann im> 5stelligen Bereich liegen :D Und für 2-3mal täglich auch nicht die Wucht> sein...
Das wird nicht billig. Du brauchst SW, HW und viel Zeit um in Störfall
alle Bänder zurückzuspielen.
QQ schrieb:> Nano schrieb:>> Auf eine DVD passen 4,3 GB.>> nein>> 4,7 GB Single layer DVD (4,38 GiB)> 8,5 GB Double layer DVD> oder beidseitige mit 17 GB
Dann such doch mal Läden, wo du solche Datenträger in großer Menge
kaufen kannst.
Die meisten DVD-R(W) oder RAM machen bei 4,3 GB Schluss und dass er
beschreibbare DVDs will und keine gepressten, das ergibt sich ja wohl
schon vom Kontext.
> Eine Klasse höher wären dann BDXL mit 128GB
Ja, nur das eine BD keine DVD ist.
> Nano schrieb:>> 100 TB sind 102400 GB.>> Nein
Wenn man die Daten speichern will, muss man den Faktor 1024
berücksichtigen. Das habe ich gemacht.
Wenn man nur Pauschal von einer Einheit sprechen will, reichen sowohl TB
und GB.
Und 100 TB ergibt 100 TB * 1024 = 102400 GB
> 100 TB = 100.000 GB (10^12 Byte)>> 100 TiB = ca. 109.952 GB (2^40 Byte)>> Der Unterschied könnte bei größeren Datenmengen durchaus relevant sein.
Und deswegen habe ich den auch berücksichtigt.
Das TiB und GiB verwendet in der Praxis umgangsprachlich keiner, weil
jeder weiß, was gemeint ist.
> 🐧 DPA 🐧 schrieb:>>> - Wie schmerzhaft ist ein Totalverlust der Daten?>>>> Nicht besonders. Die sind alle entweder generiert oder repliziert.>> Dauert aber leider sehr lange die zu regenerieren.>> Da du die replizieren kannst, müssen die doch bereits irgendwo gesichert> sein?
Wenn er sie generiert, dann werden die wohl aus einem Algorithmus
erstellt werden.
Vielleicht will er eine große Rainbowtable Datenbank anlegen?
Nano schrieb:> Wenn er sie generiert, dann werden die wohl aus einem Algorithmus> erstellt werden.
Das nächste Kunststück ist, die Daten möglichst blitzartig zu sichern,
da es wenig nützt wenn er seine 100TB erst zu Weihnachten fertig
gesichert hat. Da sind 50% der Daten schon wieder veraltet oder
gelöscht. Im Störfall ist er dann zu Ostern mit dem Restore fertig. So
lange steht dann seine Firma?
🐧 DPA 🐧 schrieb:>> - Wie schmerzhaft ist ein Totalverlust der Daten?>> Nicht besonders. Die sind alle entweder generiert oder repliziert.> Dauert aber leider sehr lange die zu regenerieren.
Das sieht nach Erzeugen einer Entschlüsselungstabelle nach einem
bestimmter Verfahren mit Abstandsberechnungen zu Stützstellen aus.
Hallo
Erst mal:
Als von der Frage her rein passiver Mitleser muss ich sagen ein sehr
Interessantes Thema mit durchaus erhellenden Antworten und für mich, bei
deutlich geringeren Bedarf an "billigen" Speicher der nicht besonders
schnell sein muss interessanten Links.
Wenn es nicht Geheim ist würde es mich aber interessieren:
Für was wo es auf einige 1000 Euro wohl doch ankommt braucht man 100TB`?
In Forschungsbereich wo laut diversen Fachberichten riesige Datenmengen
zusammen kommen -z.B. Astronomie - sind wohl selbst 10000 Euro relatives
Kleingeld und letztendlich sowieso zum großen Teil durch den
Steuerzahler finanziert oder es stehen finanzkräftige Firmen dahinter .
In beiden Fällen werden aber wohl kaum die Verantwortlichen hier
nachfragen müssen.
Auch was die Rainbowtabellen angeht (übrigens: Wikipedia hat da für
einen Laien und total unwissenden wie mich,abgesehen von den ersten 2
bis 3 Sätzen, überhaupt keinen Erkenntnisgewinn gebracht was das
überhaupt ist...) scheint es mir als wenn beide Interessenseiten wohl
kaum hier fragen würden was für Speicher man am besten Nutzt und wp es
auf einige Tausend Euro ankommt.
Also Karten auf den Tisch - einfach weil es interessant ist und in einen
Forum auch gegeben werden sollte und nicht nur genommen - Wofür brauchst
du ("ihr"?) 100TB Speicher deine Beschreibung wie oft und in welcher
Weise die Daten dann auch noch Gebraucht werden bzw. das diese wenn wohl
auch Rechenintensiv aber vom Prinzip einfach wiederhergestellt werden
können macht es noch interessanter.
Irgendwas abgefahrenes im Kryptowährungsbereich, wie hier es hier kurt
schon jemand angesprochen hatte?
Weil irgendwie echte Werte (Wete im Sinn von Ware als Dienstleistung die
was handfestes herstellt, das Leben einfacher machen, direkt Satt macht,
Unterhält usw.) scheinen ja bei den Kroyptominingverfahren gar nicht
hergestellt zu werden sondern irgendwelche letztendlich sinnfreien
Berechnungen (oder wohl auch Systeme die "einfach Speicher verschwenden"
?) ist aus mir absolut nicht nachvollziehbaren Gründen viel Geld wert -
"neuer" Glaube an höhere Mächte?
Aber selbst da kann ich mir nicht vorstellen das Leute die so was machen
hier nachfragen müssten und das es auf einige Tausend Euro ankommt.
Es wird immer Geheimnisvoller ;-)
Terra
Dieter D. schrieb:> 🐧 DPA 🐧 schrieb:>>> - Wie schmerzhaft ist ein Totalverlust der Daten?>>>> Nicht besonders. Die sind alle entweder generiert oder repliziert.>> Dauert aber leider sehr lange die zu regenerieren.>> Das sieht nach Erzeugen einer Entschlüsselungstabelle nach einem> bestimmter Verfahren mit Abstandsberechnungen zu Stützstellen aus.
Wie kommt man aus den zwei Zeilen von DPA da drauf?
Nano schrieb:> Kannst du kein Mathe?> Die Rechnung oben sollte man doch nachvollziehen können, wenn man nicht> auf den Kopf gefallen ist!
Ach nano, um die Multiplikation geht's doch nicht. Bist du Volksschüler,
dass du denkst 50x4TB wäre eine mathematische Herausforderung? Wie so
oft bei Leuten wie dir: nimm dir zu Herzen, was du selbst geschrieben
hast, ist doch lächerlich:
> Oben steht alles erklärt, würdest du mal richtig lesen und vor allem> mitdenken hättest du dir dein Kommentar sparen können.
Jan H. schrieb:> du denkst 50x4TB
Zurück zum Thema. 50x4TB können durchaus sinnvoll sein, da die Platten
am Ende gewöhnlich immer langsamer werden und 50x Cache auch besser wäre
als einer.
Gustl B. schrieb:> 13*116€ = 1508€ für 104 TB.
Das ist aber NUR 1 Backup-Satz. Sobald der einen Fehler hat bist Du ganz
arm dran! Vorteil der USB3-Platten wäre, dass es keine exotischen Geräte
sind. Ein kaputtes LTO7-Laufwerk wäre schlimmer, wenn man morgen keinen
Ersatz bekommt.
Ja. Bei Festplatten muss man sowieso aufpassen wegen Bitrot und so. Wenn
mir die Daten halbwegs wichtig wären, dann würde ich die Platten
dauerhaft oder zumindest regelmäßig laufen lassen. ZFS drauf und ein
paar Platten mehr ins RAID damit auch ein paar gleichzeitig ausfallen
dürfen und dazu auch gleich ein paar auf Halde als Ersatz. Also als
Beispiel 13 + 2 oder 3 für das RAID und nochmal 2 oder so als Ersatz.
oszi40 schrieb:> Gustl B. schrieb:>> 13*116€ = 1508€ für 104 TB.>> Das ist aber NUR 1 Backup-Satz. Sobald der einen Fehler hat bist Du ganz> arm dran! Vorteil der USB3-Platten wäre, dass es keine exotischen Geräte> sind. Ein kaputtes LTO7-Laufwerk wäre schlimmer, wenn man morgen keinen> Ersatz bekommt.
Warum ist man dann ganz arm dran? Hat DPA irgendetwas von Backup
geschrieben? Er hat sogar explizit gesagt, dass er alle Daten neu
generieren kann. Wenn er seine Daten so auf die 13 Platten verteilen
kann, dass keine Datenstruktur auf mehrere Platten verteilt ist, ist es
trivial im Fehlerfall eine der Platten auszutauschen. Das ist bis jetzt
die günstigste und einfachste Variante, die hier genannt wurde. Kein
absurder Vorschlag mit XEON-CPU, mehreren SATA-Kontrollern und 50
Platten für 10k€.
Terra schrieb:> Für was wo es auf einige 1000 Euro wohl doch ankommt braucht man 100TB`?
Ein Beispiel wäre eine Anwendung vergleichbar zu Endspieltabellen im
Schach. Endspiele mit bis zu 7 Steinen sind vollständig ausanalysiert.
Das hat 5 Monate gedauert, mit zwei Monstermaschinen vom Kaliber acht
CPUs (nicht: acht Kerne) und über 1TB (ja, Terabyte) RAM. Das Ergebnis
ist knappe 20TB groß.
Etwas Ähnliches kann man wohl auch für andere Spiele machen.
Gustl B. schrieb:> Also als Beispiel 13 + 2 oder 3 für das RAID> und nochmal 2 oder so als Ersatz.
Du hast die restlichen speziellen Teile wie RAID-Controller vergessen.
Ausgelaufene Batterie-Packs machen viel Spaß in einigen Jahren.
oszi40 schrieb:> Du hast die restlichen speziellen Teile wie RAID-Controller vergessen.> Ausgelaufene Batterie-Packs machen viel Spaß in einigen Jahren.
Alles egal. ZFS über mehrere USB Platten habe ich schon gemacht,
funktioniert problemlos.
Weil da kein Cache dabei ist braucht es auch keinen Akku.
Hörts sich mir wie ein Studenten "Problem" an.
Welche Daten werden wirklich benötigt und wie sieht die wirlkiche
benötigte Speicherdauer aus?
....
Datenspeicherung und deren Gesetzmäßikeit mal außen vor,
wer so viel Daten sammelt sollte sich im Vorfeld mal Gedanken machen wsa
wirklich an Daten benötigt wird.
Datenkraken lassen zu Wünschen übrig.
Auch wenn hier um eine technische Machbarkeit gefragt wird, kommt es
noch auf die "technische Speichermöglickeit" an. .....
Das Problem wird falsch angegangen, macht das hier zu.
Chris K. schrieb:> Das Problem wird falsch angegangen, macht das hier zu.
Nö. Der Fragesteller hat doch schon gesagt, dass ein Datenverlust OK
ist. Die Daten können erneut erzeugt werden, nur dauert das. Die Platten
sollen also quasi als "Cache" dienen. So wie damals bei den WLAN
Rainbowtables z. B. ja, konnte man auch neu rechnen lassen, aber das
Knacken ging eben schneller wenn man die vorrätig hatte.
Geld ausgeben für performance oder die Zeit abwarten.
"You get what you are paying for."
Entweder selber machen oder darauf hoffen das es jemand anders
billigermacht.
Chris K. schrieb:> Geld ausgeben für performance oder die Zeit abwarten.
Na Du bist ja ein Blitzgescheiter. Daß die Frage gerade ist, was genau
man sich am besten von dem Geld kaufen soll, hättest Du dem
Eingangsposting bereits entnehmen können.
Terra schrieb:> Also Karten auf den Tisch - einfach weil es interessant ist und in einen> Forum auch gegeben werden sollte und nicht nur genommen - Wofür brauchst> du ("ihr"?) 100TB Speicher deine Beschreibung wie oft und in welcher> Weise die Daten dann auch noch Gebraucht werden bzw. das diese wenn wohl> auch Rechenintensiv aber vom Prinzip einfach wiederhergestellt werden> können macht es noch interessanter.
Wer sowas braucht, beauftragt eine Firma, die das kann.
Und fragt nicht in einem Bastlerforum.
Wo dann massenweise Bastlerantworten kommen.
Zun Tesa-Film.
Als es vor Jahren kam, habe ich mir die Augen zugehalten.
Um mir nicht mit so einem Müll das Gehirn zu versauen.
🐧 DPA 🐧 schrieb:> Ok, stimmt eigentlich. Und wenn man die Platten insgesamt für ~3k kriegt> ist das eigentlich ja sogar noch erstaunlich preiswert. Dann läuft es> wohl doch auf Festplatten hinaus.
alle Software die ich seit 1988 noch habe ist von Platte zu Platte
kopiert worden, kein anderes rundes Wechselmedium incl. Geräte hat aus
dieser Zeit nur annähernd überlebt.
Dieter D. schrieb:> Das sieht nach Erzeugen einer Entschlüsselungstabelle nach einem> bestimmter Verfahren mit Abstandsberechnungen zu Stützstellen aus.
Klar. Eine Rainbowtabelle, bei der man 2-3mal am Tag einen Eintrag
braucht und eine Zugriffszeit von 5 Minuten akzeptabel ist.
Siehe diesen Beitrag:
Beitrag "Re: ~100 TB Speichern"
Nano schrieb:> Du brauchst bei ZFS sehr viel RAM.> Pro 1 TB ca. 1 GB RAM.
Wenn nur alle heiligen Zeit darauf zugegriffen werden muss, ist das eher
unkritisch. Man kann den ARC auch auf Metadata-only stellen. Allerdings
ist ZFS gegenüber ext4/NTFS schon eine Ecke aufwendiger, was das
Einrichten und Verstehen der diversen Stellschrauben angeht.
Sinnvoll ist es ab einer bestimmten Grösse auf jeden Fall, auf den
ganzen RAID-Kram zu verzichten, so liebgewonnen er auch ist (hab mich
auch schwergetan ;) ). Bei den aktuellen Storage-Grössen taugt die
Abstraktion der Blockdevices durch RAID halt nicht mehr wirklich. Und
dann noch die blöden HW-RAID-Controller, die viel kosten, früher immer
an irgendwelche xTB-Grenzen gestossen sind, inzwischen oft langsamer als
SW-RAID sind und bei Ausfall dann auch noch ein Beschaffungsproblem
aufwerfen (wenn man nicht Platinum-Support hat).
ZFS ist da ein noch recht bequemer Weg, FS und RAID-Funktionalität zu
vereinen... Wenn halt da das "Problem" mit Oracle nicht wäre ;)
BTW: CEPH(FS) ist da auch nett, aber nochmal eine Ecke komplexer.
Jan H. schrieb:> Nano schrieb:>> Kannst du kein Mathe?>> Die Rechnung oben sollte man doch nachvollziehen können, wenn man nicht>> auf den Kopf gefallen ist!>> Ach nano, um die Multiplikation geht's doch nicht. Bist du Volksschüler,> dass du denkst 50x4TB wäre eine mathematische Herausforderung? Wie so> oft bei Leuten wie dir: nimm dir zu Herzen, was du selbst geschrieben> hast, ist doch lächerlich:>>> Oben steht alles erklärt, würdest du mal richtig lesen und vor allem>> mitdenken hättest du dir dein Kommentar sparen können.
Jan H, dafür, dass du nicht weißt, was ein Mirror ist und nicht
erkennst, wie ich auf 50 Platten komme, reißt du ziemlich weit das Maul
auf.
Da du es immer noch nicht geschnallt hast, hier ein kleiner Tipp, oben
habe ich geschrieben:
"Wenn Performance wichtig ist, dann wäre ein Mirror sinnvoller. Also 50
Platten ..."
Wer da mitdenken kann, für den wird das kein Problem sein, das zu
kapieren. Oben steht nämlich alles schon dran, wie ich sagte.
Aber du scheinst das selbst dann nicht zu merken, wenn man dich erneut
darauf hingewiesen hat.
mh schrieb:> oszi40 schrieb:>> Gustl B. schrieb:>>> 13*116€ = 1508€ für 104 TB.>>>> Das ist aber NUR 1 Backup-Satz. Sobald der einen Fehler hat bist Du ganz>> arm dran! Vorteil der USB3-Platten wäre, dass es keine exotischen Geräte>> sind. Ein kaputtes LTO7-Laufwerk wäre schlimmer, wenn man morgen keinen>> Ersatz bekommt.>> Warum ist man dann ganz arm dran? Hat DPA irgendetwas von Backup> geschrieben? Er hat sogar explizit gesagt, dass er alle Daten neu> generieren kann. Wenn er seine Daten so auf die 13 Platten verteilen> kann, dass keine Datenstruktur auf mehrere Platten verteilt ist, ist es> trivial im Fehlerfall eine der Platten auszutauschen. Das ist bis jetzt> die günstigste und einfachste Variante, die hier genannt wurde. Kein> absurder Vorschlag mit XEON-CPU, mehreren SATA-Kontrollern und 50> Platten für 10k€.
Und noch einer der es nicht kapiert hat.
Oben kann man ganz klar nachlesen, dass er bei 4 TB Platten 25 Stück
braucht.
Wenn er aber Ausfallsicherheit brauchen sollte, was zu dem Zeitpunkt
eben nicht klar war, braucht er mehr Platten.
Das geht dann mit RAID und Paritätsplatten und somit in langsam oder als
Mirror und damit in schnell.
Will man die schnelle Lösung, dann wird logischerweise ein Mirror die
beste Variante, gesetzt den Fall, Ausfallsicherheit ist ein gewolltes
Kriterium.
Ist es das nicht, dann kann er meinen ersten Vorschlag nehmen. Das sind
25 Platten zu je 4 TB und damit 2500 € + das NAS dazu.
Das ist nicht viel anders 8 TB Platten, aber die 4 TB kommen wenigstens
ohne Helium aus.
Außerdem kosten die 8 TB Platten als NAS taugliche WD RED Plus keine 100
€, sondern 200 €.
Das macht dann also 13 * 200 € = 2600 € und keine 1508€.
Preislich tut sich da also nicht viel.
Und ja, es gibt inzwischen auch 8 TB ohne Helium, dann kann er
logischerweise die nehmen, dann sind's eben 13 Platten oder mit
Ausfallsicherheit und Performance 26 Platten.
Das ändert nichts an meiner Grundaussage, sondern ist da schon
enthalten.
Georg A. schrieb:> Sinnvoll ist es ab einer bestimmten Grösse auf jeden Fall, auf den> ganzen RAID-Kram zu verzichten, so liebgewonnen er auch ist (hab mich> auch schwergetan ;) ).
Wenn du es brauchen solltest, dann brauchst du es.
Bei großen Platten steigt zudem die Gefahr des Bitrotings, da wird es
also wichtiger.
> Bei den aktuellen Storage-Grössen taugt die> Abstraktion der Blockdevices durch RAID halt nicht mehr wirklich. Und> dann noch die blöden HW-RAID-Controller, die viel kosten, früher immer> an irgendwelche xTB-Grenzen gestossen sind, inzwischen oft langsamer als> SW-RAID sind und bei Ausfall dann auch noch ein Beschaffungsproblem> aufwerfen (wenn man nicht Platinum-Support hat).
Bei ZFS darfst du keine HW Raid Controller verwenden.
Bei ZFS ist eine Speicherung ohne Abstraktionsschicht dazwischen die
sinnvollste Lösung und bringt sein eigenes RAID mit, das ich oben auch
empfohlen habe, falls das ein Kriterium ist.
Ich sprach auch nicht von RAID Controllern, sondern Controller um die
Platten überhaupt anschließen zu können.
Die meisten Mainboards hören nämlich bei 8 SATA Anschlüssen auf.
Für mehr, brauchst du zusätzliche PCIe SAS oder SATA Controller.
Bei vielen Platten wird der Controller somit notwendig, weil du es sonst
nicht angeschlossen bekommst.
Mich interessiert hier erstmal nur noch eines:
Ist dieser Thread für den TE noch relevant
oder hat der bereits abgedankt?
Cryptowährung glaube ich nicht, dafür ist der Aufwand zu hoch bzw. es
ergibt sich kein Sicherheitsvorteil wenn nur wenige Instanzen diesen
Aufwand betreiben können. Es gibt zwar solche Cryptowährungen, aber da
sie zentral verwaltet sind und auch schnell mal abgeschaltet werden
können, erschließt sich für mich der Unterschied zum Fiatgeld nicht.
Rainbowtables machen nur Sinn wenn man sie deutlich schneller lesen als
erzeugen kann. Aber 100TB davon? Wofür?
Für ein einziges WLAN-Kennwort? Das wäre den Aufwand nicht wert, wenn
man sowas angreift dann vielleicht mit recht einfach zu handhabenden
10TB, die aus guten Kandidaten-Listen erstellt sind. Wenn man's damit
nicht schafft, sucht man sich ein anderes Ziel.
Terra schrieb:> Für was wo es auf einige 1000 Euro wohl doch ankommt braucht man 100TB`?
Er könnte damit alle PW Hashkombinationen des Hashalgorithmus md5 ohne
Salt und der PW Länge von maximal n = 7 speichern, wenn man von der
Annahme ausgeht, dass für das PW alle Groß- und Kleinbuchstaben, die 10
Ziffern und noch 2 Sonderzeichen zulässig sind.
Das ganze, wie schon gesagt, allerdings natürlich nur bis Passwortlänge
7 und einem Zeichenvorrat von 64 (md5/sha1) bzw. 62 (sha256) Zeichen.
Da schon seit Jahren Passwortlängen von mind. 8 Zeichen empfohlen
werden, ein Salt bei den Hashfunktionen verwendet wird und auch mehr als
nur 2 Sonderzeichen bei Passwörtern verwendet werden können, sind die
Möglichkeiten damit allerdings arg begrenzt.
Aber so ein Smartphone oder Handy, das nur mit einer 6 stelligen Pin
gesichert wurde, könnte man damit recht einfach knacken, falls man weiß,
wo der Hash gespeichert wird und man auf diesen im Klartext zugreifen
kann und es auch ein Hash dieser Art ist.
Beim Speichern wird er natürlich noch mindestens ein Trennzeichen
benötigen, z.b. LF um die Hash+PW Wertepaare zu speichern. Das habe ich
oben jetzt nicht berücksichtigt.
Bei 1 Byte pro LF sind das allerdings nur:
(c^n+c^(n-1)+c^(n-2)+c^(n-3)+c^(n-4)+c^(n-5)+c^(n-6))=4467856773184
ans/(1024^4)=4.06 TB
Wenn man den Hash zuerst, da er immer die gleiche Länge hat, gefolgt vom
PW variabler Länge von n = 1..7 und dem LF in jeweils eine Zeile
speichert.
Die 4 TB kann man also jedem dieser obigen Speicherbedarfsergebnisse
hinzufügen.
Die MD5 PW Kombinationen dürfte er, ohne den Overhead des Dateisystems
zu betrachten, in diese 100 TB also unterbringen können.
Ich habe da jetzt zwar keine genauen Zahlen, aber ich vermute jede
moderne GPU bricht 7 Zeichen MD5 oder SHA256 mit deutlich weniger
Aufwand.
SHA256 wird als Bitcoin-Minig-Algorithmus verwendet und daran lässt sich
gut zeigen wie schnell ASICs bei solchen Anwendungen sind. Angenommen
man könnte einen halbwegs aktuellen Bitcoin-Miner mit sagen wir 50TH/s
dazu verwenden, ist der mit 62^7 (~3,5 Billionen) Möglichkeiten in
reichlich 0,07 Sekunden fertig.
Angenommen Bitcoin-Miner lassen sich nicht dazu verwenden: Nach schnell
gesuchten Zahlen im Netz erreicht cudaHashcat auf einer Maschine mit 8x
GTX1080 23GH/s bei SHA256. Sowas könnte man sich privat noch bauen. Die
braucht für 62^7 Möglichkeiten also gut 2 Minuten 30 Sekunden. In der
Zeit kann man sich gerade so einen Kaffee holen bis man das Kennwort auf
dem Monitor hat. Habe ich einen Gaming-Rechner mit nur einer GTX1080
(manche würden das heute schon als sowas von retro bezeichnen) schafft
der das in 20 Minuten 25 Sekunden. Ich glaube da kann man auf rainbow
tables verzichten.
Für WPA2 sähe das übrigens anders aus, da erreicht die oben genannte
Maschine mit 8x GTX1080 nur noch 3MH/s.
Terra schrieb:> Auch was die Rainbowtabellen angeht (übrigens: Wikipedia hat da für> einen Laien und total unwissenden wie mich,abgesehen von den ersten 2> bis 3 Sätzen, überhaupt keinen Erkenntnisgewinn gebracht was das> überhaupt ist...)
Eine Rainbowtable enthält alle Ergebnisse einer Rechnung die man nicht
umdrehen kann.
Passworte werden z.B. gehasht, d.h. ein Server kann den Hash speichern,
aber da die Funktion nur in die Richtung PW -> Hash funktioniert, nutzt
einem Hacker der Server nix, denn das PW ist nicht wieder
zurückrechenbar.
Der Hash ist quasizufällig, d.h. die kleinste Änderung im PW verwürfelt
den Hash komplett, man kan keine Rückschlüsse ziehen.
In einer RBT werden nun einfach alle möglichen Ergebnisse für das PW
abgespeichert, so kann man dann den Hash "einfach" suchen und hat ein PW
das für den Server passt, da dieser nur den Hash vergleicht.
oszi40 schrieb:> 50x4TB können durchaus sinnvoll sein, da die Platten> am Ende gewöhnlich immer langsamer werden und 50x Cache auch besser wäre> als einer.
Dafür ist die Ausfallwahrscheinlichkeit exorbitant höher.
Vom Aufwand her 50 LW zu verbauen mal ganz ab.
Nano schrieb:> Beim Speichern wird er natürlich noch mindestens ein Trennzeichen> benötigen, z.b. LF um die Hash+PW Wertepaare zu speichern. Das habe ich> oben jetzt nicht berücksichtigt.
Echt jetzt? 4TB LFs?
Wie wäre es mit "Hash und PW sind immer gleich lang, also einfach
aneinanderreihen und das n'te PW/Hash lese ich mit
(sizeof(Hash)+sizeof(PW))*n?
externe 12TB Western Digital WD Elements Desktop USB 3.0
180,-€ *14 Stk für 160TB = 2520,-€
braucht natürlich auch eine gute USB3 Anbindung, dazu fällt mir nichts
ein ausser ein dicker PC mit reichlich PCI Karten und viele "Lanes" käme
also noch obendrauf.
oder
ein Rack für 14 Platten intern mit JBOD
JBOD steht für „Just a Bunch of Disks“ oder in manchen Fällen auch „Just
a Bunch of Drives“ und beudeutet so viel wie "eine Ansammling an
Festplatten. Der Begriff bezieht sich auf ein Array von Festplatten, das
noch nicht nach dem RAID-Standard (Redundant Array of Independent Disks)
konfiguriert wurde.
12TB Toshiba Enterprise Capacity HDD MG07ACA12TE
ebenfalls 14 Stk interne SATA sind sogar teurer 213,78 x 14 Stk
die müssen auch noch an entsprechende Controller.
Ein NAS Gehäuse für 14 Platten fand ich noch nicht in günstig, für 12
Plattten wird man bei https://www.synology.com/de-de fündig und man
braucht 2 davon die man kaskadieren kann
Die FS Serie bietet 24 Einschübe, reicht also für 14 x 12 TB
Joachim B. schrieb:> braucht natürlich auch eine gute USB3 Anbindung, dazu fällt mir nichts> ein ausser ein dicker PC mit reichlich PCI Karten und viele "Lanes" käme> also noch obendrauf.
Einfacher wäre es die Festplatten aus dem externen Gehäuse einfach
auszubauen. Dann hat man wieder stinknormale 3.5'' Festplatten, die man
in einen PC oder Server einbauen kann. Dann braucht es nur noch genügend
SATA Ports und eine passende Stromversorgung, beides ist aber recht
einfach umzusetzen.
Alternativ kann man natürlich auch direkt ein Servergehäuse +
gebrauchten SAS Controller nehmen, bei dem dann eine Backplane die
Verteilung übernimmt. Ich habe so ein Setup hier stehen: Gebrauchtes
Supermicro SC846 (24x3.5'' Slots) plus ein gebrauchter SAS Controller,
drin sind da ausgebaute WD Elements/WD My Book Festplatten (allerdings
nicht voll und jeweils per ZFS gespiegelt). Das ist dann allerdings
wieder ein etwas höherer Kostenpunkt (Ich war bei ~350€ mit allem
zusammen inkl. Umrüstung auf "Wohnzimmertauglich").
Ntldr -. schrieb:> Einfacher wäre es die Festplatten aus dem externen Gehäuse einfach> auszubauen. Dann hat man wieder stinknormale 3.5'' Festplatten
nicht immer, wenn die Platten direkt USB3 Schnittstellen haben, nicht
immer haben externe USB Platten SATA eingebaut!
Joachim B. schrieb:> braucht natürlich auch eine gute USB3 Anbindung, dazu fällt mir nichts> ein ausser ein dicker PC mit reichlich PCI Karten und viele "Lanes" käme> also noch obendrauf.
vielleicht reicht es ja aus, einfach nur die benötigte Platte
einzustöpseln. Das ist aber vermutlich zu einfach für die meisten. Ob
das ausreicht, kann nur DPA beantworten.
mh schrieb:> vielleicht reicht es ja aus, einfach nur die benötigte Platte> einzustöpseln.
und wenn auf die Daten aller Platten zugegriffen werden muss? Immer
tauschen möglich?
mh schrieb:> Ob> das ausreicht, kann nur DPA beantworten.
eben
> vielleicht reicht es ja aus, einfach nur die benötigte Platte> einzustöpseln. Das ist aber vermutlich zu einfach für die meisten.
Das ist einfach unpraktikabel. Erstens geht es nur wenn die Daten
entsprechend indexiert werden können, also daß ich weiß welche Platte
ich brauche und zweitens braucht man gemäß Murphys Law immer genau die
Platte, die gerade nicht am Rechner hängt.
Joachim B. schrieb:> mh schrieb:>> vielleicht reicht es ja aus, einfach nur die benötigte Platte>> einzustöpseln.>> und wenn auf die Daten aller Platten zugegriffen werden muss? Immer> tauschen möglich?>> mh schrieb:>> Ob>> das ausreicht, kann nur DPA beantworten.>> eben
Eben, nicht ohne Grund neue Anforderungen erfinden.
Das ist bis jetzt zum Zugriff auf die Daten bekannt:
🐧 DPA 🐧 schrieb:> Darf auch WORM (Write Once Read> Many) sein.🐧 DPA 🐧 schrieb:> Vielleicht so alle paar Tage mal, eventuell auch mal 2-3 mal an einem> Tag. Das sind viele eher kleine Datensätze, von denen ich jeweils aber> nur einen brauche.>>> - Wie schnell muss so ein Zugriff ablaufen?>> Das sollte schon <5min sein, so lange kann ich warten. Kleiner 5s wäre> aber natürlich toll.Ben B. schrieb:>> vielleicht reicht es ja aus, einfach nur die benötigte Platte>> einzustöpseln. Das ist aber vermutlich zu einfach für die meisten.> Das ist einfach unpraktikabel. Erstens geht es nur wenn die Daten> entsprechend indexiert werden können, also daß ich weiß welche Platte> ich brauche
Woher weißt du, ob das unpraktikabel ist? Der Einwand ist berechtigt,
aber nicht automatisch eine neue Anforderung.
Ben B. schrieb:> und zweitens braucht man gemäß Murphys Law immer genau die> Platte, die gerade nicht am Rechner hängt.
DPA hat schon angedeutet, dass er es nicht super eilig hat. 2-3 Mal am
Tag nen USB Stecker umstöpseln, sollte sich in "<5min" unterbringen
lassen.
Reinhard S. schrieb:> Gibt automatische Wechselsysteme dafür. Dürfte natürlich dann im> 5stelligen Bereich liegen :D Und für 2-3mal täglich auch nicht die Wucht> sein...
Nö, wir haben eine Tapelibrary von NEC, die fasst 60 Bänder und hat etwa
6.000€ gekostet.
Anbindung erfolgt mit 24 Gbit/s (dedizierte Leitung), jedoch liegt die
wirklich erzielbare Datenrate bei etwa 200 GB/h.
Beim Backup kommt man an LTO kaum vorbei.
Für den wahlfreien Zugriff könnte auch ein großes RAID-System eingesetzt
werden. Z.B. 24 x 8 TB als RAID-6, den Controller dann mit Flash-Cache.
Da ist es auch kein Problem, wenn es den speziellen Festplattentyp nicht
mehr gibt, solange die Ersatzplatten vom Controller unterstützt werden.
Wir haben SAN-Systeme mit 16 HDD a 2 TB (das System kann keine größeren
Platten). Drei davon würden also auch genügen. (und die sind 10 Jahre
alt), haben jedoch damals 8.000€ pro Stück gekostet, was damals eher
"günstig" war.
Joachim B. schrieb:> Ntldr -. schrieb:>> Einfacher wäre es die Festplatten aus dem externen Gehäuse einfach>> auszubauen. Dann hat man wieder stinknormale 3.5'' Festplatten>> nicht immer, wenn die Platten direkt USB3 Schnittstellen haben, nicht> immer haben externe USB Platten SATA eingebaut!
Gibt es das in der Größe überhaupt? Mir war das bislang nur bei externen
Festplatten im 2.5''-Format bekannt, bei dem sich die Hersteller die
zusätzliche SATA<->USB Platine sparen.
Bei den erwähnten großen WD Elements geht das aber auf jeden Fall, da
hab ich hier 4 Stück (2x10TB, 2x14TB) ausgebaut und in den Server
verfrachtet.
Ben B. schrieb:> Ich habe da jetzt zwar keine genauen Zahlen, aber ich vermute jede> moderne GPU bricht 7 Zeichen MD5 oder SHA256 mit deutlich weniger> Aufwand.
Da habe ich heute Morgen mal nach Benchmarkdaten gesucht und auf die
Schnelle das hier gefunden:
https://www.php-einfach.de/experte/php-sicherheit/daten-sicher-speichern/wieso-man-md5sha1-nicht-fuer-das-speichern-von-passwoertern-verwenden-sollte/
Den ganzen Artikel habe ich nicht gelesen, aber da gibt er schon im
zweiten Absatz an, das er für 1 Mio Hashs bei md5 0,67 s und für sha1
0,83 s braucht.
Bei 4467856773184 Hashs sind das also:
((4467856773184/(1*10^6))*0,67)/(60*60*24) = 34,65 Tage
Insofern nein, das brichst du offenbar nicht so schnell, wenn du dessen
Algorithmus verwendest.
Gut, mit GPUs wird das wahrscheinlich schneller gehen, und ob er jetzt
PHP oder C verwendet, habe ich jetzt auch nicht nachgeguckt, aber
Benchmarks mit GPUs habe ich nichts gefunden.
Die Datenbank zu generieren braucht natürlich Zeit, aber die kalkuliert
man bei solchen Rechnungen nicht ein, wenn man solche Daten öfters
abfragen möchte.
Aber das ist jetzt sowieso nur Spekulation und Spielerrei.
Wahrscheinlich braucht er die 100 TB für was ganz anderes. Ich habe es
nur erwähnt, weil es so schön in die 100 TB reinpasst.
> SHA256 wird als Bitcoin-Minig-Algorithmus verwendet und daran lässt sich> gut zeigen wie schnell ASICs bei solchen Anwendungen sind. Angenommen> man könnte einen halbwegs aktuellen Bitcoin-Miner mit sagen wir 50TH/s> dazu verwenden, ist der mit 62^7 (~3,5 Billionen) Möglichkeiten in> reichlich 0,07 Sekunden fertig.
Ja, wenn das sein Anwendungsfall ist, dann sollte er das Geld besser in
so einen ASIC investieren.
> Angenommen Bitcoin-Miner lassen sich nicht dazu verwenden: Nach schnell> gesuchten Zahlen im Netz erreicht cudaHashcat auf einer Maschine mit 8x> GTX1080 23GH/s bei SHA256. Sowas könnte man sich privat noch bauen. Die> braucht für 62^7 Möglichkeiten also gut 2 Minuten 30 Sekunden.
Gut, dann hast du hier bessere Benchmarks gefunden.
Bei 23 GH/s sind es
(4467856773184/(23*1000^3))/(60)= 3,23 s
> Ich glaube da kann man auf rainbow> tables verzichten.
Rainbow Tables werden heutzutage auch kaum noch verwendet. Weil es sich
wegen dem Salt nicht lohnt.
Nano schrieb:> Gut, dann hast du hier bessere Benchmarks gefunden.> Bei 23 GH/s sind es> (4467856773184/(23*1000^3))/(60)= 3,23 min
Sorry, ich meinte natürlich 3,23 min
Jens M. schrieb:> In einer RBT werden nun einfach alle möglichen Ergebnisse für das PW> abgespeichert, so kann man dann den Hash "einfach" suchen und hat ein PW> das für den Server passt, da dieser nur den Hash vergleicht.
Nein, in einer RBT wird nur ein Anfangspasswort und Endhash gespeichert.
Und dazwischen gibt es eine Kettte von Stufen, die nicht gespeichert
werden müssen, da sie zurückberechnet werden könenn.
RBT sind also dazu da, um Speicherplatz auf der Festplatte zu sparen und
eben nicht für alle Kombinationen alle Hashs speichern zu müssen.
Die Zwischenstufen werden dann, wenn man es überprüfen möchte, erneut
berechnet.
Da werden also alle RBT von hinten nach vorne durchlaufen bis man den
passenden Hash gefunden hat und dann macht man das gleiche mit der
gefundenen RBT Kette von Vorne noch einmal um das PW zu finden.
Mit 100 TB an Daten könnte er also viel mehr Kombinationen abdecken, als
mit der oben beispielhaften md5 Bruteforcemethode in der einfach alle
Kombinationen gespeichert werden würden.
>> oszi40 schrieb:>> 50x4TB können durchaus sinnvoll sein, da die Platten>> am Ende gewöhnlich immer langsamer werden und 50x Cache auch besser wäre>> als einer.>> Dafür ist die Ausfallwahrscheinlichkeit exorbitant höher.
Blödsinn.
Ein Mirror bietet Ausfallsicherheit.
Geht eine Platte kaputt, dann wird die ausgeworfen und man steckt ne
neue rein.
Der Rebuild ist dann ein einfaches kopieren von der anderen
Mirrorplatte.
Im Gegensatz zu Raid 5 oder 6 ist das sowohl vom Rebuild also auch von
der täglichen Nutzung sehr schnell.
> Nano schrieb:>> Beim Speichern wird er natürlich noch mindestens ein Trennzeichen>> benötigen, z.b. LF um die Hash+PW Wertepaare zu speichern. Das habe ich>> oben jetzt nicht berücksichtigt.>> Echt jetzt? 4TB LFs?
Ja, obige Rechnung zeigt es doch.
Es sind halt 4467856773184 Kombinationen.
> Wie wäre es mit "Hash und PW sind immer gleich lang, also einfach> aneinanderreihen und das n'te PW/Hash lese ich mit> (sizeof(Hash)+sizeof(PW))*n?
Das geht nicht, da die PW nicht alle gleich lang sind.
Ich habe oben ja nicht nur n lange PW berücksichtigt, sondern auch n-m
lange Passwörter bis n = m.
Du hast also ne variable Länge. Also brauchst du ein Trennzeichen.
Ein LF wäre hier naheliegned, da man dann jede Kombi in eine Zeile
speichern und so Zeilenweise in einem Editor anzeigen kann. Wenn man das
je wollte.
Dein Beispiel funktioniert nur dann, wenn du als PW Leerzeichen erlaubst
und somit auch Passwortsätze zulässt.
Dann kannst du immer von einer festen PW Länge ausgehen und die aufgrund
der Leerzeichen kürzeren PW dann mit in die Rechnung packen. Also bspw.
(64+1)^n, wobei die 1 dann für das Leerzeichen steht.
Ich gehe aber davon aus, dass PW Sätze nicht zugelassen sind und das PW
ein Wort ergeben muss, ohne Leerzeichen. Dann muss die Kombinationen für
jede Länge einzeln berechnen und die Ergebnisse addieren um die Anzahl
aller Kombinationen zu errechnen.
Joachim B. schrieb:> Ein NAS Gehäuse für 14 Platten fand ich noch nicht in günstig, für 12> Plattten wird man bei https://www.synology.com/de-de fündig und man> braucht 2 davon die man kaskadieren kann
Deswegen habe ich ja gesagt, er soll ein 19" Rackgehäuse nehmen:
https://geizhals.de/?cat=geh19&xf=7647_24
Da kann er dann ein Servermainboard mit XEON CPU und SATA/SAS Controller
einbauen und TrueNAS darauf installieren. Dann hat er ein besseres
professionelleres NAS, als dieses Synology Spielzeug.
Und vor allem kriegt er die gewünschten Platten auch unter.
Nano schrieb:>> 3,23 min>> Sorry, ich meinte natürlich 3,23 min
Ich meine eigentlich auch immer was ich sage und zuweilen können meine
Meinungen auch schonmal auseinandergehen aber bei Dir scheint das ja
nicht der Fall zu sein. :)
spiderman schrieb:> Nano schrieb:>>> 3,23 min>>>> Sorry, ich meinte natürlich 3,23 min>> Ich meine eigentlich auch immer was ich sage und zuweilen können meine> Meinungen auch schonmal auseinandergehen aber bei Dir scheint das ja> nicht der Fall zu sein. :)
Tja, im Original standen fehlerhafterweise s.
Ich hab's zweimal editiert.
Kommt halt vor, wenn man Sätze mehrmals umbaut.
Das ändert aber nichts an der Richtigkeit meiner Korrektur.
Joachim B. schrieb:> Ntldr -. schrieb:>> Einfacher wäre es die Festplatten aus dem externen Gehäuse einfach>> auszubauen. Dann hat man wieder stinknormale 3.5'' Festplatten>> nicht immer, wenn die Platten direkt USB3 Schnittstellen haben, nicht> immer haben externe USB Platten SATA eingebaut!
3,5" mit USB ohne abnehmbare Adapterplatine? Zeig mal ;)
Jupp schrieb:> 3,5" mit USB ohne abnehmbare Adapterplatine? Zeig mal ;)
Sowas gibt es tatsächlich. Da ist direkt auf der Festplatte schon das
USB-Interface drauf (braucht ja im Wesentlichen nur eine andere Firmware
und vielleicht einen anderen Transceiver), so dass man sich die
zusätzliche Adapterplatine einsparen kann.
Es fehlt noch eine Loesung. Jene mit dem USB-Array fuer bis zu 127
verschiefene Geraete. Mit 100 Speichersticks 1TB waere das auch
moeglich. Kostet aktuell 160Euro x 100Stck.
Eigentlich ein sehr schöner fred..vor allem auch wegen der Analogie zum
Kopf und Körper.
Das wäre sowas wie
Übung durch Lernen
Üben, Üben, Üben
Übung macht den Meister
Ich bin selbst ein wenig Datenträger-Messi, und auf vielen Datenträgern
steht gar nicht drauf, was drin ist. War früher (Zugriffszeittechnisch)
natürlich bei Disketten nicht so ein großes Problem..
Die Bandtechnik hat sich eigentlich auch bewährt, und ist wenn auch
nicht optimal auf Zugriff getrimmt, doch wenigstens nicht so
stromhungrig?
Wir haben ja im Moment moderne HPC-Zeiten, eventuell kann man hier und
da ein paar gute Teile gebraucht bekommen?
Die Buzzword-Seiten reden u.a. von "hot" und "cold" hinsichtlich der
Zugriffszeiten. Eventuell kann man da noch unterscheiden?
Aber früher gab es doch auch diese Supercomputer (für
Wetterberechnungen) selbstgebaut Geschichte.
So ähnlich könnte man das hier auch halten:
Man baut sich ein großes System aus verschiedenen Strategien und
kostengünstig zusammen, welches man über die Jahre schön updaten bzw.
verbessern/stabilisieren könnte.
Auch Ersatz, und Langzeit-Stabilität/Verlässlichkeit spielen eine Rolle
(?), weswegen wohl aus dem Tesafilm nichts wird.
Früher lief das doch auch so ähnlich: bewährte Technik exploitet - oder
so:
ADAT Bänder..
https://de.wikipedia.org/wiki/Alesis_Digital_Audio_Tape
;)
Jupp schrieb:> 3,5" mit USB ohne abnehmbare Adapterplatine? Zeig mal ;)
such selber! faule Socke!
Rolf M. schrieb:> Jupp schrieb:>> 3,5" mit USB ohne abnehmbare Adapterplatine? Zeig mal ;)>> Sowas gibt es tatsächlich. Da ist direkt auf der Festplatte schon das> USB-Interface drauf (braucht ja im Wesentlichen nur eine andere Firmware> und vielleicht einen anderen Transceiver), so dass man sich die> zusätzliche Adapterplatine einsparen kann.
eben, ratetet mal warum 12 TB USB billiger sind als SATA. Adapterplatte
billiger, SATA eingespart usw.
rbx schrieb:> Die Bandtechnik hat sich eigentlich auch bewährt, und ist wenn auch> nicht optimal auf Zugriff getrimmt, doch wenigstens nicht so> stromhungrig?
Die Bänder selbst sind so wenig stromhungrig wie ausgesteckte HDDs.
Aktiv ist das andersrum: Die LTO-Laufwerke im Bandroboter pusten
ziemlich heftig.
(prx) A. K. schrieb:> Aktiv ist das andersrum: Die LTO-Laufwerke im Bandroboter pusten> ziemlich heftig.
Schon, aber mit der Verwendung von 50 Bändern ändert sich der
Stromverbrauch nicht, bei 50 Festplatten schon. Und um für ein Backup
das Doppelte vorzusehen braucht man "nur" zusätzliche Bänder, kein
Laufwerk. Magnetband gab es schon im vorigen Jahrtausend, aber dass eine
Technik uralt ist ist ja kein Argument wenn sie die Anforderungen immer
noch erfüllt. Natürlich muss man Band-Bibliotheken pflegen, da kann man
die NASA fragen.
Die Entwicklung optischer Medien ging leider nur bis Blue Ray, das
reicht heute für viele Zwecke nicht mehr.
Georg
Joachim B. schrieb:> Jupp schrieb:>> 3,5" mit USB ohne abnehmbare Adapterplatine? Zeig mal ;)>> such selber! faule Socke!
Nö. Du behauptest, du zeigst.
> Rolf M. schrieb:>> Jupp schrieb:>>> 3,5" mit USB ohne abnehmbare Adapterplatine? Zeig mal ;)>>>> Sowas gibt es tatsächlich.
Ja, natürlich, in 2,5" massenweise. Aber nicht in 3,5".
> eben, ratetet mal warum 12 TB USB billiger sind als SATA. Adapterplatte> billiger, SATA eingespart usw.
Nein. Das sind normale SATA mit Adapter.
Deswegen nochmal: Zeig mal 3,5" mit USB onboard.
Georg schrieb:> Schon, aber mit der Verwendung von 50 Bändern ändert sich der> Stromverbrauch nicht, bei 50 Festplatten schon.
Nicht, wenn man die HDDs auch wie Bänder behandelt. ;-)
(prx) A. K. schrieb:> Georg schrieb:>> Schon, aber mit der Verwendung von 50 Bändern ändert sich der>> Stromverbrauch nicht, bei 50 Festplatten schon.>> Nicht, wenn man die HDDs auch wie Bänder behandelt. ;-)
Festplatten zurückspulen? Hmm. ;)
SCNR.
Jupp schrieb:> Nö. Du behauptest, du zeigst.
das war DEINE Behauptung ist Fakt, zum Nachlesen:
Jupp schrieb:> 3,5" mit USB ohne abnehmbare Adapterplatine?
ja wurde auch schon bestätigt!
Rolf M. schrieb:> Sowas gibt es tatsächlich. Da ist direkt auf der Festplatte schon das> USB-Interface drauf
da muss ich nichts mehr beweisen!
Joachim B. schrieb:> da muss ich nichts mehr beweisen!
Doch, natürlich. Sowas ist nur bei 2,5" häufig vertreten, du hingegen
hast behauptet:
Joachim B. schrieb:> eben, ratetet mal warum 12 TB USB billiger sind als SATA. Adapterplatte> billiger, SATA eingespart usw.
Und jetzt warte ich geduldig auf ein einziges Beispiel, wo eine 3,5"-
HDD den USB onboard hat. Und nur weil Rolf den gleichen Quatsch wie du
erzählt, ist noch lange nichts bewiesen.
BTW: Halbwegs aktuelle 2,5" WDs sind auch "normale" SATA, die den
USB-Controller einfach mit auf dem Board haben. SATA ist über Pads
zugänglich, mit einem Schwung Needle-Probes kommt man dran. Habe von
div. Platten dieser Bauart schon Daten gerettet, wo nur USB defekt war.
Joachim B. schrieb:> Rolf M. schrieb:>> Jupp schrieb:>>> 3,5" mit USB ohne abnehmbare Adapterplatine? Zeig mal ;)>>>> Sowas gibt es tatsächlich. Da ist direkt auf der Festplatte schon das>> USB-Interface drauf (braucht ja im Wesentlichen nur eine andere Firmware>> und vielleicht einen anderen Transceiver), so dass man sich die>> zusätzliche Adapterplatine einsparen kann.>> eben, ratetet mal warum 12 TB USB billiger sind als SATA.
Weil in externen Plattengehäusen gerne die Billigheimer verbaut werden,
ähnlich wie bei USB-Sticks. Ich würde jetzt nicht erwarten, dass ein
USB-Interface die Platte großartig billiger macht als ein
SATA-Interface.
Aber so externe Sachen haben oft ein merkwürdiges Preiskonzept. Es gab
früher mal die Microdrives - Festplatten mit 1". Da gab es mp3-Player,
wo die verbaut waren, die deutlich billiger waren als die Platte
einzeln. Deshalb wurden die Player häufig gekauft, die Platten ausgebaut
und der Rest weggeworfen. Bis der Hersteller davon Wind bekam und dann
eine Sperre in die Firmware eingebaut hat, damit die Platten nur noch in
den Playern funktioniert haben.
Georg schrieb:> (prx) A. K. schrieb:>> Aktiv ist das andersrum: Die LTO-Laufwerke im Bandroboter pusten>> ziemlich heftig.>> Schon, aber mit der Verwendung von 50 Bändern ändert sich der> Stromverbrauch nicht, bei 50 Festplatten schon.
Warum? Wenn man 50 Bänder gleichzeitig verarbeiten will, braucht man
auch 50 Laufwerke und damit 50 mal so viel Strom, genau wie bei den
Festplatten. Wenn man sie wechselweise nutzt, natürlich nicht. Aber auch
das ist genau wie bei den Festplatten.
Rolf M. schrieb:> Weil in externen Plattengehäusen gerne die Billigheimer verbaut werden,
Was speziell WD angeht: Jain. In den Elements sind EMAZ, EZAZ, EDAZ u.ä.
verbaut, allesamt White Label. Da kommt rein, was gerade "über" ist.
Gegenbeispiel sind die MyBook Duo, dort sind explizit Reds verbaut und
der Plastikschnubsel zum Ausbauen liegt im Karton.
Dieter schrieb:> LTO Laufwerk: ca. 20W
Wenn man hinter der Tape-Library steht, kriegt man dank der Gebläse
einen gänzlich anderen Eindruck. Allerdings hat die LTO3 an
Fibre-Channel drin.
Das Datasheet der Library sagt: 200W für die Lib plus 65W pro Laufwerk.
(prx) A. K. schrieb:> 200W für die Lib plus 65W pro Laufwerk.
Wenn er seine 100TB zeitnah sichern möchte, so braucht er auch viele
Laufwerke und möglichst nicht NUR einen Roboter, da öfter auch mal ein
Band klemmt.
oszi40 schrieb:> da öfter auch mal ein Band klemmt.
Ich habe da andere Erfahrungen, obwohl das Gerät mittlerweile mindestens
15 Jahre alt ist und auch viele Bänder uralt sind. Aber es könnte gute
und schlechte Bandroboter geben.
(prx) A. K. schrieb:> habe da andere Erfahrungen
Es ist ein Unterschied ob man NUR die Kassetten optisch sieht oder auch
zusätzlich die Fehlermeldungen aller ausgeleierten Kassetten sieht.
Gewöhnlicherweise werden kranke Kassetten durch weitere automatisch
ersetzt sofern noch vorhanden. Manchmal klemmte es auch. Das führt
natürlich schnell zu Datenstau wie heute im Suezkanal das
Containerschiff.
oszi40 schrieb:> Es ist ein Unterschied ob man NUR die Kassetten optisch sieht oder auch> zusätzlich die Fehlermeldungen aller ausgeleierten Kassetten sieht.
Keine Sorge, ich sehe ja was da abgeht. Klar, ab und zu wird von der
Software ein Band mit Schreib- oder Lesefehler ausgebucht. Hauptsächlich
bei relativ frischen Bändern, weniger bei alten. Ich hatte auch mal den
Metallstift bei ein paar Bändern wieder reingefummelt. Ist aber schon
seit vielen Jahren nicht mehr nötig gewesen.
Die Mechanik der Library ist sehr zuverlässig, da klemmt nichts. Beim
Vorgänger war das noch anders, aber dessen Mechanik positionierte "auf
Verdacht", nicht auf Basis von Sensorinformation. Leicht dejustiert traf
sie folglich daneben.
Georg schrieb:> Die Entwicklung optischer Medien ging leider nur bis Blue Ray, das> reicht heute für viele Zwecke nicht mehr.
Ultraviolette Laser sollen keine so hohe Lebensdauer haben.
Und Röntgenstrahlung ist nicht mehr optisch und in der Handhabung wohl
auch problematisch.
Ein Versuch aus dem Dilemma herauszukommen waren so Versuche wie die
Holodisc, aber außer Ankündigungen hat man da auch nichts mehr gehört.
Ich glaube die kommen nicht aus dem Prototypenstadium heraus und haben
ja auch billige USB Flashspeicher als starke Konkurrenz, das macht den
Markteinstieg schwierig.
Für Contenthersteller sind BluRays gut genug und alle anderen setzen
ohnehin auf Streaming und Pay per Download.
Was man also bräuchte wären (wieder-) beschreibbare Holodisc die auch
für Backups geeignet wären und eine hohe Datensicherheit und
Zuverlässigkeit aufweisen. Nur das hätte eine Chance und daran wird's
wohl scheitern.
Siehe dazu auch:
https://de.wikipedia.org/wiki/Holographic_Versatile_Disc
und:
https://de.wikipedia.org/wiki/Elektromagnetisches_Spektrum
Viele kleine Dateien, die innerhalb von 5 Minuten ausgelesen sein
sollen.
Mal so ein Gedanke:
Crypto-Keys für verschlüsselte Festplatten.
Sobald das Geld eingegangen ist, sollen die innerhalb von 5 Minuten
verschickt werden. Dieser Service ist wichtig, damit das Geld auch
fließt. Nicht jeder bezahlt einen hohen Betrag, ohne Garantie zu haben,
seine verschlüsselten Daten wieder zu entschlüsseln.
Alter, 100TB Kryptokeys für Festplatten...
Wenn jeder Key 10kB Platz verbraucht (und es ist eher ein zehntel
dessen) sind das 10 Milliarden Festplatten.
Mehr als eine Pro Mensch auf dieser Scheibe.
Wurden überhaupt insgesamt jemals so viele gebaut?
Jens M. schrieb:> Wenn jeder Key 10kB Platz verbraucht (und es ist eher ein zehntel> dessen) sind das 10 Milliarden Festplatten.
und jeder Key ist potentiell 50 Mio USD Wert (https://heise.de/-5993795)
d.H. er speichert da Werte von bis zu
500,000,000,000,000,000.00 USD.
da versteh ich die Anforderung
🐧 DPA 🐧 schrieb:> bezahlbares / möglichst billiges Speichermedium
nicht wirklich...
Εrnst B. schrieb:> nicht wirklich...
Der Geiz regiert die Welt, oder nicht?
Es kann aber auch sein, das er die Daten von den Überwachungskameras
einer Siedlung sammelt.
Oder er setzt einen Torrentservice für viele Linux-Distros auf. Die
häufig benötigten Distros passen auf eine 2TB Platte, der Rest würde nur
ab und zu benötigt und käme auf kleine Zugriffszahlen. Ggf. sind das
auch nur virtuelle Maschinen mit den Distros.
Solche Datenmengen hast Du schnell wenn Du Trainingdaten für deep
learning sammelst. Ein paar Millionen Straßenkilometer als Video und
Radar plus Telemetriedaten, da hast Du Deine hundert TB schnell
zusammen. Die Kollegen lagern sowas in kühlschrankgroßen NAS von EMC
Storage.
Soul E. schrieb:> Die Kollegen lagern sowas in kühlschrankgroßen NAS von EMC> Storage.
Das ist ja nur ein Teil der Wirklichkeit. Der Rest sind grosse
Industriehallen mit dem Stromverbrauch einer Kleinstadt.
Georg
Ich kenne so bekloppte Filmfans die haben > 200TB an Plattenspeicher im
Keller stehen wo die ganzen Blurays + DVD draufkopiert sind mit denen
sie zimmerdeckenhohe Regale gefüllt haben, zwecks bequemeren zugriffs.
100TB? Das ist doch heute nix mehr, das sind gerade mal 10 Platten bzw.
noch weniger wenn die neuesten 18TB sein sollen.
Andere Bekloppte haben uraltbackupserien bis zu 20 Jahre zurück auf
ihren Plattenarrays, der andere Endspieldatenbanken, nen Zoo an VMs,
Dockerimages,...
Oder Fotoknipser die jedes beschissene Bild in RAW aufheben,....
Buddy haut den Lukas schrieb:> Ich kenne so bekloppte Filmfans die haben > 200TB an> Plattenspeicher im> Keller stehen wo die ganzen Blurays + DVD draufkopiert sind mit denen> sie zimmerdeckenhohe Regale gefüllt haben, zwecks bequemeren zugriffs.
200 TB? Das wäre Platz für 200 TB * 1024/25 GB = 8192 Filme die man von
BluRays gezogen hat.
Das wären:
8192 Filme * 120 min / (60*12*365) = 3,74 Jahre, die man mit Film gucken
beschäftigt wäre, wenn man pro Tag 12 h am Stück guckt.
Wer macht so etwas, außer jetzt vielleicht Personen die nicht anders
können weil sie ans Bett gebunden sind?
michael_ schrieb:> Filme schaut man sich doch auch nicht zweimal an.
och sehr gute Filme schon, die brauchen auch kein BR zu sein oder 4K
bzw. UHD
Gute Filme sind halt zeitlos gut, zu oft wurde ich von neusten
Machwerken enttäuscht die mit Geruckel und wahnsinns Kamerafahrten auch
nicht in fullHD besser wurden. Etliche Filmstudios streiken ja schon bei
4K und 8K wird noch teurer. Mal ehrlich bringt es das? z.B. Mehrkanalton
11.2 nur Marketing.
Immer wird ne neue "Sau" durchs dorf getrieben, man kommt mit dem
Verkabeln ja kaum nach und der WAF ist auch sehr minimal. In meinem
Kinozimmer seit 2017 habe ich genau 2 Filme geschaut, mehr lohnten
nicht.
Nano schrieb:> Das wären:> 8192 Filme * 120 min / (60*12*365) = 3,74 Jahre, die man mit Film gucken> beschäftigt wäre, wenn man pro Tag 12 h am Stück guckt.> Wer macht so etwas, außer jetzt vielleicht Personen die nicht anders> können weil sie ans Bett gebunden sind?
Das gab es auch schon in der analogen Welt: Ich kannte ein Ehepaar, die
hatten 20.000 VHS-Videokassetten zu jeweils 4 Stunden. Die haben mit
mehreren Videorekordern parallel aufgenommen, ganze Serien komplett. Und
um die lagern zu können, hatten sie extra noch eine Garage angemietet,
in der nur die Kassetten lagerten.
100 TB sind nur dann wenig, wenn es sich um privaten Datenmüll handelt.
Den kann man auf USB-Platten billigster Bauart lagern.
Wenn es sich um wertvolle Daten handelt, dann müssen die als Backup
vorliegen und im RAID-Verbund laufen.
Und es gibt auch keine allgemeingültige Formel, welches System am besten
ist, denn es kommt auf die Struktur der Daten und die Art der Zugriffe
an. Und natürlich auch auf den Geldbeutel.
Festplatten sind immer metrisch angegeben, und nicht im Dualsystem. D.h.
für 1TB benötigt man 1,1TB Festplatte.
100 TB netto bekommt man in 3 HE nur mit Kompromissen unter, man müsste
RAID-6 benutzen. Das macht aber bei diesen Datenmengen keinen Sinn.
Also besser 4 HE und ein Pool aus Mirrors, und natürlich mit Hot-Spares.
Das ganze baut man mindestens 2 mal auf, Live und Backup. Besser ist 3
mal, Live, Standby und Backup.
Insgesamt wären das für ein System aus 2 * 7 + 2 Platten á 16TB
Materialkosten in Höhe von etwa 4800,- für die Platten plus etwa 2200,-
für Gehäuse, Board, SAS-Controller, CPU, RAM etc.
Experte schrieb:> 100 TB netto bekommt man in 3 HE nur mit Kompromissen unter, man müsste> RAID-6 benutzen.
Warum müsste man RAID-6 benutzen?
Experte schrieb:> Also besser 4 HE und ein Pool aus Mirrors, und natürlich mit Hot-Spares.> Das ganze baut man mindestens 2 mal auf, Live und Backup. Besser ist 3> mal, Live, Standby und Backup.
Mit welcher der genannten Anforderung rechtfertigst du diesen Aufwand?
Experte schrieb:> Festplatten sind immer metrisch angegeben, und nicht im Dualsystem. D.h.> für 1TB benötigt man 1,1TB Festplatte.
Für genau solche Formulierungen ist das "i" sinnvoll:
für 1 TiB benötigt man 1,1 TB Festplatte.
Wozu der ganze Stress?
Bekommt man auch auf eine einzige 3,5" Platte: Nimbus Data ExaDrive
SSD mit 100TB. Kostet allerdings 40.000 USD.
www.computerbase.de/2020-07/exadrive-dc100-100-tb-ssd-preis
Oder bei Youtube schauen, LinusTechTipps hat mal eine zerlegt ;)
Hallo
Jens G. schrieb:> Die ist aber noch größer - und noch teuer, und noch nutzloser .... ;-)>> E bay-Artikel Nr. 283414313921
Die Frage ist ernst gemeint und hat so gesehen mit E-Technik wenig zu
tun:
Wer und vor allem warum stellt irgendjemand so ein Angebot in E Bay
ein?
Zeigen das man im Besitz solch einer Platte ist?
Muss man als E Bay Verkäufer Aktivität zeigen um sein Verkäuferstatus
nicht zu verlieren?
Steht da tatsächlich ein dermaßen hoher Sammlerwert hinter der Platte?
Kann ich mir bei den diversen Videos von wesentlich älteren Platten die
im Netz existieren und den recht handfesten und nicht sehr besorgten
Umgang damit eigentlich kaum Vorstellen.
Auch dürfte der Sammlermarkt und oder die Anzahl der Interessierten die
sich solch eine Platte gegen (viel) Geld ansehen würden sehr klein sein.
Hat der Verkäufer einfach eine falsche Vorstellung vom Markt?
Auf "Antworten" wie :"Er ist einfach blöd" oder "Er sucht einen Blöden"
darf gerne Verzichtet werden. Auch "Betrüger" (Gegenüber wen überhaupt -
welchen Vorteil soll so ein "Angebot" ihn überhaupt bringen?) kann ohne
erklärende Begründung keine vernünftige Antwort sein.
Mich würde wirklich Interessieren was hinter solch einen "Angebot"
steht, vor allem weil es solche vom Prinzip (Maßlos
übertriebene)Preisvorstellungen für Produkte die kaum einen Markt haben
- schon gar nicht im privaten Bereich-immer wieder gibt.
Es wurden ja schon echte Lokomotiven und zwar nicht "nur" die 60 Jahre
alte Feldbahn- oder Kirmeslok (Kinderbespaßungsgerätschaft) - zwar
juristisch nicht ("Tüv" - "Frist") Betriebsbereit aber doch Vollständig
und technisch funktionsunfähig zu Preisen zu den man in so manchen
Gegenden auch heute noch ein gebrauchte Haus bekommt bei E Bay
angeboten.
Jemand
Jemand (Gast)
>Jens G. schrieb:>> Die ist aber noch größer - und noch teuer, und noch nutzloser .... ;-)>>
<> E bay-Artikel Nr. 283414313921
>Die Frage ist ernst gemeint und hat so gesehen mit E-Technik wenig zu>tun:> und viel mehr ... >
Bist Du plötzlich krank geworden, oder warum schreibst Du so viel Mist
zu meinem Späßchen?
Die 100TB SSD war ja sicherlich bei dem Preis auch nicht ganz ernst
gemeint, wenn auch eine Option bei sehr offenem Geldbeutel ...
oszi40 schrieb:> "kleines" Überspannungsproblem
Ob der TO daran gedacht hat, das der Plattenverband mindestens über ein
Leitungsstück LWL von seiner kommunizierenden Umwelt galvanisch getrennt
sein sollte, damit er nicht durch Blitzschlag in der nahen Umgebung
seinen Plattenspeicher einbüßen wird.
mh schrieb:> Mit welcher der genannten Anforderung rechtfertigst du diesen Aufwand?
Verfügbarkeit?
Schon mal mit solchen Datenmengen zu tun gehabt oder alternativ mal
nachgedacht oder ein wenig nachgerechnet?
Z.b. dauert die Übertragung von 100TB über Gigabit-Netzwerk 10 Tage.
Und:
🐧 DPA 🐧 schrieb:> Dauert aber leider sehr lange die zu regenerieren.
Wenn Du keine Redundanz hast, und eine Platte oder der Controller, oder
ein Netzteil hat mal kurz Schluckauf, sind Deine über lange Zeit (Tage?
Wochen?) generierten Daten alle futsch.
Musst Du die Daten neu erzeugen, funktionieren in dieser Zeit alle
Systeme, die von diesen Daten direkt oder indirekt abhängig sind, nicht.
Dieter D. (Firma: Hobbytheoretiker) (dieter_1234)
>Ob der TO daran gedacht hat, das der Plattenverband mindestens über ein>Leitungsstück LWL von seiner kommunizierenden Umwelt galvanisch getrennt>sein sollte, damit er nicht durch Blitzschlag in der nahen Umgebung>seinen Plattenspeicher einbüßen wird.
Mensch, seid ihr kompliziert. Und wenn es nur 1TB sind, glaubst Du
wirklich, daß sich darüber jemand bei diesem Lottospiel Gedanken macht?
Hallo
michael_ schrieb:> Filme schaut man sich doch auch nicht zweimal an.> Vielleicht Vor....nos.
Dann hast du noch keine guten Filme oder Serien geschaut.
Eigentlich ist alles was man nicht schon beim ersten mal vorzeitig
abschaltet (außer man wird gezwungen sich den ganzen Kram anzusehen -
und das gibt es leider) es Wert zweimal oder auch öfter angeschaut zu
werden.
Oft genug entdeckt man Details die man beim ersten mal nicht gesehen
hat.
Das alles hängt aber wohl auch davon ab wie und welche Filme / Serien
man schaut.
Und ja 200TB ist schon eine Ansage und die muss man erst mal voll
kriegen, aber es gibt eben Sammler und Leute die verschiedene Versionen
des selben Films (Serie) haben wollen, die aus Prinzip "alles" lokal auf
HD sichern (TV, Stream, Mediathek, YT - alles ist irgendwie möglich).
Jeder jeck ist halt anders.
Praktiker
Experte schrieb:> mh schrieb:>> Mit welcher der genannten Anforderung rechtfertigst du diesen Aufwand?>> Verfügbarkeit?>> Schon mal mit solchen Datenmengen zu tun gehabt oder alternativ mal> nachgedacht oder ein wenig nachgerechnet?
Jepp, ich habe jeden Tag mit solchen Datenmengen zu tun. Und die werden
entsprechend der Anforderungen gespeichert.
> Z.b. dauert die Übertragung von 100TB über Gigabit-Netzwerk 10 Tage.
Und was genau folgt jetzt daraus? Weißt du, ob die Daten über ein
Gigabit-Netztwerk übertragen werden müssen?
> 🐧 DPA 🐧 schrieb:>> Dauert aber leider sehr lange die zu regenerieren.> Wenn Du keine Redundanz hast, und eine Platte oder der Controller, oder> ein Netzteil hat mal kurz Schluckauf, sind Deine über lange Zeit (Tage?> Wochen?) generierten Daten alle futsch.> Musst Du die Daten neu erzeugen, funktionieren in dieser Zeit alle> Systeme, die von diesen Daten direkt oder indirekt abhängig sind, nicht.
Und welche Systeme kennst du, die von den Daten abhängig sind? Und für
welches System ist es ein Problem, wenn es ne Weile nicht läuft?
Du formulierst Lösungen, wie einige andere hier im Thread, für
Anforderungen, die der TO bis jetzt nicht gestellt hat. Dabei wird das
"bezahlbar / möglichst billig" aus dem ersten Satz im ersten Beitrag des
TO komplett ignoriert.
Experte schrieb:> Also besser 4 HE und ein Pool aus Mirrors, und natürlich mit Hot-Spares.> Das ganze baut man mindestens 2 mal auf, Live und Backup. Besser ist 3> mal, Live, Standby und Backup.
Dann kannst du gleich CEPH nehmen.
Wurde doch schon genannt, 7x 16TB zusammenschließen, mit 2x 5 bay RAID
und UPS sowie transientengeschutzte Steckdose und usb3 Steckkarte 2000€.
Dafür bekommt man 100TiB als big disk oder 87TiB als RAID 5.
Chris schrieb:> Wurde doch schon genannt, 7x 16TB zusammenschließen, mit 2x 5 bay RAID> und UPS sowie transientengeschutzte Steckdose und usb3 Steckkarte 2000€.> Dafür bekommt man 100TiB als big disk oder 87TiB als RAID 5.
Wenn man davon ausgeht, dass der ganze restliche Krempel einfach so "vom
Laster fällt", sind RAID-taugliche 16TB-Festplatten für 2000€/7=286€ pro
Stück schon ein Schnäppchen. Bei Alternate kosten die "Seagate Exos X16"
(bis Montag) gerade 299€.
Und das Raid, die UPS usw. braucht er garnicht. In den geforderten 5
Minuten Zugriffszeit kann man auch den Schrank aufmachen, die USB-Platte
mit der Aufschrift "Filme X" rausnehmen, Anstöpseln, und den Film
"xXx⁴² - Tötet den Osterhasen" starten.
Und nachdem das nur alle paar Tage mal vorkommt, er also wohl nicht
jeden Tag einen Film aus dem Archiv gucken will, was soll er dann mit
einer 24/7-Dauerläufer-Server-Lösung, mit Stromverbrauch und
Geräuschentwicklung wie ein Staubsauger?
Jens G. schrieb:> Ebay-Artikel Nr. 283414313921
"Das Lineal habe ich wegen der Grössenverhältnisse angelegt. Es hat eine
Gesamtlänge von 50 Zentimetern."
Das heißt, das Lineal wird nicht mitgeliefert? Das ist ärgerlich. Sonst
hätte ich das Ding glatt gekauft…
Rolf M. schrieb:> Das heißt, das Lineal wird nicht mitgeliefert? Das ist ärgerlich. Sonst> hätte ich das Ding glatt gekauft…
Mich würde eher der vorletzte Satz in der Artikelbeschreibung zweifeln
lassen, ob es lohnt, da zuzugreifen:
"Dass die Platte nicht mehr funktionsfähig ist, versteht sich von
selbst."
Wolfgang schrieb:> Mich würde eher der vorletzte Satz in der Artikelbeschreibung zweifeln> lassen, ob es lohnt, da zuzugreifen:> "Dass die Platte nicht mehr funktionsfähig ist, versteht sich von> selbst."
Da irgendjemand auf die dumme Idee gekommen ist die zu öffnen, mutwillig
zu beschädigen und somit keinerlei Chance besteht die irgedwie zu retten
und mit einem gegebenenfalls selbst gebauten Controller als
Demonstrationsobjekt zu nutzen, hat die meiner Meinung nach Schrottwert
aber Aufgrund ihres historischen Wertes ihren Platz als Exponat in einem
Museum.
Ich jedenfalls kann mich nicht daran erfreuen.
Jemand schrieb:> Wer und vor allem warum stellt irgendjemand so ein Angebot in E Bay> ein?>> Zeigen das man im Besitz solch einer Platte ist?
Nein - um zu zeigen, wie urgewaltig man einen an der Waffel hat, zu
glauben, man könnte dieses Stück Elektronik-Schrott allen Ernstes für
diese exorbitant unverschämte Summe an den Mann respektive die Frau
bringen...
● Des I. schrieb:> Interessant wird in einem Plattenstapel> herauszufinden, welche Daten> auf der einen defekten Platte waren...
Hätte nur jemand vor der Festplatte die Schrift erfunden ...
Ja, die ExaDrive 100TB war kein Trollbeitrag, die gibts wirklich.
Ich denke mal, das auch hier der Preis sinken wird. Wenn man überlegt,
ich habe 2003 für eine 256*MB* Speicherkarte 89.- Euro bezahlt. Die
Rechnung hab ich noch.
Natürlich sind die RAID und NAS Vorschläge besser und günstiger.
Grüße, Serge
Daniel A. schrieb:> Nein, Kryptowährungen lohnen sich schon lange nicht mehr.
Du hast überhaupt keine Ahnung, wieso die Frage in diesem Zusammenhang
relevant ist, wolltest aber was posten.
Nop schrieb:> Daniel A. schrieb:>> Nein, Kryptowährungen lohnen sich schon lange nicht mehr.>> Du hast überhaupt keine Ahnung, wieso die Frage in diesem Zusammenhang> relevant ist, wolltest aber was posten.
Nein, ich bin der TO (DPA = Daniel Patrick Abrecht), die Frage war an
mich gerichtet. Ich habe nur vergessen, mich vorher abzumelden...
🐧 DPA 🐧 schrieb:> Nop schrieb:>> Daniel A. schrieb:>>> Nein, Kryptowährungen lohnen sich schon lange nicht mehr.>>>> Du hast überhaupt keine Ahnung, wieso die Frage in diesem Zusammenhang>> relevant ist, wolltest aber was posten.>> Nein, ich bin der TO (DPA = Daniel Patrick Abrecht), die Frage war an> mich gerichtet. Ich habe nur vergessen, mich vorher abzumelden...
Okay, dann war das deine Antwort. Danke für das beantworten meiner
Frage.
