Datenbestände konsolidieren unter Linux - per Checksumme Backups testen und Duplikate killen

PatChris Gast #5688888
Lesenswert?
• ▲
▼ 
Hallo zusammen!

Bei mir haben sich über die Jahre größere Datenbestände angehäuft, die 
auf verschiedenen Datengrab- und Backup-Platten schlummern.

Ich möchte hier gern vernünftig aufräumen und alles zusammen führen und 
ein vernünftiges Backup-Konzept entwickeln, leider finde ich keine 
passenden (Linux-) Tools, wahrscheinlich suche ich nach den falschen 
Stichworten oder denke zu kompliziert.

Am Ende soll ein kompletter Bestand aller Daten an zwei örtlich 
getrennten Orten  liegen. Neuzugänge möchte ich auf einer von beiden 
Seiten hinzufügen, sie sollen dann über's Netz auf die jeweils entfernte 
Seite synchronisiert werden. Das dürfte mit rsync oder ähnlich 
hinzukriegen sein.

Schwieriger finde ich das Zusammenwerfen der Daten. Ein paar Sachen habe 
ich doppelt und dreifach in verschiedenen Backups. Ich kann nicht 
einfach Checksummen aller Dateien bilden und doppelte löschen - manchmal 
muss eine Datei ja mehrfach vorhanden sein.

Zum Testen der Backups bei kompletter Auslagerung von Daten könnte das 
allerdings sinnvoll sein. Beispielszenario:
 * Ich schleppe 15 Ordner mit 200GB Digitalbildern ständig mit mir rum, 
obwohl ich sie nicht ständig im Zugriff brauche - die SSD im Notebook 
läuft voll. Es gibt jeweils Backups (Kopien) der ältesten 14 Ordner.
 * Ich kopiere die 15 Ordner vom Notebook auf das Datengrab A.
 * Datengrab A repliziert die 15 Ordner mit der Zeit auf Datengrab B und 
ist nach 3 bis 4 Tagen fertig.
 * Auf Datengrab B werden Checksummen der Dateien in den 15 Ordnern 
gebildet und ich lade sie bei Gelegenheit runter.
 * Nun kann ich aus den 15 Ordnern alle Dateien mit identischen 
Checksummen löschen. Sind die Ordner hinterher leer, weiss ich, dass 
beide Kopien auf den Datengräbern intakt sind.
 * Jetzt kann ich aus allen Foto-Backups ebenfalls alle Dateien mit 
identischen Checksummen löschen.

So würde ich im Foto-Fall irgendwann auf einen grünen Zweig kommen. Das 
kann ich leider z.B. bei Programmcode nicht machen, weil eine in 
mehreren Projekten benötigte Library o.ä. ja bitte da drin bleiben soll 
;)

Ist meine Idee komplett abwegig oder gar bescheuert? Hat da jemand einen 
Tipp für mich, wie ich da ggf. besser vorgehen kann? Oder gibt es eine 
Software, die da vielleicht helfen könnte?

Patrick Christian
Beitrag melden Bearbeiten Thread verschieben Thread sperren Anmeldepflicht aktivieren Anpinnen Thread löschen Thread mit anderem zusammenführen Markierten Text zitieren Antwort Antwort mit Zitat
123789 Gast #5689285
Lesenswert?
• ▲
▼ 
Wenn du mit der Sortiererei fertig bist, würde ich dir raten, timeshift 
zu verwenden.
Fürs Sortieren würde ich evt empfehlen ein entsprechendes Skript selbst 
zu schreiben, welches die Änderungsdaten vergleicht und entsprechend 
Hardlinks anlegt, so ähnlich wie timeshift, das reduziert den genutzten 
Speicherplatz erheblich.
Beitrag melden Bearbeiten Löschen Markierten Text zitieren Antwort Antwort mit Zitat
Nano Gast #5689411
Lesenswert?
• ▲
▼ 
Mit dem Tool fdupes (unter Linux) kannst du die doppelten Dateien auch 
finden.

Bei Programmen könntest du mit symbolischen links arbeiten, bei 
verschiedenen Betriebssystemen wird's da aber schwierig.

Ein Dateisystem wie ZFS bietet das Feature depulikation. Das macht das 
alles automatisch, hat aber den Nachteil, dass es sehr viel RAM kostet 
und du noch ECC RAM brauchst.

Die Checksummmen würde ich übrigens auf dem Medium erstellen, wo du das 
zuerst machen kannst. Also auf dem Notebook.
Denn bei der Übertragung oder Speicherung könnten die Daten theoretisch 
kaputt gehen.
Theoretisch, weil die Übertragungsmedien in der Regel entsprechende 
Sicherungsschichten haben um genau so etwas zu verhindern.
Beitrag melden Bearbeiten Löschen Markierten Text zitieren Antwort Antwort mit Zitat
Georg A. #5689448
Lesenswert?
• ▲
▼ 
Es gibt auch OpenDedup (opendedup.org). Die bilden ein deduplizierendes 
Filesystem auf ein normales ab. Geht auch mit der Cloud, und ist gerade 
da sehr sinnvoll. Es wird ja nicht nur der teure Speicherplatz 
reduziert, sondern die Anzahl der PUTs, die ja auch was kosten. Und dann 
läuft es unter Linux und Windows.

Zumindest theoretisch. Praktisch finde ich es trotz aller vollmundiger 
Aussagen ziemlich buggy, vermutlich weil der Core in dem Java-Dreck 
geschrieben ist und nach einiger Laufzeit immer langsamer wird und 
obskurere Fehler bis zum Stillstand bringt. Wird auch von Veritas als 
S3/Azure/etc-Interface für Backup Exec beworben, aber auch da ist es ein 
Tamagotchi. Bei unserer Anwendung steigt es fast jede zweite Woche bei 
der Cloud-Deduplizierung von ca. 2TB aus und hängt dann alle Backup-Jobs 
auf, auch die primären lokalen Backups :(

Aber YMMV.
Beitrag melden Bearbeiten Löschen Markierten Text zitieren Antwort Antwort mit Zitat
oszi40 Gast #5689508
Lesenswert?
• ▲
▼ 
Georg A. schrieb:
> und hängt dann alle Backup-Jobs auf

Genau da ist der wunde Punkt, daß manchmal durch exotische Namen oder 
Überlängen etwas hängt. Man sollte erst mal sicher sein, daß ALLES 
gesund auf MEHR als einem Backupmedium angekommen ist. Nachdem ich vor 
Jahren ca. 100kg defekte Festplatten ausgetauscht habe, beschleichen 
mich ein paar Zweifel, ob EIN Backup reicht. Messwerte und Fotos könnten 
unwiederbringlich sein! 8-)

Eine einzige Prüfzahl garantiert noch keinen gescheiten Inhalt. Man 
sollte schon bei der Dateibezeichnung auf sinnreiche Konventionen achten 
um später schneller mit EINFACHEN Mitteln suchen zu können. In 20 Jahren 
wird keines der heutigen Backupprogramme mehr laufen. ls -a 
2019_01_10Temperatur* könnte noch funktionieren?
Beitrag melden Bearbeiten Löschen Markierten Text zitieren Antwort Antwort mit Zitat
TestX Gast #5689517
Lesenswert?
• ▲
▼ 
Eine zeitgmäße Lösung wäre ein filesystem mit checksummen wie zB btrfs 
(inkl snapshots) oder ext4 mit metadata checksums (kernel..)

das ganze auf einem raid etc..

rsync/rsnapshot oder borgbackup wäre geeignete backupprogramme. generell 
sollten die beiden externen backups keinerlei beziehung zueinander 
haben, sprich autark sein
Beitrag melden Bearbeiten Löschen Markierten Text zitieren Antwort Antwort mit Zitat
Thread beobachten

Antwort schreiben

Bitte melde dich an, um einen Beitrag zu schreiben.

Bestehender Account

oder

Mit Google-Account einloggen

Noch kein Account?

Die Registrierung ist kostenlos und dauert nur eine Minute.

Jetzt registrieren