Suche Programm zum HDD Clonen mit differentiellem Update

OP #4766917
Moin zusammen,

ich suche gerade ein Tool um eine Festplatte zu klonen. Soweit kein 
Problem, da gibt's jede Menge. Bei einer 4TB Platte (über USB3.0)dauert 
das aber ziemlich lange. Und da ich das regelmäßig fürs Backup machen 
möchte, ist dies schon lästig jedes mal die kompletten 4TB kopieren zu 
müssen.

Kennt jemand ein Tool, dass quasi nur Sektoren auf die Zielplatte 
schreibt, die sich seit dem letzten Spiegeln geändert haben?

Ich habe schon einige Backupprogramme gefunden, die ein Diskimage 
erstellen können, und dabei nur Sektoren übertragen, die seit dem 
letzten Lauf des Programms geändert wurden. Ich bräuchte das allerdings 
nicht als Image, sondern auf eine echte Platte.
OP #4766998
Das war leider keine Antwort auf meine Frage. :-)

Aber da du an meiner Backupstrategie interessiert bist: Ich mach das 
genau andersherum: Erst nen differentielles / inkrementelles Backup von 
allen Rechnern auf eine zentrale Platte. Von dieser Platte soll ein 
regelmäßiger Klon zur sicheren Aufbewahrung erstellt werden.
#4767024
Da D. schrieb:
> Das war leider keine Antwort auf meine Frage. :-)

DOCH! Das war eine Antwort auf die Frage so wie du sie gestellt hast!

Da D. schrieb:
> nen differentielles / inkrementelles Backup von
> allen Rechnern

Sind das Spezielle Backupdateien?

Da D. schrieb:
> Von dieser Platte soll ein
> regelmäßiger Klon zur sicheren Aufbewahrung erstellt

Warum Klon?
Es reicht doch wenn du nur die neu hinzugekommenen Backupdateien syncs.
OP #4767491
Ich suche einfach nur ein Programm, dass im Ergebnis das gleiche liefert 
wie ein dd if=/dev/sda1 of=/dev/sda2

Eine ganz stink normale gespiegelte Festplatte halt. Nicht mehr und 
nicht weniger. Ich nutze allerdings Windows. Und die Frage was, ob 
jemand so ein Programm kennt, dass nur geänderte Sektoren aktualisiert, 
um nicht jedes Mal 4 TB schreiben zu müssen. Alles ganz einfach :-)

Wer kein solches Programm kennt: Kein Problem, ich nehm es euch sicher 
nicht übel, wenn ihr nicht antwortet...
Persönliche Seite #4767548
Wäre das ganze in den Festplatten- bzw. Dateisystemtreiber von Windows 
integriert, könnte es sich die Schreibzugriffe irgendwo merken um die 
gewünschte Differenzfunktion zu erzielen.

Die sogenannten "Volumeschattenkopien" sind dabei möglicherweise ein 
Hilfsmittel.

Aber offline, d.h. ohne laufendes Betriebssystem? Keine Chance.
OP #4767614
Es gibt jede Menge Programme, die einfach eine Tabelle von Hashes 
verwalten, so das nur noch die Hashes der Quelle berechnet werden 
müssen, und dann alles aktualisiert wird, wo sich der Hash 
unterscheidet. Das setzt natürlich voraus, dass sonst keiner auf die 
Zielfestplatte schreibt.

Wie gesagt, es gibt viele Programme, die genau das für dateibasierte 
oder imagebasierte Backups machen. Nur für das komplette spiegeln von 
Laufwerken hab ich sowas noch nicht gesehen. Schade eigentlich.
Gast #4767701
Rsync kann das kostenlos.

Aber: es bringt nix.
Im Optimalfall "Nix wurde geändert" muss das Programm prinzipbedingt 
beide Platten komplett lesen, um die Daten bzw. Block-Hashes zu 
vergleichen. Also: 8TB Daten müssen bewegt werden.

Ein Stupides 1:1 Kopiertool (dd oder andere Imager) müssen 4TB lesen und 
4TB schreiben, also werden auch 8TB daten bewegt.

Nicht falsch verstehen, der Rsync-Algorithmus ist super-toll-genial, 
aber bringt halt nur einen Vorteil, wenn zwischen Quelle und Ziel ein 
langsames Medium liegt (Netzwerk/Internet), jede Seite für sich schnell 
Hashes bildet, und im Idealfall nur die Hashwerte über's Netzwerk 
wandern müssen.


Zur Originalfrage zurück: Mit Dateisystem-Unterstützung geht sowas. 
btrfs z.B. merkt sich die seit dem letzten Backup veränderten Blöcke, 
und kann diese dann gezielt rausschreiben (btrfs send). Zusammen mit 
btrfs-receive kann man damit inkrementelle Backups bauen, die nochmal 
einen Zacken effizienter laufen als rsync-hardlink-backups.
Gast #4767708
Planlos schrieb:
> z.B. merkt sich die seit dem letzten Backup veränderten Blöcke,

Es ist immer noch ein kleiner Unterschied ob forensisch 1:1 jedes Bit 
oder ob ein paar Blöcke irgendwie durch irgendein System kopiert werden. 
Scheinbar leere Blöcke könnten auch eine Information enthalten?
#4767738
Planlos schrieb:
> Rsync kann das kostenlos.

Rsync arbeitet soweit ich weiss auf Dateiebene.
Und das hab ich dem TO schon versucht zu verklikkern das es besser ist 
ein Sync-Tool zu benutzen.
Er will aber unbedingt Klonen, also eine exakte 1:1 Kopie der 
Festplatte.
Und das kann auch Rsync nicht liefern.
#4767785
Planlos schrieb:
> Rsync [...] muss [...] prinzipbedingt beide Platten komplett lesen,
> um die Daten bzw. Block-Hashes zu vergleichen.

Nö.

"Rsync finds files that need to be transferred using a "quick check" 
algorithm (by  default) that looks for files that have changed in size 
or in last-modified time."

Man kann optional (-c) Dateigröße+Prüfsumme nutzen, wenn man möchte.

/ Nur zur Vollständigkeit. Hilft dem TS nicht.
Gast #4767787
Max M. schrieb:
> Und das kann auch Rsync nicht liefern.

Rsync arbeitet auf Dateiebene, ja.
Es geht aber auch mit je nur einer Datei auf Quell- und Zielseite, und 
diese Datei darf auch ein Blockdevice sein.

Also: "Festplatten-Clonen mit differentiellem Update" von Platte zu 
Platte, Platte zu Image-File, Image-File zu Platte, alles kein Problem 
mit Rsync.
#4768635
Das erfüllt zwar nicht Deine 2 Forderungen Klon und Windows aber weils 
thematisch passt hier meine momentane Lösung, vielleicht ist es ja ne 
Inspiration für den einen oder anderen:


Problem:
* 300 GB Daten von insgesamt 4 Partitionen
  (/home, /etc, /var, /mnt/windows und zwei kleine Daten-Partitionen)
  (ich brauch keine Klone, nur Dateien sind mir wichtig)
* Backup soll inkrementell erfolgen
* Backup soll schnell gehen (wenige Minuten)
* Es existiert nur ein USB-2.0 Anschluss

Lösung:
* USB-Platte mit btrfs formatiert
* Script geschrieben das folgendes tut
  - mounte die externe Platte (mit compress-force=zlib,noatime)
  - falls nicht vorhanden, erzeuge ein Subvolume namens /current
  - rsync --delete -a -m alle obigen Ordner nach /mnt/backup/current
  - btrfs subvolume snapshot -r /mnt/backup/current 
/mnt/backup/$zeitstempel
  - umount /mnt/backup


compress-force=zlib sorgt für spürbare Kompression und Beschleunigung 
über den Flaschenhals der lahmen USB-Platte.

Das erste Backup dauerte über zwei Stunden.
Alle folgenden Backups dauern weniger als 3 Minuten.

Ich kann bei Bedarf jederzeit auf jede Datei aus jedem Snapshot 
zugreifen ohne irgendeine Spezialsoftware zu bemühen, die Snapshots 
verhalten sich in jeder Hinsicht wie normale Ordner.

Ich habs vorher auf die klassische Weise mit ext4 und rsync --link-dest 
probiert, das ist zwar das gleiche in grün, nur viel langsamer und 
lauter (die Platte hat wie wild gerattert beim Anlegen der Hardlinks und 
es hat fünfmal so lange gedauert), jetzt mit btrfs und subvolume 
snapshots geht es rasend schnell und ich hör auch nur noch ein deutlich 
spärlicheres Geräusch von der externen Platte.

Jeder der momentan noch eine rsync Hardlink-Farm pflegt sollte mal btrfs 
snapshots ins Auge fassen, das ist DIE Killeranwendung dieses 
Dateisystems.
Gast #4769304
Veränderte Sektoren übertragen ist Unsinn. Woran erkennt das Programm 
veränderte Sektoren? Es muss alle von beiden Platten einlesen und Byte 
für Byte vergleichen. Unendlich langsam!
Schneller sind Programme die Dateien an Hand von Namen, Größe und 
Änderungsdatum vergleichen. Ich verwende DirSync. Es ist ein 
ungeschicktes Programm, aber es erledigt seinen Arbeit in wenigen 
Minuten. Nur nicht MD5 Vergleich aktivieren!
#4769336
Da D. schrieb:
> Wie gesagt, es gibt viele Programme, die genau das für dateibasierte
> oder imagebasierte Backups machen. Nur für das komplette spiegeln von
> Laufwerken hab ich sowas noch nicht gesehen. Schade eigentlich.

"Driveclone" kann das (allerdings inkrementell) lt. 
http://www.farstone.com/software/drive-clone.php ("Drive Mirroring").
Ich benutze "Drive Snapshot", das kann "differentiell", aber nur 
Image-basiert.
Gast #4770192
solala schrieb:
> Veränderte Sektoren übertragen ist Unsinn. Woran erkennt das Programm
> veränderte Sektoren? Es muss alle von beiden Platten einlesen und Byte
> für Byte vergleichen. Unendlich langsam!

Es gab aber z.B. Leute, die haben in einigen Sektoren ihren KoBierschutz 
od. 4rus versteckt. Da könnte MD5 usw. durchaus sinnvoll sein.
#4770300
solala schrieb:
> Veränderte Sektoren übertragen ist Unsinn. Woran erkennt das Programm
> veränderte Sektoren?

Ein Weg wäre beispielsweise ein Treiber in System, der Schreibzugriffe 
mitschnüffelt und in einer separaten Disk-Zone als Bitmap protokolliert.

Eine anderer Weg nutzt die in Windows enthaltenen und blockweise 
arbeitenden Filesystem-Snapshots (aka volume shadow copy). Wenn mit 
einem Backup ein Snapshot angelegt wird, dann sind Änderungen gegenüber 
dem letzten Backup-Stand exakt identifizierbar.

> Schneller sind Programme die Dateien an Hand von Namen, Größe und
> Änderungsdatum vergleichen.

Bei Daten-Disks ist das allemal vorzuziehen. Bei System-Disks hat dieses 
Verfahren Grenzen, weil man das Windows-System so nicht sicher kopieren 
und wiederherstellen kann.

Antwort schreiben

Eine eigene Frage? Dieser Thread ist über 10 Jahre alt. Stell sie in einem eigenen Thread – dort lesen mehr Leute mit, und sie wird öfter und schneller beantwortet.

Neuen Thread starten

Eine Lösung, Ergänzung oder Rückmeldung zu diesem Thread? Dann antworte hier.

Formatierung
  • [c]C-Code[/c]
  • [code]Code in anderen Sprachen, ASCII-Zeichnungen[/code]
  • [math]Formel in LaTeX-Syntax[/math]
  • [[Titel]] – Link zu einem Artikel
  • Verweis auf einen anderen Beitrag: Rechtsklick auf dessen Beitrags-ID (#8078628), „Adresse kopieren“, in den Text einfügen

Mehr zur Formatierung

Längeren Sourcecode als Anhang, nicht in den Text. JPG nur für Fotos und Scans; Zeichnungen und Screenshots als PNG oder GIF. Siehe Bildformate.

Schon registriert? Anmelden

Wird nicht angezeigt. Wir schicken dir einen Link; sobald du damit bestätigst, erscheint dein Beitrag.

Mit dem Abschicken legst du einen kostenlosen Account an und erkennst die Nutzungsbedingungen und die Datenschutzerklärung an.