Hallo,
ich möchte gerne einige Vezeichnisse von meinem Ubuntu Server stündlich auf eine andere Maschine sichern.
Mein naiver Ansatz wäre:
Bash Skrit erstellen, das
NFS-Share mounted
Per rsync die Verzeichnisse rüberkopiert
NFS SHare unmounted
Per Crontab das Skript stündlich aufrufen
Allerdings wird das Skript dann doch recht länglich. Und eine Fehlerbahndlung (vorzugsweise eine E-Mail im Fehlerfall) müsste man auch noch dazubasteln.
Bevor ich mir die Arbeit mache: geht das auch einfacher?
Gibt es ggf. schon ein fertiges Paket, das sich leicht konfigurieren lässt und das alles out-of -the-box kann?
NFS SHare unmounted
Bevor ich mir die Arbeit mache: geht das auch einfacher?
rsync kann direkt per ssh übertragen. (wenn die andere Büchse einen sshd laufen hat). Da braucht's dann auch keinen mount/unmount.
Und mit einem SSH key geht's bequem auch ohne Interaktion.
Ich würde BorgBackup empfehlen.
Nicht nur eine simple Kopie, sondern du bekommst gleich Versionierung, Kompression und Deduplikation dazu. NFS kannst du dir sparen und die Daten durch Borg per SSH übertragen lassen. Ist relativ schnell konfiguriert und nach meiner inzwischen jahrelagen Erfahrung ziemlich sorgenfrei.
die rsync Lösung ist für Backup nur bedingt geeignet. Du überschreibst damit ja auch die Files im Ziel (und löschst dort auch, was auf der Quelle gelöscht wurde, sofern du --delete verwendest). Mit einem Backup willst du dich aber schützen, falls Inhalte versehentlich oder durch Fehlfunktionen/Viren/Trojaner verändert wurden. Du kannst natürlich auch mir rsync eine getrennte Kopie jede Stunden erstellen, aber das ist meist auch nicht was du willst.
Schau dir z.B. mal die Tools borgbackup oder restic.
rsync kann direkt per ssh übertragen. (wenn die andere Büchse einen sshd
laufen hat). Da braucht's dann auch keinen mount/unmount.
Und mit einem SSH key geht's bequem auch ohne Interaktion.
Und wenn man das ganze auch noch in schnell haben will, läßt man das nicht im SSH-Modus laufen, sondern spricht den rsyncd auf dem NAS an. Denn SSH lastet mit seiner Encryption extrem die CPUs aus, so daß man je nach Leistungsfähigkeit von PC und NAS u.U. nur mit 10-20MB/s herumdümpelt.
Der Zielpfad muß dabei mit rsync:// anfangen, und der allgemeine Zielpfad wird nicht direkt angesprochen, sondern über Modulnamen (Aliase für Zielpfade), die man in der /etc/rsync.conf auf dem NAS definiert.
Ich mach mit rsync (genauer: dem darauf aufsetzenden rsnapshot) nicht nur inkrementelle Backups meiner Datenpartition sondern auch der Systempartitionen diverser Systeme (vom Desktop, über den Raspberry, zur VM).
Das schöne ist, man kann in den Backups mit einem beliebigen File-Browser navigieren.
Restore klappt auch entweder über rsync oder primitiv per cp.
Brtfs oder zfs nutzen wäre auch eine Möglichkeit. Dann stündlich einen snapshot erstellen und den dann remote replizieren.
Schau dir Mal truenas und proxmox an. Die bringen für die Datenhaltung eigentlich alles mit, haben eine web-gui und haben mit e-mail benachrichtigungen kein Problem.
Dein Ubuntu ist in beiden fällen Recht easy als virtuelles System installiert.
Ganz nebenbei:Backup von nicht Konsistenzgeprüftenndaten ist ein eigenes Problem. Lies dir Mal ein paar Artikel zu scrubbing bei zfs und brtfs durch.
Übrigens habe ich mich für truenas entschieden un Stelle aktuell auf truenas scale um.73
Restic liefert ein Fuse-Modul dafür implementiert:
Das ist doch ein restic-spezifisches Filesystem, an das man ohne Restic-spezifische Driver/Module wohl nicht rankommt - also nichts mit "direkt ansprechbar"
Vorteil von rsync gegenüber Borg: Das Zielmedium benötigt kein
Restore-Tool, sondern ist direkt ansprechbar.
Was bei mir schon wieder ein Ausschlußkriterium für Borg wäre ...
Ach, BorgBackup ist in den Repos der üblichen Distributionen, das tut nicht weh. Die Backups lassen sich über FUSE mounten und können zudem verschlüsselt werden, was aus meiner Sicht ein großer Vorteil in nicht-vertrauenswürdigen Umgebungen ist. Und für Menschen, für die die Eingabe von Befehlen in eine Shell eine Zumutung darstellt, gibt es auch einen Desktop-Client mit GUI.
Ansonsten gibt es natürlich noch restic und Duplicity, die Backups ebenfalls verschlüsseln können. Und wer komplexere Anforderungen hat, könnte sich aber auch einmal backupninja anschauen, das alle diese Programme unterstützt, mit einfachen Konfigurationsdateien in /etc/backup.d/ gesteuert wird und weitere Aktionen vor dem eigentlichen Backupwerkzeug ausführen kann, wie zum Beispiel Datenbankdumps anfertigen. HF, YMMV.
Brtfs oder zfs nutzen wäre auch eine Möglichkeit. Dann stündlich einen
snapshot erstellen und den dann remote replizieren.
Schau dir Mal truenas und proxmox an. Die bringen für die Datenhaltung
eigentlich alles mit, haben eine web-gui und haben mit e-mail
benachrichtigungen kein Problem.
Über Truenas kann ich nichts sagen, aber von Proxmox rate ich mittlerweile ab. Das wurde vor meiner Zeit bei meinem aktuellen Arbeitgeber zum Betrieb und für Snapshot-Backups einer Infrastruktur mit ca. 60 VMs benutzt, und leider froren die VMs dabei in unregelmäßigen Abständen ein.
Brtfs oder zfs nutzen wäre auch eine Möglichkeit. Dann stündlich einen
snapshot erstellen und den dann remote replizieren.
Schau dir Mal truenas und proxmox an. Die bringen für die Datenhaltung
eigentlich alles mit, haben eine web-gui und haben mit e-mail
benachrichtigungen kein Problem.
Über Truenas kann ich nichts sagen, aber von Proxmox rate ich
mittlerweile ab. Das wurde vor meiner Zeit bei meinem aktuellen
Arbeitgeber zum Betrieb und für Snapshot-Backups einer Infrastruktur mit
ca. 60 VMs benutzt, und leider froren die VMs dabei in unregelmäßigen
Abständen ein.
Das war evtl KVM libvirt geschuldet. Was es aber schon seit ein paar Jahren nicht mehr macht…
Die Daten sind auf einem anderen System gesichert und versioniert, versehentlich gelöschtes landet im Papierkorb statt sofort für immer zu verschwinden.
Die Daten sind auf einem anderen System gesichert und versioniert,
versehentlich gelöschtes landet im Papierkorb statt sofort für immer zu
verschwinden.
Wenn Proxmox ernste Problem hat, werden wir davon in den nächsten Monaten sicherlich hören. Das ist immerhin einer der meistgenannten Kandidaten bei der Flucht aus VMware im Enterprise-Umfeld.
Wenn Proxmox ernste Problem hat, werden wir davon in den nächsten
Monaten sicherlich hören. Das ist immerhin einer der meistgenannten
Kandidaten bei der Flucht aus VMware im Enterprise-Umfeld.
Keine Ahnung, ob es an KVM/Qemu, libvirt, oder an der veralteten Version von Proxmox lag, die unser Hostingprovider zur Verfügung gestellt hat. Aber die Probleme, die ich weder mit libvirt, noch mit KVM/Qemu je auf der CLI erlebt habe, haben mein Vertrauen in Proxmox recht gründlich erschüttert. Insofern wünsche ich Dir bzw. Euch viel Glück!
Davon abgesehen halte ich es aber auch für... schwierig, einfach komplette Images von VMs zu ziehen. Einerseits wegen der Konsistenz und andererseits, weil das recht viel Speicherplatz erfordert...
Davon abgesehen halte ich es aber auch für... schwierig, einfach
komplette Images von VMs zu ziehen. Einerseits wegen der Konsistenz und
andererseits, weil das recht viel Speicherplatz erfordert...
Das hängt davon ab, wie du das darunterliegende zfs einbindest.
Anscheinend geht es aber um Dateien. Also sollte selbst ein Export des ZFS pools von truenas in die VM rein genügen... Aber man kann ja auch Zfs direkt unter Ubuntu nutzen...
Ich wollte keinen Glaubenskrieg lostreten. Zfs hätte jedenfalls fertige Tools zur Replikation und wäre als Dateisystem für diese Anwendungsfälle gemacht.
Es hat aber auch Nachteile ZFS zu nutzen... vergrößern eine volumes ist z
B nicht immer zufriedenstellend möglich, wenn man Redundanz von Dateisystem fordert.
Ich bin jedenfalls von allen "Backup Lösungen" weg... Datenbanken aufs FS syncen, snapshot erstellen, weg replizieren und gut ist's (für meine Bedürfnisse).
Davon abgesehen halte ich es aber auch für... schwierig, einfach
komplette Images von VMs zu ziehen. Einerseits wegen der Konsistenz und
andererseits, weil das recht viel Speicherplatz erfordert...
Es gibt ja Tools die deduplizieren und komprimieren können :-)
hallo, danke erst mal für die vielen guten Tipps. Da lese ich mich so nach und nach durch :-)
Zum Hintergrund:
Es geht um einen Ubuntu Server, auf dem ich Docker-Container betreiben möchte. Die Daten-Verzeichnisse der Container möchte ich dann regelmäßig auf eine andere Maschine sichern. Als Speichermedium kommt ein ZFS-Mirror zum Einsatz (zwei SSDs).
Es gibt ja Tools die deduplizieren und komprimieren können :-)
Und das völlig transparent im Rahmen des Filesystems. Bei Snapshots ergibt sich eine erste Deduplizierung dann bereits im Copy-on-Write Verfahren und eine Replikation nur der Änderungen ergibt sich ebenfalls ziemlich zwanglos, ohne Suche oder Vergleich.
Die komplette Datenhaltung in der "NAS-distribution" zu lassen, hat schon Vorteile (siehe logging, email benachrichtigung, regelmäßiges scrubbing,...).
Als Speichermedium kommt ein
ZFS-Mirror zum Einsatz (zwei SSDs).
Das würde ich mir auch gut überlegen.
Ein RaidZ kannst du zumindest über ein Zwischenschritte erweitern (also platte tauschen und resilvern). Mit einem Mirror startest du von einem System, das zwar fehler erkennt, aber nicht korrigieren kann...
Hängt halt von der Datenmenge ab... bei mir rennt ein RaidZ2 auf 4 SSDs weil ich vergleichsweise wenig daten habe und der preis (für mich) damit 2. rangig ist.
Dafür ist die verfügbarkeit höher. Mir ist eine der NAS HDDs in einem anderen RaidZ2 kaputt gegangen... ja, es ist degeneriert, aber immer noch redundant und verfügbar. Ist halt wie immer eine Kosten-Nutzen-Rechnung die man für sich selber machen muss...
Die komplette Datenhaltung in der "NAS-distribution" zu lassen, hat
schon Vorteile (siehe logging, email benachrichtigung, regelmäßiges
scrubbing,...).
Proxmox würde ich als Unterbau nutzen. Darauf dann eine VM mit Ubuntu Server, um die Docker Container auszuführen. Meine SSDs würde ich per Passthrough direkt der VM zur Verfügung stellen.
TrueNAS habe ich mir als Alternative zu Ubuntu Server auch schon angesehen, aber da scheint die Docker-Integration eine Katastrophe zu sein. Hat mir wenig Spaß gemacht ;-)
OpenMediaVault wäre ggf. auch noch eine Option...
Ein RaidZ kannst du zumindest über ein Zwischenschritte erweitern (also
platte tauschen und resilvern). Mit einem Mirror startest du von einem
System, das zwar fehler erkennt, aber nicht korrigieren kann...
RaidZ sagt mir erst mal nichts. Mein Mini-PC hat leider nur zwei SATA-Ports, daher muss ich erst mal mit zwei Daten-SSDs auskommen. Da ist ein ZFS-Mirror vermutlich die einzige Option?
Proxmox würde ich als Unterbau nutzen. Darauf dann eine VM mit Ubuntu
Server, um die Docker Container auszuführen. Meine SSDs würde ich per
Passthrough direkt der VM zur Verfügung stellen.
Bitte entschuldige, aber warum möchtest Du erst eine Abstraktionsschicht wie Proxmox einziehen und dann weitere Aufwände für einen Passthrough betreiben, der ohne diese Abstraktionsschicht gar nicht benötigt würde? Anders gefragt: welchen Nutzen versprichst Du Dir in Deinem Anwendungsfall von Proxmox?
