Forum: PC Hard- und Software LINUX 2 USB Festplatten Spiegeln


von Der G. (g0nz00)


Lesenswert?

Hallo,

Ich habe zu hause einen SME Server ( Linux--Redhad -- OS Cent ) stehen 
das Betriebssystem ist auf einer 10GB 2,5" HDD installiert.

Wenn ich bei der Installation 2 gleiche Festplatten einbaue dann 
aktiviert er automatisch einen Softraid.... Habe aber keine 2 gleichen 
platten eingebaut und will auch weiterhin das der Server nur auf der 
kleinen FP läuft.

Jetzt habe ich 2 500GB USB Festplatten mit EXT3 Formatiert und kann 
diese auch beliebig mounten und sie werden automatisch nach 
/Media/usbdisk und /media/usbdisk1 gemountet ( ohne mein eingreifen das 
macht der Server automatisch )

Jetzt will ich diese beiden Platten Spiegeln damit meine Privaten Daten 
immer doppelt vorhanden sind.

anscheinend wird die Raidgeschichte mit einem tool das mdraid heißt 
verwaltet ich weiß aber nicht wie ich es schaffen kann das ich beide 
Festplatten unter /dev/mdx ansprechen kann oder das ich sie in ein Raid 
zusammenfassen kann.

Ich hoffe jemand kann mir helfen

gruß

g0nz00

von condi (Gast)


Lesenswert?


von Der G. (g0nz00)


Lesenswert?

Huii Kernel patchen ....

Sowas habe ich noch nie gemacht.

Aber der link zu den Kernelpatches ist nicht zu erreichen :(

von Chris (Gast)


Lesenswert?

> Aber der link zu den Kernelpatches ist nicht zu erreichen :(

Sei froh, du hättest sonst wahrscheinlich dein System kaputtgemacht. 
Grund: Die Seite bezieht sich auf den 2.2er-Kernel, der Urgestein ist. 
Du suchst etwas für den 2.6er. Ich kenn mich mit RAID nicht aus, nehme 
aber mal sehr stark an, dass ein aktueller 2.6er-Kernel die dafür 
notwendigen Treiber schon integriert hat.

von Olli R. (xenusion)


Lesenswert?

Du brauchst ein RAID 1. Installiere dir das Paket, das mdadm enthaelt 
und lies die manpage dazu.

Zuerst solltest du Deine Daten sichern, die bestehende ext3-Formatierung 
geht beim Software-RAID-Setup erstmal verloren.

So geht's:

1. Daten sichern.

2. Datei /etc/raidtab erstellen mit folgendem Inhalt:

raiddev /dev/md0
        raid-level      1
        nr-raid-disks   2
        nr-spare-disks  0
        persistent-superblock 1
        device          /dev/sda1
        raid-disk       0
        device          /dev/sdb1
        raid-disk       1

Hier musst Du ggf. noch die Devices editieren und Deine Partitionen 
angeben. Die Partitionen muessen natuerlich entsprechend existieren.

3. RAID erstellen:

mkraid /dev/md0

4. Formatieren:

mkfs.ext3 /dev/md0

fertig. /dev/mdp kann gemountet und gefuellt werden.

Olli

von Der G. (g0nz00)


Lesenswert?

ja ist ganz einfach ;)

Hatte einen Befehl gefunden womit ich mir die Kernelversion anzeigen 
lassen konnte und da habe ich dann auch bemerkt das ich nen 2.6 er 
Kernel hatte. Und wie du schon sagst der kann das mit dem Raid schon.

habe das hier gefunden:

http://www.elsbrock.com/pdf/raid1_de

habe es jetzt geschaft /dev/md5 anzulegen und sda1 hinzuzufügen jetzt 
formatiere ich grade ext3 nochmal und anschließend wird die 2te USB 
Platte eingehängt.

nur das dauert 500GB über USB1.1 :(

Ist ein kleiner VIA  EDEN 5000 Server mit 1GB RAM Stromaufnahme ist 22W 
unter Zugriff auf die 2,5" HDD und passiv gekühlt.

Wenn das mir zu langsam ist brauche ich ne Riser Card um den PCI 
Steckplatz zu verdoppeln und dann kann ich zur Not eine 4fach USB 2.0 
Karte hineinstecken.Ist aber nur ein kleines Gehäuse 250*200*70mm. Aber 
erstmal ist es besser das ich die ganzen Daten sichere.

Gruß

g0nz00

von Olli R. (xenusion)


Lesenswert?

Der G0nz00 wrote:

> Wenn das mir zu langsam ist brauche ich ne Riser Card um den PCI
> Steckplatz zu verdoppeln und dann kann ich zur Not eine 4fach USB 2.0
> Karte hineinstecken.Ist aber nur ein kleines Gehäuse 250*200*70mm. Aber
> erstmal ist es besser das ich die ganzen Daten sichere.

Wobei ich bei DER Aufgabenstellung und nur USB 1.1. kein RAID erstellt 
haette. Ich wuerde einfach zwei Partitionen mit ext3 formatieren und die 
Daten mit rsync synchronisieren, z.B alle 5min per crontab.

Das ist erheblich resourcenschonender. Verwende ich dauernd, auch per 
SSH getunnelt zum Datenabgleich uebers Internet mit der NASA, und das 
ist noch langsamer als USB 1.1 :-)

Gruss,
Olli

von Der G. (g0nz00)


Lesenswert?

@ olli

bei einem Versuch vorhin hatte ich die Datei raidtab schon erstellt ;)

Er ist fleißig am Formatieren. Die beiden Festplatten sind leer habe sie 
gestern erst gekauft.

Mir wurde nur gesagt wenn eine externe usb festplatte kaputt geht auch 
wenns nur die Stromwandlerplatine ist und ich das Gehäuse öffne, zum 
Datensichern, erlischt die Garantie.

Und wenn ich die platte abgebe dann bekomme ich die Daten wohl nie 
wieder. daher die beiden USB Platten mit Spiegelungund man lernt ja auch 
was wenn man so nen Raid einrichtet.

Bin jetzt zwar ganz auf Linux umgestiegen zu hause aber es dauert noch 
ein wenig wenn man fast nur Windows kennt.

gruß und danke für die Hilfe

g0nz00

von Der G. (g0nz00)


Lesenswert?

@ olli

Wie gesagt ich lerne noch... wichtig ist es mir, viel mit Linux zu 
machen. Da ich Administrator in einer Windows Umgebung bin komme ich 
leider nicht so oft damit in Berührung und daher versuche ich erstmal 
das Raid einzurichten sowas ist wichtig ;) wenns wirklich nicht zu 
ertragen ist dann Fuchse ich mich mal in ein Script? ein was die Daten 
alle x min abgleicht.

Gruß

g0nz00

von Olli R. (xenusion)


Lesenswert?

Jep. Und wenn wir gerade beim Thema RAID sind: Ich verwende nur noch 
Software-RAID und gar kein Hardware-RAID mehr, selbst wenn der 
Controller Hardware-RAID unterstuetzt.

Heutige Prozessoren machen das mit Links, und mit Software-RAID ist man 
unabhaengig vom verwendeten Controller.

Ich hatte bei Hardware-RAID schon mehr als einmal einen Totalverlust 
durch kaputte Controller, obwohl diese durch denselben Typ ersetzt 
wurden. Da reicht dann schon ein Unterschied in der Firmware und der 
neue Controller erkennt das alte RAID nicht mehr.

von Der G. (g0nz00)


Lesenswert?

also mkraid kennt er nicht :(
aber in dem Link wurde es mit mdadm -xx -xx --xx ...  gemacht und er 
hats ohne meckern gemacht. mal sehen was er morgen sagt wenn ich die 2 
Platte hinzufüge.

Anschießend muß ich doch /dev/md5 in einen Ordner meiner Wahl mounten 
oder? z.B. usbpladde im homeordner ?

Naja morgen ist auch noch ein tag ^^

n8 @ all

Mit USB 1.1 kann man sich auch nicht überarbeiten es gibt dann einfach 
ein paar Phasen wo man ins bett gehen kann ;)

von Der G. (g0nz00)


Lesenswert?

Mit so einem Adaptec RAID Controller habe ich auch gekämpft bis zum geht 
nicht mehr.
Suse 9.0 unterstützt ihn angeblich, aber auch damit hats nicht 
funktioniert.

Würde auch gern nen größeres Via Board oder etwas vergleichbares nehmen 
evtl. mal den neuen Intel Atom auf dem schnuckeligen Mainboard 
ausprobieren.

Für die meisten Heimanwendungen wirds reichen meine XBoxen unter den TVs 
Streamen immer die filme vom Hauptrechner. das ist für mich das 
wichtigste weil der Server eventuell mal BBC Dokus 24/7 streamen soll 
dann mache ich mir mein Fernseh selber den geistigen dünnschiss im TV 
hält ja keiner mehr aus ;)

Aber das ist eine weiteres Projekt

Habe hier noch nen SUN NETRA T1 Server der will auch linux haben oder 
ich probiere was neues ;)

und in der Hobbywerkstatt noch nen Quad P3 1MB LC2 mit 8GB RAM und 12 
SCSI Festplatten der hat auch noch kein OS der ist aber extrem laut mit 
3 Netzteilen und 5 Lüftern und nix für den Energiebewusten Haushalt ^^

Ach ja und meine Frau würd mich rausschmeißen wenn ich den nur in die 
nähe der Steckdose stelle.

von Tim (Gast)


Lesenswert?

Bleibt noch anzumerken:

Ein Raid ist KEINE Backuplösung.

Es verhindert NUR das die Kiste beim Ausfall von einer Platte den Dienst 
quittiert. (Bringt hier eh nix, da / nicht auf einem Raid liegt, sondern 
nur die Daten)

Gegen Überspannung, versehentliches Löschen, etc... Schützt das nicht.

Es währe besser wenn du die 2. Platte alle parr Tage per rsync spiegelst 
und abgeklemmt an einen anderen Ort legst.

von Uhu U. (uhu)


Lesenswert?

Der G0nz00 wrote:
> Mir wurde nur gesagt wenn eine externe usb festplatte kaputt geht auch
> wenns nur die Stromwandlerplatine ist und ich das Gehäuse öffne, zum
> Datensichern, erlischt die Garantie.

Das ist die übliche Masche, mit der die Hardware-Verklopper versuchen, 
einen ins Bockshorn zu jagen. So einfach ist es jedoch nicht, wie aus 
diesem Forumsbeitrag ersichtlich ist:
http://www.msi-wind.de/2008/07/02/aufrusten-verletzt-garantie/#comment-1731

Das Problem dabei ist weniger die objektive Rechtslage, als der Streß, 
den die Dreckschweine einem im Zweifelsfall machen. Wenn ein Händler 
schon beim Kauf auf der Ebene agiert, würde ich Abstand nehmen - vom 
Händler.

Generell ist es natürlich ein Problem, wichtige Daten mit einem 
Garantiefall aus dem Haus zu geben. Wenn wirklich sensible Sachen dabei 
sind, ist es besser auf die Garantie zu verzichten und sich für ein paar 
Euro schnell ein neues Laufwerk zu beschaffen und ein Backup 
draufzuspielen. (Die LWs werden ja bei gleichem Preis mit der Zeit immer 
größer, also lohnt sich Vorratshaltung nicht unbedingt.)

Mit Raid bin ich auch etwas skeptisch. Das ist eigentlich nur dann eine 
Lösung, wenn annähernd 100% Verfügbarkeit gefragt sind. Es ist keine 
Versicherung gegen Datenverlust durch Hardware-Fehler außerhalb der 
Plattenlaufwerke.

Wenn man mit rsync ein Backup aktuell hält, kann man zwar bei einem 
Ausfall maximal den Datenanfall seit dem letzten sync verlieren, aber 
man hat im Ganzen eine höhere Sicherheit, als mit Raid.

Externe Platten kann man sich auch aus einem Gehäuse und einem LW selbst 
nach Bedarf zusammenschrauben.

von g0nz00 (Gast)


Lesenswert?

Hallo,

also die Platten spiegeln sich grade, hat alles geklapt ;)

Aber die Idee mit dem rsync hört sich auch gut an mal sehen ...

von g0nz00 (Gast)


Lesenswert?

hab grade mal geschaut .... nach 9h

ist schon bei 5%  ...

hätte nicht gedacht das das soo langsam ist.

gruß

Dennis

von The other side of Horst (Gast)


Lesenswert?

Hattest Du nicht was von USB1.1 geschrieben?

von Der G. (g0nz00)


Lesenswert?

Ja aber formatiert hat er mir die platten in 3h

spiegeln wird jetzt wohl 2 tage dauern :(

Werde mich wohl mit dem sync befehl anfreunden müssen.

frage ist ja jetzt wie schnell kann ich Daten auf die platte bringen mit 
den Standart 12Mbit/sek (USB 1.1) oder viel langsamer durch den Softraid 
?

gruß g0nz00

von The other side of Horst (Gast)


Lesenswert?

Naja, Lesen mit maximal 1 MByte/sec und wieder schreiben ebenfalls mit 
maximal 1 MByte/sec. In Summe unter optimalen Bedingungen also 500 
kByte/sec.

von Der G. (g0nz00)


Lesenswert?

534KB/sek schnief

um genau zu sein .... sollte doch wohl ein paar tage dauern.


Na dann mal weiter im Text.

Gibt es eine option einen Ordner auf dem Raid in das homeverzeichniss 
einer oder mehrerer Gruppen zu mounten.

Wenn sich jemand anmeldet an meinem Server dann landet er immer im 
homeverzeichniss und wenn ich sogenannte i-bays erzeuge (Ordner die ich 
freigeben kann) dann muß man erst 2 Ebenen höher und dort sich dann 
durchklicken und man kann dann auch nur in ordner die für die gruppe 
oder den Benutzer freigegeben sind.

deswegen will ich einen ordner in meinem Raid in alle homeverzeichnisse 
der Gruppe verlinken.

gruß

g0nz00

von Der G. (g0nz00)


Lesenswert?

Nochmal andersherum....

Was passiert mit den Daten wenn eine Platte fehlt oder ausfällt

ist dann das gemountete Verzeichniss unter md5 nicht mehr zu erreichen 
(lesen/schreiben) oder kann ich weiterarbeiten? Nur das ich eine Meldung 
bekomme das  eine platte fehlt?

schließe ich dann nur eine neue an und er spiegelt automatisch oder muß 
ich sie dann wieder neu einbinden? zu md5 hinzufügen. Wie verhindert man 
das er nicht die neue auf die vorhandene spiegelt also die Daten 
überschreibt weil auf der neuen alles leer ist.


Wie funktioniert das mounten und was passiert da genau?

und zu guter letzt was ist diese swap partition? Freier speicher der 
zugeordnet wird wo er gebraucht wird?

habe gestern mit

#mount /dev/md5 /home/ibays

die usb Platten an den ordner ibays ( wo freigegebene Ordner vom 
Servermanager her erzeugt werden ) angehängt heißt das jetzt das alle 
Ordner die dort erstellt werden automatisch auf der USB Platte sind?

Gruß

g0nz00

von Tim (Gast)


Lesenswert?

> Was passiert mit den Daten wenn eine Platte fehlt oder ausfällt

Kurz: NIX
Langfassung:

Stell dir das mal als Schichtmodell vor...
Vereinfacht in deinem Fall sieht das so aus:

Anwendungen
-----------
VFS
-----------
Filesystem
-----------
md device
-----------
scsi device (2x)
-----------
USB (2x)
-----------
Hardware HDD (2x)

Alle Schichten kann man jetzt verändern(Filesystem),
zum teil weglassen(md) oder auch neue dazwischen einbauen(LVM)
Wenn eine Anwendung von oben drauf schaut sieht sie nur das
Filesystem und um mehr muss sie sich auch nicht kümmern.
Sollte jetzt irgendwas mit deinen Platten sein und ein scsi device
einen Fehler an das md device melden, passiert folgendes:
1. Das entspechende scsi device wird aus dem Raid verbund entfernt
2. Die MD Superblöcke aller verblieben Platten werden aktualisiert
   (So weiss md auch noch nach einem Neustart welche Platte zum Raid
    gehört und welche nicht (mehr) :-)
3. Es wird versucht ein "Hot Spare" einzubinden (hast du nicht)

Mehr passiert erstmal nicht. Deine Anwendungen und auch das Filesystem
bekommt davon NIX mit. Es läuft einfach alles weiter (was ja auch Sinn
der Übung ist). Allerdings wird ein ggf laufender mdadm --monitor alarm 
schlagen (wie genau hängt von deiner Konfiguration ab).

> ist dann das gemountete Verzeichniss unter md5 nicht mehr zu erreichen
> (lesen/schreiben) oder kann ich weiterarbeiten?

Du wirst davon nix merken. Sollst du ja auch nicht.

> Nur das ich eine Meldung
> bekomme das  eine platte fehlt?

Das ist Aufgabe mdadm --monitor welches bei dir laufen sollte.
Normalerweise gibt es eine eMail an root.
Selber gucken geht am einfachsten mit cat /proc/mdstat

> schließe ich dann nur eine neue an und er spiegelt automatisch oder muß
> ich sie dann wieder neu einbinden? zu md5 hinzufügen.

Das ist Handarbeit. Ein #mdadm --add /dev/md5 dev.... sollte reichen.
ggf vorher fdisk.

> Wie verhindert man
> das er nicht die neue auf die vorhandene spiegelt also die Daten
> überschreibt weil auf der neuen alles leer ist.

1. Keine Sorge, md weiss schon was es tut bzw. tun muss. Ein --add 
reicht.
2. In dem man die manpage von mdadm sorgfältig liest.
3. Du solltest auch mal damit "rumspielen". Niemand hindert dich daran
   ein 50MB Raid5 aus 6 Partionen auf ein und der selben Platte
   einzurichten. Ein Raid aus Floppys sollte auch gehen :-)

Habe hier z.b. bei einem Raid5 aus 4 Platten + Hot Spare einfach mal
die SCSI-IDs der Platten durcheinander gewürfelt. Die Kiste ist
danach kommentarlos hochgefahren. MD ist also sehr "Narrensicher".

Aber wie oben schon erwähnt es ist KEINe Backup Lösung.

> Wie funktioniert das mounten und was passiert da genau?

Die Kernel bindet an gewünschter Stelle in ihrem VFS das gewünschte
Gerät ein. Idr geht Sie davon aus das das Gerät bis zum umount
nicht entfernt wird und buffert auch Schreibzugriffe. Was zur
folge hat das man nicht einfach ein Gerät (USB Stick!) abziehen darf
und man gemountete CDs nicht (gewaltfrei) aus dem Laufwerk bekommt.

> und zu guter letzt was ist diese swap partition?

In Windowssprache: Auslagerungsdatei
Unter Linux ist das üblicherweise eine Partition was diverse Vorteile
gegenüber Dateien hat.

> Freier speicher der zugeordnet wird wo er gebraucht wird?

???

> habe gestern mit
> #mount /dev/md5 /home/ibays
> die usb Platten an den ordner ibays ( wo freigegebene Ordner vom
> Servermanager her erzeugt werden ) angehängt heißt das jetzt das alle
> Ordner die dort erstellt werden automatisch auf der USB Platte sind?

Ja. (Sofern die Zugriffsrechte passen)

Bedenke das die Grundideen von Unix vor über 35 Jahren zementiert 
wurden.
Da waren die Rechner noch langsam und es gab auch kein PnP...
Von da her ist der grundaufbau von Linux relativ Simpel, aber die
Umsetzung ist mittlerweile sehr detailreich :-)

von g0nz00 (Gast)


Lesenswert?

@ Tim

Danke für die Ausführliche Erklärung ;)

ist ein interessantes Thema.

Muss mich wohl noch ein wenig einlesen in die Materie.

Als USB Festplatte habe ich ja nur das Verzeichniss md5 oder vorher 
/media/usbdisk will aber das /home/ibays/ ... die USB Festplatte ist. 
Habe ich das mit dem mounten von md5 in /home/ibays festgelegt ?


p.s.

Mein Raid ist schon bei 39% ;)

Gruß

g0nz00

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.