Raid 5 ext4 größer als 16 TB

  • Ich habe folgendes Problem. Nachdem ich gestern meine 7. 3GB Festplatte im NAS verbaut und sie dem Raidverbund (Raid 5) zugefügt habe, wollte ich heute mit dem Befehl "resize2fs /dev/md127" das Dateisystem vergrößern.
    Leider passierte das nicht. Folgende Fehlermeldung kommt:


    Code
    resize2fs 1.42.5 (29-Jul-2012)
    resize2fs: Die neue Größe kann nicht mehr mit 32 Bits dargestellt werden

    Nach kurzem Googeln war mir klar das ich das Dateisystem auf 64 bit umstellen muss.
    Kann mir dazu bitte jemand schreiben wie ich das machen kann OHNE das das ich alle Daten vorher Sichern muss? Ich weis das ein Backup der wichtigen Daten sinnvoll ist, und das habe ich auch.


    Ich benutze Version 2.2.14 (Stone burner) / "Linux Server 3.2.0-4-amd64 #1 SMP Debian 3.2.93-1 x86_64"




    Danke schon mal im Voraus!

  • Wie gesagt, die wichtigen Daten sind gesichert. Hab ja eine Ausfallsicherheit bei Raid 5. Aber das steht ja hier nicht zum Thema.


    Also bleibt mir nix anderes übrig als den Raid zu löschen und neu einzurichten? Dein geposteter Thread ist leider in engl. und das war nicht meine Fremdsprache in der Schule sondern russisch :)

  • Hier das Ergebnis

    Welches Dateisystem nimmt man denn heut zu Tage für Daten wenn nicht ext4 ? Das NAS Steht schon eine Weile und hat "nur" 2GB Ram.

  • Welches Dateisystem nimmt man denn heut zu Tage für Daten wenn nicht ext4 ?

    Keine Ahnung, was man so nimmt aber für mich überwiegen die Vorteile von sowohl ZFS als auch btrfs massiv (Datenintegrität, Snapshots, transparente Dateikompression, nicht irgendwo oberhalb des RAID- und Volume-Manager-Layers klebend sondern alles in einem seiend).


    Nur für btrfs braucht's recht aktuellen Kernel (unter 4.4 würde ich mich's nicht trauen) und ZFS mit nur 2 GB RAM könnte knapp werden. Wie auch immer, Deinem ext4 fehlt definitiv die 64-Bittigkeit also um irgendeine Umkopierorgie wirst Du nicht umhin kommen.


    Ach ja, besagte 32-bit-Beschränkung war auch der Hauptgrund, warum das letzte Neuaufsetzen von Storage mit ext4 so um 2010/2011 rum gewesen sein muß als die ersten Kunden anfingen, an der 16TB-Barriere zu knabbern. Damals mußte auf den Linux-Kisten dann halt noch XFS herhalten :)

  • Re,

    Dein geposteter Thread ist leider in engl. und das war nicht meine Fremdsprache in der Schule sondern russisch

    Oh ... noch ein "Ossi" *freu* :D


    Ich benutze Version 2.2.14 (Stone burner) / "Linux Server 3.2.0-4-amd64 #1 SMP Debian 3.2.93-1 x86_64"

    Oha ... da wäre ein OMV-Upgrade vllt. vorher fällig?


    Kann mir dazu bitte jemand schreiben wie ich das machen kann OHNE das das ich alle Daten vorher Sichern muss?

    Naja, es gibt kein "inline" Upgrade, d.h. du kannst es nicht mit einem Befehl innerhalb von EXT4 lösen. Daher musst du die Daten zwangsläuffig i'wo hin bewegen.


    Je nach Füllgrad könntest du vllt. so vorgehen:
    - auf dem jetzt freien Stück deines RAID-Verbundes eine neue Partition (mit 64bit!) erstellen (7,3 TiB)
    - Daten von deiner ersten (alten) Partiton auf die zweite (neue) Partition bewegen
    - dann die erste Partition verkleinern, die zweite vergrößern
    - das solange wiederholen, bis die erste (alte) Partition leer ist - und diese dann endgültig löschen / die neue (zweite) Partiton dann weiterverwenden


    Ansonsten bleiben dir ja nur die Möglichkeiten mit "Tabula rasa" (dein RAID-Verbund interessiert das Dateisystem leider herzlich wenig) - also enweder komplett neues EXT4 mit 64bit machen oder XFS einsetzen. Die Daten müssen dann natürlich auch zwischengespeichert werden ... aber wenn du DAS dann schon komplett neu machen möchtest, solltest du vorher auch OMV auf Version 3 heben ... ZFS mit 2GiB RAM würde ich nicht empfehlen.


    Sc0rp

  • Hallo Sc0rp,
    danke für deine Antwort.


    Ich finde leider keine Option eine neue Partition zu erstellen. Wenn ich unter "Dateisysteme" auf erstellen klicke, kann ich dort kein Laufwerk auswählen. Geht das vielleicht über putty besser?


    Hatte schon mal OMV 3 drauf, aber dann ständige Verbindungsabbrüche per NFS. Back to OMV 2 und alles ging wieder.


    Soll ich dann wieder ext4 machen oder XFS? Die Dateien sind recht groß. 10-100 GB pro Datei (Actioncam Videos)

  • Re,

    Soll ich dann wieder ext4 machen oder XFS? Die Dateien sind recht groß. 10-100 GB pro Datei (Actioncam Videos)

    EXT4 reicht, XFS würde ich nicht anfangen.
    Du musst halt deine neue EXT4-Partiton mit den gleichen Werten (siehe dem dumpe2fs) anlegen ... und das vermutlich via Console.


    Hatte schon mal OMV 3 drauf, aber dann ständige Verbindungsabbrüche per NFS.

    Ursachenforschung betrieben? Nur weil NFS auf einmal Abbrüche hat (was auch hochgradig ungewöhnlich ist) ... sollte man aktuellere Betriebssysteme nicht meiden.


    Sc0rp

  • Ich bin dabei die Platten komplett leer zu machen. Sollte in 2 Stunden fertig sein.
    Muss ich dann beim neu Formatieren irgendetwas beachten? Bzw. gibt es dafür einen Consolenbefehl damit das Dateisystem dann auch wirklich 64 bit ist?

  • Re,

    Muss ich dann beim neu Formatieren irgendetwas beachten? Bzw. gibt es dafür einen Consolenbefehl damit das Dateisystem dann auch wirklich 64 bit ist?

    das kommt darauf an, ob deine e3fsprogs schon entsprechend neu sind - dein dumpe2fs sieht zumindest nicht danach aus :(
    (siehe https://askubuntu.com/question…ion-beyond-the-16tb-limit)


    Also wäre vermutlich der XFS-Weg besser für dein (jetziges) Setup - obwohl ich dir immer noch dringender das OMV-Upgrade ans Herz legen würde (dann kommen auch u.A. neue e2fsprogs!), damit könntest du getrost auf ZFS gehen ...


    Für XFS müsstest du evtl. auch die Console bemühen:

    In dem verwendetem Beispiel erstellen wir ein Raid5 aus 8 HDDs (--> sw=7) und 64k Stripsize (--> su=64k):mkfs.xfs -d su=64k,sw=7 /dev/sdc1

    In deinem Fall wäre das dann wahrscheinlich:
    mkfs.xfs -d su=128k,sw=3 /dev/md127 (ein vier Platten RAID5 mit 128k Stripesize)


    Oder für EXT4 wäre das in Etwa:
    (siehe https://gryzli.info/2015/02/26…t-performance-under-raid/)
    mkfs.ext4 -O 64bit -E stride=X,stripe-width=3*X /dev/md127 (X musst du dir selber ausrechnen, die RAID-Chunk-Size bekommst du von cat /proc/mdstat)


    Sc0rp

  • Re,

    ich dachte ZFS mit 2GB RAM ist nicht zu empfehlen, oder ist das bei OMV 3 anders?

    Das hat nix mit der OMV-Version zu tun.
    RAM-Cache wird unter Linux immer für File-Caching benutzt, je mehr du davon hast um so mehr wird gecached (zwischengespeichert) - so auch unter ZFS. Bei dir wird lediglich der übliche Performance-Gewinn beim Wechsel von EXT4 auf ZFS nicht spürbar sein, laufen müsste es trotzdem.


    Btw. wenig RAM ist sowieso nicht zu empfehlen :D, welchen nach zu stecken sollte ja kein Problem sein, oder?


    Sc0rp

  • RAM-Cache wird unter Linux immer für File-Caching benutzt, je mehr du davon hast um so mehr wird gecached (zwischengespeichert) - so auch unter ZFS. Bei dir wird lediglich der übliche Performance-Gewinn beim Wechsel von EXT4 auf ZFS nicht spürbar sein, laufen müsste es trotzdem.


    Naja, bei 'nem Gigabit Ethernet basierten NAS, das eh nur 'Cold Storage' vorhält, ist Performance eigentlich eh kein Thema. Man sollte aber mit häßlich wenig RAM dann zumindest eine Einstellung anpassen: zfs_arc_max -- siehe http://fibrevillage.com/storag…-set-and-monitor-on-linux (braucht dann vermutlich ein 'initramfs -U' hinterher, damit das Reboot-fest wird).


    Mit 'Cold Data' kann man den Wert ruhig recht minimal setzen, weil's eh egal ist.

  • Ich werde es dann wenn ich alles gesichert habe erst mal mit


    Code
    mkfs.ext4 -O 64bit

    probieren. Sollte das funktionieren, ist ja alles OK.
    Gibt es einen Befehl der mir die Version von e2fsprogs anzeigt?

  • Oder für EXT4 wäre das in Etwa:


    (siehe https://gryzli.info/2015/02/26…t-performance-under-raid/)
    mkfs.ext4 -O 64bit -E stride=X,stripe-width=3*X /dev/md127 (X musst du dir selber ausrechnen, die RAID-Chunk-Size bekommst du von cat /proc/mdstat)

    Ich habe aktuell 7 HDD's verbaut. Platz ist für 10. Wenn ich jetzt mit "stripe-width=6*X" (was ja in meinem Fall das richtige wäre) Formatiere, was passiert dann wenn ich noch eine HDD verbaue? Dann müsste es doch "stripe-width=7*X" sein. Kann man das im nachhinein ändern?

  • Re,

    Ich habe aktuell 7 HDD's verbaut. Platz ist für 10. Wenn ich jetzt mit "stripe-width=6*X" (was ja in meinem Fall das richtige wäre)

    Japp.



    was passiert dann wenn ich noch eine HDD verbaue? Dann müsste es doch "stripe-width=7*X" sein. Kann man das im nachhinein ändern?

    Gute Frage. Ich weiß nicht, ob man das mit tune2fs später ändern kann, aber die "stripe-width" ist nicht so wichtig wie "stride", "stride" muss passen, ansonsten erleidet dein Verbund einen erheblichen Performanceverlust ...


    Laut dem man für tune2fs kann man später auch noch die "extended options" anpassen ...


    Sc0rp

  • "stride" muss passen, ansonsten erleidet dein Verbund einen erheblichen Performanceverlust ...

    Auf was basieren eigentlich diese Anekdoten? Immer, wenn ich gucke, finde ich als Primärquelle nur Zeugs von Mailinglisten von vor gefühlt 100 Jahren, was jetzt auch wiederum nicht so wahnsinnig verwunderlich ist angesichts dessen, was es bedeutet, RAID-5 mit ext4 in diesem Jahrzehnt zu kombinieren (und dann allen Ernstes auch noch LVM reinzumischen, was ja auch viele gerne tun).


    Auf die Schnelle das da gefunden: http://www.admin-magazin.de/Da…AID-optimal-konfigurieren -- das ist doch alles nur ein Witz? Benchmark-Werkzeuge eingesetzt, die alles mögliche testen aber nicht das, was sie sollen, Anwendungsszenarien betrachtet, die aberwitzig sind (Datenbanken auf 'nem RAID-5? Nicht wirklich, oder?) und anstatt mit "Wir wissen's doch auch nicht und das ist alles nur traurig" am Ende mit Empfehlungen abschließen. Zieht sich aber wie ein roter Faden durch die "RAID-5-Situation" in Linux...

  • Ich habe jetzt alles gesichert, das Dateisystem ausgehangen und den Raidverbund entfernt.
    OMV 3 installiert und jetzt erstelle ich den Raidverbund neu (dauert noch ca. 8 Stunden)
    RAM werde ich nicht aufrüsten, denn der hat bis jetzt auch gereicht. Ist im übrigen ein AMD Athlon II X2 240 Prozessor, also schon etwas älter und mit DDR2 RAM


    Da der Kernel jetzt 4.9.0 ist, könnte ich doch auch btrfs als FS nehmen ??? Ich nutze das NAS nur als Datengrab. Keine Datenbank oder sowas laufen da drauf.


    Auf der anderen Seite bin ich ja mit ext4 bis jetzt auch immer gut gefahren. Habe ja auch schon von 4 HDD's in einerschritten bis auf 6 HDD's aufgerüstet. Mein Problem war ja nur das ich mit der 7. HDD nun über die 16TB gekommen bin, und somit ein "Problem" hatte. Da ich ja jetzt alles neu mache, würde es sich zwar anbieten auf ein aktuelles FS zu wechseln, aber warum? Never change a runnig System. Ich mache keine Snapshots. Ich mache eigentlich garnix weiter außer Daten auf das NAS kopieren und mir im laufe der Zeit mal am TV oder Tablet anzuschauen mit der Familie.

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!