Unionfilesystem Plugin

  • HEY,
    I just realized today that the AUFS and MHDDFS plug-ins were updated to ONE single combined plug-in
    I went to update as my current MHDDFS keeps having issues and gets disconnected or something and I have to reboot the server to fix the glitch (drives don't show properly under filesystems either)

    I was having the exact same problem: mhddfs appeared to be randomly disconnecting and file systems weren't showing properly either. Here's an excerpt from the syslog:



    I initially thought it might be a disk problem but I double-checked SMART logs on all drives and none of them are reporting any errors. I did some digging and this appears to be a bit of an obscure issue but I did turn up some discussion in this thread: http://zackreed.me/articles/84…view=comments#comment_407. Note that one of the people reporting it was also running OMV.


    I was getting this error with both the old mhddfs plugin and the new unionfilesys plugin so, after spending way too much time over the holidays trying to troubleshoot this, I finally switched to AUFS. So far, it's been working perfectly but it hasn't even been 24 hrs yet.


    Oh, and I second your request for some documentation for some of these plugins. I figured out how the ufs plugin worked through trial and error. It's not complicated but a little bit of an explanation would have been appreciated.


    thanks,
    Hodge

    • Offizieller Beitrag

    You don't have to move to the new plugin. It doesn't fix anything from the old plugins. It just uses some of the filesystem changes recently introduced in OMV. I guess it may have less issues with permissions (non-matching??) that may have been set on shared folders used a branches.


    Using the entire drive won't cause any problems with snapraid because snapraid is reading/writing from the drives not the pool. I just wouldn't include the parity drive in the pool. I don't have any problems with my aufs setup but some do. Hard to say if you should try.


    As for documentation, it is very simple. Add the drives to create a pool (mhddfs or aufs). This will create a filesystem for the pool. Create shared folders using the new pool filesystem. It is exactly like what you would do if you had a new single drive.

    omv 7.0.4-2 sandworm | 64 bit | 6.5 proxmox kernel

    plugins :: omvextrasorg 7.0 | kvm 7.0.10 | compose 7.1.2 | k8s 7.0-6 | cputemp 7.0 | mergerfs 7.0.3


    omv-extras.org plugins source code and issue tracker - github


    Please try ctrl-shift-R and read this before posting a question.

    Please put your OMV system details in your signature.
    Please don't PM for support... Too many PMs!

  • OK AWESOME
    Hodge, Thanks for the Reply.
    It's also nice to know someone else is having the same problem with MHDDFS, now I know I should definitely try something else.


    So I think I'm going to pull my data all off... do a fresh OMV install and create a fresh AUFS pool using the new plug-in to ensure future support.
    Hopefully I have better luck like you guys.
    Thanks for the tips and advice.


    As always thanks for your hard work on the plug-ins ryecoaaron.
    OMV is Very impressive.


    THANKS GUYS!

    • Offizieller Beitrag

    Yes, you can use drives with data already on them.

    omv 7.0.4-2 sandworm | 64 bit | 6.5 proxmox kernel

    plugins :: omvextrasorg 7.0 | kvm 7.0.10 | compose 7.1.2 | k8s 7.0-6 | cputemp 7.0 | mergerfs 7.0.3


    omv-extras.org plugins source code and issue tracker - github


    Please try ctrl-shift-R and read this before posting a question.

    Please put your OMV system details in your signature.
    Please don't PM for support... Too many PMs!


  • I wanted to do the same thing... update to the new plugin, but I would miss the option to add shared folders to my mhddfs pool rather than the whole drive.


    @ryecoarron


    Would it be possible to add back the option to use shared folders to create the pool rather than only the whole drive?


    Thanks

    • Offizieller Beitrag

    Why? You can add as many shared folders (including subfolders) to the pool as you want. mhddfs and aufs have always used the entire drive for free space calculations. I was able to duplicate my old aufs setup with the new plugin by just adding more shared folders.

    omv 7.0.4-2 sandworm | 64 bit | 6.5 proxmox kernel

    plugins :: omvextrasorg 7.0 | kvm 7.0.10 | compose 7.1.2 | k8s 7.0-6 | cputemp 7.0 | mergerfs 7.0.3


    omv-extras.org plugins source code and issue tracker - github


    Please try ctrl-shift-R and read this before posting a question.

    Please put your OMV system details in your signature.
    Please don't PM for support... Too many PMs!

  • Why? You can add as many shared folders (including subfolders) to the pool as you want. mhddfs and aufs have always used the entire drive for free space calculations. I was able to duplicate my old aufs setup with the new plugin by just adding more shared folders.


    I understand...the reason I use folders on the mhddfs original plugin was to pool only my media and data files and separate the backups and database folders for plex, sab, cp, sb, hp...


    drive1 - d1 (Movies, TV)
    - drive1 -> not pooled -> backups and database folders for plex, sab, cp, sb, hp...
    drive2 - d2 (Music, Pictures)
    drive3 - d3 (Files)


    Pool consists of folders d1-d3...


    However, drive3 also has the backups and database folders for mysql, plex, sab, cp, sb, hp...


    I do not want those pooled...


    Is there a way to do this with the updated plugin?

    • Offizieller Beitrag

    Yep. You can still setup shared folders on just d1 for backups and database folders. Then that data would always be written to drive 1. You would still be able to see the backups in the pool though. You just wouldn't write to it in the pool location.


    Although it looks different because you picking shared folders perviously, the plugin was still working the same way.

    omv 7.0.4-2 sandworm | 64 bit | 6.5 proxmox kernel

    plugins :: omvextrasorg 7.0 | kvm 7.0.10 | compose 7.1.2 | k8s 7.0-6 | cputemp 7.0 | mergerfs 7.0.3


    omv-extras.org plugins source code and issue tracker - github


    Please try ctrl-shift-R and read this before posting a question.

    Please put your OMV system details in your signature.
    Please don't PM for support... Too many PMs!

  • At first thanks for that great plugin !
    I have a little but urgent question:


    I have configured 2 pools, each with 4x 4TB drives.
    I want to use rsync to backup pool1 to pool2.
    Is it needed to exclude *.wh.* or *aufs* files in rsync ?


    Im asking because i want to rsync pool1 to pool2 and not the single drives.


    Thanks !


    *EDIT*
    Sorry i think i know the answer already:)
    *.wh.* files are only stored on the single disks right ?
    So rsync between both poolshares is no problem.

    • Offizieller Beitrag

    Your edit comment should be correct.

    omv 7.0.4-2 sandworm | 64 bit | 6.5 proxmox kernel

    plugins :: omvextrasorg 7.0 | kvm 7.0.10 | compose 7.1.2 | k8s 7.0-6 | cputemp 7.0 | mergerfs 7.0.3


    omv-extras.org plugins source code and issue tracker - github


    Please try ctrl-shift-R and read this before posting a question.

    Please put your OMV system details in your signature.
    Please don't PM for support... Too many PMs!

  • Ich weiß nicht ob das hier ein Problem ist oder von Transmission:
    Ich wollte bestehende Torrent Speicherorte auf den neuen "Poolfolder" des Unionfilesystem umändern, da ich dachte das es später wichtig sein könnte wenn Transmission weiß wo er von Anfang an suchen sollte, falls mal was zu prüfen wäre statt auf den alten (vor Unionfileshare Einrichtung) Pfad zu verbleiben.
    Transmission fing dann wohl an die Dateien zu verschieben. Als es fertig war, waren die Ordner und Daten "weg". ?(
    Hatte dann per eXtplorer nachgeschaut ob ich sie noch irgendwo finde - aber leider nicht.


    Ist das nachträgliche Anpassen überhaupt notwendig oder muss ich die Torrents alle neu adden und von Anfang an auf den neuen Poolfolder Verzeichnis verweisen statt verschieben zu lassen?
    Warum verschwinden sie überhaupt?


    Ich kann das leider nicht in Englisch beschreiben, da ich die Sprache nicht so richtig beherrsche ^^".

  • Ich verstehe noch nicht einmal was du genau geaendert hast in Transmission und wozu? Kannst du das nochmal genauer beschreiben?


    Gruss
    David

    "Well... lately this forum has become support for everything except omv" [...] "And is like someone is banning Google from their browsers"


    Only two things are infinite, the universe and human stupidity, and I'm not sure about the former.

    Upload Logfile via WebGUI/CLI
    #openmediavault on freenode IRC | German & English | GMT+1
    Absolutely no Support via PM!

  • Also:
    /media/uiid-1 [Festplatte wo die Sachen bisher gespeichert sind] zu /media/uiid-2 [Unionsystem/aufs Partition oder wie auch immer man das bezeichnet]


    Da die uiid-1 auch zum aufs System gehört, hatte ich gedacht, das ändern die uiid in Transmission Torrent "Speicherort festlegen" plus "Daten verschieben" Option schon ok ist. Ich mache das alles über das Transmission Remote Gui.
    Die "Daten verschieben" Option ist wohl das Problem, weil Transmission fängt wirklich an die Daten zu uiid-2 zu verschieben - aber die Daten landen im "nichts". Sie sind dann einfach weg. Wenn ich einen anderen Torrent einfach neu adde und von Anfang an die uiid2 Platte angebe, so findet er die Daten ohne Probleme, da ja nichts verschoben wurde und uiid-2 ja weiß das die Daten auf uiid-1 oder sonstwo liegen. Ebenso funktioniert es, wenn ich den Speicherort auf uiid-2 festlege ohne die Daten verschieben zu lassen.


    Also tl;dr: Wenn man bei Transmission den Speicherort auf die aufs Partition ändern möchte, darf man wohl die Daten nicht "verschieben", wenn die Datenpartition ebenfalls Bestandteil des aufs System wurde, da bei der "Daten verschieben" Option wohl die Daten verloren gehen.
    Wenn man "nur" die uiid ändert, ohne Daten zu verschieben, dann gibst keine Probleme.
    Wer oder was ist die Ursache? Unionfilesystem oder Transmission? Bug or Feature oder ein Verständnisproblem meinerseits?

  • Die "Daten verschieben" Option ist wohl das Problem, weil Transmission fängt wirklich an die Daten zu uiid-2 zu verschieben


    Wieso überhaupt verschieben???


    aber die Daten landen im "nichts".


    Code
    cd /media/
    find . -name SUCHBEGRIFF


    Wer oder was ist die Ursache? Unionfilesystem oder Transmission? Bug or Feature oder ein Verständnisproblem meinerseits?


    Ich würde fast vermuten dass es ein Problem von Shell und Transmission in Kombination ist: Die Shell wird sagen, moment mal, Quelle und Ziel ist doch das gleiche, ich mach' hier keinen Finger krumm. Und Transmission denkt sich dann, oh hier sind noch Daten wo keine hinsollen, die lösch ich mal besser. < Das ist aber nur eine Vermutung.


    Gruß
    David

    "Well... lately this forum has become support for everything except omv" [...] "And is like someone is banning Google from their browsers"


    Only two things are infinite, the universe and human stupidity, and I'm not sure about the former.

    Upload Logfile via WebGUI/CLI
    #openmediavault on freenode IRC | German & English | GMT+1
    Absolutely no Support via PM!


  • Wieso überhaupt verschieben???


    Naja ich dachte, aufs würde die Daten evt. nochmal woanders hin haben wollen und wenn doch nicht, das Transmission den neuen Standort dann einfach hinnimmt statt die Daten zu löschen ^^".


    Zitat
    Code
    cd /media/
    find . -name SUCHBEGRIFF


    Nix gefunden, bis auf die Dateien die an ihren ursprünglichen Standort nach der Transmission Aktion via Snapraid wiederhergestellt wurden.


    Zitat

    Ich würde fast vermuten dass es ein Problem von Shell und Transmission in Kombination ist: Die Shell wird sagen, moment mal, Quelle und Ziel ist doch das gleiche, ich mach' hier keinen Finger krumm. Und Transmission denkt sich dann, oh hier sind noch Daten wo keine hinsollen, die lösch ich mal besser. < Das ist aber nur eine Vermutung.


    Gruß
    David


    Scheinst wohl damit richtig zu liegen. Eine schöne Falle. Schließlich denkt man nicht immer daran die "Daten verschieben" Option zu deaktivieren ^^".

  • Ich habe ein großes Problem mit diesem Plugin.
    Seit dem Update auf OVM 2.1 kackt regelmäßig das UnionF Plugin ab. Im Log tauchen lauter Kernel Fehler auf und der Zugriff auf das UnioF "Laufwerk" (Aufs) schlägt fehlt.


    Es stürzt immer dann ab, wenn wohl viele Daten "bewegt" werden, sei es gespeichert, kopiert oder in Falle von Snapraid: Alles. Mit Snapraid konnte ich gar keine Sicherungen mehr starten. Es hieß dann immer nur das der Prozess "getötet" wurde, der Zugriff aufs AUFs schlug fehl und das wars. Ein Restart half da nur noch, aber eben nie mehr von Dauer.



    Vor lauter Verzweiflung habe ich OMV auch mal komplett neu installiert, dann ohne UnionF per Snapraid eine komplett neue Datensicherung erstellt - es gab KEINE Probleme. SMART Werte sind alle grün.
    Kaum ist UnionF wieder in Betrieb und eingerichtet geht der Scheiß von vorne los.


    SOS, der Mediaserver ist so unbrauchbar -.-



  • Hey all, thanks for your work on this plugin.
    I am using mhddfs on my server at home. Got rid of the annoying 'Transport endpoint not connected' bug by installing the no-segfault version, but according to the developer there are further problems which cannot be fixed unless we use a newer fuse version.
    Unfortunately, not possible in Wheezy (upgrading glibc breaks stuff).
    So I was looking for alternatives.


    This came to mind:


    http://zackreed.me/articles/92…-pool-your-snapraid-disks


    Mergerfs is under actice development, and the latest version works on Wheezy.


    https://github.com/trapexit/mergerfs


    Built it from repository and it seems to work fine.
    I did lazily change a few entries in unionfilesystem-plugin so I can mount in GUI.
    Anyone have experiences with it? It could be a great alternative to bugged mhddfs!
    Especially the create modes are interesting.


    Edit: I replaced mhddfs in openmediavault-unionfilesystems-mergerfs_1.9_all.deb, so do not install while using mhddfs. Try it in a VM to be safe!

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!