Backup one single Folder from external HDD to internal Data HDD (Automatically)

    I want to automatically Backup a folder from my external USB HDD to my internal NAS HDD. But im a total Newbie with Linux. I tried the USBbackup Plugin but this only saves the whole external USB Disk. I thought about Rsync to back it up, but i dont know how to mount the USB Drive when i plug it in and start the Rsync after mounting it. Also im afraid of losing some data while experimenting with Rsync. Can you help me ? Sorry for my bad English. Im from Germany. And its long Time ago i written in English.

    Moin und willkommen! :)


    Du kannst hier ruhig Deutsch schreiben, wenn Dir Englisch schwer fällt. Wir haben einige Muttersprachler hier, andere verstehen es und antworten Dir auf Englisch. Wieder andere nutzen Chrome und die automatische Übersetzung und antworten Dir auf Englisch.


    Es gibt ganz verschiedene Lösungsmöglichkeiten. Suche Dir das einfachste für Dich aus:


    USB an NAS:
    In der GUI kannst Du über "Dateisysteme" das Laufwerk einbinden. Denke daran, nachher auch dort wieder das Laufwerk abzumelden. Du kannst dann über rsync (Beispiel) die Daten dann rüberschieben. Das könntest Du dann zum Beispiel über die GUI anstoßen - Du musst das Laufwerk ja eh Ein- und Aushängen. ;) Grundsätzlich ließe sich das auch automatisieren (= Skript schreiben, Skript automatisch aufrufen), aber ich glaube, dass ginge Dir zu weit.


    Via Netzwerk über PC mit Bordmitteln:
    Auch das ginge. Du schließt die Platte an den PC an und überträgst die Daten dann über den PC via Netzwerk auf Dein NAS. Das kann man auch automatisieren. Stichworte für Windows wären dann zum Beispiel robocopy oder xcopy. Auch dort musst Du ein Skript schreiben, wenn Du es nicht manuell aufrufen willst.


    Via Netzwerk über PC mit Backup-Programmen (mein Tipp für Dich):
    Die nehmen Dir die Skript-Programmierung ab und machen auf Wunsch alles so, wie Du es zusammengeklickt hast. Mein Backup-Programm erkennt externe Laufwerke beim Anschließen (z. B. an der Seriennummer) und ruft in Abhängigkeit vom USB-Laufwerk das nötige Backup-Profil auf und startet dies. Die Daten huschen dann auf's NAS in den richtigen Ordner (abhängig vom angeschlossenen Laufwerk) oder in andere Richtung. Je nach dem. Bei kritischen Daten wird nach dem Kopieren die Checksumme verglichen.


    "Backup" wird gern als Synonym für alles genommen, was mit Datensicherung hat. Dennoch musst Du Dir natürlich Gedanken über die Grundlagen machen: Backup, Backup mit Versionierung, Synchronisation, Spiegelung? Alles unterschiedliche Herangehensweisen.

    Hallo,
    erstmal danke für die schnelle Antwort.
    Na da fällt mir schon mal ein Stein vom Herzen. Das lesen ist ja kein Problem. Aber beim schreiben ist die Grammatik oft mal grausam. Man will sich ja auch nicht blamieren ;)


    Das einfachste Lösung und das was man will sind oft zwei paar Stiefeln :) Du bestätigst mich mit deinem Vorschlag das meine Lösungsidee mit Skripten umsetzbar wäre. Nur leider bin ich noch nicht so fit was Skripte betrifft. Gibts da nicht schon fertige Skripte die ich nur noch anpassen muss für meine Zwecke ? Ich würde gerne Sicherungen über das Netzwerk ausschließen da ich meinen Laptop mit dem ich auch arbeite nur über WLAN anschließe und bei großen Datenmengen die Übertragung ewigkeiten dauert. Zumal ich nicht unbedingt die ganze Zeit meinen Laptop laufen lassen möchte während der Sicherung wenn ich vll. ins Bett gehe. Und beim Arbeiten möchte ich keine Performance einbußen. Es handelt sich übrigens um RAW-Bilddateien und Lightroom Kataloge.


    Da hast du mich jetzt eiskalt erwischt. So genau hab ich das noch nicht bedacht auf welche art ich mein "Backup" anlegen möchte. Mein erster Gedanke wäre gewesen ersteinmal eine vollständige Kopie anzulegen und diese nach und nach zu aktualisieren. Das dürfte wohl einer Synchronisation entsprechen oder ?

    Moin Fotografenkollege! ;)


    Erklärst Du mir bitte einmal Deinen Workflow und Dein Vorhaben? Dann kann ich besser helfen.


    Vermutlich bist Du auch einer von den Gebeutelten, die Lightroom (Lr) auch zur Verwaltung nutzen. :rolleyes: Da Lr weder team- noch netzwerkfähig ist, schleppst Du eine Platte mit Dir herum. Nur was machst Du genau? Arbeitest Du jobbasiert?


    Wenn Du das komplett automatisiert haben willst, müsste folgendes passieren: Schaue nach, ob Festplatte mit Bezeichnung XYZ, binde Laufwerk ein, mache Sicherung, überwache den Prozess, wenn fertig werfe Laufwerk aus.


    Welche Sicherungsstrategie die richtige ist, hängt von Deinem Workflow ab. Also erzählt mal. :)

    Hallo Fotografenkollege !


    Schön auch hier auf Fotografen zu treffen :)
    Mein Workflow läuft wie folgt ab:
    Ich nutze zum Arbeiten meine externe USB 3.0 Festplatte an meinem Laptop. Dort sind alle notwendigen Dateien (Kataloge wie auch RAW-Dateien) Hauptsächlich nutze ich einen großen Katalog für meine private Sammlung sowie einen anderen für meine Jobs. Innerhalb dieser Kataloge arbeite ich mit Sammlungen. Zuerst importiere ich mit LR meine Bilder von der SD-Karte auf die externe HDD. Danach beginne ich meine Bilder zu bearbeiten in LR und falls nötig werden diese dann noch mit PS bearbeitet. Danach verbleiben die Dateien im LR-Katalog auf der ext. HDD. Je nach Verwendungszweck werden die Bilder auch exportiert oder in JPG umgewandelt. Nachdem dies alles erledigt ist würde ich gerne diese ext. HDD bzw die Ordner in denen eben dies stattfindet sichern und zwar auf mein NAS. Und zwar genau so wie du es oben geschrieben hast. Danke für die schöne Grafik sie erklärt alles sehr schön. Nur bin ich leider nicht schlüssig welche die richtige ist. Nur die Synchronisation kann ich ausschließen da arbeiten mit dem Daten auf dem NAS nicht möglich ist dank LR. Interessant wären auch zwei Sicherungen eine immer akutell und eine z.B. 1 Woche alt. Für denn Fall eines Virenbefalls, damit fehlerhafte Dateien wiederherstellbar wären.


    Off-Topic:
    Welche Programme nutzt du zur Verwaltung und Bearbeitung deiner Bilder ?

    Okay - ein paar Vorüberlegungen, noch keine Befehle. ;) Du kannst aber schon mal einen USB-Stick mit einem kleinen Lr-Katalog und drei bis vier Bildern vorbereiten. Daran kann man gut üben.


    Was soll ins Backup?
    Klar die Datenbank (= Katalog) und die Bilder. Über Vorschaubilder ([Name Deines Kataloges] Previews.lrdata) lässt sich streiten. Die kann man wieder erstellen lassen. Das dauert im Zweifel, aber auch die Backups dauern länger. Also solltest Du das entscheiden.


    Wie wird gesichert?
    Du musst spiegeln. Wenn Du auf Deiner Festplatte ein Bild ins digitales Nirwana schießt, sollte es auch in Deinem NAS gekillt werden. Ein Sicherheitsnetz auf NAS-Ebene (siehe unten) wäre aber gut. Außerdem würde bei dem Katalog ein paar alte aufbewahren wollen. Bei den RAWs sollte eine Versionierung kein Thema sein. Bei den Photoshop-Dateien bin ich mir nicht sicher. Was sagst Du?


    Lösungsansatz
    Hier wird ein Skipt vorgestellt, dass all das kann. Allerdings ist das problematisch, weil Du Angst vor Viren hast: Du hast Windows! Grundsätzlich scheint der Ansatz aber gut zu sein. Es kann geprüft werden, ob der richtige "Mountpoint" vorhanden ist. Das wäre die Prüfung, ob Deine USB-Platte am Rechner hängt. So ein Skript müsste man nur alle paar Minuten ausführen lassen. Dann würde es glaube ich gehen. Oder was meinst Du vom Ansatz?
    Meine Meinung dazu: Das Skipt entbindet Dich zunächst nicht davon, unter "Dateisysteme" in OMV den Stick- ein oder auszuhängen. Das würde ich an Deiner Stelle auch ungern automatisieren. Es gibt Dir die Chance selbst zu entscheiden, wann Du sicherst. Und wenn Du also schon auf der Oberfläche bist, kannst Du das Skript auch starten.


    Im NAS ein Sicherheitsnetz!
    Du hast zu Deinem NAS hast Du nichts gesagt. Üblicherweise kommt jetzt sowas wie "Isch abe ein RAID!". Davon rate ich ab. Ich spiegele mit rsync interne Backups von Platte A auf eine Platte B. Platte B steht auch im Netzwerk zur Verfügung, ist aber nicht beschreibbar. Was von Platte A gelöscht wird, landet auf Platte A erst mal im Mülleimer. Was beim Spiegeln auf Platte B gelöscht wird, kommt auch dort in den Mülleimer. Allerdings wird dieser Mülleimer mit Datum der Löschaktion versehen. Da Platte B nur lesbar im Netzwerk ist, muss ich also ganz bewusst diesen Mülleimer löschen - von der OMV-Benutzeroberfläche aus. Das geht nicht versehentlich.



    OT - zu meinem Workflow:
    Bearbeitungen mache ich mit verschiedenens Programmen. Es kommt halt drauf an. ;) Digiknips- und Handybilder laufen bei mir im Bedarfsfall durch FixFoto. Ich mochte die RAW-Konverter von Nikon. Aber seit dem Nikon Filialdateien eingeführt hat, bin ich davon weg. Normalerweise verwende ich auch Lr5 - allerdings ohne Verwaltung und jobbasiert. Das heißt, für jedes Shooting, jeden Urlaub oder Familienfeier gibt es einen eigenen Katalog. Bearbeitete Bilder exportiere ich, sonst bleiben die RAWs auf der Platte und der Katalog wird weggeschrieben. Im Einzelfall werden Bilder auch mal in Photoshop bearbeitet.
    Das klingt jetzt alles so, als würde ich nicht fotografieren. Das ist aber so. Die meisten Bilder werden nicht "nachbehandelt". In den meisten Fällen mache ich JPEG und RAW zusammen und die JPEGs werden gleich an das Motiv ausgegeben. Ich würde gern weiter Nikon-Software nutzen, weil ich es mag, die Kameraeinstellungen zu nutzen und dort zu gestalten. Aber Filialdateien gehen mal gar nicht.


    OT - zu meiner Verwaltung:
    Ich nutzte nicht Lightroom. Seit knapp zehn Jahren verwende ich Imabas. Das Programm ist zwar komplex :/ aber in meinen Augen lohnt es sich.
    Vorweg mal die Nachteile: Imabas ist eigentlich keine RAW-Verwaltung. Grenzwertige RAWs sehen in den RAWs besch... aus. Der Import dauert etwas. Außerdem ist Imabas kein schneller Bildbetrachter, wenn Du ein Pixelmonster als Kamera hast.
    Die Vorteile überwiegen aber aus meiner Sicht: Es ist eine netzwerkfähige Datenbank-Anwendung, die bei Bedarf sogar direkt von USB-Stick läuft. Bei mir läuft Imabas lokal, die Bilder liegen auf dem NAS. Dank Vorschaubildern und Thumbnails kann ich dennoch verwalten, sortieren, tun und machen, ohne auf die RAWs zugreifen zu müssen. Imabas meckert dann auch nicht. Die Verwaltung geht viel weiter, als die von Lr. Während Lr zwar anzeigt, welche Bilder mit welchem Objektiv gemacht wurden (halte ich nicht für wichtig), könnte ich bei Imabas z. B. sagen: Zeige mir Bilder von Modellen mit blonden Haaren und grünen Augen, die mindestens 35 Jahre sind und mit denen ich einen Vertrag habe. Auch die Geoverwaltung ist spannend. So kannst Du z. B. auf "Deutschland" klicken und bekommst alle Bilder angezeigt. Wenn Du ein Rechteck um eine Region ziehst, werden nur die Bilder von dort angezeigt. Du kannst auch sagen: Welche Bilder sind im Umfeld von 25 km von diesem hier gemacht worden. OSM-Kacheln werden gecached, man muss nicht daueronline sein. Und so viel mehr.


    Du weißt ja: Wir Fotografen sind immer von dem überzeugt, was wir nutzen. Der Rest ist Mist! :whistling:

    So nach ein paar Tagen inaktivität. Hatte n bisschen viel um die Ohren. Meld ich mich jetz wieder.
    Im Backup hätt ich gern alles so das ich nur wieder Rücksichern muss und weiter gehts.
    So wie du mir das erklärst hört sich Spiegeln am besten an.
    Also wenn ich das jetzt richtig verstehe, Kopiert das skript meine Daten und fügt diese in ein tar Archiv zusammen und bei jedem Backup werden die veränderten Dateien ergänzt. Gilt das auch für vorhandene Dateien die nochmals bearbeitet wurden oder nur für komplett neue Dateien ? Das Skript erstellt für jeden Tag auch einen "Hardlink?" (sowas wie eine Verknüpfung mit den Daten zu dem jeweligen Zeitpunkt ?) Das Skript hört sich aber schon mal super an und wenn das alles so klappen würde wär ich sehr sehr froh. Und ja ich habe Windows :D Auch wenn ich gern mehr mit Linux arbeiten würde. Hatte eben letztens denn Fall das meine Cousine sich nen Virus eingefangen hat der quasi ihre ganzen Urlaubsfotos verschlüsselt hat, auch das Backup auf Dropbox wurde gelöscht. Sie hatte aber noch ne externe HDD.


    Puh ein paar Daten zu meinem NAS ich nutze den HPN54L wie du, mit einer 2 TB WD Red HDD, aber es wird noch im Laufe der Zeit eine zweite hinzukommen. RAID war für meine Backups nie ein Thema da redundant zwar schön und gut ist aber die Platten sind halt in einem System und wenn dauernd gespiegelt wird werden die ganzen Fehler (sollte es zu welche kommen) gleich mitgespiegelt. Zu dem Sicherheitsnetz wäre es auch möglich die Platte B nur jede Woche zu updaten damit man eine ältere vollständige Backup version auch hat.


    OT: Die Programme werd ich mir nochmal genauer ansehen vll kann ich ja was davon für mich brauchen. Insbesondere die Verwaltung mit Netzwerkunterstützung hört sich interessant an. Auch die Filter hören sich sehr Praktisch an, nur die GPS Funktion brauch ich nicht. Komme aus dem Canon-Lager und Filialdateien sagen mir garnichts. Zu was sind die gut das sie dich so stören ? Hört sich nicht so an viele professionelle Fotografen arbeiten mit den JPEGS direkt aus der Kamera, es wird sogar behauptet das die Kamera die verarbeitung besser beherrscht als LR. Ich bin eher der RAW- Fotografierer, JPEGS gibts nur wenn ich sie weitergebe.


    Ohja wir Fotografen sind ein komisches Volk

    Moin!


    Vergiss mal das Skript, denn Hardlinks gehen auf Deiner USB-Festplatte nicht. Daher würde ich das vergessen und lieber unkompliziert halten.


    Okay: Du richtest jetzt auf Deinem NAS einen Zielordner ein, in dem keine Daten liegen. Ich hoffe, Du hast SSH auf Deinem OMV eingerichtet. Melde Dich an und mache folgendes:

    Code
    root@omv-one:~# cd /media/
root@omv-one:/media# ls
7a577f33-dd4b-4867-a225-4dd21f9f6ae0
root@omv-one:/media#


    Die lange Zahl ist Deine Festplatte. Speichere Dir mit Copy & Paste diese langen Namen.


    Jetzt steckst Du Deinen vorbereiteten USB-Stick in Dein NAS. Geh auf die GUI vom und hänge unter Datenspeicher / Dateisysteme den USB-Stick (erkennbar an Name und Größe) ein. Wieder zurück zum Terminal:


    Code
    root@omv-one:~# cd /media/
root@omv-one:/media# ls
7a577f33-dd4b-4867-a225-4dd21f9f6ae0 
aaabbbcccdddeee
root@omv-one:/media#


    Es sollte ein neuer Eintrag hinzugekommen sein, in meinem Beispiel der Name "aaabbbcccdddeee". Den speicherst Du Dir auch mit Copy & Paste. Jetzt kennst Du also Deinen USB-Stick und Deine Festplatte. Jetzt probieren wir eine Spiegelung, ich erkläre Dir aber erst den Befehl.


    rsync -aiv --delete /[pfad zur quelle]/ /[pfad zum ziel]/


    rsnyc ist der Befehl.
    -aiv --delete sind die Optionen - wichtig ist in Deinem Fall das "Delete", weil Du damit die Spiegelung einstellst. Pfade sind klar.


    Und los:


    :thumbup:


    Jetzt gehst Du wieder zu OMV und hängst unter Datenspeicher / Dateisysteme den Stick wieder aus. Geh nach Windows und schaue Dir das Ergebnis im Backupverzeichnis Deines NAS an und vergleiche es mit dem Stick.


    Jetzt musst Du erstmal probieren, ob Dir das alles im ersten Schritt gefällt. Experimentiere damit. Importiere neue Bilder in Dein Lightroom auf dem Stick. Mache eine neue Spiegelung. Was passiert? Dann füge mal in Deinem NAS-Ordner eine Datei hinzu. Mache eine neue Spiegelung. Was passiert?
    Fehlt Dir jetzt noch was an Deiner Backup-Vorstellung?


    Einen Tipp gebe ich Dir - der wird gern vergessen. Wenn Du schnell wieder arbeitsfähig sein willst, musst Du Deine (verschlüsselte!) Seriennummer und die letzte Installationsdatei mit auf das Laufwerk packen. Außerdem willst Du die Einstellungen sichern. Will heißen: Dein PC sollte auch die Daten auf die externe Platte schreiben oder gelegentlich kopieren.


    Zur Festplatte sei noch gesagt, dass die WD-Reds im Einzelbetrieb nicht unbedingt optimal sind. Auch ich bin drauf reingefallen, akzeptiere das Risiko bis zum nächsten geplanten Plattenwechsel in zwei Jahren.
    Außerdem solltest Du Deine Backup-Strategie im Bezug auf die Festplattenmenge überdenken.


    Zum OT:
    Zu den Filialdateien, die auch Lightroom kann, siehe hier. Nikon hat jahrelang die Änderungen an RAW-Dateien im eigenen Konverter in die Datei geschrieben. Du hattest eine RAW-Datei, die fertig bearbeitet war. Jetzt hast Du eine RAW-Datei und eine zweite "Einstellungsdatei" in einem Unterordner zu dem Ordner, wo die Bilder sind. Vergiss mal den Ordner mitzusichern... 8|


    Die JPEG-Verarbeitung in den Kameras ist besser als in Lightroom. Adobe kennt die Parameter der Hersteller und kann diese auch nicht auslesen. Stelle Deine Kamera mal auf kontrastreiches s/w, öffne das Bild in Lightroom und wusch - alles ist bunt. Wer Lightroom verwendet, verbraucht mehr Zeit.
    Berufsfotografen, die für die Tagespresse arbeiten, verwenden nur JPEG. Schneller, kleiner zu übertragen.


    Zur Verwaltung: Das ist kein RAW-Betrachter. Wenn Du Dir in Imabas RAW-Bilder ansehen willst, wirst Du schreiend weglaufen. Ich will nur meine Bilder (ca. 70000) wiederfinden. Anschauen tue ich sie dann, wenn mir die 1000px große Vorschau nicht reicht, mit einem passenden Betrachter. Denn in der Vollbildansicht liest Imabas nicht die eingebettete Vorschaue, sondern das Original-RAW. Das sieht dank Standard-Grafik-Bibliothek schlecht aus und dauert. Wenn Du Imabas probieren willst, versuche zunächst nicht, eigene Bilder zu importieren. Greife Dir die Demo-Datenbank (> 3000 "Bilder", mit Kategorien, Volumen, Sortieroptionen etc.). Damit kann man erstmal gut probieren. ;) Das schöne bei der Netzwerkfähigkeit ist übrigens die konkurrierende Lizenz. Es wird nicht gezählt, wie viele Installationen Du hast, sondern wie viele Installationen gleichzeitig auf die Datenbank zugreifen dürfen. Hast Du z. B. zehn Rechner im Büro, aber es reicht, wenn immer nur zwei gleichzeitig die Datenbank nutzen können, reichen Dir zwei Lizenzen.

    Zitat von Dennis

    Okay - ein paar Vorüberlegungen, noch keine Befehle. <img src="http://forums.openmediavault.org/wcf/images/smilies/wink.png" alt=";)" /> Du kannst aber schon mal einen USB-Stick mit einem kleinen Lr-Katalog und drei bis vier Bildern vorbereiten. Daran kann man gut üben.


    <b>Was soll ins Backup?</b>
    Klar die Datenbank (= Katalog) und die…



    Hallo erstmal :)


    Ich bin neu hier und hoffe das mir jemand helfen kann...
    Wie genau funktioniert das mit dem RSYNC Script?
    Kann ich im WebGui eine Konsole öffnen? Alles von Hand eintippen?


    Sorry den ich bin absoluter Newbe...

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!

Benutzerkonto erstellen Anmelden