HardlinkBackup
HardlinkBackup is a simple, fast program for incremental backups using hardlinks, it allows to schedule backups, send e-mail notifications and it can delete automatically not-needed backup sets. HardlinkBackup reads source folders and compares the files with all previous backups. Only modified files are then copied, unmodified files are linked using hard-links to the files of the existing backups (precondition is, that the target drive supports hard links, e.g. it is NTFS formatted). So you find a complete copy of the source folders by their date on the backup drive. However, only the space of one copy plus the size of the changed files is required. If an old backup copy is no longer needed, it can be deleted without any problems, simply by deleting the corresponding backup directory.
| HardlinkBackup | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Current Version: | Version 2.2.23 (build 9214) from 05/07/2021 | ||||||||||
| Download: |
|
||||||||||
| Readme/Changes: | ReadMe.txt Please note the license agreement. | ||||||||||
| Manual: | Download (PDF, german) | ||||||||||
| Supported Operating Systems: | Windows XP, Windows Server 2003, Windows Vista, Windows Server 2008, Windows Server 2008 R2, Windows 7, Windows 8/8.1, Windows Server 2012, Windows 10, Windows 11, Windows Server 2016, Windows Server 2019, Windows Server 2022 | ||||||||||
| Licenses: | Community License | Professional License | Enterprise License | ||||||||
| Price: | free of charge | 39 € | 69 € | ||||||||
| Application Area: | Non-commercial | Non-commercial | Commercial | ||||||||
| Languages: | English, German, French, Spain | ||||||||||
| Features: | |||||||||||
| Fast, incremental backup of large directories |  |
|
|
||||||||
| Different backup modes (Hardlink, Linkscript, Move, Mirror) | |
|
|
||||||||
| Usage of hardlinks (space saving storage) | |
|
|
||||||||
| Restore with standard windows tools, e.g. Windows Explorer (No program necessary) | |
|
|
||||||||
| Storage of local, USB & network drives and support of many network-attached storages (NAS) | |
|
|
||||||||
| Support of long names of paths and files | |
|
|
||||||||
| Intuitive user interface | |
|
|
||||||||
| Management of multiple backups | |
|
|
||||||||
| Retention of link structures (allows backup of backups) | |
|
|
||||||||
| Verification and restore of backup sets | |
|
|
||||||||
| Safe files in use | |
|
|||||||||
| Scheduling of automatic backups | |
|
|||||||||
| E-mail notifications | |
|
|||||||||
| Automatic, rule-based deletion of old backup sets | |
|
|||||||||
| Batchmode (Execution of multiple backups consecutively) | |
|
|||||||||
| Detection of moved and renamed files | |
|
|||||||||
| Differential backup of large files | |
|
|||||||||
| Support of notebook backups (Monitoring of target availability and network connections) | |
|
|||||||||
| Execution of scripts before and after the backup | |
|
|||||||||
| Usage of two backup targets at once | |
||||||||||
| Purchase via Partner: |  |
 |
|
||||||||
| Alternatively HardlinkBackup may be purchased directly by the author (Attention: longer processing time!). Simply send an e-mail to software@lupinho.net. | |||||||||||
Screenshots:
Hallo Lupinho,
die Idee, per Link mehrere Versionen eines Dateisystems bzw. Ordners zu sichern, ohne dass X identische Versionen einer Datei gesichert werden, finde ich genial!
Ich teste noch mit der Community-Edition und mir ist nicht klar:
– wie kann ich alte Versionen löschen und trotzdem sicher sein, dass von jeder Datei zumindest die aktuelle Version übrig bleibt?
– welche Bedeutung hat in diesem Zusammenhang, welche “Vorhandenen Backupsätze” angehakt sind? Was wird da verglichen und welche Auswirkungen hat das?
Mit freundlichen Grüßen,
Willi
Du kannst problemlos alte Backupsätze löschen, ohne das davon die Dateien in den anderen Backupsätzen berührt werden. Allerdings sind Dateien, die nur in den zu löschenden Backupsätzen vorhanden sind, natürlich nach dem Löschen weg.
Was die Anzahl der zu vergleichenden Backups angeht, da lies einfach die letzten Beiträge. Es wird Datum und Zeit der letzten Änderung und die Größe verglichen.
Hallo Lupinho,
wie verhält sich Hardlinkbackup eigentlich wenn ich das Ziellaufwerk auf welches das Backup erstellt wird regelmässig wechsle.
Beispiel: Ich habe bei den Aufräumfunktionen eingestellt das 30 Tage lang jeden Tag ein Backup behalten wird und ältere Backups welche von keiner Regel erfasst werden, gelöscht werden. Wenn ich nun nach jeweils 10 Tagen das Ziellaufwerk ersetze (durch eine andere USB-Festplatte), bleiben dann auf jeder Platte 30 Backups die dadurch teils älter als 30 Tage sind, oder werden alle die älter als 30 Tage sind gelöscht und es bleiben nur die Backups der letzten 30 Tage auf der Platte aber mit Lücken da die anderen Backups durch die Regel gelöscht werden?
Anders ausgedrückt: wird mit dem Datum oder der Anzahl Sicherungen gerechnet?
Hallo Lupinho,
vorab auch kurz ein Lob meinerseits. Hab HardlinkBackup für mich entdeckt und habe es auch gerne lizensiert, weil es vom Funktionsumfang und vom Bedienkomfort exakt so ist, wie ich mir das wünsche.
Leider habe ich ein Problem beim Sichern meiner Mails, die ich vorher von einem Linux-Server abhole.
HardlinkBackup beschwert sich dort wegen des Dateiformats, das zugegebenermaßen ziemlich abenteuerlich ist.
Hier mal ein Auszug aus dem Log:
2012-05-25 07:36:20.78: “R:\root\home\user\mails\.Drafts\cur\1336870460.M348342P32008.vserver1076,S=1391,W=1432:2,S”: Das angegebene Pfadformat wird nicht unterstützt.
2012-05-25 07:36:20.78: “R:\root\home\user\mails\.Drafts\cur\1336870471.M33228P32008.vserver1076,S=574,W=596:2,S”: Das angegebene Pfadformat wird nicht unterstützt.
2012-05-25 07:36:20.78: “R:\root\home\user\mails\.Drafts\cur\1336870460.M836984P32008.vserver1076,S=536,W=549:2,S”: Das angegebene Pfadformat wird nicht unterstützt.
2012-05-25 07:36:20.78: “R:\root\home\user\mails\.Drafts\cur\1336870470.M871170P32008.vserver1076,S=3304,W=3381:2,S”: Das angegebene Pfadformat wird nicht unterstützt.
2012-05-25 07:36:20.78: “R:\root\home\user\mails\.Drafts\cur\1336870460.M579422P32008.vserver1076,S=3454,W=3549:2,”: Das angegebene Pfadformat wird nicht unterstützt.
2012-05-25 07:36:20.78: “R:\root\home\user\mails\.Drafts\cur\1336870460.M886367P32008.vserver1076,S=15081,W=15493:2,S”: Das angegebene Pfadformat wird nicht unterstützt.
2012-05-25 07:36:20.78: “R:\root\home\user\mails\.Drafts\cur\1336870460.M159409P32008.vserver1076,S=1736,W=1791:2,”: Das angegebene Pfadformat wird nicht unterstützt.
2012-05-25 07:36:20.78: “R:\root\home\user\mails\.Drafts\cur\1336870460.M632240P32008.vserver1076,S=1471,W=1543:2,”: Das angegebene Pfadformat wird nicht unterstützt.
Ich habe bisher noch keine Lösung gefunden, wie ich den Mailserver dazu bekomme, die Dateinamen gefälliger zu gestalten. Gibt´s da vielleicht einen Workaround seitens HardlinkBackup?
Dabei ist mir übrigens aufgefallen, daß diese Fehler zwar im Log stehen, aber nicht in der GUI. Nach einem Sicherungslauf behauptet die GUI, es habe 0 Fehler gegeben.
Grüße
Rene
@elzag
Mit dem Datum wird gerechnet (zumindest wenn Du die Regel so einstellst).
Es ist völlig egal, wieviele Backups Du machst, die Regel besagt, jeden Tag der letzten 30 Tage ein Backup zu behalten (und alle anderen zu löschen). Dabei wird die Regel immer auf die Backupsätze angewandt, die HardlinkBackup bei dem jeweiligen Backuplauf sieht. Würdest Du also jeden Tag zwei Backups machen und jeden Tag die Platten austauschen, so würde HardlinkBackup trotzdem auf beiden Platten nur 15 Backups behalten, da immer zwei Backups pro Tag auf einer Platte wären, aber jeweils ein Tag “Lücke” existiert, weil da ja die andere Platte dran war. (Anders sähe es natürlich aus, wenn Du zwischen den zwei Backups die Platten tauschst).
Ich hoffe, ich konnte für Klarheit sorgen,
Lupinho.
@Rene
Die Pfadnamen sind nicht Windows-konform. Da HardlinkBackup unter Windows eine Windows-API nutzt, kommt diese Meldung. Vermutlich tritt der Fehler schon beim Scannen auf und die Verzeichnisse können nicht gelesen werden. Wenn Du das Backup manuell durchführst, werden Dir die Scan-Fehler angezeigt. Auf der Ergebnisseite des Backups stehen sie dann nicht mehr, weil die Verzeichnisse gar nicht eingelesen wurden (also wurden sie auch nicht kopiert).
Ein Workaround (außer umbenennen) fällt mir auf die Schnelle nicht ein; denn die Pfade mag ja die Windows-API nicht lesen, d.h. unter Windows würdest Du solche Namen schlecht hinbekommen. Ich komme halt so einfach nicht um die Windows-API herum!
Gruß,
Lupinho.
Hallo Lupinho,
ich habe das ganze unter Win7 64bit installiert. Wenn ich die Jobs über den Aufgabenplaner laufen lasse und besonders wie jetzt in den ersten Tagen mal reinschaue was HL-Backup so macht bekomme ich folgende .net Fehlermeldung:
************** Ausnahmetext **************
System.NullReferenceException: Der Objektverweis wurde nicht auf eine Objektinstanz festgelegt.
bei Lupinho.Net.Forms.Dialogs.MinimizeToTrayHelper.get_AllowWindowAnimation()
bei Lupinho.Net.Forms.Dialogs.MinimizeToTrayHelper.ShowHideTrayAnimation(Form form, Boolean show)
bei .WndProc(Message& )
bei System.Windows.Forms.NativeWindow.Callback(IntPtr hWnd, Int32 msg, IntPtr wparam, IntPtr lparam)
@lupinho
OK, hab mir schon sowas gedacht, werde da wohl auf der Linux-Seite ansetzen müssen. Danke für Deine Antwort und die Infos.
Grüße
René
@Nicolas
Guck’ mal, ob in der Registry der Pfad “Control Panel\Desktop\WindowMetrics” unter “HKEY_CURRENT_USER” existiert und ob dort ein Zahlen-Wert “MinAnimate” eingetragen ist. Und das ganze bitte unter dem User angucken, unter dem HardlinkBackup gestartet wird! Falls der Pfad oder der Wert nicht existieren, lege bitte beides an. Als Wert für “MinAnimate” eine 1 eintragen, wenn Du Animationen beim Minimieren von Fenstern sehen willst und eine 0, falls nicht.
Gruß,
Lupinho.
Hallo Lupinho,
Habe vor ein paar Tagen die Professional-Lizenz von HardLink-Backup gekauft und setze das Programm seither auch erfolgreich ein. Ein Super-Tool, herzlichen Dank dem Entwickler 😀 .
Ich habe nur ein kleines Problem: Bei automatisierten Backup-Jobs wäre es sehr praktisch eine eMail-Benachrichtigung über den Verlauf des Backups zu erhalten. Das Probramm sieht dieses Feature auch vor, nur leider funktioniert es bei mir nicht, obwohl ich die Einstellungen in den Optionen vorgenommen habe und erfolgreich testen konnte. Was muss ich tun um von diesem Feature gebrauch machen zu können?
Danke für die Hilfe
Markus
@Markus Jordi
Es ist wichtig, dass Du die E-Mail-Optionen unter dem Benutzer einstellst, unter dem Du dann auch das Backup startest!! Wenn Die Testmail ankommt, dann sollte es bei der Benachrichtigung tun (zumindest kenne ich keine Klagen).
Gruß,
Lupinho.
@lupinho
@lupinho
Genau das war das Problem. Ich habe den geplanten Task unter einem andern Benutzer ausgeführt! Nun klappt alles bestens 😀 . Herzlichen Dank…
Markus
Zum Thema email:
Mir ist noch aufgefallen, daß die email nicht verschickt wird, wenn ein Tippfehler in der “CC” Adresse drin ist. Leider wird die Mail dann gar nicht verschickt , auch nicht an den ersten Empfänger.
Es gibt dann auch keinen sonstigen Eintrag im Logfile.
Habe jetzt fast einen ganzen Tag gebraucht, um diesen fehlenden Punkt in der Adresse zu finden 🙁
Gruß, Ralf
PS: Was macht die neue Version? 😉
Servus Lupinho,
Tolles Programm … bin Umsteiger vom CT-RSYNC …
Ich lasse auf meinem Rechner am Feierabend ca. 25 Scripts gleichzeitig laufen. Gibts eine Möglichkeit, das HardLinkBackup nach Beendung des letzten Backups-Script den Rechner in den Ruhezustand versetzt?
Greez, Mike C.
@Mike c.
Es gibt die Möglichkeit, nach einem Backup den Rechner in den Ruhezustand zu versetzen. Wenn Du aber 25 Instanzen an einem Rechner gleichzeitig laufen läßt (wieso?), musst Du die dann wieder selbst synchronisieren, um nach dem letzten beendeten Backup den Ruhezustand einzuleiten…
@lupinho
Danke für die Antwort. Ich kam auf die Idee mit den verschiedenen Instanzen, um für mich eine einfachere Übersicht zu erhalten, welche Sicherungen noch laufen (Datenbereich-bezogen), in welchen Grössenbereichen die einzelnen Datenbestände liegen … So erhalte ich auch separate Logs und separate Zieldatenverzeichnisse … Wenn ich im jetzt Nachhinein alle Quellen in einen Sicherungslauf zusammenfassen würde, kann ich auch nicht mehr auf die bereits gemachten “Einzel-Sicherungen” aufbauen, da jeweils pro Sicherungslauf 1 Zielverzeichnis angegeben werden kann … Wäre es denkbar, einer Backupeinstellung bei «Nachdem das Backup beendet wurde:» als weitere Option eine nächstes .hbd-Datei mitgeben zu können? Dann wären separate Einstellungen pro Sicherung möglich und mit der letzten Sicherung würde der Rechner z.B. in den Ruhezustand fahren.
Hi Lupinho,
benutze die Professional Version und habe auf der Page “Aufräumen” oben “Letzte Backups” angeklickt und auf 7 gestellt. Dachte, er würde dann nur die behalten. Macht er aber nicht, er räumt keine alten Sätze weg. Muss man jetzt noch mal explizit die unterste Option “Aufräumen” wählen, damit er wirklich nur die 7 letzten stehen lässt? Erscheint mir irgendwie … unlogisch.
Gruß
Dirk
Ja, Du musst noch unten die Häckchen setzen. Unlogisch ist es eigentlich nicht, denn es heißt ja immer “behalte” und nicht “lösche”. Aber dennoch ist es eine Stolperfalle und muss noch verbessert werden…
Gruß,
Lupinho.
Servus Lupinho,
Darf ich nochmals nachfragen, wie du die Möglichkeit sehen würdest, Sicherungsläufe hintereinander aufrufen zu können?
Greez, Mike C.
@Mike C.
Hi Mike,
ich nehme Deine Anregung sehr ernst. Ich denke, ich werde in Zukunft die Möglichkeit vorsehen, beim Programmaufruf mehrere Backup-Definitionen zu übergeben, die dann nacheinander ausgeführt werden. Ich kann aber noch nicht sagen, ob ich das in die nächste Version schon rein bekomme. Solange müsstest Du Dir eine Batch-Datei schreiben, die die Backups nacheinander ausführt. In der hbd-Datei für die letzte Ausführung kannst Du ja dann nach dem Backp den Rechner in den Ruhezustand schicken; damit hast Du ja erstmal Dein gewünschtes Verhalten. Sobald ich dann auch in die Pötte gekommen bin, kannst Du dann den neuen ‘Batch-Modus’ nutzen.
Gruß,
Lupinho.
Hammerinfo … Danke dir vielmals …
Ich schau mir das mit dem Batch-Job gleich mal an …
Greez, Mike C.
Hallo
Ich versuche seit einigen Tagen ein Backup mit dem Programm zu machen, scheitere aber regelmässig mittem im Prozess.
System: Win7, 64bit, 8GB RAM
Das Backup soll eine Festplatte (D) auf eine andere (E) sichern.
Auf D sind ca. 400.000 Dateien mit ca. 350GB.
Das Backup läuft auch flott los, aber bei einigen Dateien “hängt” es. Ich dachte es läge am Dateinamen, da ich hier so etwas gelesen hatte und die Datei auch dazu passte:
“D:\Gunslinger Girl deutsch\gunslinger.girl.-.ep13.-.stellacadentei.-.[ger-jap-dub][ger-sub][final].-.by.dragon.knight.ogm” 240MB
Vielleicht wegen der vielen Punkte im Dateinamen.
Nach einigen Minuten, in denen weder CPU- noch Festplattenaktivität zu verzeichnen war, ging es dann aber plötzlich weiter, blieb dann hin und wieder “hängen”, find sich wieder bis dann bei
“D:\Noir AMV\Tetralogie\Würfel.avi” 400MB
Schluss war.
Auch nach einer Viertelstunde ging es nicht weiter und ich habe das Programm beendet.
Während dieses “Hängens” liessen sich andere Programme nur extrem langsam starten (3min für den Start von Firefox), obwohl, wie gesagt, keine Festplattenaktivität oder CPU Auslastung im Resourcenmonitor angezeigt wurde.
Das oben Beschriebene war bereits der dritte oder vierte Versuch, die Dateien, bei denen es hängt sind nicht immer die gleichen.
Was kann da los sein?
@Arnd
Kann man schwer aus der Ferne beurteilen. Aber vielleicht bist Du einfach zu ungeduldig und das Kopieren dauert länger?! Momentan nutzt HardlinkBackup die File.Copy-Methode von .Net/Windows; während des Kopierens einer großen Datei wird kein Fortschritt im Balken angezeigt. Je nachdem, wie groß die Datei ist, kann einem das u.U. als ‘Hängen’ vorkommen. Lass es doch einfach mal komplett durchlaufen und guck Dir hinterher das Protokoll an, ob die Zeiten unrealistisch für Dein System sind. Das schöne an HardlinkBackup ist ja, dass es inkrementell arbeitet und im nächsten Durchgang nur geänderte Dateien kopiert werden. Dann müsste Dein Backup auch deutlich fixer durchlaufen.
Gruß,
Lupinho.
Hi
Vielen Dank für die schnelle Antwort. Geduld war in der Tat der entscheidende Faktor, nachdem ich das Programm einfach in Ruhe gelassen habe, lief es dann bis zum Ende durch, allerdings traten auch einige (wenige) Fehler auf:
Die oben erwähnten Dateien:
Gunslinger Girl… gab : Zeitlimit für die Semaphore wurde erreicht
Würfel.. gab: die Anforderung konnte wegen eines E/A Gerätefehlers nicht ausgeführt werden
Dieser (E/A) Fehler trat dann noch zweimal bei anderen Dateien auf
Danach gab es dann nur noch behobene Fehler (über die ich mir keine weiteren Gedanken machen muss?)
Was ist nun wegen der verbliebenen 4 Dateien zu tun, bzw. was sagen mir diese Fehler?
Danke
Arnd
@Arnd
Ich kann Dir nicht genau sagen, was das für Fehler sind. Ich weiß nur, dass sie von Windows bzw. den benutzten Treibern kommen und auf einen Hardware-Defekt hindeuten können. Offensichtlich hat ein Treiber bzw. ein Gerät nicht innerhalb einer vereinbarten Zeit geantwortet. Zum Beispiel könnte die Platte lange versucht haben, Daten zu schreiben, weil ein Fehler vorliegt. Dann hat Windows die Gedult verloren und somit ist ein Timeout aufgetreten. Das ganze kann natürlich auch durch eine schlechte Netzwerkverbindung passiert sein etc. Ich würde jedenfalls auf ein Hardware-Problem tippen und würde es dadurch ausschließen, indem ich auf eine andere Platte oder über USB (statt über Netzwerk) o.ä. oder eine andere Quelle sichern würde. Auf diese Art und Weise kannst Du schrittweise die Fehlerquelle ermitteln.
Gruß,
Lupinho.
Tatsächlich hat es sich um Hardware Probleme gehandelt.
Eine Festplattenutility vom Hersteller hat einige defekte Sektoren ermittelt (obwohl die SMART-Diagnose keine Probleme anzeigte) und eine Austausch der Platte vorgeschlagen. Ärgerlich, da die Platte erst einige Monate alt ist.
Mit der neuen Platte klappt das backup jetzt problemlos.
Vielen Dank
Hallo Lupinho,
Hardlinkbackup ist ein tolles Programm. Eine für mich aber recht große Einschränkung ist, dass der Zeitstempel der Quellordner nicht auf die Zielordner übertragen wird. Hast Du da noch eine Erweiterung geplant? Eigentlich ist es ja nur ein Funktionsaufruf, nachdem der jeweilige Ordner rekursiv abgearbeitet wurde.
Gruß Sven
@Sven
Ja, das kann man schon machen (ich hatte das auch mal; hab’s aber aus irgendeinem Grund wieder ausgeschaltet). Ich sehe zu, dass das im nächsten Release drin ist…
@lupinho
Danke, ich freu’ mich darauf! :o)
Hallo,
erst mal: super tool, welches Du da anbietes !
Ich habe allerdings ein Problem, was nicht grundsätzlich mit Deinem Programm, sondern mit robocopy-/rsync-backups wohl grundsätzlich zusammenhängt.
Ich habe bislang immer mit rsync per -avz –delete Daten von einem anderen Ort auf einen Ubuntu-Server bei mir zu Hause über eine VPN-Verbindung gesichert: das klappte insofern super, als ja wohl über rsync unter Linux immer eine “Datei-Tabelle” angelegt und abgeglichen wird, was wenig Zeit in Anspruch nimmt, und erst dann die geänderten Daten gesynct werden.
Unter Windows ist es ja nun so, dass jede einzelne Datei erst während des backups verglichen wird. So dauert es schon mal bei einigen Tausend (kleinen) Dateien einige Stunden, bis robocopy erkennt, das es nur z.B. eine Datei zu syncen hatte.
Ich dachte, unter Windows dienen die hardlinks auch dazu, diese Zeit abzukürzen, aber Pustekuchen, jede einzelne Datei wird im backups aufgerufen und verglichen.
Rsync unter cygwin umgeht diese Problem leider auch nur dann, wenn auf einen Linux-Server gesichert wird: bei zwei Windows-Maschinen mit cygwin gleicht rsync auch jede Datei einzeln ab.
Hättest Du vielleicht noch eine Idee, wie man Windows dazu bringen kann, vor dem BAckup eine Art “Datei-Tabelle” zu erstellen, welche dem nächsten backup die Änderungen anzeigt?
Hoffe, ich habe mich halbwegs verständlich ausgedrückt (meine Kenntnisse sind alle learning-by-doing-based 🙂
Das hat nichts mit Windows zu tun. Das ist abhängig von der Arbeitsweise des jeweils genutzten Programmes.
Die dienen dazu Zeit und Speicherplatz zu sparen, in dem man unnötiges Kopieren vermeidet.
Setze auf dem Rechner der als Backupziel diernt einen rsync-Server auf und das Problem sollte beseitigt sein.
Benutze ein Programm mit passender Arbeitsweise bzw. konfiguriere die Programme entsprechend.
Hardlinkbackup (und auch andere Tools) müssen die Quelle auf jeden Fall einlesen, wobei Hardlinkbackup da nur die Attribute, Größe und zuletzt geändert einliest, was recht schnell geht und hier bei etwa 160000 Dateien in mehreren Tausend Ordner etwa 10-15 Sekunden dauert. Für die Backups werden Index-Dateien mit diesen Daten angelegt, so dass diese nicht erneut eingelesen werden müssen. Das passiert nur, wenn diese Dateien nicht mehr vorhanden sind.
Dein Problem ist wohl, dass du viele Backups aufhebst. Denn dann kann das Verlinken zum Teil länger dauern als das Kopieren. Keine Ahnung warum das so langsam wird, wenn zu einer Datei bereit 2, 3 Dutzend oder mehr Hardlinks existieren.
<blockquote cite="#commentbody-1633Setze auf dem Rechner der als Backupziel diernt einen rsync-Server auf und das Problem sollte beseitigt sein.
Meinst Du eine rsync-Server, der über cygwin läuft?
Hardlinkbackup (und auch andere Tools) müssen die Quelle auf jeden Fall einlesen, wobei Hardlinkbackup da nur die Attribute, Größe und zuletzt geändert einliest, was recht schnell geht und hier bei etwa 160000 Dateien in mehreren Tausend Ordner etwa 10-15 Sekunden dauert. Für die Backups werden Index-Dateien mit diesen Daten angelegt, so dass diese nicht erneut eingelesen werden müssen. Das passiert nur, wenn diese Dateien nicht mehr vorhanden sind.
Dein Problem ist wohl, dass du viele Backups aufhebst. Denn dann kann das Verlinken zum Teil länger dauern als das Kopieren. Keine Ahnung warum das so langsam wird, wenn zu einer Datei bereit 2, 3 Dutzend oder mehr Hardlinks existieren.
Nö, von 2, 3 Dutzend Backups spreche ich nicht, sondern von dem zweiten.
Na, die Formatierung ist mir da ja gründlich misslungen. Könnte das der Mod fixen? Danke und Tschuldigung !
P.S. eine edit-Funktion und Vorschau wäre nicht schlecht …
Die Gesamtzeit samt Einlesen der Quelle, der Indexdatei des ersten Backups und Kopieren und Verlinken lag hier beim zweiten Backup so um eine Minute. Das bei der schon genannten Anzahl an Dateien und Verzeichnissen. Wenn das bei dir so lahmarschig ist, solltest du mal testweise während des Backups deinen Virenscanner deaktivieren bzw. passend einstellen, so dass der da nicht bremst. Ein weiteres Problem könnte auch sein, dass du übers Netzwerk auf einen anderen Rechner sicherst.
@Thomas
Nö, das lahmarschige backup ist ja gerade das Problem, nicht die Lösung.
Also nochmals: via rsync läuft das backup von (einigen 10tausend Dateien) über VPN an einen anderen Standort in ca. 5 Minuten. Robocopy vergleicht nun (schwachsinnigerweise in meinem Fall) jede Datei und dann dauert das backup eben ein Paar Stunden. Klaro?
Nochmals meine Frage: die Indexdatei fürs backup wird doch nur dann erstellt, wenn ein rsync-/Linux-Server vergleicht.
Muss ich einen solchen via cygwin unter Win simulieren oder wie machst Du das?
Ich hatte einfach Hardlinkbackup genutzt und das robocopy bei dir so lahmarschig ist liegt möglicherweise daran, dass der die Dateiinhalte (macht Hardlinkbackup nicht) vergleicht. Das sollte sich aber abschalten lassen.
Hallo lupinho,
ich habe nun folgendes Problem, dass beim Aufräumen alter Backups immer folgende Fehlermeldung kommt:
Detaillierte Fehlermeldungen:
Nicht-behebbarer Fehler beim Löschen von …
Die Datei oder das Verzeichnis ist beschädigt und nicht lesbar.
———
In allen Backups befindet sich jetzt eine beschädigte Datei (evtl. http://support.microsoft.com/kb/246026/de) und lässt sich deshalb nicht löschen, umbenennen und die Sicherheitsinformationen zu der Datei sind nicht verfügbar.
Im Quellordner ist die Datei aber OK.
Was kann ich tun, damit HardlinkBackup wieder ohne Fehler funktioniert?
@mike
Hmm. So wie’s aussieht, hat ja Deine Backupplatte ein Schaden. Wenn Du bei der fehlerhaften Datei einen kaputten Sektor hast, ist es nicht ratsam, die Datei zu löschen. Benenne sie lieber um und verschiebe sie. Die Datei taucht natürlich in mehreren Backups auf, da die ja Hardlinks auf dieselbe Datei sind (wenn sie nicht verändert wurde). Wenn Du die Datei(en) aus den Verzeichnissen herausgeschoben hast, müsste das Löschen der alten Backupsätze ja dann durchlaufen. Damit die Datei als geändert erkannt wird, solltest Du in den zum Vergleich herangezogenen Backupsätzen auf jeden Fall die “index.hbi”-Datei löschen. Das nächste Backup dauert dann zwar etwas länger, aber die Datei wird dann kopiert; ansonsten gäbe es einen Fehler beim Verlinken, da die Datei ja fehlt. Generell ist es aber keine gute Idee, eine beschädigte Festplatte weiterhin als Sicherungslaufwerk einzusetzen…
Gruß,
Lupinho.
@Thomas
Also: ich habe nun in cygwin einen ssh- und rsync-Server aufgesetzt: nach einmaligem Abgleich läuft ein rsync nun in ca. 30 Sekunden (inkl. Abgleich der filelist). Und das bei einigen zehntausend zu vergleichenden Dateien.
Schade, dass ich nun Hardlinkbackup nicht mehr verwenden kann.
Vielleicht arbeitet lupinho ja doch nochmal nach 🙂 (ich durchschaue nämlich nicht, worin der Fehler liegt…)
@Peter
So richtig verstehen tu’ ich Dich nicht. Ich habe nicht verstanden, was Dein Problem mit HardlinkBackup ist und es las sich auch nicht so, als würdest Du es verwenden. HardlinkBackup arbeitet zwar ähnlich wie ein Backup mit rsync, benutzt es aber nicht. Die Algorithmen zum vergleichen und synchronisieren sind komplett selbst geschrieben. Deshalb kann ich auch nichts zu Deinem Problem mit robocopy sagen oder daran arbeiten. Die ‘Dateiliste’ gibt es bei HardlinkBackup in der Art, dass für die Backups statt der Verzeichnisse nur eine Indexdatei eingelesen wird, was die Verarbeitung erheblich – vor allem bei langsamen Verbindungen – beschleunigen kann.
Gruß,
Lupinho.
Etwas spät aber das verstehe ich nicht ganz… HardLinkBackup läuft bei mir “Full Automatic” auf einem Server 2003 (PDC) und sichert übers Netz auf einen anderen Server 2003 (BDC), wird dazu unter Administratorkonto gestartet und hat Vollzugriff auf Quell- und Zielverzeichnis. Es werden allerdings keine explizit gesetzten Berechtigungen kopiert…. Wie weit ist denn die neue Version, vor allem die Unterstützung für lange Pfade >260 Zeichen wäre sehr schön, habe deswegen aktuell immer ~2.000 backup errors… 😉
@IBHerzog
Wenn Du auf dem Share und dem Sicherungsverzeichnis Vollzugriff (insbes. Besitz übernehmen und Berechtigungen ändern) gesetzt hast, müsste es aber gehen…
Zur neuen Version: Sieht sehr gut aus! Es ist zwar immer noch eine Menge zu tun, aber ich bin auch täglich dran. Ich werde demnächst mal einen Post dazu erstellen.
Gruß,
Lupinho.
Hallo
Ich habe mir jetzt HLB zugelegt & bin fleißig am Backupen, allerdings habe ich mit den Aufräumoptionen noch Probleme
es geht um ein Backup, das täglich immer um 23Uhr startet & meine Dokumente auf mein NAS sichert (Standardmethode)
beim Aufräumen ist eingestellt
[x]tägliche B. – Behalte B der letzten 7 Tage – 1 Satz pro Tag behalten
[x]wöchentliche – 4 Wochen – 3 pro Woche behalten
[x]monatliche – 100 Monate – 1 pro Monat behalten
allerdings hat er jetzt nach einer Woche angefangen, jeweils den 8. Satz direkt wieder zu löschen, sodass gleichzeitig immer nur 7 Sätze vorhanden sind.
Wie stelle ich das so ein, dass auch auf längere Sicht Backupsätze erhalten bleiben (wie beschrieben im letzten Monat nur noch die Hälfte der Backups behalten, und dann alles was noch länger her ist, nur 1/Monat)
Ich hoffe mein Problem ist verständlich & es gibt eine Lösung 🙂
Vg
komisch
@komisch
Die Wochen beziehen sich auf Kalenderwochen (Mo-So). Man muss die Zeiträume von Jetzt zurück rechnen. Es wird also von Heute 26./Di zurück 7 Tage lang ein Backup pro Tag beibehalten (das reicht bis vorige Woche Mittwoch). Ab dann greift die Wochenregel. In der KW 25 gibt es schon mind. 3 Backupsätze (es sind 5), also werden alle vor dem 20. in KW 25 gelöscht…
Na, das ist doch des Rätsels Lösung.
Ich war davon ausgegangen, dass Du rsync in Deinem Prog einsetzt. Du schreibst ja: “Von der Idee her entspricht HardlinkBackup dem rsyncbackup.vbs der Zeitschrift c’t, erweitert um eine grafische Benutzeroberfläche und viele weitere Features”.
Daher war ich auch davon ausgegangen, dass Dein Prog einfach ein Frontend für das ct-Skript sei, was ja nun mal rsync im cygwin-port einsetzt.
Dann müssen wir tatsächlich nicht lange diskutieren, warum das backup in Deinem Prog anders läuft als mit rsync: weil es rsync eben nicht verwendet. Ok, jetzt habe ich verstanden 🙂
Nichts desto trotz fand ich Dein Prog von der Idee her super. Vielleicht baust Du ja doch noch rsync “im Original” ein. Denn in einer VPN-Verbindung über mehrere Standorte (selbst bei jeweils 6 MBit upload) ist die Performance eben leider mies..
Hallo, danke für das tolle Tool. Derzeit teste ich es und mache eine Sicherung von sehr vielen Dateien (ca. 900.000). Obwohl die Kopiergeschwindigkeit anfangs sehr gut war ist sie jetzt massiv eingebrochen. Im Arbeitsspeicher des Servers belegt Hardlinkbackup derzeit ca. 1,1 GB (vorhanden 16GB). Das kopieren einer einzigen jpg Datei dauert mal so 1 min. Woran kann das liegen? Bin etwas rathlos…
@Thomas
Auf die Kopiergeschwindigkeit sollte die Arbeitsspeicherauslastung keinen Einfluss haben (es sei denn der Rechner swappt dauernd). Du hast ja die 64-Bit-Version installiert, oder? Es liegt vermutlich ein anderes Problem vor! HardlinkBackup macht beim Kopieren dasselbe wie Windows auch; d.h. probier’ mal, wie lange das Kopieren aus dem Explorer heraus braucht!
@Arnd
MEEEGA OT:
@Arnd:
Wen ich so sehe, WAS Du da sichern willst, steigen mir die Tränen in die Augen, ich habe mitte letzten Jahres meine komplette Sammlung (1,5 TB) beim Backup verloren, weil die Backup Platte bereits beschädigt war (Robocopy das aber nicht registrierte) und sich während des Backups die Quell Platte verabschiedete. :-(((((((((((((( Zu allem Überfluss war die ausgelagerte Quartalssicherung bei meinem Bruder beim Umzug runtergefallen, ohne dass er es für wichtig hielt mir das mal zu sagen :-(((((((
Pass gut drauf auf!
/MEEEGA OT
(sorry)
Ralf
@Ralf
Vielen Dank für das Mitgefühl. Ich hatte die Dateien glücklicherweise noch auf einer anderen Festplatte auf einem alten Rechner, also ist kein Schaden, nur ein großer Schreck, entstanden.
Bei Dir war es natürlich der Mega-GAU, tut mir wirklich leid.
Mit ist vor vielen Jahren meine (damals einzige) Festplatte kaputtgegangen, mit sämtlichen(!) Daten, Korrespondenz (privat, geschäftlich), Musik, Bilder…, eben alles darauf und zu dieser Zeit hatte ich von Backupstrategien noch nichts gehört. Da bin ich eine Zeit lang ziemlich kreidebleich durch die Gegend gelaufen.
Ich habe die Platte dann an eine Datenrettungsfirma geschickt, die tatsächlich so gut wie alles wiederherstellen konnte (hat damals ca. 200,- DM gekostet, was ich noch erstaunlich billig fand, vielleicht ginge das mit deiner Platte auch?) und mir wieder eine etwas rosigere Gesichtsfarbe verliehen hat.
Seitdem habe ich ein recht genaues Auge auf meine Daten und deren Backups.
Hallo,
ich möchte Hardlinkbackup nutzen um Outlook PST Dateien zu sichern. Die sind verhältnismäßig groß, bei mir vier mal ca. 4 GB. Outlook sichert in den PSTs neben E-Mails auch Einstellungen zur Darstellung (Sortierung, angezeigte Informationen) der enthaltenen Daten. Die Größe der PST Dateien ändert sich nur mit Hinzufügen oder Entfernen von Elementen. Das Änderungsdatum wird jedoch bei Benutzung regelmäßig geändert, auch wenn keine neuen Elemente hineingeschoben werden.
Deshalb macht HLB immer ein volles Backup der PSTs, auch wenn keine weiteren Elemente hinzugekommen sind. Braucht Plattenplatz und vor allem Zeit.
Kannst Du vielleicht eine Option einbauen, mit der man pro Quellverzeichnis einstellen kann welche Kriterien (Dateigröße, Dateiänderung,…) zur Backup-Auswahl angewendet werden? Für die PSTs kann man das dann nur auf “Dateigröße” einstellen.
Noch was: ich sichere auf ein Netzlaufwerk welches ich nur für das Backup anmelde und nach dem Backup direkt wieder trenne. Das erfordert jetzt drei Schritte (Laufwerk anmelden, Backup starten, Laufwerk trennen). Kannst Du eine Funktion einbauen mit der man das automatisieren kann? Entweder aus der Applikation ein Netzlaufwerk anmelden und trennen oder Unterstützung für den Aufruf von Pre-Backup- und Post-Backup-Skripten?
Das wäre super!
Danke,
Bernd