DedupeCopy

DedupeCopy is een eenvoudige multi-threaded file copy tool ontworpen voor het versterken en meer structuur uitgestrekte bestandssystemen.
De meest voorkomende use case is voor de back-up van gegevens in een nieuwe lay-out, het negeren van dubbele bestanden.
Andere toepassingen zijn:
& Nbsp; 1. Het krijgen van een CSV-bestand waarin alle dubbele bestanden
& Nbsp; 2. Het vergelijken van verschillende bestandssystemen
& Nbsp; 3. Herstructurering van bestaande sets van bestanden in verschillende lay-outs (zoals naargelang hun uitbreiding of laatste wijziging tijd)
Deze tool is * NIET * een Robocopy of rsync vervanging en probeert niet om de rol die het spel in te vullen.
Zoals met alle code die een bestand boom loopt, gebruik dan met de nodige voorzichtigheid en verwachten absoluut geen garantie!
Commando voorbeelden:
& Nbsp; Genereer een dubbel rapport bestand voor een pad:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r dupes.csv -m manifest
& Nbsp; Kopieer alle * .jpg-bestanden van meerdere paden naar een /YYYY_MM/*.jpg structuur
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: foto's -p D: foto's -e jpg -R jpg: mtime -c X: foto's
& Nbsp; Kopieer alle bestanden van de twee schijven naar een enkel doel, het behoud van het pad voor
& Nbsp; alle extensies:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: -p D: -c X: -m X: manifest -R *: no_change
& Nbsp; Hervatten van een onderbroken run (in de veronderstelling "-m manifest" gebruikt in eerdere run):
& Nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r dupes_2.csv -i manifest -m manifest
Opeenvolgend kopiëren verschillende bronnen in dezelfde doelgroep, niet kopiëren van dubbele bestanden (2 bronnen en 1 doel):
& Nbsp; & nbsp; & nbsp; 1.) De eerste plaat manifesteert voor alle apparaten
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ doelwit share -m target_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ Source1 share -m source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source2 share -m source2_manifest
& Nbsp; & nbsp; & nbsp; 2.) Kopieer elke bron naar het doel (met vermelding --compare zo manifesteert uit
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; andere bronnen worden geladen, maar niet als onderdeel van de set te kopiëren en
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --no-wandeling naar re-scan van de bron overslaan):
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ Source1 share -c \ doelwit share -i source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source2_manifest --compare target_manifest & nbsp; --no-wandeling
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source2 share -c \ doelwit share -i source2_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source1_manifest --compare target_manifest --no-wandeling
Compleet voorbeeld:
& Nbsp; & nbsp; & nbsp;
& Nbsp; & nbsp; & nbsp; Ervan uitgaande dat je begint met een set als volgt ingedeeld bestanden:
& Nbsp; & nbsp; & nbsp; C:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; foto's
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; some_photos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; D:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; foto's
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; copied_photo
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
& Nbsp; & nbsp; & nbsp; En je de opdracht uit te voeren:
& Nbsp; & nbsp; & nbsp; > Dedupe_copy.py -p C: foto's -p D: foto's -e jpg -R jpg: mtime -c X: foto's
Je zou eindigen met het volgende (photo3.jpg was een ware duplicaat):
& Nbsp; & nbsp; & nbsp; X:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; foto's
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_08
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_09
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
Dit project is op BitBucket: http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

• Python