Εντοπισμός διπλών αρχείων — ίδια byte σημαίνει διπλότυπο, ό,τι κι αν λέει το όνομα
Εντοπισμός διπλοτύπων αρχείων
Με απόθεση μιας παρτίδας αρχείων, η σελίδα βρίσκει όσα έχουν περιεχόμενο πανομοιότυπο byte προς byte, σε τρία περάσματα: φίλτρο μεγέθους (αρχεία διαφορετικού μεγέθους δεν μπορούν ποτέ να είναι διπλότυπα), ομαδοποίηση των εναπομεινάντων κατά SHA-256 και τελική πλήρη σύγκριση byte ως ασφάλεια. Λαμβάνεται κάθε συστάδα διπλοτύπων με τον χώρο που σπαταλά, πλαίσια ελέγχου για τα αντίγραφα που θα διαγράφονταν και λίστα ελέγχου CSV για τον διαχειριστή αρχείων. Δύο αρχεία με όνομα photo.jpg και διαφορετικά byte δεν είναι διπλότυπα· δύο αρχεία με διαφορετικά ονόματα και τα ίδια byte είναι. Τίποτα δεν μεταφορτώνεται.
1. Επιλογή αρχείων
Απόθεση εδώ αρχείωνή κλικ για επιλογή τους Έως 50 αρχεία, 200 MB το καθένα. Τα αρχεία παραμένουν σε αυτόν τον υπολογιστή.
Δεν έχουν επιλεγεί αρχεία.
2. Σάρωση
3. Συστάδες διπλοτύπων
Οι συστάδες πανομοιότυπων αρχείων εμφανίζονται εδώ μετά τη σάρωση. Το πρώτο αρχείο κάθε συστάδας σημειώνεται εκ των προτέρων ως το αντίγραφο προς διατήρηση.
Μια σελίδα προγράμματος περιήγησης δεν μπορεί να διαγράψει τα αρχεία του χρήστη — και δεν πρέπει. Η λίστα ελέγχου που εξάγεται (όνομα, μέγεθος, SHA-256, αναγνωριστικό συστάδας) προορίζεται να εφαρμοστεί στον Εξερεύνηση, στο Finder ή στον διαχειριστή αρχείων της επιλογής, όπου οι διαγραφές είναι ορατές και αναστρέψιμες.
Απόρρητο: ολόκληρη η σάρωση εκτελείται τοπικά· κανένα αρχείο ή digest δεν φεύγει από αυτή την καρτέλα.
Τι είναι ένα διπλό αρχείο;
Ένα πραγματικό διπλότυπο είναι αρχείο του οποίου κάθε byte ισούται με τα byte άλλου αρχείου. Όχι — «ίδιο όνομα» (το copy.jpg από δύο κάμερες είναι διαφορετικές φωτογραφίες), όχι «ίδιο μέγεθος» (ένα εκατομμύριο αρχεία έχουν 1 024 byte), όχι «μοιάζει ίδιο» (ένα ξανααποθηκευμένο JPEG είναι διαφορετική ροή byte). Μετράει μόνο η ισότητα περιεχομένου — γι' αυτό η σάρωση δεν επηρεάζεται από μετονομασμένα αντίγραφα, αντίγραφα με άλλη ημερομηνία ή αρχεία διάσπαρτα σε διαφορετικούς φακέλους.
Πώς λειτουργούν τα τρία περάσματα
Πέρασμα
Συγκρίνει
Κόστος
Γιατί
1 — μέγεθος
μέγεθος αρχείου σε byte
άμεσο (μεταδεδομένα)
διαφορετικό μέγεθος δεν μπορεί ποτέ να είναι ταυτόσημο· συνήθως αποκλείει τα περισσότερα αρχεία χωρίς καμία ανάγνωση
2 — SHA-256
πλήρες αποτύπωμα περιεχομένου
μία ανάγνωση ανά εναπομείναν
το ίδιο digest για διαφορετικό περιεχόμενο είναι υπολογιστικά ανέφικτο
3 — byte
τα πραγματικά byte
μία επιπλέον ανάγνωση ανά ζεύγος
ασφάλεια: αποδεικνύει την ισότητα χωρίς να βασίζεται καθόλου στο hash
Το προπέρασμα μεγέθους δεν είναι κομψότητα βελτιστοποίησης — είναι αυτό που κάνει τη σύγκριση περιεχομένου οικονομικά εφικτή. Ένας φάκελος με 5 000 φωτογραφίες μπορεί να περιέχει 50 συστάδες, αλλά μόνο μερικές εκατοντάδες αρχεία φτάνουν ποτέ στο στάδιο του hashing.
Τι δεν κάνει σκόπιμα
Όχι σχεδόν-διπλότυπα: η ίδια φωτογραφία σε δύο αναλύσεις ή δύο επίπεδα ποιότητας είναι διαφορετικά byte και δεν επισημαίνεται — αυτό το πρόβλημα χρειάζεται αντιληπτικό hashing εικόνας, που είναι άλλο εργαλείο. Όχι διαγραφή: μια ιστοσελίδα που διαγράφει αρχεία στον δίσκο θα ήταν σφάλμα ασφαλείας, όχι λειτουργία· αντί γι' αυτό λαμβάνεται η λίστα ελέγχου. Όχι cloud: τίποτα δεν μεταφορτώνεται, πράγμα που σημαίνει επίσης ότι τίποτα δεν μπορεί να σαρωθεί χωρίς να διαβαστούν τα αρχεία.
Συχνές ερωτήσεις
Γιατί το πρώτο αρχείο σημειώνεται «κράτηση»; — κάποιο αρχείο της συστάδας πρέπει να επιβιώσει· το πρώτο κατά τη σειρά επιλογής είναι μια ντετερμινιστική, βαρετή επιλογή. Αλλάζει οποιοδήποτε τικ πριν από την εξαγωγή της λίστας ελέγχου. Τι είναι ο «χαμένος χώρος»; — το μέγεθος κάθε αντιγράφου πέρα από το πρώτο στη συστάδα του, αθροισμένο σε όλες τις συστάδες: τα byte που θα ανακτούνταν με τη διαγραφή των περισσότερων. Μπορεί το SHA-256 να είναι λάθος; — όχι στην πράξη: μια σύγκρουση θα απαιτούσε σκόπιμα κατασκευασμένο ζεύγος και δεν έχει ποτέ συμβεί για το SHA-256. Το τρίτο πέρασμα αφαιρεί ακόμη και αυτή τη θεωρητική αμφιβολία.
Αυτοέλεγχος
📁 Εργαλεία αρχείων
Τοπικά βοηθητικά εργαλεία αρχείων για το πρόγραμμα περιήγησης.
