Wyszukiwarka duplikatów plików — te same bajty oznaczają duplikat, bez względu na nazwę
Wyszukiwarka duplikatów plików
Wrzuć partię plików, a ta strona znajdzie te, których zawartość jest identyczna bajt po bajcie, w trzech przebiegach: filtr rozmiaru (pliki o różnym rozmiarze nigdy nie mogą być duplikatami), grupowanie SHA-256 pozostałych i na koniec pełne porównanie bajtów jako zabezpieczenie. Otrzymuje się każdy klaster duplikatów z marnowaną przestrzenią, pola wyboru dla kopii, które mają zostać usunięte, i listę kontrolną CSV do zabrania do menedżera plików. Dwa pliki o nazwie photo.jpg z różnymi bajtami nie są duplikatami; dwa pliki o różnych nazwach i tych samych bajtach są. Nic nie jest wysyłane.
1. Wybierz pliki
Upuść pliki tutaj, albo kliknij, aby je wybrać Do 50 plików, po 200 MB każdy. Pliki pozostają na tym komputerze.
Nie wybrano plików.
2. Skanowanie
3. Klastry duplikatów
Klastry identycznych plików pojawią się tutaj po skanowaniu. Pierwszy plik każdego klastra jest z góry oznaczony jako kopia do zachowania.
Strona w przeglądarce nie może usuwać plików użytkownika — i nie powinna. Eksportowana lista kontrolna (nazwa, rozmiar, SHA-256, identyfikator klastra), ma być zastosowana w Eksploratorze, Finderze lub wybranym menedżerze plików, gdzie usuwanie jest widoczne i można je cofnąć. Prywatność: całe skanowanie działa lokalnie; żaden plik ani skrót nie opuszcza tej karty.
Czym jest duplikat pliku?
Prawdziwy duplikat to plik, którego każdy bajt jest równy bajtom innego pliku. Nie „ta sama nazwa” (copy.jpg z dwóch aparatów to różne zdjęcia), nie „ten sam rozmiar” (milion plików ma po 1024 bajty), nie „wygląda tak samo” (ponownie zapisany JPEG to inny strumień bajtów). Liczy się tylko równość zawartości — dlatego skan jest odporny na przemianowane kopie, kopie z inną datą i pliki rozrzucone po różnych folderach.
Jak działają trzy przebiegi
Przebieg
Porównuje
Koszt
Dlaczego
1 — rozmiar
rozmiar pliku w bajtach
natychmiast (metadane)
różny rozmiar nigdy nie może być identyczny; zwykle eliminuje większość plików bez czytania
2 — SHA-256
skrót całej zawartości
jedno czytanie na ocalałego
ten sam skrót dla różnej zawartości jest obliczeniowo niewykonalny
3 — bajty
faktyczne bajty
jedno dodatkowe czytanie na parę
zabezpieczenie: dowodzi równości bez polegania na skrócie
Przedfiltr rozmiaru nie jest drobną optymalizacją — to on sprawia, że porównanie zawartości jest opłacalne. Folder z 5000 zdjęć może zawierać 50 klastrów, ale do etapu haszowania trafia tylko kilkaset plików.
Czego celowo nie robi
Brak prawie-duplikatów: to samo zdjęcie w dwóch rozdzielczościach albo dwóch poziomach jakości to różne bajty i nie jest oznaczane — ten problem wymaga percepcyjnego haszowania obrazów, to inne narzędzie. Brak usuwania: strona internetowa usuwająca pliki na dysku byłaby błędem bezpieczeństwa, a nie funkcją; zamiast tego otrzymuje się listę kontrolną. Brak chmury: nic nie jest wysyłane, co oznacza też, że nic nie może zostać przeskanowane bez odczytania plików użytkownika.
FAQ
Dlaczego pierwszy plik jest oznaczony jako „zachowaj”? — jakiś plik w klastrze musi przetrwać; pierwszy wg kolejności wyboru to deterministyczny, nudny wybór. Zmień dowolne pole wyboru przed eksportem listy kontrolnej. Co to „marnowana przestrzeń”? — rozmiar każdej kopii poza pierwszą w klastrze, zsumowany dla wszystkich klastrów: bajty, które można odzyskać, usuwając nadmiarowe kopie. Czy SHA-256 może się mylić? — nie w praktyce: kolizja wymagałaby celowo spreparowanej pary i dla SHA-256 nigdy nie wystąpiła. Trzeci przebieg usuwa nawet tę teoretyczną wątpliwość.
