Hľadač duplicitných súborov — rovnaké bajty znamenajú duplicitu, bez ohľadu na názov
Hľadač duplicitných súborov
Vloží sa dávka súborov a táto stránka nájde tie, ktorých obsah je zhodný bajt po bajte,
v troch krokoch: filter veľkosti (súbory s rôznou veľkosťou nemôžu byť nikdy duplicitné), zoskupenie preživších súborov podľa SHA-256 a na záver úplné porovnanie bajtov ako poistka.
Dostane sa každý zhluk duplicít s miestom, ktoré plytvá, začiarkavacie políčka pre kópie, ktoré by sa mazali, a kontrolný zoznam CSV na použitie v správcovi súborov. Dva súbory s názvom
photo.jpg s rôznymi bajtmi nie sú duplicitné; dva súbory s rôznymi názvami a rovnakými bajtmi sú. Nič sa nenahráva.
1. Výber súborov
Súbory sa sem presunúalebo kliknutím sa vyberú Najviac 50 súborov, 200 MB každý. Súbory zostávajú na tomto počítači.
Nie sú vybrané žiadne súbory.
2. Sken
3. Zhluky duplicít
Po skene sa tu zobrazia zhluky zhodných súborov. Prvý súbor každého zhluku je vopred označený ako kópia na ponechanie.
Prehliadač nemôže mazať súbory — a nemá. Exportovaný kontrolný zoznam (názov, veľkosť, SHA-256, id zhluku) sa má uplatniť v Prieskumníkovi, vo Finderi alebo v správcovi súborov, kde sú mazania viditeľné a dajú sa vrátiť.
Súkromie: celý sken prebieha lokálne; žiadny súbor ani odtlačok neopúšťa túto kartu.
Čo je duplicitný súbor?
Skutočný duplikát je súbor, ktorého každý bajt sa zhoduje s bajtmi iného súboru. Nie „rovnaký názov“ (copy.jpg z dvoch fotoaparátov sú rozdielne fotky), nie „rovnaká veľkosť“ (milión súborov má 1 024 bajtov), nie „vyzerá rovnako“ (znovu uložený JPEG je iný prúd bajtov). Počíta sa iba rovnosť obsahu — preto je aj sken imúnny voči premenovaným kópiám, kópiám s novým dátumom a súborom rozptýleným v rôznych priečinkoch.
Ako fungujú tri kroky
Krok
Porovnáva
Náklad
Prečo
1 — veľkosť
veľkosť súboru v bajtoch
hneď (metadáta)
rôzna veľkosť nemôže byť nikdy zhodná; zvyčajne vylúči väčšinu súborov bez čítania
2 — SHA-256
odtlačok celého obsahu
jedno čítanie na preživší súbor
rovnaký odtlačok pre rôzny obsah je výpočtovo nerealizovateľný
3 — bajty
skutočné bajty
jedno ďalšie čítanie na dvojicu
poistka: dokazuje rovnosť bez spoliehania sa na hash
Predbežný prechod podľa veľkosti nie je len optimalizácia — práve on robí porovnanie obsahu finančne únosným. Priečinok 5 000 fotiek môže obsahovať 50 zhlukov, ale do fázy hashovania sa dostane iba niekoľko stoviek súborov.
Čo tento nástroj zámerne nerobí
Žiadne takmer-duplicity: ta istá fotka v dvoch rozlíšeniach alebo dvoch kvalitách má rôzne bajty a nie je označená — tento problém vyžaduje percepčné hashovanie obrazu, čo je iný nástroj. Žiadne mazanie: webová stránka, ktorá by mazala súbory na disku, by bola bezpečnostná chyba, nie funkcia; namiesto toho sa získava kontrolný zoznam. Žiadny cloud: nič sa nenahráva, čo tiež znamená, že nič nemožno preskenovať bez čítania súborov.
Časté otázky
Prečo je prvý súbor označený „ponechať“? — niektorý súbor v zhluku musí zostať; prvý podľa poradia výberu je deterministická, nudná voľba. Pred exportom kontrolného zoznamu sa dá zmeniť ktorékoľvek políčko. Čo je „plytvané miesto“? — veľkosť každej kópie nad prvú v jej zhluku, sčítaná cez všetky zhluky: bajty, ktoré by sa získali odstránením prebytočných kópií. Môže byť SHA-256 nesprávny? — v praxi nie: kolízia by vyžadovala cielene vytvorenú dvojicu a pri SHA-256 sa nikdy nevyskytla. Krok 3 odstraňuje aj tú teoretickú pochybnosť.
