PDF-OCR ja tunnistus — skannauksesta haettavaksi PDF:ksi, tekstin ja taulukon poiminta
PDF-OCR ja tunnistus
OCR-PDF:t verkossa ilmaiseksi — muunna skannatut PDF:t haettaviksi, poimi teksti OCR:llä, luo haettavia PDF:iä kuvista. Kaikki toimii selaimessa. Lisäksi: PDF-muokkain | Suojaus | Pakkaus | Apuvälineet.
Suorituskykyhuomautus: OCR lataa noin 12 MB kielidataa ensimmäisellä käyttökerralla. Käsittely on suoritinintensiivistä ja tapahtuu kokonaan selaimessa. Suurilla asiakirjoilla (>10 sivua) käsittelyyn kuluu useita minuutteja. Tulokset riippuvat skannauksen laadusta ja kielestä.
0%
0%
0%
0%
Skannaus→haettava: Renderöi jokaisen PDF-sivun kuvaksi, suorittaa OCR:n tekstin tunnistamiseksi ja luo sitten uuden PDF:n, jossa on näkymätön tekstikerros sivukuvan päällä. Tuloksena oleva PDF on haettava ja tekstiä voi valita.
Kuva→PDF: Ottaa yhden tai useamman kuvan, suorittaa OCR:n jokaiselle ja luo PDF:n, jossa jokainen kuva on sivu ja tunnistettu teksti näkymättömänä päällekkäiskerroksena. Sopii erinomaisesti asiakirjojen valokuviin.
OCR-teksti: Hyväksyy PDF- tai kuvatiedoston. PDF-tiedostojen osalta jokainen sivu renderöidään kuvaksi ja siihen ajetaan OCR. Näyttää tunnistetun tekstin, joka voidaan kopioida. Paras vaihtoehto skannattujen asiakirjojen tekstin poimintaan.
Taulukon poiminta: Renderöi PDF-sivun kuvaksi, suorittaa siihen OCR:n ja yrittää tunnistaa taulukkorakenteet tekstin sijainneista. Tulokset ovat likimääräisiä — monimutkaisia taulukoita ei välttämättä rakenneta täysin oikein. Tarkkoihin taulukoihin käytä erillisiä poimintatyökaluja.
Mikä on OCR?
Skannattu PDF on pohjimmiltaan valokuva sivusta: tietokoneelle se on pikselihila, eikä mikään siinä ole tekstiä. OCR (optinen merkkien tunnistus) on tekniikka, joka tarkastelee näitä pikseleitä ja selvittää, mitä merkkejä ne kuvaavat. Tuloksena voi olla kopioitava pelkkä teksti (OCR-teksti-tila) tai sivukuvan päälle sijoitettu näkymätön tekstikerros (Skannaus→haettava- ja Kuva→PDF-tilat), ja juuri tämä tekee skannatusta asiakirjasta haettavan missä tahansa PDF-katselimessa.
Yhden rivin versio: OCR arvaa tekstin mustan musteen muodoista. Kyse on tunnistamisesta, ei lukemisesta — tulos on paras arvaus luottamuspisteytyksen kanssa, ei se perustotuus, jonka alkuperäisesti digitaalisesti luotu PDF sisältää.
OCR-käsittelyketju
Jokainen OCR-moottori noudattaa suunnilleen samoja vaiheita. Ensin sivu renderöidään kuvaksi (PDF:ssä jokainen sivu rasteroidaan). Seuraavaksi tehdään binarisointi: pikselit luokitellaan musteeksi tai paperiksi, jolloin moottori työskentelee mustavalkoisten muotojen kanssa. Muodot segmentoidaan sitten riveiksi, sanoiksi ja yksittäisiksi merkeiksi. Lopuksi jokainen ehdokas luokitellaan — nykyaikaiset moottorit käyttävät koulutettuja neuroverkkoja, jotka tarkastelevat koko tekstirivejä yksittäisten kirjainten sijaan. Siksi ne käsittelevät epätarkkaa tai hieman vinoa syötettä paljon paremmin kuin vanhemmat yksittäisen merkin vertailijat. Myös kieli on tärkeä: moottori käyttää kielikohtaisia sanastoja ja merkistöjä, minkä vuoksi edellä olevasta valitsimesta valittu oikea kieli parantaa tarkkuutta.
Näkymätön tekstikerros
”Haettava PDF” koostuu kahdesta päällekkäisestä osasta: alkuperäisestä sivukuvasta, joka näkyy, ja näkymättömästä tekstikerroksesta sivun taustalla. Tekstiä valittaessa katseluohjelmassa valitaan todellisuudessa tämä piilotettu kerros. Näkyvää skannausta ei muuteta — kuva on koskematon, joten laatu ja ulkonäkö eivät muutu. Kopioinnin ja haun tarkkuus on kuitenkin vain niin hyvä kuin taustalla oleva OCR-ajo. Jos sana on tunnistettu väärin, oikealla oikeinkirjoituksella haku ei löydä sitä, koska piilotettu kerros sisältää virheen.
Miksi DPI ratkaisee kaiken
Tunnistustarkkuus riippuu siitä, kuinka monta pikseliä kukin merkki saa. PDF-sivut on asetettu pisteinä (72 tuumaa kohti), mutta 10 pt:n merkki, joka renderöidään alhaisella resoluutiolla, supistuu muutamaan pikseliin — 150 DPI:llä 10 pt:n merkki on vain noin 21 pikseliä korkea ja 300 DPI:llä noin 42 pikseliä. Alle noin 20 pikselin kohdalla päätteet tukkeutuvat, kirjaimet sulautuvat toisiinsa ja tarkkuus laskee jyrkästi. Tästä syystä pitkäaikainen skannausohje on 300 DPI OCR:lle: se antaa kullekin pienelle merkille riittävästi pikselitason tietoa ilman tiedostokoon turhaa kasvua. Tätä paljon korkeammasta resoluutiosta on harvoin hyötyä tunnistukselle — se lähinnä kasvattaa skannausta ja hidastaa OCR:ää.
Missä OCR ei ole hyvä
Käsin kirjoitettu teksti, koristeelliset näyttöfontit ja tekstit kiireisillä taustoilla ovat yhä heikkoja kohtia. Taulukot ovat erityistapaus: OCR näkee merkit ja niiden sijainnit, mutta ei todellisuudessa ymmärrä rivejä ja sarakkeita — taulukon poiminnan tila päättelee rakenteen tasauksesta, minkä vuoksi monimutkaiset taulukot tulevat likimääräisinä. Jos PDF sisältää jo todellista tekstiä (se on viety Wordista, ei skannattu), OCR:ää ei tarvita lainkaan: teksti voidaan poimia suoraan ja tarkemmin PDF-vientityökaluilla.
Yleisiä väärinkäsityksiä
”Haettava PDF on aivan kuin Wordista luotu PDF.” Ei ole — tekstikerros on pelkkää tunnistettua tekstiä. Kappaleen kopiointi voi menettää asettelun, ja kaikki tunnistusvirheet on upotettu piilotettuun kerrokseen.
”OCR palauttaa alkuperäisen tekstin.” Se rakentaa siitä parhaan arvauksen. 99 %:n tarkkuuden sivulla on silti noin yksi virheellinen merkki sadasta — hakuun riittää, mutta oikeudellinen tai numeerinen sisältö on riskialtista.
”Enemmän DPI:tä on aina parempi.” Noin 400–600 DPI:n jälkeen tarkkuuden parannus on mitätön, kun tiedostokoko ja käsittelyaika kasvavat. 300 DPI on tyypillisille asiakirjoille sopiva kompromissi.
”Puhelinkuvat toimivat yhtä hyvin kuin skannaukset.” Vinous kuvaus, epätasainen valaistus ja kameran tärinä heikentävät kaikki tarkkuutta. Kuvaa sivu tasaisena, suoraan edestä ja hyvin valaistuna — tai käytä tärkeissä asiakirjoissa oikeaa skanneria.
