Unicode Normalleştirici

Unicode bazı karakterleri birden fazla yolla yazmaya izin verir. é harfi tek bir kod noktası, U+00E9 olabilir ya da sıradan bir e ardından bir birleştirici akut aksan, U+0065 U+0301. İkisi ekranda aynı görünür, aynı basılır ve dizgi olarak farklıdırlar: farklı uzunlukları, farklı UTF-8 baytları vardır ve 'é' === 'é' false'tur.

Bu bir merak konusu değil, bir hata sınıfıdır. Birini mi yoksa diğerini mi aldığınız klavye düzenine, işletim sistemine, giriş yöntemine ve metnin bir kelime işlemciden kopyalanıp kopyalanmadığına bağlıdır. Bayt bayt karşılaştıran bir parola denetimi, bir veritabanı benzersiz dizini, bir engelleme listesi ya da bir önbellek anahtarı iki yazımı iki farklı değer olarak ele alır — böylece bir kullanıcı parolayı bir cihazda belirleyip diğerinden giriş yapamayabilir ve aynı sözcük "zaten alınmış" adlar listesinde iki kez görünebilir.

Bu bölünme, iki farklı amacın hizmet etmesinden gelir. Metni birleştirmek ve ayrıştırmak kanonik bir değişikliktir: sonuç aynı anlama gelir ve ilk iki biçim için hiçbir şey kaybolmaz. Ligatürleri, üst simgeleri, daire içine alınmış harfleri ve tam genişlikli biçimleri katlayarak yok etmek ise bir uyumluluk değişikliğidir: eşleştirme kolaylığı için yapılır ve Unicode'un farklı dediği iki dizgi arasındaki ayrımı gerçekten yok eder. Dört biçim, iki kararın her kombinasyonudur.

Yukarıdaki tablo, bu sayfanın veri dosyasındaki durum listesidir; platformun kendi String.prototype.normalize'ına karşı denetlenmiştir ve öz-test her satırını gözünüzün önünde yeniden denetler. İlk iki satırı birlikte okuyun: aynı metin, iki biçimde yazılmıştır ve normalleştirmeden sonra aynı dizgilerdir.

Bunlar Örnek düğmesinin adım adım geçtiği dizgilerdir; yanıt olarak yazılmış değil, sayfa tarafından canlı olarak normalleştirilmiştir. Her biri, bir biçimin ona görünür bir etkisi olduğu için seçilmiştir.

NFKC ve NFKD kayıplıdır ve kayıp kasıtlıdır. "Bu aynı sözcük mü" sorusunu yanıtlarlar, "bu aynı dizgi mi" sorusunu değil. Üç sonuç çıkar ve üçü de üretim kodunda yanlış yapılması kolay olanlardır:

• Bir parolayı, bir belirteci ya da bir imzayı asla uyumluluk biçiminde saklamayın. İki farklı girdi aynı depolanan değere çöker ve bu, bir uzunluk ya da karakter denetimini daha zayıf bir hale getirir. Parolaları NFC ile normalleştirin (ya da hiç normalleştirmeyin) ve her iki tarafta da tam olarak aynı şeyi yaptıktan sonra bayt olarak karşılaştırın.
• Uyumluluk katlaması tek bir karakteri birden fazlaya çevirebilir. fi ligatürü iki harfe dönüşen tek bir kod noktasıdır, bu yüzden normalleştirmeden önce uzunluğu doğrulanmış bir alan sonradan daha uzun olabilir. Önce normalleştirin, sonra doğrulayın, sonra depolayın.
• NFKC her görünmez şeyi kaldırmaz. Bir değişken seçici NFKC ve NFKD'den sağ çıkar; sıfır genişlikli birleştirici de öyle. Bu yüzden bu sayfada bir tarama kipi vardır: normalleştirme bir karakterin şekli ve kimliği hakkında bir soruyu yanıtlar, tarayıcı ise bir şeyin orada olup olmadığı hakkında bir soruyu yanıtlar.

Normalleştirme bu sayılardan ikincisini değiştirir ve genellikle birincisini olduğu gibi bırakır. Üç sayının hepsi "metnin uzunluğu" sayılır ve hepsi farklıdır; bu yüzden 20 karakter sınırı olan bir form alanı, 20 kod noktası, 30 UTF-16 birimi ve 47 bayt uzunluğundaki bir dizgiye ait olabilir.

Grafem sütunundaki sayı bir insanın saydığı şeydir. Onunla kod noktası sayısı arasındaki fark, tam olarak tarayıcının konusudur: 12 kod noktasından oluşan bir ad, 12 harf, aralarında 9 görünmez işaretle 3 harf ya da tek bir emoji olarak görüntülenebilir.

Sıfır genişlikli boşluk hiç genişlik kaplamaz, hiçbir glifi değiştirmez ve gerçek bir kod noktasına sahip gerçek bir karakterdir. Ekranda aynı görünen iki tanımlayıcı, bunlardan biriyle farklılaşabilir; listedeki bir ad, yanındaki addan farklı sıralanan, aranan ve kimlik doğrulaması yapılan bir sahte olabilir. Çift yönlü denetimler için de durum aynıdır: bir dizgiyi yazıldığı sıradan farklı bir sırada gösterebilirler — dosya adlarını gizlemek için kullanılmış bir numara.

Üçüncü kipteki tarayıcı bunların her birini konumuyla birlikte listeler: sıfır genişlikli ve birleştirici karakterler, çift yönlü denetimler, değişken seçiciler, olağandışı boşluklar, C0 ve C1 denetim karakterleri, özel kullanım kod noktaları ve geçerli bir çiftin yarısı olmayan bir vekil — bu hiç karakter değildir. Sayfanın yukarısındaki sınıf tablosu her sınıfın ne yaptığını söyler ve ayıklama düğmesi, girdinize dokunmadan bu karakterlerin bir kopyasını kaldırır.

• İki dizgiyi normalleştirmeden karşılaştırmak. 'é' === 'é' yanlıştır. Karşılaştırmadan önce ikisini aynı biçimle normalleştirin ve karşılaştırdığınız dizinde de aynı biçimi kullanın.
• Yalnızca bir tarafta normalleştirmek. Sorguyu normalleştirip saklanan değeri normalleştirmeyen bir arama hiçbir şey bulmaz ve bunu bir normalleştirme sorunundan çok bir veri sorunu gibi gösterir.
• Bir uyumluluk biçimiyle bir biçimi NFC-güvenli sanmak. Bir parolaya uygulanan NFKC, olası parolaların alanını daraltır ve farklı olması amaçlanan girdileri birleştirir.
• Bir normalleştirme biçiminin bir sahteciliği düzelteceğini varsaymak. Sıfır genişlikli birleştiriciyi, değişken seçiciyi ya da homoglifi kaldırmaz — Kiril а ile Latin a NFC'nin dokunmadığı farklı kod noktalarıdır.
• Karakter sayısına güvenmek. Kullanıcının gördüğü sayı, bir veritabanı sütununun uyguladığı sayı ve bir bayt sınırının uyguladığı sayı üç farklı sayıdır ve yukarıdaki satırlar bunların ne kadar uzak olabileceğini gösterir.
• NFC çıkacağını varsaymak. Bir giriş yönteminden, bir dosyadan ya da başka bir sistemden gelen metin, o sistemin ürettiği biçimdedir. Bu sayfa NFC ile başlar, çünkü web'in kullanmasının beklendiği biçim budur — girişinizin bu olduğu için değil.

“Aynı görünen iki dizgi neden eşit değil?”

Çünkü biri birleştirilmiş bir karakterle, diğeri ise bir temel harf artı birleştirici işaretle yazılmıştır ya da biri hiç bir şey çizmeyen bir karakter içerir. Karşılaştırma kipine geçin ve her kutuya bir dizgi koyun: sayfa normalleştirilmiş dizgilerin farklılaştığı ilk konumu ve her birinde o konumda ne olduğunu bildirir.

“Bir uygulamada hangi biçimi kullanmalıyım?”

İnsanın okuyacağı, görüntüleyeceği, depolayacağı ve arayacağı her şey için NFC — W3C'nin web için önerdiği biçim budur. NFD, arkanızdaki kodun temel harfler ve ayrı işaretler istediği durumda doğru yanıttır; metin işlemede ve macOS'taki bazı dosya sistemlerinde yaygındır. NFKC ya da NFKD'yi yalnızca depolamaktan çok eşleştirme yaptığınız yerde kullanın: arama dizinleri, anahtar kelime filtreleri, yinelenen tespiti.

“Zaten normalleştirilmiş bir dizgi, ona ekleme yaptıktan sonra hâlâ normalleştirilmiş mi?”

Mutlaka değil. Normalleştirme birleştirmeyle korunmaz: iki NFC dizgisini birleştirmek, NFC'nin farklı yazacağı bir dizi üretebilir, çünkü ikinci dizginin başındaki bir birleştirici işaret, birinci dizginin sonundaki karaktere eklenebilir. Yalnızca önce değil, birleştirmeden sonra da normalleştirin.

“Normalleştirme görünmez karakterleri kaldırır mı?”

Hayır, bir kısmi istisna dışında: NFKC ve NFKD kesilmeyen boşluğu sıradan bir boşlukla değiştirir; bu, bir uyumluluk katlamasının görünür bir sonucudur. Diğer her şey — sıfır genişlikli boşluklar, birleştiriciler, çift yönlü denetimler, değişken seçiciler — dört biçimden de değişmeden geçer. Üçüncü kip tam olarak bunun için vardır.

“Karakter sayısı değişmezken bayt sayısı neden değişiyor?”

Çünkü iki biçim, UTF-8'de farklı sayıda bayta mal olan farklı kod noktalarından oluşur. Önceden birleştirilmiş bir é iki bayttır; ayrıştırılmış çift ise üç bayttır. Yukarıdaki sayılar tablosu girdi ve her biçim için dört sayıyı yan yana yazdırır, böylece fark anlatılmak yerine görünür olur.

“Bu sayfadaki sonuçların doğru olduğunu nereden bileceğim?”

Öz-test'e basın. Bu sayfanın veri dosyasındaki her durumu normalleştirir, dört biçimi belgelenmiş ilişkiler için birbirine karşı yeniden denetler (NFC idempotenttir, bir NFC dizgisinin NFD'si orijinalin NFD'siyle aynıdır, vb.), görünmez ve kontrol tablolarında adı geçen her karakteri tarayıcıdan geçirir ve grafem durumlarını Intl.Segmenter ile karşılaştırır.

Dört biçim ve tanımları Unicode Standardı, Ek 15'ten (Unicode Normalleştirme Biçimleri) alınmıştır. Ayrıştırma örneği olarak kullanılan kod noktaları standardın atadığı noktalardır; bu sayfa ayrıştırma tablolarını kendisi uygulamaz — tarayıcının kendi String.prototype.normalize fonksiyonunu çağırır, bu da platformun metin girişi, sıralama ve karşılaştırma için kullandığı aynı uygulamadır; dolayısıyla burada bildirilen şey, sistemin geri kalanının aynı dizgiyle ne yaptığıdır. Grafem kümeleri, tarayıcının sahip olduğu yerde Intl.Segmenter'dan, olmadığı yerde ise belgelenmiş bir yaklaşımdan gelir.

Sayfa metni bu site için yazılmıştır. Bu sayfadaki her çalışılmış örnek, sayfanın kendi kodu tarafından üretilmiş ve sonra veri dosyasının kayıtlı durum listesine karşı denetlenmiştir; bu liste de aynı karakterler için Unicode NormalizationTest verisine karşı denetlenmiştir. Görünmez ve tehlikeli karakter tabloları, insanlar tarafından okunabilir uyarılar için yazılmış, seçilmiş bir alt kümedir, tam Unicode güvenlik profili (UTS #39) değildir; sayfa bunu, sahip olmadığı bir tamlığı ima etmek yerine açıkça söyler.