Αναλυτής κειμένου

Ανάλυση κειμένου με λεπτομερή στατιστικά: καταμετρήσεις χαρακτήρων και λέξεων, κατανομές συχνοτήτων, στατιστικά γραμμών, πλήθος bytes UTF-8 και εντροπία Shannon. Η ανάλυση γίνεται αυτόματα καθώς πληκτρολογείται.
Όλη η επεξεργασία γίνεται τοπικά στο πρόγραμμα περιήγησης — τα δεδομένα δεν ανεβαίνουν ποτέ σε κανέναν διακομιστή.
Ανάλυση:
Αναλυτής κειμένου — Λήψη λεπτομερών στατιστικών για το κείμενο σε πραγματικό χρόνο.
Μετρικές: πλήθος χαρακτήρων (με και χωρίς κενά), πλήθος λέξεων, πλήθος γραμμών, πλήθος bytes (UTF-8), μεγαλύτερη/μικρότερη γραμμή, μέσο μήκος γραμμής, εντροπία Shannon σε bits για χαρακτήρες και λέξεις.
Πίνακες συχνότητας: οι 30 συχνότεροι χαρακτήρες (με ποσοστό) και οι 30 συχνότερες λέξεις.
Αυτόματη ανάλυση: τα στατιστικά ενημερώνονται αυτόματα καθώς πληκτρολογείται (με καθυστέρηση 400ms). Κλικ στο Εκτέλεση ανάλυσης για άμεση ανανέωση, ή στο Αντιγραφή στατιστικών για αντιγραφή όλων των στατιστικών ως κείμενο.
Όλη η επεξεργασία εκτελείται τοπικά στο πρόγραμμα περιήγησης — τίποτα δεν μεταφορτώνεται.
Τι λένε τα στατιστικά κειμένου;

Οι καταμετρήσεις περιγράφουν το σχήμα ενός κειμένου: χαρακτήρες (με και χωρίς κενά), λέξεις, γραμμές και bytes UTF-8 απαντούν κάθε φορά σε διαφορετική ερώτηση — το πλήθος bytes μετράει για το μέγεθος αρχείου και τα όρια API, ενώ το πλήθος λέξεων είναι αυτό με το οποίο χρεώνουν οι επιμελητές και οι μεταφραστές. Οι πίνακες συχνότητας αποκαλύπτουν επαναλήψεις, και η εντροπία Shannon συνοψίζει την ποικιλία σε έναν αριθμό: το άκρως επαναλαμβανόμενο κείμενο έχει χαμηλή εντροπία (bits ανά χαρακτήρα), το ποικίλο υψηλή.

Η καταμέτρηση λέξεων δεν είναι ουδέτερη ως προς τη γλώσσα: τα κινεζικά και ιαπωνικά κείμενα δεν έχουν κενά ανάμεσα στις λέξεις, οπότε η «καταμέτρηση λέξεων» για κείμενο CJK εξαρτάται εξ ολοκλήρου από τον τρόπο που το διασπά ο μετρητής — να συγκρίνονται μόνο καταμετρήσεις του ίδιου εργαλείου.