Анализатор текста — статистика символов, слов и строк с таблицами частот
Анализатор текста
Проанализируйте текст с подробной статистикой: количество символов и слов, распределение частот, статистику строк, число байт UTF-8 и энтропию Шеннона. Анализ обновляется при вводе. Вся обработка выполняется локально в вашем браузере — ваши данные никогда не загружаются ни на один сервер.
Ввод
Анализ:
Анализатор текста — получайте подробную статистику по вашему тексту в реальном времени. Показатели: количество символов (с пробелами и без), количество слов, количество строк, количество байт (UTF-8), самая длинная и самая короткая строки, средняя длина строки, энтропия Шеннона в битах для символов и слов. Таблицы частот: 30 самых частых символов (с процентом) и 30 самых частых слов. Автоанализ: статистика обновляется при вводе (с задержкой 400 мс). Нажмите Запустить анализ для немедленного обновления или Копировать статистику, чтобы скопировать всю статистику как текст. Вся обработка выполняется локально в вашем браузере — ничего не загружается.
Что говорит статистика текста?
Счётчики описывают форму текста: символы (с пробелами и без), слова, строки и байты UTF-8 отвечают на разные вопросы — число байт важно для размера файла и лимитов API, а количество слов — то, за что редакторы и переводчики получают оплату. Таблицы частот выявляют повторы, а энтропия Шеннона сводит разнообразие к одному числу: сильно повторяющийся текст имеет низкую энтропию (биты на символ), разнообразный текст — высокую.
Подсчёт слов не универсален для языков: в китайском и японском тексте нет пробелов между словами, поэтому «количество слов» для CJK-текста полностью зависит от того, как счётчик разбивает текст на токены — сравнивайте только числа, полученные одним и тем же инструментом.