Версия · частоты · конкорданс · стилометрия
Текст А — поле вверху. Текст Б — необязательно, для сравнения.
Что считается словом. Слово — это буквы подряд, любого алфавита. Внутри слова может стоять дефис: по-моему — одно слово.
Что не считается. Цифры и знаки препинания словами не считаются: из 2004-м остаётся только м. Апостроф режет слово надвое: didn't → didn и t. Сокращение т. е. даёт два слова: т и е.
Дефисом считается только обычный знак - с клавиатуры. Неразрывный дефис (в Word — Ctrl+Shift+-) и другие похожие на дефис знаки выглядят так же, но слово разрезают: по‑моему с неразрывным дефисом — два слова.
Как записано правило. Регулярным выражением /\p{L}+(?:-\p{L}+)*/gu. Здесь \p{L}+ — одна или больше букв, (?:-\p{L}+)* — дальше ноль или больше раз «дефис + буквы». Как re.findall в Python, верстак собирает из текста все куски, подходящие под это правило.
Большие и маленькие буквы не различаются: Реферат и реферат — одно слово. В списке слова показаны маленькими буквами.
Формы слова не склеиваются: реферат, реферата, рефератом — три разные словоформы. Начальную форму слова (лемму) верстак не находит.
Числа над таблицей считаются по всему тексту, даже когда стоп-слова убраны. Словоупотреблений — все слова текста. Разных словоформ — сколько разных слов. Доля разных (TTR) — второе число, делённое на первое.
Порядок в списке: сначала самые частые; при равной частоте — в том порядке, в каком слова впервые встретились в тексте. Ранг — номер строки, поэтому у слов с одинаковой частотой ранги разные. «Ранг × частота» нужен для проверки закона Ципфа: у частых слов это произведение примерно постоянно.
«Убрать стоп-слова» убирает из таблицы слова из «Списка стоп-слов» и заново нумерует строки. Список можно править: слова в нём читаются по тому же правилу слова.
Что ищет. Слово целиком, по тому же правилу слова, что в «Частотах». Регистр не важен: реферат находит Реферат, но не реферата. В таблице слово показано так, как оно написано в тексте.
Слово с дефисом — одно слово: по запросу моему верстак не найдёт по-моему. Искать можно только одно слово: запрос из двух слов ничего не найдёт.
«Как начало слова» находит все слова, которые начинаются с запроса: реферат → Реферат, рефераты, реферата. Так удобно собрать формы одного слова, но в список попадут и другие слова с тем же началом: лис найдёт и лиса, и лист.
Контекст — сколько знаков показать слева и справа от слова, вместе с пробелами и знаками препинания. Контекст режется по знакам, а не по словам, поэтому крайнее слово может оказаться обрезанным: при контексте 5 из Абвгдежзий реферат слева останется жзий.
Текст А и Текст Б. Текст А — из общего поля вверху. Текст Б — необязательный, для сравнения: пока его поле пустое, второго столбца нет.
Предложение заканчивается точкой, !, ? или …, после которых идёт пробел или перенос строки. Отсюда ошибки машины:
т. е. и 2004 г. она принимает за конец предложения;«Привет!» Она ушла. после ! стоит кавычка, а не пробел, — предложение не разрезается;Раз.Два. после первой точки нет пробела — тоже не разрезается;Предложений — сколько кусков получилось. Кусок без букв (например, 2004.) тоже считается предложением, но в среднюю длину и разброс не входит.
Средняя длина предложения — сколько слов в предложении в среднем. Разброс показывает, насколько длины предложений обычно отличаются от средней (стандартное отклонение, в Python — statistics.pstdev). Если все предложения одной длины, разброс 0. Два предложения из 1 и 3 слов: средняя длина 2, разброс 1.
Доля разных слов (весь текст) — разные словоформы, делённые на все слова (TTR, как в «Частотах»). Чем длиннее текст, тем она ниже: частые слова повторяются. Поэтому есть доля на первых 100 словах — по ней можно сравнивать тексты разной длины, если в каждом не меньше 100 слов. В тексте короче 100 слов обе доли совпадают. Русский и английский тексты так сравнивать нельзя: в русском у слова больше форм.
Доля стоп-слов — сколько слов текста входят в «Список стоп-слов» из «Частот», делённое на все слова. Галочка «убрать стоп-слова» на эту долю не влияет, а правка списка — влияет.
Средняя длина слова — сколько знаков в слове в среднем. Дефис тоже считается знаком: в по-моему 8 знаков.
Клише ищутся как точный кусок текста, без учёта регистра. Список можно править, по одному клише на строку. Поэтому:
в целом, оно найдётся в в целомудрии;in today’s world с типографским апострофом не совпадёт с in today's world из списка.Для каждой длины — сколько в тексте слов такой длины, от коротких к длинным. Слова выделяются по правилу из «Частот», повторы считаются: если и встретилось 5 раз, это 5 слов длины 1.
Длина считается в знаках, дефис тоже знак: по-моему — 8.
Такое распределение называют кривой Менденхолла: в 1887 году американский физик Т. К. Менденхолл предложил сравнивать по нему тексты разных авторов.