Что такое ИИ-детектор текста: 10 признаков на корпусе из 3900 текстов и почему один порог не работает

Вы вставляете статью в сервис, он отвечает «87% ИИ», и дальше с этим числом пересдают работу, отказываются от подрядчика, переписывают блог. ИИ-детектор текста — это программа, которая оценивает, насколько вероятно, что текст написала нейросеть. Откуда берётся её число, почти никто не знает. Я проверил десять признаков, на которых строят «счётные» детекторы, на корпусе из 3902 русских текстов про SEO. Ниже они идут по порядку, с примерами из корпуса, а в конце видно, где одно число перестаёт переноситься с корпуса на корпус.

Коротко

• Детектор отвечает на вопрос «насколько этот текст похож на те, с которыми меня сравнивают», а кто его написал, он не видит. Сравнивает он либо с коллекцией, на которой его обучили, либо с тем, что считает обычным нейросеть-читатель. Если ваш сайт, автор и тема не похожи на эту коллекцию, число отвечает на другой вопрос.
• Самый известный показатель, перплексия (по-простому, «насколько текст предсказуем для нейросети»), на наших текстах чаще показывал наоборот. Человеческие SEO-тексты оказались предсказуемее машинных.
• Основное сравнение идёт на 468 человеческих и 80 машинных текстах от четырёх нейросетей (весь корпус больше, 3902 текста). Из десяти признаков одинаково, на четырёх разных нейросетях-читателях, различают людей и машин три, плюс четвёртый, который я добавил после просмотра данных. Остальные шесть то работают, то нет.
• «Различают» здесь значит «различают эти две выборки», а не «определяют автора»: людей и машины я собирал по-разному, и разница в сборе могла дать часть эффекта.
• Даже рабочие признаки сильно плавают от сайта к сайту, и диапазоны людей и нейросетей пересекаются.
• Поэтому детектор нужно настраивать на своих текстах. Порядок действий в конце.

Вывод «все детекторы врут» я не делаю, потому что ни один из названных в статье коммерческих сервисов я не тестировал. Я показываю, что признаки, на которых держится идея детектора, зависят от корпуса.

Как работает ИИ-детектор и кто им пользуется

Результат такого сервиса бывает вероятностью машинного авторства или долей фрагментов, которые он счёл машинными. «80% ИИ» может значить любое из двух, и сервисы не всегда поясняют, какое именно. Антиплагиат ищет совпадения с чужими текстами, а ИИ-детектор оценивает стиль, поэтому полностью уникальный текст может получить высокий процент ИИ. Проверяют так студенческие работы, тексты подрядчиков, комментарии и отзывы.

Сервисов много: GPTZero, Copyleaks, Originality.ai, Антиплагиат, Text.ru, ReText.AI, GigaCheck. Многие публикуют свою точность. В справке GigaCheck (Сбер, страница про определение ИИ-текста) названа точность 94,7%. Антиплагиат на странице проверки текстов на ИИ пишет, что доля ошибок, то есть текстов, отнесённых не в ту группу, у него не выше 1%.

Точность 94,7% (GigaCheck) и ошибки не выше 1% (Антиплагиат) — цифры самих сервисов на их тестовых наборах. На вашем сайте, с вашим автором и вашей темой их можно узнать только проверкой на ваших текстах.

Что внутри ИИ-детектора

Детекторы устроены по-разному, и самый простой вариант — искать шаблоны. Антиплагиат на странице проверки на ИИ называет признаками машинного текста ровную длину предложений, типовые заголовки («Что это такое», «Преимущества», «Заключение»), частые связки вроде «таким образом» и «важно отметить», общие рассуждения, а Сбер в справке по определению ИИ-текста тоже пишет про шаблонные фразы, одинаковую структуру предложений и отсутствие конкретных деталей.

Счётчик «угадываемости». Нейросеть читает текст и в каждом месте гадает, какое слово будет дальше. Если почти всё угадано, текст считают машинным, ведь нейросеть пишет самые вероятные слова. Так начинали. В справке GPTZero написано, что до осени 2023 года среди его признаков были перплексия (средняя непредсказуемость) и «взрывчатость» (burstiness, по-русски неравномерность, то есть насколько она меняется по тексту).

Обученная модель. Ей показывают огромное число людских и машинных текстов, и она сама находит различия. GPTZero сообщает, что с осени 2023 года перешёл на глубокую нейросеть, обученную на примерах. Copyleaks описывает набор шаблонов (частоты фраз, части речи, слоги, дефисы и многое другое), обученный на текстах, накопленных за много лет.

Во всех случаях решает коллекция, на которой систему настроили или с которой она сравнивает. Copyleaks в своих ответах на вопросы пишет, что точность по языкам разная и лучше всего на английском, и советует проверить сервис на вашем типе контента. GPTZero в техническом отчёте признаёт, что обученные детекторы склонны выучивать смещения в данных, например оформление текста. Зависят ли сами признаки от коллекции, я проверил для русского языка. Есть и более новые детекторы без обучения (DetectGPT, Fast-DetectGPT, Binoculars), они устроены иначе, и их я не проверял. Справки Сбера, Антиплагиата, GPTZero и Copyleaks я читал 27 октября 2026 года.

Какие ошибки бывают

• Ложное срабатывание. Человека назвали машиной. Сухой шаблонный текст нейросети угадывать легко, поэтому детектор по среднему баллу может принять его за машинный. На трёх читателях из четырёх средний балл у людей был чаще ниже, чем у машин (см. первый признак), то есть по этому признаку детектор ошибался бы именно на людях. Долю таких ошибок я не измерял.

Для английского это измерено на сочинениях людей, для которых язык не родной. В работе Liang и соавторов (Patterns, 2023) семь популярных детекторов в среднем назвали машинными около 61% таких сочинений. Для русского я этого не измерял.

• Пропуск машины. Машинный текст принят за человеческий. В корпусе есть 16 правленых человеком черновиков, все от одного автора из одного блога. На Qwen2.5 их перекос почти как у машинных текстов, на YandexGPT-5-Lite группы полностью перекрываются, и вывода о смешанном авторстве из этого делать нельзя.
• Смешанный текст. Одно число на весь текст не говорит, кто что написал.
• Короткий текст. Его детектор оценивает хуже. Сбер в описании метода проверки ставит нижнюю границу в 20 слов, Text.ru в 100 знаков. Я считал признаки только на текстах от 100 слов, а на меньших ничего не измерял.

Ошибки связаны порогом, и сервис, который строже ловит машину, чаще обвиняет людей. Поэтому честная точность состоит из двух цифр, доли пойманных машин и доли обвинённых людей, а не из одного «94%».

Как нейросеть «читает» текст

Нейросеть читает слово за словом. Перед каждым словом она гадает, какое будет, и после этого получает «балл неожиданности». Слово угадано, балл около нуля. Слово из ряда вон, балл 8 или 15. В среднем у нормального текста выходит 3–5. Ниже отрывок машинного текста из нашего корпуса, каждое слово с баллом в скобках.

и (2,8) именно (3,0) её (1,5) чаще (5,0) всего (0,0) понимают (6,7) неправильно (2,9) Разница (8,9) принципиальная (7,6) Если (2,6) вы (1,4) закрыли (7,7)

«Всего» после «чаще» нейросеть угадала почти наверняка (балл 0,0), а «понимают» удивило её сильно (6,7). Если выписать баллы всех слов подряд, получится «кардиограмма» текста (Рис. 1). Все десять признаков описывают эту кардиограмму, то есть средний уровень, размах прыжков и частоту ярких вспышек.

Рис. 1. Те же 12 слов из примера выше. Оранжевым выделены слова с баллом строго выше 5.

Перплексия — это тот же средний балл в другой шкале, поэтому я называю её «средним баллом». Детектор сравнивает его с порогом. Балл зависит от того, какая нейросеть читает, поэтому я брал четырёх разных читателей. Это ruGPT-3 (русская модель 2020 года), Qwen2.5 (китайская, многоязычная), YandexGPT-5-Lite и RWKV-4-World (устроена иначе, чем остальные). Дальше они всегда идут в таком порядке. Если признак ведёт себя одинаково у всех четырёх, ему можно доверять сильнее. Если у одного читателя «человек выше», а у другого «машина выше», признак отражает читателя, а не текст.

Наш корпус и как читать таблицы

Состав корпуса. Для основного сравнения взята выровненная выборка из 468 человеческих и 80 машинных текстов.

Для сравнения я брал не больше 20 текстов с одной «метки источника» (так в таблице корпуса записан сайт или нейросеть-автор), иначе один сайт с сотнями текстов задавал бы результат. Получилась выборка из 468 человеческих текстов против 80 машинных. Один сайт иногда записан под двумя названиями, поэтому ограничение сработало не везде; после исправления выводы остаются теми же. Все средние в статье даны по этой выборке и по нейросети-читателю ruGPT-3.

Как читать «шанс угадать в паре». Берём наугад один человеческий и один машинный текст и смотрим, у какого значение признака больше. Если у человеческого больше в 80 парах из 100, шанс равен 80. 50 означает монетку. Если меньше 50, признак чаще больше у машины. В науке эту меру называют AUROC. Шанс в паре показывает, как признак раскладывает тексты по порядку. Сколько людей окажется ниже конкретного порога, он не говорит; это я не измерял.

Для каждого признака я привожу шанс по всем четырём нейросетям-читателям, и признак «работает», если на всех четырёх он отклоняется от 50 минимум на 7 пунктов в одну и ту же сторону. Порог в 7 пунктов я взял из размера выборки, потому что меньшее отклонение от монетки при такой выборке не отличить от случайности. Само правило «на всех четырёх в одну сторону» я придумал после того, как увидел цифры, поэтому это ориентир, а не заранее заданный тест. Реальный шум шире: тексты одного сайта или задания похожи друг на друга, а проверок 40 (десять признаков на четырёх читателях).

Десять признаков по порядку

Девять из них взяты без изменений из метода DivEye (Basani и Chen, 2025). Десятый, долю слов-сюрпризов, я добавил позже, уже посмотрев на данные, поэтому ему доверяю меньше. Для каждого признака я показываю три текста из корпуса, два человеческих (с высоким и низким значением) и один машинный (со средним значением). Фрагменты по 12 слов (с 101-го по 112-е слово) взяты из открытых публикаций, названия сайтов я не указываю, а кардиограммы нарисованы по первым 150 словам.

1. Средний балл (в науке — перплексия, среднее surprisal)

Сколько неожиданности в среднем приходится на слово. Детекторы-«счётчики» исходят из допущения, что у машины балл ниже.

Что видно. Самый низкий средний балл у человеческого текста в примере — оглавление с номерами разделов («3 1 5», «3 1 6»), цифры нейросеть угадывает почти всегда. Я предполагаю, что оглавления, шаблонные фразы и повторы делают человеческие SEO-тексты «предсказуемыми». Возможно и другое объяснение. Нейросети-читатели могли видеть старые тексты при обучении и потому знают их лучше. Прямо проверить это для текстов 2007–2021 годов нельзя. Косвенно я сравнил с машинными тексты неизвестного авторства, вышедшие после выпуска новых нейросетей, и знак среднего балла там почти во всех годах тот же. Но эти тексты могут быть частично машинными, так что утечку это не исключает.

Шанс угадать в паре у читателей по порядку равен 11, 34, 57 и 23. Значение 11 значит, что в 89 парах из 100 средний балл больше у машины, то есть наоборот. На трёх нейросетях из четырёх признак больше у машины. В среднем у людей 4,06, у машины 5,04.

Вердикт. Идея «ниже балл — значит машина» в нашем корпусе не работает.

2. Разброс (в науке — дисперсия)

Насколько сильно прыгает неожиданность по тексту. Бывает, что все слова примерно одинаково предсказуемы, а бывает, что лёгкие слова чередуются с дикими. Близкий по смыслу показатель, «взрывчатость», описывает GPTZero.

YouTube Telegram

Telegram Website

Вакансии

✅Account Manager / Partner Hunter (Ad Network)

RiverTraffic

После собеседования

Удаленно

Media Buyer (Facebook/Gambling)

RDT Traffic

После собеседования

Удаленно

🔥Traffic Optimizer / Оптимизатор трафика

RiverTraffic

После собеседования

Удаленно

Все вакансии

Разместить

JetTon Partners 0

Норм партнерка, рекомендую

Изначально когда в тг их видел во времена ноткоина думал жуткий скам, но ребята смогли адекватное что-то построить за что респект.

Удалось как то налить им, 900~ фтд где-то вышло. До сих пор даже капает. Может чуть позже еще вернусь снова по ревшаре полить, а то в кейсах у коллег уж больно сладкие RD, надо проверить.

Ребята аффы написали вчера говорят вернуться траф дать)) ну отзыв попросили оставить, мне в целом не сложно, но вот как есть)

GorilaZZ

17 августа

Шанс угадать в паре у читателей по порядку равен 42, 67, 75 и 63. На одной нейросети признак чаще больше у машины, на трёх у человека.

Вердикт. Ненадёжен, знак зависит от читателя.

3. Перекос (в науке — асимметрия)

Много ли в тексте скучных, почти угаданных слов и есть ли редкие яркие вспышки (имя, цифра, жаргон, неожиданный поворот). Чем больше вспышек над «фоном» из лёгких слов, тем выше перекос.

Шанс угадать в паре у читателей по порядку равен 70, 83, 70 и 81. На всех четырёх нейросетях у человека больше. В среднем у людей 1,69, у машины 1,33.

Вердикт. Работает на всех четырёх читателях.

4. Острота вспышек (в науке — эксцесс)

Вспышки бывают редкие, но сильные, а бывают частые средние. Признак родственный перекосу.

Шанс угадать в паре у читателей по порядку равен 61, 77, 70 и 73. Это значит, что у человека больше на всех четырёх.

Вердикт. Работает.

5. Средний шаг

Здесь смотрят, идёт ли неожиданность в среднем вверх или вниз от слова к следующему. Скачки вверх и вниз уравновешивают друг друга, поэтому признак почти всегда около нуля.

Шанс угадать в паре у читателей по порядку равен 36, 45, 63 и 41.

Вердикт. Почти ничего не различает, знак зависит от читателя.

6. Рывки

Это насколько резко неожиданность меняется между соседними словами. Слово угадано, а следующее вдруг совсем неожиданное.

Шанс угадать в паре у читателей по порядку равен 32, 55, 68 и 53.

Вердикт. На одной нейросети больше у машины, на другой у человека, на двух около монетки. Не работает.

7. Рывки рывков

Это насколько резко меняется сама «резкость» скачков.

Шанс угадать в паре у читателей по порядку равен 32, 54, 68 и 51.

Вердикт. Повторяет рывки (признак 6) и не работает.

8. Разнообразие скачков (в науке — энтропия)

Одинакового ли размера скачки неожиданности или разного, то есть много мелких и редкие крупные либо всех размеров поровну. Что именно это значит для самого текста, я сказать не могу, потому что признак описывает цифры, а не смысл.

Шанс угадать в паре у читателей по порядку равен 38, 27, 31 и 33. Все значения ниже 50, то есть на всех четырёх нейросетях признак чаще больше у машины.

Вердикт. Работает, но в обратную сторону от остальных рабочих признаков.

9. Эхо

Здесь смотрят, идёт ли за скачком вверх скачок вниз, как в «удивили — и сразу успокоили».

Шанс угадать в паре у читателей по порядку равен 57, 56, 56 и 62, а средние почти одинаковые.

Вердикт. Близко к монетке.

10. Доля слов-сюрпризов

Сколько в тексте слов, неожиданных втрое сильнее, чем обычно в этом же тексте. Проще говоря, как часто автор выдаёт то, чего не ждёшь.

Шанс угадать в паре у читателей по порядку равен 93, 90, 64 и 93. В среднем у людей 3,2% слов, у машины 1,3%.

Вердикт. Самый большой разрыв в таблице. Но признак я добавил после просмотра данных. Он считается от среднего балла самого текста, поэтому не независим от признака 1, а средний балл мог сдвинуться из-за старых текстов, так что оговорка про них действует и здесь. На YandexGPT-5-Lite разрыв меньше (64).

Все десять в одной таблице

Рис. 2. Шанс угадать в паре для каждого признака на каждой нейросети-читателе.

На первых двух признаках, «среднем балле» и «разбросе», стоят детекторы-«счётчики», и в нашем корпусе они ненадёжны, потому что знак различия меняется от читателя к читателю. Рабочими оказались те, о которых говорят реже, а именно перекос (3), острота вспышек (4), разнообразие скачков (8) и доля слов-сюрпризов (10, добавлена после просмотра данных).

На Рис. 3 каждая точка — один текст, поэтому видна и разница между группами, и то, как сильно они пересекаются.

Рис. 3. Средний балл, перекос и доля слов-сюрпризов у 468 человеческих и 80 машинных текстов. На рисунке медианы, в тексте средние, и они расходятся из-за редких текстов с экстремальными значениями. Доля слов-сюрпризов на рисунке дана долей (0,025 = 2,5%).

У остальных семи признаков две группы тоже лежат друг на друге.

Рис. 4. Остальные семь признаков, нейросеть-читатель ruGPT-3. Медианы людей и машин рядом на каждой полосе.

Всё меняется от сайта к сайту

Даже рабочий признак не даёт универсальной линейки. Посмотрите на перекос, один из самых стабильных.

Рис. 5. Средний перекос по 20 текстам от каждой метки источника. Только метки, у которых ровно 20 текстов. Меток 15, это только человеческие, нейросети показаны отдельно; часть сайтов записана в корпусе под двумя названиями. Читатель — ruGPT-3.

То же самое видно по отдельным текстам. У каждого сайта свой разброс, а середины сайтов лежат по обе стороны порога 1,5.

Рис. 6. Перекос каждого текста, по 20 с источника. Номера сайтов те же, что на Рис. 5 (по возрастанию среднего), порядок строк тоже. Черта на рисунке — медиана, а в тексте ниже средние, поэтому цифры местами заметно расходятся (у Сайта 13 среднее 2,17, медиана 1,62). Названия сайтов не указаны.

Перекос у человеческих меток (только те, где ровно 20 текстов) идёт от 1,26 до 2,50, почти вдвое, хотя все сайты о SEO.

Машины тоже разные. У GPT 1,00, у Claude 1,11, у DeepSeek 1,22, у Nemotron 1,98.

Диапазоны пересекаются. Если поставить порог 1,5 («ниже — машина»), то по среднему перекосу в «машины» попадут пять меток из 15 (это четыре сайта), а Nemotron уйдёт к людям. Так выходит на нейросети-читателе ruGPT-3.

На YandexGPT-5-Lite (там уже 13 сайтов после объединения названий) пять человеческих сайтов оказались «машиннее» среднего машинного текста, а на Qwen2.5 и RWKV-4-World ни одного.

Состав выборки тоже меняет ответ. Возьмите два набора, старые человеческие тексты и тексты 2023–2026 годов неизвестного авторства. Шанс различить их по среднему баллу был 74 из 100 на раннем архиве из 82 текстов, но 44 на всех 2041 текстах и 49 после ограничения «не больше 20 с метки»: в полном архиве один сайт на 400 текстов задавал результат.

Даже один и тот же блог даёт разные цифры в разных выборках. Два блога попали в корпус дважды, с текстами из основного сбора и из архива, по 19–20 в каждой выборке. Средний балл первого блога 4,56 против 2,72, второго 4,62 против 3,55. Разница внутри блога (1,84 и 1,07) не меньше, чем между людьми и машинами в целом (0,97). Чем она вызвана, годами, темами или способом сбора, я не разделял.

Единой планки для «человека» и «машины» здесь нет, потому что детектор сравнивает текст с той коллекцией, что оказалась у его создателей. Про «медицину против строительства» цифр нет, потому что тема у меня одна, SEO.

Что детектор показал на самой этой статье

Детектор, который я разрабатываю, считает общий сигнал по восьми своим признакам (это не те десять, что выше) и отдельно показывает два признака про абзацы. Процента «машинности» он не выдаёт, а сигнал выше порога называет поводом перечитать текст руками. Его точность независимо не проверяли, а пороги сняты на размеченном корпусе (231 человеческий текст против 360 машинных), который может пересекаться с текстами этого исследования. Поэтому это пример для разговора о методе, а не довод, и «за порогом» значит «выше порога на том корпусе», а не «машинный текст».

По общему сигналу первая версия статьи была ниже порога (0,68 при пороге 2,0), но два признака отметились, списки через двоеточие и начала фраз с союза.

Самый заметный из них, списки через двоеточие, дал около 23 на 1000 слов (75 мест) при пороге 10,07, а у половины страниц выдачи этот показатель от 1,4 до 7. Отдельно детектор показывает ровные абзацы из трёх-пяти предложений, и в моём первом прогоне их было 57,8% из 64 при пороге 52,9% (у половины страниц выдачи от 13,3 до 42,4%).

Я развернул лишние двоеточия во фразы и сделал абзацы разной длины. Основное падение сигнала дали двоеточия, но текст при этом ещё и дополнялся новыми абзацами. У второй версии детектор насчитал 0,9 двоеточия на 1000 слов, а общий сигнал упал до около −3,1.

Ровные абзацы он в повторных прогонах не измерил, поэтому я посчитал их сам по одному правилу для обеих версий (прозой, без списков и таблиц, жирные метки вроде «Вердикт.» входят в предложения). На первой версии мой счёт почти совпал с детекторным, 56% против 57,8%, на второй вышло около 30%.

Рис. 7. Две версии статьи по двум признакам на фоне середины выдачи и порога признака. Двоеточия измерил детектор, ровные абзацы первой версии он показал в первом прогоне, а для второй посчитал я.

Сигнал упал в основном от правки формы, и это ожидаемо, ведь я правил именно то, что детектор считает. Поэтому снижение сигнала значит «сигнал сбит», а не «текст стал человеческим», и об авторстве результат не говорит ни в одну сторону.

Я предполагаю, что первую версию подвёл формат разбора по пунктам, где десять признаков дают десять похожих блоков, но другие тексты такого формата я через детектор не прогонял. Это один текст и один детектор, причём мой собственный.

Как собирались данные и что осталось за рамками

Это исследование на одной теме и одном языке, и читать цифры стоит с этой поправкой.

Как это собрано.

• Основное сравнение: 468 человеческих текстов против 80 машинных, все про SEO, все на русском. Машинные тексты написали четыре нейросети по 15 заданиям в июле 2026 года. В одном из каналов (GPT) 21 текст из 90 написан другой версией модели (gpt-5-codex).
• Человеческие тексты я брал из HTML-страниц, машинные прямо из ответа нейросети. В машинных остались строки со списками (около 20 на тысячу слов против 0,3–4,8 у веб-текстов), поэтому часть различий могла возникнуть от способа хранения текста, а не от авторства. В части заданий нейросети получали скрытые системные подсказки, их влияние я отдельно не измерял.

Что узнать не удалось.

• Точность на одном тексте и долю ложных обвинений я не оценивал, потому что всё выше про группы текстов, а цифры вроде 93 и 11 относятся к парам и группам.
• Видели ли нейросети-читатели старые человеческие тексты (2007–2021 годов) при обучении, проверить нельзя. Моё объяснение через оглавления и шаблоны — предположение.

Что дальше. Работу ещё не проверяли другие исследователи, а парная статья лежит на Zenodo (DOI 10.5281/zenodo.21749574, «Same Origin, Different Scores»). Если вы повторите замер на своих текстах, ваши цифры будут интереснее моих.

Частые вопросы

Можно ли верить проценту ИИ-детектора? Как доказательству нельзя, а как повод перепроверить вручную он годится, если вы знаете, как сервис ведёт себя на ваших текстах (см. «Как проверить сервис за вечер»).

Можно ли обвинить автора по детектору? Нет. Ложные срабатывания на отдельных текстах я не измерял, а разброс между сайтами вдвое (раздел «Всё меняется от сайта к сайту»). Например, на YandexGPT-5-Lite пять из 13 человеческих сайтов оказались «машиннее» среднего машинного текста, хотя на Qwen2.5 и RWKV-4-World таких не нашлось.

Как проверить сервис за вечер? Возьмите 10–20 заведомо человеческих текстов и 10–20 машинных на ту же тему и прогоните обе пачки. Запишите вердикт по каждому тексту, а не среднее. Если сервис называет «ИИ» ваших людей, вы увидите его ложные срабатывания на своей коллекции. Это грубая проверка, которая покажет ошибки, но не их долю, а не измерение точности. Тексты клиента без его согласия в чужой сервис не загружайте.

Накажут ли поисковики за ИИ-текст? Google в руководстве по генеративному ИИ (Search Central, прочитано 27 октября 2026) пишет, что массовое создание страниц без пользы для читателя может нарушать спам-политику (scaled content abuse), а сгенерированный текст нужно проверять на точность. ИИ-детекторов в этом руководстве нет. Яндекс на странице про аспекты ранжирования (ЭПОС, прочитана в тот же день) называет нейросети помощником автора, который не должен подменять его, и оценивает оригинальность и пользу контента. «Процента ИИ» как признака ранжирования я в этих документах не нашёл.

Что делать, если детектор назвал мой текст ИИ-текстом? Сохраните историю правок документа (версии в Google Docs или Word) и черновики, они убедительнее любого процента. Проверьте тот же текст в одном-двух других сервисах и посмотрите, сходятся ли они. Попросите показать, какие фрагменты отмечены, и если там шаблонные фразы, переработайте их. Процент как доказательство не принимайте ни в чью сторону.

Итог: как собрать свой детектор

Если кода нет, начните с проверки сервиса за вечер (раздел «Частые вопросы» выше), она выполнима без программиста. Для своего детектора порядок такой.

1. Соберите две пачки. Тексты, где автор-человек известен точно (ваши или подтверждённые), и машинные тексты на ваши темы. Берите не меньше сотни на каждую сторону. При 20 текстах отличие от монетки до 18–19 пунктов не отличить от случайности, при ста — до 8. Храните обе пачки одинаково, обе из HTML или обе чистым текстом, иначе вы сравните форматы, а не авторов. У меня машинных текстов 80, но человеческих 468, поэтому шум моих цифр по размеру выборки около 7 пунктов (с учётом кластеров шире), а у двух пачек по 20 текстов он был бы около 18 (Рис. 8).
2. Прогоните через нейросеть-читателя и запишите балл каждого слова. Нужны минимум две разные нейросети, лучше три-четыре. Для шагов 2 и 3 нужен программист или готовый скрипт.
3. Посчитайте десять признаков на каждый текст.
4. Проверьте каждый признак отдельно на ваших пачках и по каждому читателю. Оставьте те, что одинаково отличают людей от машин на всех читателях. Остальные выбросьте, даже если один из них хорош на одной нейросети.
5. Смотрите по источникам, не только в целом. Для каждого сайта и автора считайте среднее признака. Если ваши люди разбросаны вдвое, как у нас, порог «пополам» ошибётся.
6. Оцените ложные срабатывания, прежде чем верить порогу. Задайте порог отдельно для своей темы и своего сайта и посмотрите, сколько заведомо человеческих текстов он называет машинными. Сервисы публикуют такую долю для своих наборов (Copyleaks в своих ответах называет около 0,2%), а на вашей коллекции её можно узнать только своей проверкой.
7. Пересчитывайте при каждой новой нейросети и новом типе заданий. Машинный текст меняется, и порог устаревает вместе с ним.

Рис. 8. Чем меньше текстов, тем дальше от 50 может уйти «шанс угадать» без всякой причины (шаг 1).

Об авторе

Станислав Кириченко — SEO-специалист, в SEO с 2006 года, более 200 проектов, независимый исследователь. Автор работ о детекции машинного текста на русском языке. 16 правленых текстов в исследовании взяты из моего блога, ещё 6 человеческих текстов из моего личного архива, я разрабатываю собственный ИИ-детектор, это конфликт интересов. В расчётах исследования он не участвовал, но его пороги сняты на корпусе, который может пересекаться с текстами исследования, а показания приведены только как иллюстрация. Разборы и открытые эксперименты выкладываю в Telegram-канале @skirichenko_seo.