Перейти до змісту
NoAISEO
NoAISEOЗареєструватися

Хибне спрацювання AI-детектора: що перевіряти, коли ваш власний текст позначають як машинний

Ви написали це, інструмент каже, що це зробила машина, а клієнт розлючений. Пройдіть по таблиці послідовно і не переписуйте жодного речення, доки не з’ясуєте причину.

Дослідницька команда NoAISEO ·

Важка кам’яна ваги з однією стороною, перевантаженою великим каменем

Чому чесний текст позначають як машинний

Детектори вгадують. Вони порівнюють шаблони у виборі слів та структурі речень із зразками, яким вони навчилися на машинному тексті, і чистий людський прозаїчний стиль може збігатися з ними. У липні 2023 року OpenAI відкликала свій класифікатор AI-текстів через низьку точність.

Дослідження Стенфорда 2023 року показало, що кілька детекторів помилково позначали есе авторів, для яких англійська не є рідною, як машинні. Цей висновок важливий. Це проблема справедливості і хороша причина вважати показник лише натяком.

Тож ваш перший крок — збір доказів, а не редагування. Якщо вам потрібна повна історія, дерево рішень щодо авторства перелічує, що зберегти. Потім використовуйте таблицю.

Показники також змінюються. Поставщик оновлює свою модель, і стаття, яка пройшла перевірку в січні, може не пройти в червні без жодної зміни в тексті. Фіксуйте дату з кожним результатом.

Таблиця усунення неполадок

СимптомЙмовірна причинаЩо перевіритиЩо робити
Високий показник для короткого тексту до 300 слівЗанадто мало даних для оцінки; показники сильно коливаютьсяВставте довший зразок тексту того ж автораПопросіть рецензента перевірити весь матеріал
Позначення списку або глосаріюПовторювані, шаблонні конструкції реченьПрочитайте записи вголос; чи мають вони однакову структуру?Змініть порядок, додайте розгорнутий приклад
Позначення після серйозного редагування в Grammarly або DeepLТекст, відполірований інструментами, звучить гладше і менш виразноПорівняйте чистовий варіант із чернеткоюЗбережіть чернетку; додайте рядок із зазначенням використання інструментів
Автор, для якого англійська не є рідноюВідома упередженість кількох детекторівЗапустіть той самий текст через другий детекторНадішліть історію редагувань; посилайтеся на дослідження Стенфорда
Різні інструменти показують різні результатиВідсутність єдиного стандарту між продуктамиЗафіксуйте всі показники з датамиВважайте розкид показників доказом слабкості метрики
Клієнт наполягає на конкретному числіПолітика процесу, а не доказиЗапитайте, що сказано в контрактіПропонуйте чернетки, підписи та дзвінок замість цього

Спокійна послідовність дій на першу годину

01

Припиніть редагування

Кожне переписування ховає історію, яка доводить, що це написали ви. Зафіксуйте текст та експортуйте історію редагувань із відмітками часу.

02

Запитайте, який інструмент і яка версія були використані

Назви мають значення. Показники GPTZero, Turnitin та Originality.ai відрізняються, і кожен постачальник з часом змінює свою модель.

03

Перевірте свої старі роботи

Запустіть статтю, опубліковану у 2019 році, до того, як генеративні інструменти стали поширеними. Якщо вона також має високий показник, ви маєте відповідь.

04

Надайте докази процесу

Надішліть чернетки, нотатки, посилання на джерела та будь-які оригінальні зображення. Процес має більшу вагу, ніж будь-який показник.

Рука, що ставить дерев’яний блок на зростаючий ряд блоків

Яку вагу може мати один показник?

Число детектора виглядає точним. Це ймовірність від моделі, навченої на інших текстах, і ця модель нічого не знає про вашу історію. Хибне спрацювання AI-детектора зазвичай починається з прийняття показника за чисту правду.

Короткі зразки сильно коливаються

Показник для абзацу з вісьмома словами мало про що говорить, оскільки немає достатньо шаблонів для вимірювання. Числа потребують контексту. Короткі зразки важче оцінити будь-якому інструменту. Запросіть повний матеріал і перевірте, скільки слів фактично протестував інструмент.

Уявіть рецензента, який вставляє лише вступ і сприймає результат як вирок для всієї книги. Не робіть цього. Протестуйте уривок з вашої старої роботи такої ж довжини і подивіться, чи залишається число стабільним.

Формальний стиль може виглядати як шаблон

Обережна, формальна проза зазвичай використовує регулярну структуру, акуратні переходи та мало сленгу. Стиль — це не доказ. Такі звички можуть здаватися машинними для класифікатора. Стаття на конференції, юридичний звіт або корпоративний звіт можуть мати високий показник без жодної допомоги програмного забезпечення.

Відполірування — слабкий захист. Чим ретельніше відредагована чернетка, тим більш плоским і рівномірним вона може здаватися, а саме плоский, рівномірний текст часто позначають інструменти. Пояснення факту відполірування корисніше, ніж суперечка з числом.

Постачальники змінюють свої моделі

Детектор — це продукт із номером версії, і ця версія змінюється. Версії змінюються непомітно. Текст, який пройшов перевірку одного місяця, може не пройти наступного, хоча жодне слово не змінилося. Ведіть журнал з датами кожного показника, назвою інструмента та його версією (коли інструмент її вказує).

Журнал перетворює суперечку на запис. Записи перемагають пам’ять. Це також показує, чи зміна результату сталася через текст чи через інструмент, що є першим питанням, яке захоче дізнатися рецензент.

Що сказати людині, яка підняла питання

Будьте спокійними та конкретними. Скажіть, що показники детекторів — це ймовірності, що постачальники публікують власні твердження про точність, і що ви можете показати хід роботи. Потім додайте докази.

Пропонуйте спосіб перевірки, а не конфлікт. Короткий дзвінок спрацює. Також спрацює список запитань щодо джерел матеріалу. Письменник, який знає тему, пройде перевірку без зусиль.

Якщо стосунки не втримаються після цього, вони ніколи не були про показник. Гаразд. Все одно зберігайте історію та прочитайте міфи про E-E-A-T перед наступною пропозицією, бо вони пояснюють, що рецензент може законно вимагати. Наш глосарій визначає терміни.

Робочий стіл з лупою та ножицями, що розплутують вузол ниток

Які докази слід зібрати перед відповіддю?

Збирайте докази в порядку, в якому їх запитає рецензент. Почніть з того, що існувало до скарги, потім переходьте до тестів, які ви можете провести разом. Кожен крок допомагає.

Живий тест на письмі

Пропонуйте короткий тест під час дзвінка. Попросіть автора написати два абзаци на тему, поки рецензент спостерігає, маючи під рукою лише ті джерела, які він назве. Це не пастка. Це покаже, чи може автор опрацювати матеріал без допомоги.

Зробіть тест справедливим. Встановіть чітку довжину, часовий ліміт та тему, обрану рецензентом. Тест, який сприймається як підступ, завершить розмову швидше, ніж показник.

Запитання щодо джерел

Попросіть письменника пояснити три джерела своїми словами, включаючи, чому кожне з них було обране і що воно не довело. Слухайте деталі. Той, хто дійсно читав, відповідає з деталями та без вагань. Той, хто не читав, зазвичай переказує статтю.

Це найкраще працює на спеціалізованих темах, де деталі містяться в списку літератури. Для загальних матеріалів потрібні інші запитання. Це працює гірше для загального пояснювального тексту, тому адаптуйте запитання до матеріалу.

Порівняйте позначений матеріал із старішою роботою

Покладіть позначену статтю поруч із старішою роботою того ж автора на схожу тему. Шукайте звички. Спільний голос і знайомі звички допомагають рецензенту побачити одну безперервну руку. Різниця в стилі ставить інше питання, і на нього варто дати пряму відповідь.

Використовуйте дерево рішень, щоб перелічити, що ще має належати до файлу, щоб порівняння спиралося на решту історії. Починайте з цього. Рецензент, який бачить повну історію, рідко потребує пояснення показника двічі.

Чому другий детектор рідко вирішує питання

Запуск одного й того ж тексту через другий інструмент звучить як вирішальний аргумент. Рідко. Два інструменти, які не згодні, кажуть вам, що вимір м’який, і це варто чітко вказати у своїй відповіді.

Зафіксуйте обидва результати з датами. Збережіть обидва. Коротка таблиця показників — це запис невизначеності, і рецензент може прочитати її без технічної підготовки. Це також запобігає перетворенню суперечки на змагання між двома панелями керування.

Як відповісти рецензенту, який не змінює думку?

Іноді рецензент тримається за число, незалежно від того, що ви покажете. Будьте спокійними. Напишіть відповідь так, ніби її прочитають через рік.

Прочитайте політику, якою керується рецензент

Школи, видавці та клієнти часто мають власні правила. Прочитайте їх уважно. Знайдіть формулювання, перш ніж відповідати. Політика, яка каже, що показник — це лише один із вхідних параметрів, сильно відрізняється від тієї, що вважає поріг підставою для відмови.

Цитуйте політику у своїй відповіді та запитайте, який крок буде наступним. Будьте конкретними. Запитання щодо процесу корисніше, ніж суперечка про показник.

Зафіксуйте докази письмово

Надішліть докази у вигляді повідомлення з датою, з коротким списком того, що додано. Збережіть копію. Запитайте, який процес застосовується далі і хто приймає рішення. Якщо справу відкрють знову, це повідомлення буде записом.

Тримайте тон стабільним. Мета — рішення, з яким ви можете жити, а не перемога в ланцюжку листувань. Рецензенти схильні пам’ятати спокій більше, ніж кмітливість.

Дізнайтеся, що стало причиною

Коли справа закрито, запишіть ймовірну причину. Будьте конкретними. Інструмент перекладу, шаблон або поспішне фінальне редагування вимагають різних виправлень. Зафіксуйте результат у папці з чернетками, щоб наступна робота починалася з кращого плану.

Включіть показник, інструмент та дату в цю нотатку. Зробіть її короткою. Короткий запис перетворює один поганий тиждень на чек-лист, яким можна скористатися знову.

Іноді причина — ніщо, що зробили ви. Звинувачення рідко допомагає. Змінився інструмент, рецензент використав інші налаштування або зразок був занадто коротким для оцінки. Чітке називання причини допомагає наступній розмові початися з фактів. Глосарій дає прості визначення термінів, які часто використовує така нотатка.

Якщо причина була у вашому процесі, скажіть про це та опишіть виправлення. Прийміть відповідальність коротко. Конкретне виправлення виглядає як компетентність, тоді як загальна вибачка виглядає як безріччя.

Чого не можуть зробити посилання в цьому випадку

Сильний профіль посилань — не захист від детектора, а слабкий — не ознака машинного тексту. Посилання походять з інших сайтів, тому вони нічого не говорять про те, як ви писали.