ChatGPT: OpenAI запускает инструмент для выявления текстов, написанных ИИ
ChatGPT - это находка для студентов и кошмар для преподавателей. Осознавая эти проблемы, OpenAI выпустила детектор, который может определять тексты, написанные ИИ... но результаты все еще несовершенны.
Развитие ChatGPT не дает учителям покоя. Неудивительно, что многие студенты используют генеративный искусственный интеллект для выполнения домашних заданий за них. Один учитель из Лиона даже обнаружил, что 50% его учеников использовали чат-бота для написания эссе.
Как показали несколько экспериментов, ChatGPT вполне способен помочь студенту, например, юридического или управленческого факультета, сдать экзамен. Протестированный преподавателями американских университетов, чат-бот сумел получить достойную оценку на сложных экзаменах.
ИИ, который обнаруживает, что написано ИИ
В этом контексте OpenAI только что запустил онлайн-инструмент, способный определить, был ли текст создан ChatGPT: AI Text Classifier. По словам стартапа, этот "классификатор" способен предсказать, насколько вероятно, что текст объемом не менее 1 000 символов был придуман ИИ, а не человеком.
Для обучения алгоритма OpenAI использовал 34 генеративных ИИ от пяти различных компаний, включая ChatGPT. Результаты работы этих ИИ сравнивались с "аналогичной выборкой написанного человеком текста", в том числе из Википедии.
После ввода подозрительного текста в классификатор OpenAI, программа пометит документ в соответствии с вероятностью вмешательства ИИ. Существует пять уровней вероятности: очень маловероятно (вероятность 10%), маловероятно (от 10 до 45%), неясно (от 45 до 90%), возможно (от 90 до 98%) или вероятно (более 98%). На основании полученного результата учитель должен иметь возможность составить представление о подлинности письменной работы. Компания уточняет, что алгоритм запрограммирован так, чтобы максимально избегать ложных срабатываний, что повышает риск ложноотрицательных результатов. Тем не менее по оценкам OpenAI, 9% текстов ошибочно считаются написанными ИИ.
Несовершенный детектор
На своем сайте OpenAI дает понять, что детектор далеко не безошибочен. Нельзя упускать из виду риск ложных срабатываний, особенно если текст был написан ребенком не на английском языке. Более того, от детектора легко уйти, немного подправив предложения. Наконец, длинные произведения труднее поддаются анализу с помощью ИИ-классификатора текстов. Учитывая все эти факторы, коэффициент успешности программы не превышает 26%. Компания советует использовать его в качестве резервного инструмента, наряду с внешним просмотром произведения или другими методами обнаружения.
Параллельно появились сторонние детекторы. Стэнфордский университет в Калифорнии разработал DetectGPT, программу, которая может распознавать почерк ChatGPT. Проект пока находится на начальной стадии, но первые результаты многообещающие.
Другой пример - GPTZero, аналогичное приложение, разработанное Эдвардом Тианом, студентом факультета информатики и журналистики Принстонского университета. Этот инструмент находится в свободном доступе в Интернете и может быть использован для уточнения результатов детектора OpenAI.