Более половины современных астрономических статей могут создаваться с помощью ИИ

Более половины новых научных работ по астрономии могут содержать текст, созданный или отредактированный при помощи языковых моделей. К такому выводу пришли исследователи из Университета штата Огайо, проанализировавшие полный текст 207 111 препринтов по астрофизике, опубликованных на arXiv с 2015 до середины 2026 года. Для статей 2025 года основная статистическая модель дала оценку около 54%, тогда как официально об использовании языковых моделей сообщили авторы менее 1% работ.

Результат не означает, что искусственный интеллект самостоятельно написал половину современной астрономической литературы. Метод не позволяет определить, какую именно часть конкретной статьи подготовила языковая модель и использовали ли её для генерации текста, переписывания предложений или обычного языкового редактирования. Авторы измеряли статистические признаки помощи ИИ во всём массиве публикаций, а не пытались обвинить отдельные работы в использовании ChatGPT.

Серат Саад и Юань-Сэнь Тинг обратили внимание на характерное изменение научного английского после появления ChatGPT в конце 2022 года. Некоторые слова, прежде сравнительно редко встречавшиеся в научных статьях, начали использоваться заметно чаще. Среди них, например, delve, intricate, pivotal, underscore, tapestry, meticulous и другие слова, которые языковые модели непропорционально часто выбирают при создании научно выглядящего текста.

Но наличие таких слов само по себе не говорит об использовании ИИ: их вполне может употреблять человек, а научная лексика со временем меняется и без влияния языковых моделей. Поэтому исследователи оценивали не отдельные слова, а изменения частоты их употребления в большом массиве публикаций. Для этого они использовали иерархическую байесовскую модель, учитывающую длину статьи, год публикации и направление исследования.

В анализ вошли 207 111 препринтов по астрономии и астрофизике из раздела astro-ph на arXiv, опубликованных с января 2015 года по июнь 2026 года. В среднем исследователи анализировали около 2500 текстовых токенов из каждой работы. Формулы, таблицы, ссылки, библиографию и другие служебные элементы исключили, оставив только основной научный текст.

Для определения того, как выглядел научный английский до массового появления генеративного ИИ, использовались статьи, написанные до 2020 года. Отдельной контрольной группой стали публикации, авторы которых сами заявили об использовании языковых моделей.

Исследователи нашли 392 такие работы в основной выборке. В 2023 году декларацию об использовании ИИ содержали 26 статей, в 2024-м — 38, в 2025-м — 153, а за первую часть 2026 года — уже 175. В большинстве случаев авторы сообщали, что применяли модели для исправления грамматики, повышения ясности текста или языкового редактирования.

Именно эти заведомо обработанные ИИ статьи позволили определить, насколько сильно меняется характерная лексика при использовании языковой модели. В них слова-маркеры встречались примерно в 2,6–6,8 раза чаще фонового уровня, в зависимости от периода и способа сравнения.

После обработки всего массива данных исследователи получили для 2025 года основную оценку доли статей с признаками помощи языковых моделей в 54% с 95-процентным статистическим интервалом ±8 процентных пунктов.

Однако у результата есть дополнительная и весьма существенная систематическая неопределённость. Невозможно непосредственно узнать, как развивалась бы частота характерных слов после 2020 года в мире, где ChatGPT и другие языковые модели никогда не появились. Поэтому учёные рассмотрели три различных сценария естественного изменения научного языка.

В зависимости от этих предположений итоговая оценка меняется. При дополнительных проверках и изменении параметров анализа предполагаемая доля работ с признаками использования языковых моделей не опускалась ниже примерно 36%. Поэтому число 54% следует рассматривать не как точно измеренную долю, а как основную оценку статистической модели.

Ещё сильнее разрыв с официальными декларациями. Только 0,81% астрономических работ 2025 года прямо сообщали об использовании языковых моделей. По расчётам авторов, это соответствует примерно одной официальной декларации на 66 статей, в которых их метод обнаруживает статистический след помощи ИИ.

Исследование выявило и ещё одну тенденцию: обнаруживать использование языковых моделей по стилю становится сложнее. Избыточная частота характерных слов в текстах, обработанных ИИ, сократилась более чем вдвое с 2023 по 2026 год.

Причин может быть несколько. Сами языковые модели меняются, а исследователи всё лучше знают их характерные стилистические особенности. Слова вроде delve, ставшие своеобразными маркерами текста ChatGPT, могут намеренно удаляться при редактировании. В результате человеческий и машинный научный текст постепенно становятся сложнее различимы только по лексике.

Авторы подчёркивают, что их метод предназначен для статистического анализа больших массивов публикаций и не является детектором ИИ для отдельных статей. Наличие нескольких характерных слов ничего не доказывает о происхождении конкретного текста. Байесовская модель оценивает долю двух статистических популяций на уровне всего корпуса.

Само использование языковой модели также не означает, что научный результат получен искусственным интеллектом. Модель могла лишь исправить английский язык уже написанной авторами статьи. Это особенно важно в международной астрономии, где для значительной части исследователей английский не является родным языком.

Тем не менее результаты показывают, насколько быстро генеративный ИИ проник в научную коммуникацию. Если оценка авторов близка к реальности, использование языковых моделей при подготовке астрономических публикаций уже стало массовой практикой, тогда как официальные декларации об этом остаются редкостью.

Исследование представлено в виде препринта на arXiv.