Сравнив результаты стандартного интернет-поиска с поиском с помощью ИИ, исследователи выявили фундаментальные различия в результатах. Хотя инструменты ИИ перерабатывают более обширный массив данных, полученных с более разнообразных веб-сайтов, используемые источники, как правило, не входят в число тех, что считаются наиболее релевантными по результатам традиционного поиска. Следовательно, их ответы зачастую оказываются менее надежными и менее последовательными.
Хотя традиционный интернет-поиск сильно эволюционировал за последние десятилетия, его базовый принцип работы в целом остался неизменным. В ответ на запрос или ключевое слово поисковые системы, такие как Google, Bing или Яндекс, предоставляют результаты в виде списка из десятка веб-сайтов, отсортированных по различным критериям: релевантности, авторитетности или соответствию профилю пользователя.
Была проделана значительная работа по уточнению этих результатов в соответствии с потребностями пользователей. Но с расцветом генеративного ИИ онлайн-поиск теперь движется в сторону непрерывного взаимодействия с ИИ-чатботами, которые предоставляют результаты в виде беседы, а не списка ссылок.
Популярные поисковые системы, такие как Google или Яндекс, теперь включают инструменты ИИ, способные выдавать уникальные ответы, представленные в одном или нескольких абзацах и сопровождаемые несколькими исходными ссылками. В принципе, это синтезы, основанные на сайтах, признанных наиболее релевантными запросу.
Это поднимает важный вопрос: действительно ли инструменты ИИ улучшили интернет-поиск? Чтобы ответить на него, исследователи из Рурского университета в Бохуме и Института программных систем Макса Планка сравнили традиционный поиск с поиском через ИИ, чтобы выявить их влияние на качество результатов.
Помимо простого формата представления результатов, поиск с помощью ИИ отличается от традиционного поиска более широким охватом. Классические поисковые системы по умолчанию показывают фрагменты из десяти лучших, наиболее авторитетных или признанных наиболее релевантными веб-сайтов, вынуждая пользователей вручную переходить по ссылкам для изучения других источников.
Синтезы, генерируемые инструментами ИИ, напротив, могут включать контент с более чем десяти сайтов. Кроме того, традиционный поиск опирается исключительно на внешние источники, в то время как ИИ комбинирует информацию, извлеченную из сети, с внутренними знаниями, полученными в ходе его обучения.
Исследование было нацелено на то, чтобы определить, в какой мере инструменты ИИ используют свою способность обращаться к большему количеству источников и в какой пропорции они опираются на внешние знания по сравнению со своими внутренними знаниями. Исследование также анализирует, улучшает ли это разнообразие источников точность и разнообразие ответов по сравнению со стандартными поисковыми системами.
Более широкие ответы, но не всегда более надежные
Исследователи сравнили традиционный поиск Google с четырьмя поисковыми системами, использующими ИИ: «Обзором ИИ Google» (Google AI Overview), Gemini, GPT-4o-Search и GPT-4o с инструментом поиска (Search Tool). Эти инструменты были протестированы на тысячах запросов, охватывающих шесть основных областей, включая общие знания, политику, науку и коммерцию.
Результаты оценивались по трем основным показателям: разнообразие используемых источников, зависимость от внутренних или внешних знаний и концептуальный охват, то есть спектр идей, охваченных результатами. Затем тесты были повторены два месяца спустя, чтобы наблюдать за изменением источников и ответов.
Анализ команды — подробно изложенный в исследовании, размещенном на сервере препринтов — выявил заметные расхождения между двумя подходами. Инструменты ИИ действительно исследовали более широкий спектр источников, чем классические поисковые системы. Однако ссылки, которые они использовали, редко принадлежали к сайтам, наиболее релевантным по меркам стандартного поиска.
По мнению исследователей, обращение к большему количеству источников не гарантирует более полного или последовательного ответа. Сравнительные данные даже показали, что часто это было не так. «Различия в выборе источников и использовании внутренних знаний могут тонко изменять перспективы и факты, с которыми сталкиваются пользователи, даже когда общий охват темы кажется схожим», — уточняют они в своем отчете.
Результаты, произведенные ИИ, также оказались менее стабильными во времени, существенно изменившись спустя два месяца. Также были отмечены различия между инструментами: например, GPT-4o с инструментом поиска в большей степени опирался на свои внутренние знания, в то время как «Обзор ИИ Google» и Gemini отдавали предпочтение информации из внешних источников.
Исследование не утверждает, что инструменты ИИ менее эффективны в поиске, но оно выявляет повышенный риск нестабильности и ненадежности. Это может означать, что результаты поиска с помощью ИИ требуют тщательной проверки для гарантии их точности. В заключение исследователи подчеркивают необходимость определения новых критериев и стандартов оценки для оценки качества ответов, генерируемых этими инструментами.