Google PaLM 2 и OpenAI GPT-4: в чем разница?

Google представил следующее поколение своей языковой модели Pathways (PaLM 2) 10 мая 2023 года на Google I/O 2023. Новая большая языковая модель (LLM) может похвастаться значительными улучшениями по сравнению со своей предшественницей (PaLM) и, возможно, наконец-то готова побороться со своим главным конкурентом - GPT-4 от OpenAI.

Но насколько сильно Google улучшила модель? Является ли PaLM 2 тем, на что надеется Google, и, что более важно, при стольких схожих возможностях, чем PaLM 2 отличается от OpenAI GPT-4?

PaLM 2 против GPT-4: обзор производительности

PaLM 2 оснащен новыми и улучшенными возможностями по сравнению со своим предшественником. Одним из уникальных преимуществ PaLM 2 перед GPT-4 является тот факт, что он доступен в меньших размерах для определенных приложений, которые не имеют такой большой встроенной вычислительной мощности.

Все эти различные размеры имеют свои собственные меньшие модели, называемые Gecko, Otter, Bison и Unicorn, причем Gecko - самая маленькая, за ней следуют Otter, Bison и, наконец, Unicorn - самая большая модель.

Google также заявляет об улучшении возможностей рассуждений по сравнению с GPT-4 в WinoGrande и DROP, при этом первый вырывается вперед с небольшим отрывом в ARC-C. Однако, когда речь идет о PaLM и SOTA, наблюдается значительное улучшение.

PaLM 2 также лучше в математике, согласно 91-страничному исследовательскому документу Google PaLM 2 [PDF]. Однако то, как Google и OpenAI структурировали результаты своих тестов, затрудняет прямое сравнение двух моделей. Google также опустил некоторые сравнения, вероятно, потому, что PaLM 2 не показал себя так же хорошо, как GPT-4.

В MMLU GPT-4 набрал 86,4 балла, а PaLM 2 - 81,2 балла. То же самое касается HellaSwag, где GPT-4 набрал 95,3 балла, а PaLM 2 только 86,8, и ARC-E, где GPT-4 и PaLM 2 получили 96,3 и 89,7 балла соответственно.

Самая крупная модель семейства PaLM 2 — PaLM 2-L. Хотя мы не знаем его точного размера, мы знаем, что он значительно меньше, чем самая большая модель PaLM, но использует больше обучающих вычислений. По данным Google, PaLM имеет 540 миллиардов параметров, поэтому "значительно меньший" должен поместить PaLM 2 где-то между 10 и 300 миллиардами параметров. Имейте в виду, что эти цифры являются всего лишь предположениями, основанными на том, что Google сказал в документе PaLM 2.

Если это число близко к 100 миллиардам или меньше, PaLM 2, скорее всего, меньше по количеству параметров, чем GPT-3.5. Тот факт, что модель с потенциальным числом менее 100 миллиардов может сравняться с GPT-4 и даже превзойти его в некоторых задачах, впечатляет. GPT-3.5 изначально выбила из колеи все, включая PaLM, но PaLM 2 добилась значительного успеха.

Различия в обучающих данных GPT-4 и PaLM 2

Хотя Google не раскрывает размер обучающего набора данных PaLM 2, компания сообщает в своей научной статье, что набор обучающих данных нового LLM значительно больше. OpenAI также использовал тот же подход при представлении GPT-4, не делая никаких заявлений о размере обучающего набора данных.

Однако Google хотел сосредоточиться на более глубоком понимании математики, логики, рассуждений и науки, поэтому большая часть учебных данных PaLM 2 посвящена вышеупомянутым темам. В своем документе Google утверждает, что корпус предварительного обучения PaLM 2 состоит из множества источников, включая веб-документы, книги, код, математические и разговорные данные, что дает ему всесторонние улучшения, по крайней мере, по сравнению с PaLM.

Разговорные навыки PaLM 2 также должны быть на другом уровне, учитывая, что модель была обучена более чем на 100 языках, что дает ей лучшее понимание контекста и лучшие возможности перевода.

Что касается данных для обучения GPT-4, OpenAI сообщила нам, что она обучала модель, используя общедоступные данные и данные, которые она лицензировала. На странице исследования GPT-4 говорится: "Эти данные представляют собой корпус данных в веб-масштабе, включающий правильные и неправильные решения математических задач, слабые и сильные рассуждения, самопротиворечивые и последовательные утверждения, а также представляющий большое разнообразие идеологий и идей".

Когда GPT-4 задают вопрос, он может дать множество ответов, не все из которых могут соответствовать вашему запросу. Чтобы привести его в соответствие с намерениями пользователя, OpenAI точно настроил поведение модели с помощью обучения с подкреплением и обратной связи с человеком.

Хотя мы не знаем, на каких именно учебных данных обучалась та или иная модель, мы знаем, что цель обучения была совершенно иной. Нам придется подождать и посмотреть, как эта разница в целях обучения повлияет на поведение двух моделей в реальном мире.

Чат-боты и сервисы PaLM 2 и GPT-4

Для доступа к обоим LLM в первую очередь используются соответствующие чат-боты - Bard от PaLM 2 и ChatGPT от GPT-4. При этом GPT-4 находится за платной стеной ChatGPT Plus, а бесплатные пользователи получают доступ только к GPT-3.5. Bard, с другой стороны, бесплатен для всех и доступен в 180 странах.

Это не означает, что вы не можете получить доступ к GPT-4 бесплатно. Чат Bing AI Chat от Microsoft использует GPT-4 и является совершенно бесплатным, открытым для всех и доступным рядом с Bing Search, крупнейшим конкурентом Google в этой области.

На Google I/O 2023 было сделано много объявлений о том, как PaLM 2 и интеграция генеративного ИИ улучшат работу Google Workspace, а функции ИИ появятся в Google Docs, Sheets, Slides, Gmail и практически во всех сервисах, которые предлагает поисковый гигант. Кроме того, Google подтвердил, что PaLM 2 уже интегрирован в более чем 25 продуктов Google, включая Android и YouTube.

Для сравнения, Microsoft уже внедрила функции ИИ в пакет программ Microsoft Office и многие из своих сервисов. На данный момент вы можете познакомиться с обоими LLM в их собственных версиях аналогичных предложений от двух конкурирующих компаний, идущих ноздря в ноздрю в битве за ИИ.

Однако, поскольку GPT-4 вышел раньше и постарался избежать многих ошибок, допущенных Google в оригинальном Bard, он до сих пор является де-факто LLM для сторонних разработчиков, стартапов и практически всех остальных, кто хочет внедрить в свои сервисы способную модель ИИ.

Это не означает, что разработчики не будут переходить на PaLM 2 или хотя бы пробовать его, но Google все еще предстоит играть в догонялки с OpenAI на этом фронте. И тот факт, что PaLM 2 имеет открытый исходный код, а не закрытый платный API, означает, что он имеет потенциал для более широкого распространения, чем GPT-4.

Может ли PaLM 2 побороть GPT-4?

PaLM 2 еще очень новый, поэтому ответ на вопрос, сможет ли он побороть GPT-4, пока не известен. Однако, учитывая все, что обещает Google, и агрессивную манеру, которую он решил использовать для распространения, похоже, что PaLM 2 может дать GPT-4 фору.

Тем не менее GPT-4 все еще является довольно способной моделью и, как уже упоминалось, выигрывает у PaLM 2 во многих сравнениях. Несмотря на это, множество более компактных моделей PaLM 2 дают ему неоспоримое преимущество. Сам Gecko настолько легкий, что может работать на мобильных устройствах даже в автономном режиме. Это означает, что PaLM 2 может поддерживать совершенно другой класс продуктов и устройств, которые с трудом могут использовать GPT-4.

Гонка искусственного интеллекта разгорается

С запуском PaLM2 гонка за доминирование ИИ обострилась, поскольку это может стать первым достойным соперником GPT-4. С новой мультимодальной моделью ИИ под названием "Gemini", которая также находится в процессе обучения, Google не проявляет никаких признаков замедления.