Эта модель искусственного интеллекта с открытым исходным кодом бросает вызов ChatGPT, Google Bard и Llama 2 от Meta
Сверхмощная модель искусственного интеллекта была выложена в сеть сообществом разработчиков с открытым исходным кодом. Эта лингвистическая модель оказалась такой же мощной, как PaLM 2, на которой работает Google Bard, и более мощной, чем стандартная версия ChatGPT...
Только что была выпущена новая языковая модель с открытым исходным кодом. Эта модель ИИ, получившая название Falcon 180B, была разработана несколькими разработчиками в рамках сообщества Hugging Face AI community - платформы сообщества, предлагаемой франко-американской компанией Hugging Face. Она основана на архитектуре языковой модели Falcon, которая также доступна с открытым исходным кодом.
Крупнейшая модель ИИ с открытым исходным кодом
Модель существенно отличается от других языковых моделей, доступных сообществу разработчиков и исследователей. Как поясняют создатели в анонсе, Falcon 180B - это "самая большая свободно распространяемая языковая модель". Она содержит 180 млрд. параметров.
Это в 2,5 раза больше, чем Llama 2, последняя версия языковой модели Meta*, которая до сих пор считалась самой большой свободно распространяемой моделью ИИ с 70 млрд. параметров. Новая версия Falcon также превосходит GPT-3.5, собственную модель ChatGPT, которая достигает 175 млрд. параметров. С другой стороны, она менее внушительна, чем некоторые частные модели, такие как PaLM 2 от Google, которая может похвастаться 540 млрд. параметров. Для справки: параметры определяют вычислительную мощность модели. Чем больше параметров, тем более точные ответы может дать модель.
Модель также может похвастаться "самым длительным периодом предварительного обучения" для открытой модели. Для обучения ИИ исследователи использовали в общей сложности 3,5 млрд. токенов. При обучении модели ИИ токен представляет собой слово, предложение или даже символ. Эти элементы разбиваются на лексемы до начала процесса обучения.
Такой же мощный, как PaLM 2?
Falcon 180B, по словам разработчиков проекта, способен конкурировать с закрытыми моделями ИИ. Модель превосходит две версии PaLM 2 и предыдущую итерацию PaLM. С другой стороны, она вплотную приблизилась к широкоформатной версии PaLM 2 с ее 540 млрд. параметров. Для исследователей ИИ наконец-то встал в один ряд с решением Google.
Модель с открытым исходным кодом имеет все шансы обогнать GPT-3.5. Однако ей не удалось превзойти GPT-4, последнюю версию GPT. В анонсе говорится, что Falcon 180B будет развиваться в ближайшем будущем с помощью сообщества разработчиков.
Как предсказал один из инженеров Google, мир открытого кода более чем способен соперничать, если не опережать, инновации OpenAI, Microsoft и других технологических гигантов. В опубликованном в мае докладе инженер Люк Сернау высказал мнение, что самые совершенные ИИ будут созданы не цифровыми гигантами, а разработчиками из сообщества open source. По его мнению, эти разработчики имеют значительное преимущество перед гигантами Кремниевой долины...
* Компания Meta – признана экстремистской организацией и запрещена в РФ.