OpenAI проверила возможности ИИ в разработке лекарств и обнаружила серьёзные ограничения
Искусственный интеллект научился с высокой точностью восстанавливать сложные молекулярные структуры, однако по-прежнему испытывает трудности с прогнозированием свойств потенциальных лекарств. Это показало новое исследование OpenAI, в котором языковые модели проверили на 99 задачах из реальной практики фармацевтических исследований. В отдельных испытаниях GPT-6 Astra набрала 95,4% возможных баллов за восстановление молекул, но только около половины баллов за выбор перспективных соединений и прогнозирование их характеристик.
Для проверки разработчики создали тестовый набор MedChemBench на основе 117 опубликованных научных работ и патентов, содержащих сведения о 761 различных молекулярных структурах. Моделям предоставляли химические формулы, результаты лабораторных экспериментов и информацию о биологических мишенях. Затем искусственный интеллект должен был объяснить полученные результаты, сравнить соединения и предсказать, какие вещества лучше соответствуют требованиям исследователей.
Одна из главных трудностей разработки лекарств заключается в том, что улучшение одного свойства молекулы может ухудшить другое. Например, вещество способно эффективно подавлять активность белка, связанного с заболеванием, но плохо проникать через клеточные мембраны или слишком быстро разрушаться под действием ферментов. Поэтому при выборе перспективного соединения необходимо одновременно учитывать несколько характеристик.
В одном из заданий модели анализировали три вещества, подавляющих активность белка PRMT5, который изучается как потенциальная мишень для противоопухолевых препаратов. Искусственному интеллекту предоставили результаты ранних экспериментов и предложили предсказать эффективность соединений внутри клеток, их способность преодолевать клеточный барьер и устойчивость к разрушению ферментами печени.
Последующие лабораторные измерения, скрытые от моделей, показали существенные различия между веществами. Соединение под номером 23 подавляло PRMT5 при меньшей концентрации, тогда как соединение 24 лучше проникало через клеточный барьер и медленнее разрушалось в эксперименте с печёночными ферментами. Подобные различия значительно осложняют выбор оптимального кандидата для дальнейших исследований.
Отдельная часть MedChemBench была посвящена восстановлению молекулярных структур по химическим схемам. В одном из испытаний требовалось правильно собрать молекулу, сохранив кольцо из 18 атомов. GPT-6 Astra справилась с заданием во всех десяти попытках. Более ранняя GPT-5.6 Sol в одном из показанных ответов создала кольцо из 15 атомов, а GPT-5.6 Luna разделила молекулу на несвязанные фрагменты.
Всего исследователи оценили 11 моделей при различных настройках глубины рассуждений. На полном наборе заданий GPT-6.2 Astra получила 84,5% возможных баллов, GPT-6 Astra — 83,3%, GPT-6.1 Sol — 82%, а GPT-5.6 Sol — 58,2%. Увеличение вычислительных ресурсов, выделяемых на рассуждения, в целом улучшало результаты, однако различия между моделями оставались значительными.
Наиболее уверенно современные модели справлялись с анализом молекулярных структур и объяснением экспериментальных данных. Значительно сложнее оказалось прогнозировать численные значения свойств веществ и выбирать соединения, наиболее подходящие для дальнейшей разработки.
Авторы подчёркивают, что результаты испытаний пока не доказывают способность искусственного интеллекта самостоятельно открывать новые лекарства. Задания основывались на уже опубликованных исследованиях, поэтому нельзя полностью исключить предварительное знакомство моделей с некоторыми данными. Кроме того, системы работали без дополнительных инструментов, обратной связи и проведения новых лабораторных экспериментов.
MedChemBench позволит точнее оценивать развитие искусственного интеллекта в медицинской химии и определять задачи, в которых моделям ещё необходимо улучшить способность связывать молекулярное строение с экспериментальными свойствами веществ.