Учёные разработали искусственные нейроны, которые обучаются самостоятельно, подобно нейронам в мозге
Исследователи разработали «инфоморфные» искусственные нейронные сети, способные к автономному обучению и самоорганизации на основе своего непосредственного окружения. Освобождаясь от внешнего контроля, эти системы приближаются к тому, как функционируют биологические нейронные сети (например, мозг), что знаменует собой многообещающий прогресс в области автоматического обучения.
Эффективность нейронных сетей, как биологических, так и искусственных, обусловлена их плотной сетевой структурой, состоящей из множества взаимосвязанных вычислительных блоков. У человека неокортекс основан на разнообразии типов нейронов, расположенных в повторяющихся микросхемах, что обеспечивает ему замечательную функциональную пластичность. Искусственные сети вдохновлены такой организацией, опираясь на повторяемость простых вычислительных блоков, что позволяет им расти в размерах и усложняться.
Схематически каждый нейрон действует как упрощенная вычислительная единица. В искусственных архитектурах нейроны организованы в последовательные слои, через которые проходят входные сигналы. Эти сигналы обрабатываются для извлечения нужной информации.
Но есть одно принципиальное отличие: биологические сети обучаются не так, как их искусственные собратья. В то время как искусственные сети часто зависят от централизованной, внешней координации, биологические нейроны полагаются на локальные сигналы от своих ближайших соседей. Такой распределенный режим обучения обеспечивает естественным сетям гораздо большую гибкость и энергоэффективность, чем традиционным искусственным моделям.
Чтобы приблизить искусственные сети к их биологическим аналогам, исследователи из Института динамики биологических сетей (CIDBN) при Геттингенском университете и Института динамики и самоорганизации Макса Планка (MPI-DS) разработали сети на основе так называемых инфоморфных нейронов. Их работа была опубликована в журнале , а также в предварительной публикации на платформе .
«В современных глубоких нейронных сетях динамика обучения отдельных нейронов часто остается непрозрачной, поскольку она обусловлена глобальной оптимизацией. Биологические системы, с другой стороны, полагаются на локальное, самоорганизованное обучение, которое гарантирует устойчивость и эффективность, несмотря на ограниченность глобальной информации», — пишут авторы в своей статье. «Мы демонстрируем, как такая самоорганизация может возникнуть между искусственными нейронами, определяя локальные, абстрактные цели обучения, вдохновленные живыми системами».
Четкие и универсальные цели обучения
Метод, разработанный исследователями, основан на теоретической базе, известной как «частичная декомпозиция информации» (PID), которая расширяет основы теории информации. Эта основа позволяет разложить информацию, передаваемую множеством источников, на отдельные, избыточные или синергетические компоненты. Таким образом, инфоморфные нейроны локально интегрируют информацию с различных входов, выбирая те, чьи сигналы являются совместными или избыточными. Такая распределенная обработка позволяет спонтанно обучаться, взаимодействуя с ближайшим окружением.
«Делая обучение интерпретируемым на уровне нейронов и обеспечивая надежную работу за счет локального обучения, наша работа закладывает основы информационной теории обучения», — говорят авторы. При создании инфоморфных нейронов команда черпала вдохновение в работе пирамидальных клеток коры головного мозга, известных своей способностью адаптивно обрабатывать контекстные сигналы.
Искусственные нейроны, созданные в этом контексте, следуют простым, общим, но мощным целям обучения. «Теперь у нас есть четкое понимание того, как работает внутренняя сеть и как каждый нейрон обучается самостоятельно», — объясняет Марсель Гретц из CIDBN, соавтор исследования, в пресс-релизе Института Макса Планка.
Определив свои собственные цели обучения, эти нейроны затем устанавливают конкретные правила обучения. Сосредоточившись на собственном когнитивном процессе, исследователи применили новую метрику из теории информации, чтобы определить, должен ли нейрон искать повторяющиеся сигналы, сотрудничать со своими коллегами или специализироваться на одном компоненте общей информации.
«Специализируясь на определенных аспектах входного сигнала и координируя свои действия с соседями, наши инфоморфные нейроны вносят коллективный вклад в решение поставленной перед сетью задачи», — заключает Валентин Нойхаус, соавтор исследования из MPI-DS. Этот новый тип нейронов может привести к созданию более автономного искусственного интеллекта и в то же время углубить наше понимание механизмов обучения мозга».