Исследователи Hangzhou Institute for Advanced Study (КНР) представили подход, называемый хаотическим обратным распространением ошибки (CSBP), который внедряет хаотическую динамику, аналогичную той, что обнаружена в мозге.
Этот метод, примененный к пиковым нейронным сетям (SNN), не только улучшает эффективность обучения, но и способствует лучшему обобщению на различных наборах данных, сообщается на National Science Review.
SNN - это нейронные сети, которые имеют высокую энергоэффективность, поскольку передают импульсные сигналы, подобно биологическим нервным системам. Однако их обучение оказывается сложным. Существующие методы, такие как суррогатный градиент, не всегда эффективны из-за трудностей с локальными минимумами.
CSBP вводит функцию потерь, генерирующую хаотическую динамику, подобную мозговой. Этот подход демонстрирует значительное превосходство как на нейроморфных данных, так и на крупномасштабных статических наборах данных, таких как CIFAR100 и ImageNet.
С точки зрения теории, CSBP показывает, что процесс обучения сначала хаотичен, затем подвергается различным бифуркациям и, наконец, сходится к градиентной динамике, что соответствует активности мозга животных.
Эта работа открывает новые возможности для обучения SNN и предоставляет глубокое понимание процесса обучения биологического мозга. Это важный шаг в развитии искусственного интеллекта и открывает двери для создания более эффективных и точных нейронных сетей!
