Adaptive learning rate for CNNMVN

Abstract

Adaptive learning rate techniques are widely used to enhance the training efficiency of neural networks by improving convergence speed and accuracy while decreasing the risk of getting stuck in local minima or saddle points. In this paper, we introduce adaptive learning rate approaches for the Complex-Valued Convolutional Neural Network with Multi-Valued Neurons (CNNMVN), a fully complex-valued neural network that procesoses complex inputs using complex weights and complex-valued activation functions. Unlike traditional real-valued neural networks, CNNMVN employs an error-sharing principle rather than gradient-based optimization, eliminating the local minima problem and allowing for more flexible adjustments in the learning rate. We propose two adaptive learning rate (ALR) strategies tailored for CNNMVN. The first approach modifies the learning rate coefficients in the error-correction formulas, while the second one adjusts the normalization parameters in the error-backpropagation and error-correction processes. Both methods dynamically adapt the learning rate based on validation accuracy. Results indicate that adaptive learning rate significantly improves convergence speed and accuracy, particularly when combined with a self-adaptive learning rate. Furthermore, our study highlights the impact of normalization factors on learning dynamics and explores training scenarios where normalization is minimized or removed entirely. Our findings demonstrate that ALR methods enhance CNNMVN training performance, providing a robust framework for optimizing learning rates in complex-valued neural networks.

Адаптивнi методи змiни швидкостi навчання широко використовуються для пiдвищення ефективностi навчання нейронних мереж, оскiльки вони покращують швидкiсть та точнiсть збiжностi та зменшують ризик застрягання в локальних мiнiмумах або сiдлоподiбних точках. У цiй статтi ми представляємо пiдходи до адаптивної швидкостi навчання для згорткової нейронної мережi з багатозначними нейронами (CNNMVN), яка є повнiстю комплекснозначною нейронною мережею, що оперує комплексними вхiдними даними, комплексними вагами та комплекснозначними активацiйними функцiями. На вiдмiну вiд традицiйних дiйснозначних нейронних мереж, CNNMVN використовує принцип подiлу помилки замiсть градiєнтної оптимiзацiї, що усуває проблему локальних мiнiмумiв i дозволяє бiльш гнучко коригувати швидкiсть навчання. Ми пропонуємо двi стратегiї адаптивної швидкостi навчання (ALR), спецiально розробленi для CNNMVN. Перша стратегiя модифiкує коефiцiєнти швидкостi навчання у формулах корекцiї похибки, тодi як друга регулює параметри нормалiзацiї у процесах зворотного поширення похибки та її корекцiї. Обидва методи динамiчно адаптують швидкiсть навчання на основi точностi на валiдацiйнiй вибiрцi. Результати показують, що адаптивна швидкiсть навчання суттєво покращує швидкiсть збiжностi та точнiсть, особливо при поєднаннi з самоналаштовуваною швидкiстю навчання. Крiм того, наше дослiдження пiдкреслює вплив нормалiзацiї на динамiку навчання та розглядає сценарiї, у яких нормалiзацiю мiнiмiзовано або повнiстю виключено. Нашi результати демонструють, що методи ALR покращують ефективнiсть навчання CNNMVN, забезпечуючи надiйну основу для оптимiзацiї швидкостi навчання в комплекснозначних нейронних мережах.