Аппаратная реализация двухслойной нейронной сети на базе FPGA: анализ эффективности применения функций активации ReLU и LeakyReLU

Исследованы методы эффективной аппаратной реализации нейронных сетей на программируемых логических интегральных схемах типа FPGA. В качестве ключевого аспекта рассматривается влияние выбора функций активации на характеристики разрабатываемого устройства. Предложен подход к использованию функций активации, допускающих эффективную аппаратную реализацию, в частности, обосновано применение LeakyReLU как компромисса между вычислительной простотой и точностью классификации. Для апробации подхода разработана архитектура двухслойной сети прямого распространения, выполнены оптимизация ее гиперпараметров и аппаратная реализация на плате PYNQ Z2. Проведен анализ влияния разрядности представления коэффициентов в формате с фиксированной запятой на точность распознавания базы данных MNIST и на аппаратные затраты. Экспериментально определена оптимальная разрядность дробной части (9 бит), обеспечивающая точность 95,27 % при экономном расходовании ресурсов программируемых логических интегральных схем. Дополнительно с использованием дивергенции Кульбака – Лейблера оценено искажение распределения весов при квантовании, на основе чего построена регрессионная модель для предсказания точности нейронной сети с квантованными коэффициентами.

1. Ahmad, M. FPGA Implementation of Complex-Valued Neural Network for Polar-Represented Image Classification / М. Ahmad, L. Zhang, M. E. H. Chowdhury // Sensors. 2024. Vol. 24, No 3.

2. Kwon, J. Design of a Low-Area Digit Recognition Accelerator Using MNIST Database / J. Kwon, S. Kim // JOIV: International Journal on Informatics Visualization. 2022. Vol. 6, No 1. P. 53–59.

3. FPGA Acceleration on a Multilayer Perceptron Neural Network for Digit Recognition / I. Westby [et al.] // The Journal of Supercomputing. 2021. Vol. 77, No 12. P. 14356–14373. https://doi.org/10.1007/s11227-02103849-7.

4. Кривальцевич, Е. А. Исследование аппаратной реализации нейронной сети прямого распространения для распознавания рукописных цифр на базе FPGA / Е. А. Кривальцевич, М. И. Вашкевич // Доклады БГУИР. 2025. Т. 23, № 2. С. 101–108. http://dx.doi.org/10.35596/1729-7648-2025-23-2-101-108.

5. Субботенко, О. Р. FPGA реализация двухслойной нейронной сети прямого распространения для распознавания изображений / О. Р. Субботенко, М. И. Вашкевич // Информационные технологии и системы 2025 (ИТС 2025): материалы Междунар. науч. конф., Минск, 19 нояб. 2025. Минск: Белор. гос. ун-т информ. и радиоэлек., 2025. С. 153–154.

6. Maas, A. L. Rectifier Nonlinearities Improve Neural Network Acoustic Models / A. L. Maas, A. Y. Hannun, A. Y. Ng // Proceedings of the 30th International Conference on Machine Learning (ICML), 2013. P. 1–6.

7. Субботенко, О. Р. Разработка аппаратного модуля вычисления функции argmax на базе FPGA / О. Р. Субботенко // Компьютерные системы и сети: материалы 61-й науч. конф. аспир., магистрантов и студ., Минск, 22–26 апр. 2025 г. Минск: Белор. гос. ун-т информ. и радиоэлек., 2025. C. 584–585.