студентка
Минск
Student
Minsk
Вашкевич Максим Иосифович, д-р техн. наук, проф. каф. встраиваемых вычислительных систем
220013, Минск, ул. П. Бровки, 6
Тел.: +375 17 293-84-20
Vashkevich Maxim, Dr. Sci. (Tech.), Professor at the Department of Embedded Computing System
220013, Minsk, P. Brovki St., 6
Tel.: +375 17 293-84-20
Исследованы методы эффективной аппаратной реализации нейронных сетей на программируемых логических интегральных схемах типа FPGA. В качестве ключевого аспекта рассматривается влияние выбора функций активации на характеристики разрабатываемого устройства. Предложен подход к использованию функций активации, допускающих эффективную аппаратную реализацию, в частности, обосновано применение LeakyReLU как компромисса между вычислительной простотой и точностью классификации. Для апробации подхода разработана архитектура двухслойной сети прямого распространения, выполнены оптимизация ее гиперпараметров и аппаратная реализация на плате PYNQ Z2. Проведен анализ влияния разрядности представления коэффициентов в формате с фиксированной запятой на точность распознавания базы данных MNIST и на аппаратные затраты. Экспериментально определена оптимальная разрядность дробной части (9 бит), обеспечивающая точность 95,27 % при экономном расходовании ресурсов программируемых логических интегральных схем. Дополнительно с использованием дивергенции Кульбака – Лейблера оценено искажение распределения весов при квантовании, на основе чего построена регрессионная модель для предсказания точности нейронной сети с квантованными коэффициентами.
Methods for the efficient hardware implementation of neural networks on FPGA-type programm able logic integrated circuits are investigated. A key aspect is the influence of the choice of activation functions on the characteristics of the developed device. An approach to the use of activation functions that allow for efficient hardware implementation is proposed. In particular, the use of LeakyReLU as a compromise between computational simplicity and classification accuracy is justified. To test the approach, a two-layer feedforward network architecture was developed, its hyperparameters were optimized, and hardware implementation was carried out on a PYNQ Z2 board. An analysis of the impact of the bit depth of the coefficients in fixed-point format on the re cognition accuracy of the MNIST database and on hardware costs is conducted. The optimal bit depth of the fractional part (9 bits) was experimentally determined, ensuring an accuracy of 95.27 % while economically using the resources of programmable logic integrated circuits. Additionally, using the Kullback – Leibler divergence, the distortion of the weight distribution during quantization was estimated, on the basis of which a regression model was constructed to predict the accuracy of a neural network with quantized coefficients.
The authors declare that there are no conflicts of interest present.