Разработка платформенно-ориентированного алгоритма синтеза оптимальной нейросетевой архитектуры для мониторинга лазерной полировки кварцевых стекол

Предложен алгоритм эволюционного синтеза архитектур нейронных сетей, ориентированный на решение задач мониторинга технологических процессов в условиях ограниченных вычислительных ресурсов и обучающих выборок в режиме реального времени. Алгоритм основан на модифицированном подходе нейроэволюции, в котором геном особи включает в себя граф крупных функциональных блоков и происходит отслеживание истории инноваций. Оценка особей популяции выполнялась многокритери- альным алгоритмом NSGA-II на основе точности классификации и времени прямого прохода сети на целевом устройстве. Работоспособность алгоритма продемонстрирована на задаче классификации изображений с использованием набора данных CIFAR-10, а также на прикладной задаче классификации режимов работы при реализации технологической операции лазерной однолучевой полировки кварцевых стекол.

1. Stanley K. O., Miikkulainen R. (2002) Evolving Neural Networks through Augmenting Topologies. Evolutionary Computation. 10 (2), 99–127.

2. Miikkulainen R., Liang J., Meyerson E., Rawal A., Fink D., Francon O. (2017) Evolving Deep Neural Networks. arXiv preprint arXiv:1703.00548.

3. Zoph B., Le Q. V. (2016) Neural Architecture Search with Reinforcement Learning. arXiv preprint arXiv:1611.01578.

4. Elsken T., Metzen J. H., Hutter F. (2019) Neural Architecture Search: A Survey. Journal of Machine Learning Research. 20 (55), 1–21.

5. Termritthikun C., Jamtsho Y., Ieamsaard J., Muneesawang P., Lee I. (2021) EEEA-Net: An Early Exit Evolutionary Neural Architecture Search. arXiv preprint arXiv:2108.06156.

6. Tan M., Chen B., Pang R., Vasudevan V., Sandler M., Howard A., et al. (2019) MnasNet: Platform-Aware Neural Architecture Search for Mobile. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).

7. Sandler M., Howard A., Zhu M., Zhmoginov A., Chen L.-C. (2018) MobileNetV2: Inverted Residuals and Linear Bottlenecks. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).

8. Howard A., Sandler M., Chu G., Chen L., Chen B., Tan M., et al. (2019) Searching for MobileNetV3. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV).

9. Tan M., Le Q. V. (2021) EfficientNetV2: Smaller Models and Faster Training. Proceedings of the 38th International Conference on Machine Learning (ICML).

10. Chen Y., Dai X., Liu M., Chen D., Yuan L., Liu Z. (2020) Dynamic Convolution: Attention over Convolution Kernels. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).

11. Ma N., Zhang X., Zheng H.-T., Sun J. (2018) ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design. Proceedings of the European Conference on Computer Vision (ECCV).

12. Liu Z., Mao H., Wu C.-Y., Feichtenhofer C., Darrell T., Xie S. (2022) A ConvNet for the 2020s. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).

13. Qin D., Leichner C., Delakis M., Fornoni M., Luo S., Yang F., et al. (2024) MobileNetV4: Universal Models for the Mobile Ecosystem. arXiv preprint arXiv:2404.10518.

14. Dong X., Hu Y., Yang Y., Tian Y. (2021) Differentiable Architecture Search with Directional Derivatives. Advances in Neural Information Processing Systems (NeurIPS).

15. Chen T., Xu Y., Wang S., Li H. (2020) Progressive Supernet Optimization for Efficient Neural Architecture Search. Proceedings of the 37th International Conference on Machine Learning (ICML).

16. Cai H., Zhu L., Han S. (2020) Once for All: Train One Network and Specialize it for Efficient Deployment. International Conference on Learning Representations (ICLR).

17. Krizhevsky A. (2009) Learning Multiple Layers of Features from Tiny Images.

18. Emelyanov V. A., Shershnev E. B., Nikityuk Yu. V., Sokolov S. I., Aushev I. Yu. (2022) Optimization of Laser Polishing of Quartz Glass Using the Method of Computational Experiment Design. Problems of Physics, Mathematics and Engineering. 51 (2), 26–30. https://doi.org/10.54341/20778708_2022_2_51_26 (in Russian).

19. Deb K., Pratap A., Agarwal S., Meyarivan T. (2002) A Fast and Elitist Multiobjective Genetic Algorithm: NSGA-II. IEEE Transactions on Evolutionary Computation. 6 (2), 182–197.