МЕТОД ПОСТРОЕНИЯ МОДЕЛИ НЕЙРОРЕГУЛЯТОРА ПРИ ОПТИМИЗАЦИИ СТРУКТУРЫ УПРАВЛЕНИЯ ТЕХНОЛОГИЧЕСКИМ ЦИКЛОМ

Цель работы, результаты которой представлены в рамках данной статьи, состояла в разработке метода построения модели нейрорегулятора для случая оптимизации структуры управления технологическим циклом, реализация которого осуществляется на базе средств автоматизации производственного процесса при наличии физического контроллера, который осуществляет управление технологическим процессом в соответствии с заданной программой. Для достижения поставленной цели были решены задачи, связанные с применением нейросетевых технологий при построении математической модели нейрорегулятора. При этом математическая модель нейрорегулятора разработана на основе физического прототипа, а процедура синтеза управления в режиме реального времени (адаптивного управления) основана на процедуре обучения рекуррентной нейронной сети, построенной с использованием блоков LSTM, которые имеют возможность хранить информацию в течение длительного времени. Предложен метод построения модели нейрорегулятора для реализации управления технологическим циклом производства при решении задачи поиска оптимальной траектории на фазовой плоскости параметров состояний технологического цикла. В рассматриваемой задаче поиска оптимальной траектории математическая модель нейрорегулятора в каждый момент времени получает информацию о текущем состоянии системы, данные о смежных состояниях объекта управления и направление движения по фазовой плоскости состояний, которое определяется действующими критериями оптимизации управления. С учетом полученных результатов установлено, что рекуррентные сети с LSTM-модулями могут успешно применяться в качестве аппроксиматора Q-функции агента для решения поставленной задачи в условиях, когда частично наблюдаемая область состояний системы имеет сложную структуру. Выбор предложенного в работе метода адаптации к управляющим воздействиям и внешним возмущениям окружающей среды удовлетворяет требованиям к быстродействию процесса адаптации, равно как и требованиям к качеству процессов управления для случаев, когда актуальная информация о природе случайных возмущений управления отсутствует. Среда для проведения экспериментов, а также модели нейронных сетей реализованы на языке программирования Python с использованием библиотеки TensorFlow.

1. Максимей И.В., Смородин В.С., Демиденко О.М. Разработка имитационных моделей сложных технических систем. Гомель: ГГУ им. Ф. Скорины; 2014.

2. Hochreiter S., Schmidhuber J. Long short-term memory. Neural Computation. 1997;9(8):1735-1780. DOI:10.1162/neco.1997.9.8.1735.

3. Sutton R.S., Barto A.G. Reinforcement Learning: An Introduction. Cambridge: The MIT Press; 1998.

4. Mnih V., Kavukcuoglu K., Silver D., Rusu A., Veness J., Bellemare M., Graves A., Riedmiller M., Fidjeland A., Ostrovski G., Petersen S., Beattie C., Sadik A., Antonoglou I., King H., Kumaran D., Wiestra D., Legg S., Hassabis D. Human-level control through deep reinforcement learning. Nature. 2015;518(7540):29-533. DOI:10.1038/nature14236.

5. Toffoli T., Margolus N. Cellular Automata Machines: A New Environment for Modeling. Cambridge: The MIT Press; 1987.