<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">bsuir</journal-id><journal-title-group><journal-title xml:lang="ru">Доклады БГУИР</journal-title><trans-title-group xml:lang="en"><trans-title>Doklady BGUIR</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">1729-7648</issn><issn pub-type="epub">2708-0382</issn><publisher><publisher-name>БГУИР</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.35596/1729-7648-2019-126-8-125-132</article-id><article-id custom-type="elpub" pub-id-type="custom">bsuir-2481</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ЭЛЕКТРОНИКА, РАДИОФИЗИКА, РАДИОТЕХНИКА, ИНФОРМАТИКА</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>ELECTRONICS, RADIOPHYSICS, RADIOENGINEERING, INFORMATICS</subject></subj-group></article-categories><title-group><article-title>МЕТОД ПОСТРОЕНИЯ МОДЕЛИ НЕЙРОРЕГУЛЯТОРА ПРИ ОПТИМИЗАЦИИ СТРУКТУРЫ УПРАВЛЕНИЯ ТЕХНОЛОГИЧЕСКИМ ЦИКЛОМ</article-title><trans-title-group xml:lang="en"><trans-title>METHOD OF CONSTRUCTION OF A NEUROREGULATOR MODEL WHEN OPTIMIZING THE CONTROL STRUCTURE OF A TECHNOLOGICAL CYCLE</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Смородин</surname><given-names>В. С.</given-names></name><name name-style="western" xml:lang="en"><surname>Smorodin</surname><given-names>V. S.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Смородин Виктор Сергеевич, д.т.н., профессор, заведующий кафедрой математических проблем управления и информатики</p><p>246019, г. Гомель, ул. Советская, д. 104</p></bio><bio xml:lang="en"><p>Smorodin Victor Sergeevich, D.Sci., Professor, Head of the Department of Mathematical Problems of Control and Informatics</p><p>246019, Gomel, Sovetskaya st., 104</p></bio><email xlink:type="simple">smorodin@gsu.by</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Прохоренко</surname><given-names>В. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Prokhorenko</surname><given-names>V. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>ассистент кафедры математических проблем управления и информатики</p><p>246019, г. Гомель, ул. Советская, д. 104</p></bio><bio xml:lang="en"><p>Prokhorenko V.A., M.Sci., Assistant of the Department of Mathematical Problems of Control and Informatics</p><p>246019, Gomel, Sovetskaya st., 104</p></bio><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Гомельский государственный университет имени Франциска Скорины</institution></aff><aff xml:lang="en"><institution>Gomel State University named after Francisk Skorina</institution></aff></aff-alternatives><pub-date pub-type="collection"><year>2019</year></pub-date><pub-date pub-type="epub"><day>29</day><month>12</month><year>2019</year></pub-date><volume>0</volume><issue>7-8</issue><fpage>125</fpage><lpage>132</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Смородин В.С., Прохоренко В.А., 2019</copyright-statement><copyright-year>2019</copyright-year><copyright-holder xml:lang="ru">Смородин В.С., Прохоренко В.А.</copyright-holder><copyright-holder xml:lang="en">Smorodin V.S., Prokhorenko V.A.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://doklady.bsuir.by/jour/article/view/2481">https://doklady.bsuir.by/jour/article/view/2481</self-uri><abstract><p>Цель работы, результаты которой представлены в рамках данной статьи, состояла в разработке метода построения модели нейрорегулятора для случая оптимизации структуры управления технологическим циклом, реализация которого осуществляется на базе средств автоматизации производственного процесса при наличии физического контроллера, который осуществляет управление технологическим процессом в соответствии с заданной программой. Для достижения поставленной цели были решены задачи, связанные с применением нейросетевых технологий при построении математической модели нейрорегулятора. При этом математическая модель нейрорегулятора разработана на основе физического прототипа, а процедура синтеза управления в режиме реального времени (адаптивного управления) основана на процедуре обучения рекуррентной нейронной сети, построенной с использованием блоков LSTM, которые имеют возможность хранить информацию в течение длительного времени. Предложен метод построения модели нейрорегулятора для реализации управления технологическим циклом производства при решении задачи поиска оптимальной траектории на фазовой плоскости параметров состояний технологического цикла. В рассматриваемой задаче поиска оптимальной траектории математическая модель нейрорегулятора в каждый момент времени получает информацию о текущем состоянии системы, данные о смежных состояниях объекта управления и направление движения по фазовой плоскости состояний, которое определяется действующими критериями оптимизации управления. С учетом полученных результатов установлено, что рекуррентные сети с LSTM-модулями могут успешно применяться в качестве аппроксиматора Q-функции агента для решения поставленной задачи в условиях, когда частично наблюдаемая область состояний системы имеет сложную структуру. Выбор предложенного в работе метода адаптации к управляющим воздействиям и внешним возмущениям окружающей среды удовлетворяет требованиям к быстродействию процесса адаптации, равно как и требованиям к качеству процессов управления для случаев, когда актуальная информация о природе случайных возмущений управления отсутствует. Среда для проведения экспериментов, а также модели нейронных сетей реализованы на языке программирования Python с использованием библиотеки TensorFlow.</p></abstract><trans-abstract xml:lang="en"><p>In this paper authors present the results of a research that had a purpose to develop a method of constructing a neuroregulator model for the case of optimization of the control structure of a technological cycle. The method's implementation is based upon the automation of a production process when a physical controller, that operates the technological process according to a given program, is present. In order to achieve this goal, the artificial neural network approaches were implemented to create a mathematical model of the neuroregulator. The mathematical model of the neuroregulator is based on a physical prototype, and the procedure of a real-time control synthesis (adaptive control) is based on recurrent neural network training. The neural network architecture includes LSTM blocks, which are capable of storing information for long periods of time. A method is proposed for constructing a neuroregulator model for control of a production cycle when solving the task of the optimal trajectory finding on the phase plane of the technological cycle states. In the considered task of the optimal trajectory finding the mathematical model of the neuroregulator receives at each moment of time information about the current system state, the adjacent system states and the movement direction on the phase plane of states. Movement direction is determined by the given control optimization criteria. Based on the research results it was found that recurrent networks with LSTM modules can be used successfully as an approximator for the agent's Q-function to solve the given problem when the partially observed region of system states has a complex structure. The choice of the method of adaptation to the control actions and the external environmental disturbances proposed in the paper satisfies the requirements for the adatation process performance, as well as the requierments for the control processes quality, when there is lack of information about the nature of random control disturbances. The experimental environment, as well as the neural network models was implemented using the Python programming language with TensorFlow library.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>модель нейрорегулятора</kwd><kwd>адаптивное управление</kwd><kwd>оптимизация параметров функционирования</kwd><kwd>фазовая плоскость состояний</kwd><kwd>оптимальная траектория</kwd></kwd-group><kwd-group xml:lang="en"><kwd>neuroregulator model</kwd><kwd>adaptive control</kwd><kwd>optimization of functioning parameters</kwd><kwd>phase plane of states</kwd><kwd>optimal trajectory</kwd></kwd-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Максимей И.В., Смородин В.С., Демиденко О.М. Разработка имитационных моделей сложных технических систем. Гомель: ГГУ им. Ф. Скорины; 2014.</mixed-citation><mixed-citation xml:lang="en">Maksimej I.V., Smorodin V.S., Demidenko O.M. [Development of simulation models of complex technical systems]. Gomel: GGU im. F. Skoriny; 2014. (in Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Hochreiter S., Schmidhuber J. Long short-term memory. Neural Computation. 1997;9(8):1735-1780. DOI:10.1162/neco.1997.9.8.1735.</mixed-citation><mixed-citation xml:lang="en">Hochreiter S., Schmidhuber J. Long short-term memory. Neural Computation. 1997;9(8):1735-1780. doi:10.1162/neco.1997.9.8.1735.</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Sutton R.S., Barto A.G. Reinforcement Learning: An Introduction. Cambridge: The MIT Press; 1998.</mixed-citation><mixed-citation xml:lang="en">Sutton R.S., Barto A.G. Reinforcement Learning: An Introduction. Cambridge: The MIT Press; 1998.</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Mnih V., Kavukcuoglu K., Silver D., Rusu A., Veness J., Bellemare M., Graves A., Riedmiller M., Fidjeland A., Ostrovski G., Petersen S., Beattie C., Sadik A., Antonoglou I., King H., Kumaran D., Wiestra D., Legg S., Hassabis D. Human-level control through deep reinforcement learning. Nature. 2015;518(7540):29-533. DOI:10.1038/nature14236.</mixed-citation><mixed-citation xml:lang="en">Mnih V., Kavukcuoglu K., Silver D., Rusu A., Veness J., Bellemare M., Graves A., Riedmiller M., Fidjeland A., Ostrovski G., Petersen S., Beattie C., Sadik A., Antonoglou I., King H., Kumaran D., Wiestra D., Legg S., Hassabis D. Human-level control through deep reinforcement learning. Nature 2015;518(7540):529-533. DOI:10.1038/nature14236.</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Toffoli T., Margolus N. Cellular Automata Machines: A New Environment for Modeling. Cambridge: The MIT Press; 1987.</mixed-citation><mixed-citation xml:lang="en">Toffoli T., Margolus N. Cellular Automata Machines: A New Environment for Modeling. Cambridge: The MIT Press; 1987.</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
