<!DOCTYPE article
PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.4 20190208//EN"
       "JATS-journalpublishing1.dtd">
<article xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" article-type="research-article" dtd-version="1.4" xml:lang="en">
 <front>
  <journal-meta>
   <journal-id journal-id-type="publisher-id">Vestnik of Astrakhan State Technical University. Series: Management, computer science and informatics</journal-id>
   <journal-title-group>
    <journal-title xml:lang="en">Vestnik of Astrakhan State Technical University. Series: Management, computer science and informatics</journal-title>
    <trans-title-group xml:lang="ru">
     <trans-title>Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика</trans-title>
    </trans-title-group>
   </journal-title-group>
   <issn publication-format="print">2072-9502</issn>
   <issn publication-format="online">2224-9761</issn>
  </journal-meta>
  <article-meta>
   <article-id pub-id-type="publisher-id">32671</article-id>
   <article-id pub-id-type="doi">10.24143/2072-9502-2019-3-25-33</article-id>
   <article-categories>
    <subj-group subj-group-type="toc-heading" xml:lang="ru">
     <subject>Компьютерное обеспечение и вычислительная техника</subject>
    </subj-group>
    <subj-group subj-group-type="toc-heading" xml:lang="en">
     <subject>COMPUTER SOFTWARE AND COMPUTING EQUIPMENT</subject>
    </subj-group>
    <subj-group>
     <subject>Компьютерное обеспечение и вычислительная техника</subject>
    </subj-group>
   </article-categories>
   <title-group>
    <article-title xml:lang="en">USING MACHINE LEARNING METHODS IN POWER EQUIPMENT REPAIR PROGRAMS</article-title>
    <trans-title-group xml:lang="ru">
     <trans-title>ИСПОЛЬЗОВАНИЕ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ ПРИ СОСТАВЛЕНИИ ПРОГРАММ РЕМОНТА ЭНЕРГЕТИЧЕСКОГО ОБОРУДОВАНИЯ</trans-title>
    </trans-title-group>
   </title-group>
   <contrib-group content-type="authors">
    <contrib contrib-type="author">
     <name-alternatives>
      <name xml:lang="ru">
       <surname>Бородин</surname>
       <given-names>Виталий Александрович </given-names>
      </name>
      <name xml:lang="en">
       <surname>Borodin</surname>
       <given-names>Vitaly Aleksandrovich </given-names>
      </name>
     </name-alternatives>
     <email>vitkt@yandex.ru</email>
     <xref ref-type="aff" rid="aff-1"/>
    </contrib>
    <contrib contrib-type="author">
     <name-alternatives>
      <name xml:lang="ru">
       <surname>Проталинский</surname>
       <given-names>Олег Мирославович</given-names>
      </name>
      <name xml:lang="en">
       <surname>Protalinskiy</surname>
       <given-names>Oleg Miroslavovich</given-names>
      </name>
     </name-alternatives>
     <bio xml:lang="ru">
      <p>доктор технических наук;</p>
     </bio>
     <bio xml:lang="en">
      <p>doctor of technical sciences;</p>
     </bio>
     <xref ref-type="aff" rid="aff-2"/>
    </contrib>
    <contrib contrib-type="author">
     <name-alternatives>
      <name xml:lang="ru">
       <surname>Шуршев</surname>
       <given-names>Валерий Федорович </given-names>
      </name>
      <name xml:lang="en">
       <surname>Shurshev</surname>
       <given-names>Valeriy Fedorovich </given-names>
      </name>
     </name-alternatives>
     <email>v.shurshev@mail.ru</email>
     <bio xml:lang="ru">
      <p>доктор технических наук;</p>
     </bio>
     <bio xml:lang="en">
      <p>doctor of technical sciences;</p>
     </bio>
     <xref ref-type="aff" rid="aff-3"/>
    </contrib>
   </contrib-group>
   <aff-alternatives id="aff-1">
    <aff>
     <institution xml:lang="ru">Астраханский государственный технический университет</institution>
     <country>ru</country>
    </aff>
    <aff>
     <institution xml:lang="en">Astrakhan State Technical University</institution>
     <country>ru</country>
    </aff>
   </aff-alternatives>
   <aff-alternatives id="aff-2">
    <aff>
     <institution xml:lang="ru">Национальный  исследовательский университет «МЭИ»</institution>
     <city>Москва</city>
     <country>Россия</country>
    </aff>
    <aff>
     <institution xml:lang="en">National Research  University “Moscow Power Engineering Institute”</institution>
     <city>Moscow</city>
     <country>Russian Federation</country>
    </aff>
   </aff-alternatives>
   <aff-alternatives id="aff-3">
    <aff>
     <institution xml:lang="ru">Астраханский государственный технический университет</institution>
     <country>Россия</country>
    </aff>
    <aff>
     <institution xml:lang="en">Astrakhan State Technical University</institution>
     <country>Russian Federation</country>
    </aff>
   </aff-alternatives>
   <issue>3</issue>
   <fpage>25</fpage>
   <lpage>33</lpage>
   <self-uri xlink:href="https://vestnik.astu.ru/en/nauka/article/32671/view">https://vestnik.astu.ru/en/nauka/article/32671/view</self-uri>
   <abstract xml:lang="ru">
    <p>Рассматривается процесс планирования ремонта энергетического оборудования. Ввиду наличия большого количества правил сопоставления технологических карт дефектам оборудования предлагается использование системы поддержки принятия решений. Такая система может ускорить процесс планирования и снизить экономические затраты. Построена концептуальная модель системы, далее она представлена в виде задачи классификации с пересекающимися классами. Использован подход «один против всех» - для каждой технологической карты создан отдельный классификатор. Для оценки классификаторов предложены метрики: доля верно классифицированных объектов, точность, полнота и F -мера. Для обобщения результатов оценки выбрана концепция микро-усреднения. Описан алгоритм классификации дефектов. Проведен эксперимент с использованием разных алгоритмов классификации: деревьев принятия решений, байесовского классификатора и многослойного персептрона. В результате эксперимента установлено, что верно классифицированных объектов обнаружено 80-90 % (высокие значения), но средние значения точности и полноты оказались низкими (3-7 %). Также были обнаружены наборы данных, где одинаковым входным данным соответствуют разные выходные. Таким образом, машинное обучение может быть использовано для поддержки принятия решений, но в некоторых случаях информации о заказе недостаточно. Классификация дефектов может сочетаться с уточнением результатов в ручном режиме или с другими алгоритмами.</p>
   </abstract>
   <trans-abstract xml:lang="en">
    <p>The article discusses the process of planning the repair of energy equipment. Using a decision support system is proposed because of the large number of rules of comparing flow charts of technical defects. Such a system can speed up the planning process and reduce economic costs. A conceptual model of the system has been built; further it will be presented as a multi-label classification of cross-cutting classes. The “one-vs-all” approach has been used: each flow chart can use its individual classifier. Metrics are proposed for evaluating classifiers: a portion of accurately classified objects, precision, fullness and F-measure. To summarize the evaluation results the concept of micro-average was chosen. A defect classification algorithm has been described. An experiment was conducted using different classification algorithms: decision trees, Bayes classifier and multilayer perceptron. The results of the experiment proved that 80-90% of the correctly classified objects were found (high values), but the average values of accuracy and fullness occurred low (3-7%). There were found sets of data, where different output data corresponded to similar input data. Thus, machine learning can be used to support decision-making, but in some cases information about the order is not complete. Defect classification can be combined with manual clarifying of results or with different algorithms.</p>
   </trans-abstract>
   <kwd-group xml:lang="ru">
    <kwd>система поддержки принятия решений</kwd>
    <kwd>система управления производственными активами</kwd>
    <kwd>технологические карты</kwd>
    <kwd>дефекты</kwd>
    <kwd>оборудование</kwd>
    <kwd>ремонтная программа</kwd>
    <kwd>классификатор</kwd>
   </kwd-group>
   <kwd-group xml:lang="en">
    <kwd>decision support system</kwd>
    <kwd>asset management system</kwd>
    <kwd>flow charts</kwd>
    <kwd>defects</kwd>
    <kwd>equipment</kwd>
    <kwd>repair program</kwd>
    <kwd>classifier</kwd>
   </kwd-group>
  </article-meta>
 </front>
 <body>
  <p>Энергетика является одной из самых важных отраслей промышленности. Отказы в работе энергетических предприятий могут привести как к серьезным экономическим потерям, так и к негативным социальным последствиям. Для того чтобы снизить количество аварийных ситуаций, необходимо постоянное обслуживание и своевременный ремонт энергетического оборудования. Внедрение систем управления производственными активами позволяет сократить риски отказов и провести оптимальное планирование ремонтных программ. Ввиду широкого распространения энергетического оборудования и высокой его стоимости даже незначительная оптимизация процесса может привести к существенному снижению затрат, а также к улучшению условий труда персонала [1]. Для того чтобы спланировать ремонт оборудования, рассматриваются нормативные документы - технологические карты, которые содержат данные о затратах, необходимых при проведении работ; данные об использовании инструментов, машин, механизмов и материалов; о квалификации и объемах трудовых ресурсов, мерах безопасности [2, 3]. Для составления ремонтной программы необходимо сопоставить дефекты оборудования технологическим картам. В некоторых системах управления производственными активами возможен только ручной ввод прямых соответствий между ними. На крупных предприятиях может учитываться большое количество типов оборудования, технологических карт и типовых дефектов; неавтоматизированная работа с такими объемами документов может быть неэффективна по времени и приводить к ошибкам, т. к. требует запоминания большого количества правил. Другая проблема - передача опыта от одного сотрудника к другому. Все это подтверждает актуальность использования системы поддержки принятия решений при составлении ремонтной программы. Вопросам разработки подобных систем посвящены работы [4-15]. Цель разработки - поиск путей снижения экономических потерь за счет повышения эффективности процесса планирования. На первом этапе достижения поставленной цели основной задачей является построение математической модели системы. Концептуальная модель сопоставления Рассмотрим основные сущности, используемые при планировании ремонтной программы. Неисправности определяются типовыми дефектами, характерными для того или иного типа оборудования. Типы оборудования - это конкретные модели, например трансформатор или опора линии электропередач. Технологическая карта - это документ, описывающий выполнение определенных работ. Тогда сопоставление технологических карт дефектам можно представить в виде концептуальной модели , (1) где - подмножество дефектов, выявленных у единицы оборудования, принадлежит множеству типовых дефектов; - подмножество технологических карт для устранения данных дефектов. Эту концептуальную модель можно представить как задачу классификации с пересекающимися классами (multi-label classification) [16], т. к. возможно соответствие набора дефектов нескольким технологическим картам (рис. 1). Рис. 1. Задача классификации с пересекающимися классами Для решения задачи используют подход «один против всех» (one-vs-rest), где для каждого класса создается свой бинарный классификатор. Далее математическая модель была проверена на наборе данных о назначении технологических карт дефектам из системы управления производственными активами. Данные состояли из информации о единице оборудования, наборе дефектов в заказе и назначенных технологических картах. Вычисление коэффициента корреляции Пирсона показало корреляционную связь появления технологической карты при наличии дефекта в заказе на ремонт. Проверка адекватности модели Дальнейший этап разработки системы поддержки принятия решений - поиск эффективного классификатора. Данные заказов на ремонт разбиты на тестовую и обучающую выборки. Модель классификации была протестирована на нескольких классификаторах: деревьях принятия решений, байесовском классификаторе и многослойном персептроне [17-20]. На основе подхода «один против всех» для каждой технологической карты создан классификатор, обученный на заказах, для определения необходимости использования технологической карты при данном наборе дефектов. Для оценки работы классификаторов были вычислены метрики: доля верно классифицированных объектов, точность, полнота и F-мера [18]. Для вычисления метрик необходимо рассчитать следующие показатели: TP - количество истинно-положительных срабатываний классификатора, TN - количество истинно-отрица-тельных, FP - количество ложно-положительных, FN - количество ложно-отрицательных. Тогда доля верно классифицированных объектов рассчитывается следующим образом: . Точность вычисляется как доля документов, действительно принадлежащих данному классу, относительно всех документов, которые система отнесла к этому классу: . Полнота рассчитывается как доля найденных классификатором документов, принадлежащих классу, относительно всех документов этого класса в тестовой выборке: . F-мера вычисляется как гармоническое среднее между точностью и полнотой: . Для обобщения результатов всех классификаторов выбрана концепция микро-усреднения (значения метрик всех классификаторов усредняются). Таким образом, алгоритм классификации дефектов состоял из нескольких этапов. Данные сгруппированы по номеру заказа ремонтной программы. Неполные данные без дефектов или технологических карт исключены из множества. Повторяющиеся заказы также исключены. Далее множества дефектов и технологических карт были упорядочены и представлены в виде логической матрицы. Каждая строка матрицы содержит информацию о заказе. Первые N столбцов матрицы соответствуют дефектам, следующие M столбцов - технологическим картам. Значение «истина» соответствует наличию данного дефекта или технологической карты в заказе, «ложь» - отсутствию (рис. 2). Рис. 2. Пример логической матрицы для классификации На следующем этапе вычислен коэффициент корреляции между дефектами и каждой технологической картой. Затем для каждого классификатора (деревья принятия решений, байесовский классификатор, многослойный персептрон) произведено обучение и сбор метрик оценки точности классификаторов (рис. 3). Рис. 3. Алгоритм классификации Результаты исследования Все классификаторы показали высокий процент правильно классифицированных объектов - около 80-90 %. Однако средние значения остальных метрик оказались низкими (3-7 %) (рис. 4-6). Рис. 4. Сравнение значений F-меры для разных классификаторов Рис 5. Доля верно классифицированных объектов и F-мера для различных технологических карт в выборке Рис. 6. Значение F-меры для разных технологических карт при классификации деревьями принятия решений Для объяснения такого разрыва значений метрик результаты классификации проанализированы более подробно. Проведено обучение на всей выборке. Средние значения метрик выросли, но не превышали 70 % для точности и 40 % для полноты и F-меры. Даже с учетом эффекта переобучения для некоторых технологических карт полнота и точность классификаторов остались нулевыми. Анализ показал, что в некоторых заказах один и тот же набор дефектов приводит к отличающимся наборам технологических карт. Эти данные могут быть уточнены, если добавить в модель информацию о типе оборудования, что повысит эффективность классификации. Но для части данных существуют заказы, в которых для одного и того же набора дефектов и типа оборудования используются разные технологические карты. Таким образом, машинное обучение может быть эффективным способом поддержки принятия решений, но невозможно автоматизировать процесс составления ремонтной программы только с его помощью. В некоторых случаях необходимо комбинирование алгоритма с другими методами либо уточнение результатов работы классификаторов пользователем системы. Заключение Машинное обучение может быть эффективным способом поддержки принятия решений, но не позволяет полностью автоматизировать процесс составления ремонтной программы. Неравномерное распределение технологических карт в заказах, недостаточный объем выборки, конфликтующие сэмплы снижают эффективность алгоритма. Для решения этой проблемы в процессе развития системы могут быть использованы эвристические алгоритмы, исключающие неэффективные бинарные классификаторы. Кроме того, при обнаружении низких значений метрик или наличии конфликтующих сэмплов решение о выборе технологических карт может производиться пользователем системы - накопление данных в процессе эксплуатации системы и последующее переобучение могут повысить эффективность классификаторов.</p>
 </body>
 <back>
  <ref-list>
   <ref id="B1">
    <label>1.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Проталинский О. М., Проталинский И. О., Кладов О. Н. Система оптимального управления производственными активами энергетических предприятий // Автоматизация и IT в энергетике. 2017. № 4 (93). С. 5-8.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Protalinskiy O. M., Protalinskiy I. O., Kladov O. N. Sistema optimal'nogo upravleniya proizvodstvennymi aktivami energeticheskih predpriyatiy // Avtomatizaciya i IT v energetike. 2017. № 4 (93). S. 5-8.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B2">
    <label>2.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Ящура А. И. Система технического обслуживания и ремонта энергетического оборудования: справ. М.: НЦ ЭНАС, 2006. 491 с.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Yaschura A. I. Sistema tehnicheskogo obsluzhivaniya i remonta energeticheskogo oborudovaniya: sprav. M.: NC ENAS, 2006. 491 s.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B3">
    <label>3.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Методические указания по разработке технологических карт и проектов производства работ по техническому обслуживанию и ремонту ВЛ // ПАО «ФСК ЕЭС». URL: http://www.fsk-ees.ru/upload/docs/ STO_56947007-29.240.55.168-2014.pdf (дата обращения: 30.04.2019).
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Metodicheskie ukazaniya po razrabotke tehnologicheskih kart i proektov proizvodstva rabot po tehnicheskomu obsluzhivaniyu i remontu VL // PAO «FSK EES». URL: http://www.fsk-ees.ru/upload/docs/ STO_56947007-29.240.55.168-2014.pdf (data obrascheniya: 30.04.2019).
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B4">
    <label>4.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Шуршев В. Ф., Кочкин Г. А., Кочкина В. Р. Модель системы поддержки принятия решений на основе рассуждений по прецедентам // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2013. № 2. С. 175-183.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Shurshev V. F., Kochkin G. A., Kochkina V. R. Model' sistemy podderzhki prinyatiya resheniy na osnove rassuzhdeniy po precedentam // Vestn. Astrahan. gos. tehn. un-ta. Ser.: Upravlenie, vychislitel'naya tehnika i informatika. 2013. № 2. S. 175-183.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B5">
    <label>5.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Звезинцев А. И., Квятковская И. Ю. Применение модифицированного алгоритма генетического программирования для идентификации математических моделей путем расширения обучающего множества искусственной нейронной сетью // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2013. № 2. С. 58-65.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Zvezincev A. I., Kvyatkovskaya I. Yu. Primenenie modificirovannogo algoritma geneticheskogo programmirovaniya dlya identifikacii matematicheskih modeley putem rasshireniya obuchayuschego mnozhestva iskusstvennoy neyronnoy set'yu // Vestn. Astrahan. gos. tehn. un-ta. Ser.: Upravlenie, vychislitel'naya tehnika i informatika. 2013. № 2. S. 58-65.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B6">
    <label>6.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Орехова Т. П., Квятковская И. Ю. Функциональная подсистема управления основными средствами АСУП энергосетевой компании // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2012. № 1. С. 49-55.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Orehova T. P., Kvyatkovskaya I. Yu. Funkcional'naya podsistema upravleniya osnovnymi sredstvami ASUP energosetevoy kompanii // Vestn. Astrahan. gos. tehn. un-ta. Ser.: Upravlenie, vychislitel'naya tehnika i informatika. 2012. № 1. S. 49-55.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B7">
    <label>7.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Проталинский О. М., Ханова А. А., Щербатов И. А., Проталинский И. О., Кладов О. Н., Уразалиев Н. С., Степанов П. В. Онтология процесса управления ремонтами в электросетевой компании // Вестн. Моск. энергет. ин-та. 2018. № 6. С. 110-119.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Protalinskiy O. M., Hanova A. A., Scherbatov I. A., Protalinskiy I. O., Kladov O. N., Urazaliev N. S., Stepanov P. V. Ontologiya processa upravleniya remontami v elektrosetevoy kompanii // Vestn. Mosk. energet. in-ta. 2018. № 6. S. 110-119.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B8">
    <label>8.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Бялецкая Е. М., Квятковская И. Ю. О принципах когнитивного моделирования сложных систем // Вестн. Астрахан. гос. техн. ун-та. 2006. № 1 (30). С. 116-119.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Byaleckaya E. M., Kvyatkovskaya I. Yu. O principah kognitivnogo modelirovaniya slozhnyh sistem // Vestn. Astrahan. gos. tehn. un-ta. 2006. № 1 (30). S. 116-119.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B9">
    <label>9.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Шуршев В. Ф., Демич Н. В. Исследование алгоритма комплексного эволюционного метода, применяемого в компьютерной системе поддержки принятия решения о выборе состава холодильных агентов, с помощью вычислительных экспериментов // Вестн. Астрахан. гос. техн. ун-та. 2006. № 1 (30). С. 141-146.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Shurshev V. F., Demich N. V. Issledovanie algoritma kompleksnogo evolyucionnogo metoda, primenyaemogo v komp'yuternoy sisteme podderzhki prinyatiya resheniya o vybore sostava holodil'nyh agentov, s pomosch'yu vychislitel'nyh eksperimentov // Vestn. Astrahan. gos. tehn. un-ta. 2006. № 1 (30). S. 141-146.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B10">
    <label>10.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Проталинский О. М., Проталинская Ю. О., Проталинский И. О., Щербатов И. А., Кладов О. Н. Система управления производственными активами предприятий энергетики EAMOptima // Автоматизация и IT в энергетике. 2018. № 9 (110). С. 24-26.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Protalinskiy O. M., Protalinskaya Yu. O., Protalinskiy I. O., Scherbatov I. A., Kladov O. N. Sistema upravleniya proizvodstvennymi aktivami predpriyatiy energetiki EAMOptima // Avtomatizaciya i IT v energetike. 2018. № 9 (110). S. 24-26.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B11">
    <label>11.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Лисин И. Ю., Короленок А. М., Колотилов Ю. В., Карлина Е. П., Шуршев В. Ф. Системный анализ информационных потоков технической документации для поддержки решений при планировании ремонтных работ // Территория Нефтегаз. 2018. № 11. С. 12-17.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Lisin I. Yu., Korolenok A. M., Kolotilov Yu. V., Karlina E. P., Shurshev V. F. Sistemnyy analiz informacionnyh potokov tehnicheskoy dokumentacii dlya podderzhki resheniy pri planirovanii remontnyh rabot // Territoriya Neftegaz. 2018. № 11. S. 12-17.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B12">
    <label>12.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Шуршев В. Ф., Демич О. В. Использование метода самоорганизации поиска в задаче поддержки принятия решения при определении компонентов системы энергоучета // Вестн. Кузбас. гос. техн. ун-та. 2005. № 5. С. 25-27.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Shurshev V. F., Demich O. V. Ispol'zovanie metoda samoorganizacii poiska v zadache podderzhki prinyatiya resheniya pri opredelenii komponentov sistemy energoucheta // Vestn. Kuzbas. gos. tehn. un-ta. 2005. № 5. S. 25-27.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B13">
    <label>13.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Квятковская И. Ю. Этапы проблемно-ориентированной методологии поддержки принятия управленческих решений для слабоструктурированных проблем // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2009. № 1. С. 60-65.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Kvyatkovskaya I. Yu. Etapy problemno-orientirovannoy metodologii podderzhki prinyatiya upravlencheskih resheniy dlya slabostrukturirovannyh problem // Vestn. Astrahan. gos. tehn. un-ta. Ser.: Upravlenie, vychislitel'naya tehnika i informatika. 2009. № 1. S. 60-65.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B14">
    <label>14.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Шадлов Д. В., Галимова Л. В., Хоменко Т. В., Шуршев В. Ф. Формализация алгоритма принятия решений при определении очередности производства ремонтных работ // Ремонт. Восстановление. Модернизация. 2018. № 4. С. 36-39.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Shadlov D. V., Galimova L. V., Homenko T. V., Shurshev V. F. Formalizaciya algoritma prinyatiya resheniy pri opredelenii ocherednosti proizvodstva remontnyh rabot // Remont. Vosstanovlenie. Modernizaciya. 2018. № 4. S. 36-39.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B15">
    <label>15.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Умеров А. Н., Шуршев В. Ф. Методы и программные средства аппроксимации экспериментальных данных // Вестн. Астрахан. гос. техн. ун-та. 2005. № 1. С. 97-104.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Umerov A. N., Shurshev V. F. Metody i programmnye sredstva approksimacii eksperimental'nyh dannyh // Vestn. Astrahan. gos. tehn. un-ta. 2005. № 1. S. 97-104.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B16">
    <label>16.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Multi Label Text Classification with Scikit-Learn // Towards Data Science. URL: https:// towardsdatascience.com/multi-label-text-classification-with-scikit-learn-30714b7819c5 (дата обращения: 30.04.2019).
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Multi Label Text Classification with Scikit-Learn // Towards Data Science. URL: https:// towardsdatascience.com/multi-label-text-classification-with-scikit-learn-30714b7819c5 (data obrascheniya: 30.04.2019).
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B17">
    <label>17.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Сегаран Т. Программируем коллективный разум. СПб.: Символ-Плюс, 2008. 368 с.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Segaran T. Programmiruem kollektivnyy razum. SPb.: Simvol-Plyus, 2008. 368 s.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B18">
    <label>18.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Hackeling G. Mastering Machine Learning with scikit-learn. Packt Publishing Ltd, 2014. 238 p.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Hackeling G. Mastering Machine Learning with scikit-learn. Packt Publishing Ltd, 2014. 238 p.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B19">
    <label>19.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Рассел C., Норвиг П. Искусственный интеллект: современный подход: 2 изд. М.: ООО «И. Д. Вильямс», 2016. 1408 с.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Rassel C., Norvig P. Iskusstvennyy intellekt: sovremennyy podhod: 2 izd. M.: OOO «I. D. Vil'yams», 2016. 1408 s.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B20">
    <label>20.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">
            
              Круглов В. В., Дли М. И., Голунов Р. Ю. Нечеткая логика и искусственные нейронные сети. М.: Физматлит, 2001. 201 с.
            
          </mixed-citation>
     <mixed-citation xml:lang="en">
            
              Kruglov V. V., Dli M. I., Golunov R. Yu. Nechetkaya logika i iskusstvennye neyronnye seti. M.: Fizmatlit, 2001. 201 s.
            
          </mixed-citation>
    </citation-alternatives>
   </ref>
  </ref-list>
 </back>
</article>
