<!DOCTYPE article
PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.4 20190208//EN"
       "JATS-journalpublishing1.dtd">
<article xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" article-type="research-article" dtd-version="1.4" xml:lang="en">
 <front>
  <journal-meta>
   <journal-id journal-id-type="publisher-id">Vestnik of Astrakhan State Technical University. Series: Management, computer science and informatics</journal-id>
   <journal-title-group>
    <journal-title xml:lang="en">Vestnik of Astrakhan State Technical University. Series: Management, computer science and informatics</journal-title>
    <trans-title-group xml:lang="ru">
     <trans-title>Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика</trans-title>
    </trans-title-group>
   </journal-title-group>
   <issn publication-format="print">2072-9502</issn>
   <issn publication-format="online">2224-9761</issn>
  </journal-meta>
  <article-meta>
   <article-id pub-id-type="publisher-id">32534</article-id>
   <article-categories>
    <subj-group subj-group-type="toc-heading" xml:lang="ru">
     <subject>Компьютерное обеспечение и вычислительная техника</subject>
    </subj-group>
    <subj-group subj-group-type="toc-heading" xml:lang="en">
     <subject>COMPUTER SOFTWARE AND COMPUTING EQUIPMENT</subject>
    </subj-group>
    <subj-group>
     <subject>Компьютерное обеспечение и вычислительная техника</subject>
    </subj-group>
   </article-categories>
   <title-group>
    <article-title xml:lang="en">APPROACHES TO THE IDENTIFICATION OF THE STATE OF 3D-SURFACE BY 2D-OBJECTS IMAGES AND THEIR MASS NUMBER</article-title>
    <trans-title-group xml:lang="ru">
     <trans-title>ПОДХОДЫ К ИДЕНТИФИКАЦИИ СОСТОЯНИЯ 3D-ПОВЕРХНОСТИ ПО 2D-изображениям единичных объектов и их массового количества</trans-title>
    </trans-title-group>
   </title-group>
   <contrib-group content-type="authors">
    <contrib contrib-type="author">
     <name-alternatives>
      <name xml:lang="ru">
       <surname>Остапов</surname>
       <given-names>Дмитрий Сергеевич </given-names>
      </name>
      <name xml:lang="en">
       <surname>Ostapov</surname>
       <given-names>Dmitriy Sergeevich </given-names>
      </name>
     </name-alternatives>
     <email>krasnodar93@mail.ru</email>
     <xref ref-type="aff" rid="aff-1"/>
    </contrib>
   </contrib-group>
   <aff-alternatives id="aff-1">
    <aff>
     <institution xml:lang="ru">Кубанский государственный технологический университет</institution>
     <country>ru</country>
    </aff>
    <aff>
     <institution xml:lang="en">Kuban State Technological University</institution>
     <country>ru</country>
    </aff>
   </aff-alternatives>
   <volume>-1</volume>
   <issue>4</issue>
   <fpage>55</fpage>
   <lpage>64</lpage>
   <self-uri xlink:href="https://vestnik.astu.ru/en/nauka/article/32534/view">https://vestnik.astu.ru/en/nauka/article/32534/view</self-uri>
   <abstract xml:lang="ru">
    <p>Разработка систем поддержки принятия решений в ходе управления технологическим процессом, при контроле качества продукции, фотосепарации и т. д. требует обеспечения дополнительной к распознаванию системами компьютерного зрения типов и видов объектов (природного происхождения и их массового количества, с высокой вариабельностью внутри классов и близостью самих классов) функциональности идентификации и детальной количественной оценки состояния их поверхности. Рассмотрены возможности уточнения 2D-идентификации состояния 3D-объекта (о кривизне поверхности и о невидимых сторонах) по набору k = 2, 3, … разноракурсных снимков в случае не одной, а нескольких видеокамер. Для восполнения потерь информации о частях поверхности 3D-объекта, невидимых на 2D-изображении, предложен алгоритм для систем компьютерного зрения, обеспечивающий дополнительную к распознаванию типов и видов объектов функциональность идентификации и количественной оценки их состояния, чувствительную к деталям их поверхности. Предложенный алгоритм учёта информации о недостающих участках поверхности объектов является более эффективным, быстрым и стабильным по сравнению с алгоритмом, основанным на восстановлении 3D-изображения.</p>
   </abstract>
   <trans-abstract xml:lang="en">
    <p>The development of the decision support systems in the technological process control, quality control of products, photo separation etc., needs to provide additional to computer vision recognition systems for the type and kinds of objects (of natural origin and their mass quantity with high variability within the classes and the vicinity of the classes themselves) functionality of identification and detailed quantitative assessment of the state of the surface. The possibilities of refinement of 2D-identification of the 3D-object state (the curvature of the surface and invisible sides) by the set k = 2, 3, ... of different angle shots in case of using not only one, but several cameras. To make up for the loss of information about the invisible on the 2D-image parts of the surface of the 3D-object, the algorithm for the computer vision system, providing additional to recognition of the types and kinds of objects functionality of identification and quantitative assessment of their condition, sensitive to the details of the surface, is presented. The proposed algorithm of control of information on the missing parts of the object surface is more effective, fast and stable in comparison with the algorithm, based on the restoration of 3D-image.</p>
   </trans-abstract>
   <kwd-group xml:lang="ru">
    <kwd>алгоритмы систем компьютерного зрения</kwd>
    <kwd>состояние поверхности 3D-объектов</kwd>
    <kwd>карта диспарантности</kwd>
    <kwd>идентификация состояний</kwd>
   </kwd-group>
   <kwd-group xml:lang="en">
    <kwd>algorithms for computer vision systems</kwd>
    <kwd>3D-surface status</kwd>
    <kwd>disparity map</kwd>
    <kwd>statuses identification</kwd>
   </kwd-group>
  </article-meta>
 </front>
 <body>
  <p>Введение В настоящее время управление технологическими процессами, контроль качества продукции и т. д. требуют развития систем поддержки принятия решений (СППР), включающих всё новую функциональность систем компьютерного зрения (СКЗ) [1-4]. К распознаванию типов и видов объектов (природного происхождения и их массового количества, с высокой вариабельностью внутри классов и близостью самих классов), необходимо добавление такой функциональности, как идентификация и детальная количественная оценка состояния их поверхности. В работах [2-5] для решения данной задачи учитывается только информация с мгновенных плоских снимков объектов. Однако это может служить источником значительных погрешностей, т. к. для получения информации о детальном состоянии всего объекта необходимо учесть информацию, полученную с разных камер. Алгоритмы, применяемые к мгновенным 2D-изображениям СКЗ, не учитывают информацию об изображении 3D-объекта (о кривизне поверхности и о невидимых сторонах) из набора ракурсных снимков (в случае не одной, а нескольких видеокамер). Общая структура блока СППР, работающего с набором k разноракурсных снимков СКЗ, показана на рис. 1. Задача идентификации и оценки состояния 3D-поверхности отдельных объектов и их массового количества сводится к следующим подзадачам: восстановление информации о 3D-поверхности по набору 2D-изображений разного ракурса; бинаризация «фон-объект»; выделение единичных объектов из общей массы; распознавание типов и видов единичных объектов; сегментация каждого объекта и статистический анализ каждого сегмента. Подзадача классификации объектов может быть решена по 2D-изображениям [5]. По подзадачам бинаризации и сегментации алгоритмы предложены в [6, 7] - как для плоского, так и для 3D-случая. Алгоритмы по восстановлению информации о 3D-поверхности известны [8-12]. На этой основе ниже рассматриваются возможности уточнения 2D-идентификации состояния 3D-объекта - о кривизне поверхности и о невидимых сторонах - по набору k = 2, 3; … разноракурсных снимков, в случае не одной, а нескольких видеокамер. Для восполнения потерь информации о частях поверхности 3D-объекта, невидимых на 2D-изображении, предложен алгоритм для СКЗ, обеспечивающий дополнительную к распознаванию типов и видов объектов функциональность идентификации и количественной оценки их состояния, чувствительную к деталям их поверхности. Рис. 1. Общая блок-схема блока СППР, работающего с набором k разноракурсных снимков СКЗ Восстановление 3D-поверхности по 2D-изображениям от нескольких камер, сегментация и количественная оценка состояния Выполнение детального анализа поверхности 3D-объектов на основании одного 2D-снимка ведёт к значительным погрешностям. Это можно продемонстрировать на примере расчета доли площади пятна на плоском и трёхмерном объекте. Обозначим: R - радиус единичного объекта; ϰ - кривизна его поверхности, Rкр ≈ 1/ ϰ - радиус кривизны; h - высота сектора поверхности. Потери информации при работе с 2D-изображением (по сравнению с ракурсными изображениями 3D-объекта) можно разделить на 2 вида: 1. Потеря информации о кривизне поверхности единичных объектов. Если оценивать площадь объекта, то при совпадении радиуса кривизны 1/ ϰ с радиусом объекта R площадь видимого на 2D круга будет меньше площади 3D-объекта в данном случае в 4 раза, т. е. ошибка в среднем 400 %. Сравним доли площади секторов на 3D- и 2D-изображениях объекта. На 2D-изображении доля составляет ; на поверхности 3D-объекта доля сектора порядка , где при h  G, то для данного класса изображений сегмент устанавливается как «неопределённый». Для класса изображений на рис. 3 и 4 было установлено, что G = 120: из 103 сегментов, представленных для тестирования системой, более 95 %, удовлетворяющих данному условию, являлись примесью, т. е. система на них не обучалась (их не было в обучающей выборке). а Рис. 7. Блок-схемы алгоритмов: а - режим обучения системы. БД - база данных б в Рис. 7. Продолжение. Блок-схемы алгоритмов: б - рабочий режим системы; в - идентификация сегмента системой После идентификации сегмента (см. рис. 5) производится количественная оценка каждого единичного объекта, %. Например, площадь различных пятен на поверхности единичных объектов, можно оценить как число пикселей от общего числа пикселей восстановленной поверхности объекта. Например, по восстановленной поверхности изображения на рис. 5 можно сделать вывод, что блик составляет 3 %, тёмная часть - 6 %, красная часть - 17 %, зелёная часть - 74 %. Заключение Таким образом, в ходе исследований: - рассмотрены возможности уточнения по ракурсным изображениям (в случае нескольких видеокамер, по сравнению с одиночным мгновенным плоским снимком от одной камеры) решения задачи идентификации системой компьютерного зрения с детальной оценкой состояния поверхности объектов природного происхождения и их массового количества, с высокой вариабельностью внутри классов и близостью самих классов, при контроле качества продукции и фотосепарации, а также принятия решений в ходе управления технологическим процессом; - экспериментально проверен способ, основанный на известном алгоритме восстановления 3D-поверхности, который позволяет снизить погрешности как при помощи учёта кривизны поверхности объектов, так и с помощью информации о её разных сторонах. Результаты экспериментов показали нестабильность работы способа (и, как следствие, неэффективность) и сравнительно низкую скорость из-за сложности вычислений. Доработка способа является задачей дальнейших исследований; - для ликвидации погрешности потери информации о частях поверхности 3D-объекта, невидимых на 2D-изображении, предложен алгоритм СКЗ, обеспечивающий дополнительную к распознаванию типов и видов объектов функциональность СКЗ, состоящую в идентификации и количественной оценке их состояния по набору k = 2, 3; … разноракурсных снимков, чувствительную к деталям поверхности. Предложенный алгоритм учёта информации о недостающих участках поверхности объектов является более эффективным, быстрым и стабильным по сравнению с алгоритмом, основанным на восстановлении 3D-изображения.</p>
 </body>
 <back>
  <ref-list>
   <ref id="B1">
    <label>1.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Computer Vision Technology for Food Quality Evaluation. Ed. by Da-Wen Sun, Published by Elsevier Academic Press, San Diego, CA, USA. 2011. 600 p.</mixed-citation>
     <mixed-citation xml:lang="en">Computer Vision Technology for Food Quality Evaluation. Ed. by Da-Wen Sun, Published by Elsevier Academic Press, San Diego, CA, USA. 2011. 600 p.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B2">
    <label>2.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Зиятдинова В. А., Шаззо А. Ю., Усатиков С. В., Погорелова И. И. Оценка качества риса с использованием современных методов анализа цветовых характеристик единичных зерен // Изв. вузов. Пищевая технология. 2015. № 2-3. С. 100-104.</mixed-citation>
     <mixed-citation xml:lang="en">Ziyatdinova V. A., Shazzo A. Yu., Usatikov S. V., Pogorelova I. I. Ocenka kachestva risa s ispol'zovaniem sovremennyh metodov analiza cvetovyh harakteristik edinichnyh zeren // Izv. vuzov. Pischevaya tehnologiya. 2015. № 2-3. S. 100-104.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B3">
    <label>3.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Зиятдинова В. А., Шаззо А. Ю., Усатиков С. В., Погорелова И. И. Оперативный экспресс-контроль испорченных зерен риса с использованием систем компьютерного зрения // Изв. вузов. Пищевая технология. 2015. № 4. С. 100-104.</mixed-citation>
     <mixed-citation xml:lang="en">Ziyatdinova V. A., Shazzo A. Yu., Usatikov S. V., Pogorelova I. I. Operativnyy ekspress-kontrol' isporchennyh zeren risa s ispol'zovaniem sistem komp'yuternogo zreniya // Izv. vuzov. Pischevaya tehnologiya. 2015. № 4. S. 100-104.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B4">
    <label>4.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Зиятдинова В. А., Шаззо А. Ю., Усатиков С. В., Погорелова И. И. Объективный метод распознавания и оценки недозрелого и краснозёрного риса // Изв. вузов. Пищевая технология. 2016. № 1. С. 92-96.</mixed-citation>
     <mixed-citation xml:lang="en">Ziyatdinova V. A., Shazzo A. Yu., Usatikov S. V., Pogorelova I. I. Ob'ektivnyy metod raspoznavaniya i ocenki nedozrelogo i krasnozernogo risa // Izv. vuzov. Pischevaya tehnologiya. 2016. № 1. S. 92-96.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B5">
    <label>5.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Горонков К. А., Руденко О. В., Усатиков C. В. База данных обучающей выборки для высокоточного распознавания плоских изображений сортов злаковых и масличных культур // Фундаментальные исследования. 2011. Вып. 8, ч. 2. С. 342-346.</mixed-citation>
     <mixed-citation xml:lang="en">Goronkov K. A., Rudenko O. V., Usatikov C. V. Baza dannyh obuchayuschey vyborki dlya vysokotochnogo raspoznavaniya ploskih izobrazheniy sortov zlakovyh i maslichnyh kul'tur // Fundamental'nye issledovaniya. 2011. Vyp. 8, ch. 2. S. 342-346.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B6">
    <label>6.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Остапов Д. С. Влияние на корректность бинаризации «фон-объект» предобработки сглаживанием светлоты плоского изображения // Наука Кубани. 2016. № 1. С. 64-69.</mixed-citation>
     <mixed-citation xml:lang="en">Ostapov D. S. Vliyanie na korrektnost' binarizacii «fon-ob'ekt» predobrabotki sglazhivaniem svetloty ploskogo izobrazheniya // Nauka Kubani. 2016. № 1. S. 64-69.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B7">
    <label>7.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Остапов Д. С. Адаптивный алгоритм k-means сегментации изображений объектов природного происхождения // VII науч.-техн. конф. «Техническое зрение в системах управления - 2016» (Москва, ИКИ РАН, 15-17 марта 2016 г.). М., 2016. С. 70-71.</mixed-citation>
     <mixed-citation xml:lang="en">Ostapov D. S. Adaptivnyy algoritm k-means segmentacii izobrazheniy ob'ektov prirodnogo proishozhdeniya // VII nauch.-tehn. konf. «Tehnicheskoe zrenie v sistemah upravleniya - 2016» (Moskva, IKI RAN, 15-17 marta 2016 g.). M., 2016. S. 70-71.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B8">
    <label>8.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Архипов О. П., Сорокин А. И. Алгоритм поиска идентичных точек на сегментированных стереоскопических изображениях // Сб. тр. VI Междунар. науч.-техн. конф. «Информационные технологии в науке, образовании и производстве» (22-23 мая 2014 г.). Орел, 2014. С. 1-8.</mixed-citation>
     <mixed-citation xml:lang="en">Arhipov O. P., Sorokin A. I. Algoritm poiska identichnyh tochek na segmentirovannyh stereoskopicheskih izobrazheniyah // Sb. tr. VI Mezhdunar. nauch.-tehn. konf. «Informacionnye tehnologii v nauke, obrazovanii i proizvodstve» (22-23 maya 2014 g.). Orel, 2014. S. 1-8.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B9">
    <label>9.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Тупицын И. В. Реконструкция трехмерной модели объекта на основе стереопары при решении задач 3D-моделирования // Вестн. Сибир. гос. аэрокосм. ун-та им. акад. М. Ф. Решетнева. 2011. № 3 (36). С. 88-92.</mixed-citation>
     <mixed-citation xml:lang="en">Tupicyn I. V. Rekonstrukciya trehmernoy modeli ob'ekta na osnove stereopary pri reshenii zadach 3D-modelirovaniya // Vestn. Sibir. gos. aerokosm. un-ta im. akad. M. F. Reshetneva. 2011. № 3 (36). S. 88-92.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B10">
    <label>10.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Sun J., Shum H., Zheng N. Stereo matching using belief propagation. In: ECCV, 2002. P. 510-524.</mixed-citation>
     <mixed-citation xml:lang="en">Sun J., Shum H., Zheng N. Stereo matching using belief propagation. In: ECCV, 2002. P. 510-524.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B11">
    <label>11.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Yan Liu, Lo S. H., Zhen-Qun Guan, Hong-Wu Zhang. Boundary recovery for 3D Delaunay triangulation // Finite Elements in Analysis and Design. 2014. Vol. 84. P. 32-43.</mixed-citation>
     <mixed-citation xml:lang="en">Yan Liu, Lo S. H., Zhen-Qun Guan, Hong-Wu Zhang. Boundary recovery for 3D Delaunay triangulation // Finite Elements in Analysis and Design. 2014. Vol. 84. P. 32-43.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B12">
    <label>12.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Агарков А. В. Построение карты диспарантности на основе сравнения графов // Искусственный интеллект. 2003. № 1. С. 126-136.</mixed-citation>
     <mixed-citation xml:lang="en">Agarkov A. V. Postroenie karty disparantnosti na osnove sravneniya grafov // Iskusstvennyy intellekt. 2003. № 1. S. 126-136.</mixed-citation>
    </citation-alternatives>
   </ref>
  </ref-list>
 </back>
</article>
