ВведениеПри проектировании новых технических систем в качестве одного из самых перспективных подходов видится использование синтеза физического принципа действия. Физический принцип действия – структура, отражающая взаимосвязь физических эффектов, в своей совокупности приводящих к выполнению функции технической системы. Сложилась признанная научная школа поискового конструирования на основе структурированных физических знаний (А. И. Половинкин, В. А. Камаев и др.) и «вручную» сформирован фонд из 1 200 физических эффектов [1, 2], который требует автоматизированной актуализации на основе самых современных физических знаний.Часто описание физического эффекта в «первичных» источниках информации содержит графики зависимостей, связывающие физические величины входа и выхода физического эффекта. Анализ данной информации и ее использование для расширения описания физического эффекта позволит повысить качество синтеза физического принципа действия.Таким образом, актуальной является разработка метода анализа графических изображений для классификации графиков зависимостей входных и выходных физических величин. Для этого требуется сформировать размеченный массив графиков зависимостей, а также провести вычислительные эксперименты для выявления наиболее эффективных архитектур нейросетевых моделей на основе критериев точности, полноты, F-меры, AUC-ROC [3].Целью работы является повышение эффективности анализа графических изображений для расширения описаний физических эффектов на основе распознанных типов зависимостей физических величин.Задачи:– изучить методы и библиотеки сегментации изображений;– изучить методы, модели и библиотеки классификации изображений;– разработать модуль сегментации графиков зависимостей;– сформировать размеченный массив изображений, содержащих графики зависимостей (линейное увеличение, постоянство, скачкообразное уменьшение и т. д.);– разработать модуль классификации изображений графиков зависимостей на основе нейросетевых подходов;– оценить эффективность разработанных модулей сегментации и классификации изображений на основе метрик точности, полноты, F-меры, AUC-ROC. Алгоритм сегментации изображений графиков зависимостейСегментация изображений позволяет избавиться от зашумляющих (для задачи классификации) частей рисунка, таких как оси координат, их обозначения, координатные сетки и т. д.), чтобы на изображении остался только график зависимости.Был разработан общий алгоритм сегментации (рис. 1), позволяющий выбрать один из следующих способов: водоразделом на основе библиотеки Open-CV [4] и при помощи библиотеки scikit-image [5].На первых общих этапах происходит проверка и корректировка формы изображений, конвертация цветных изображений в градации серого цвета. Далее в зависимости от выбранной модели алгоритм сегментации осуществляется двумя разными путями:1. Сегментация графиков зависимостей на основе библиотеки OpenCV. Алгоритм включает в себя несколько этапов: бинаризацию изображений с помощью адаптивной пороговой сегментации (метод Оцу (Otsu) [6]), морфологические операции для улучшения выделения объектов, определение и маркировку передней и неизвестной областей; выделение и отрисовку контуров.2. Сегментация графиков зависимостей на основе библиотеки scikit-image. Чтобы сегментировать изображение, проводится конвертация изображения в RGB, находятся контуры, из которых исключаются мелкие и остается самый большой. Алгоритм включает несколько этапов: применение размытия и адаптивной пороговой сегментации, морфологические операции для улучшения выделения объектов, поиск контура и создание пустой маски для графика, вычисление площади каждого контура и удаление малых контуров, сохранение масок. Рис. 1. Алгоритм сегментации изображений Fig. 1. Image segmentation algorithm  Комбинирование этих инструментов и методов обеспечивает эффективный механизм сегментации графиков зависимостей, позволяющий обрабатывать изображения и выделять значимые объекты. Проверка эффективности сегментации графиков зависимостей на основе библиотеки scikit-imageДля сегментации графиков зависимостей были использованы несколько ключевых инструментов. NumPy применяется для работы с массивами и числовыми операциями,  что  обеспечило  эффективную  обработку изображений и вычисление различных параметров, таких как площадь контуров. Библиотека scikit-image обеспечила основной функционал для обработки изображений. С помощью ее модулей io, color, filters, measure и morphology были реализованы такие задачи, как загрузка и сохранение изображений, конвертация RGB-изображений в градации серого, размытие изображений для уменьшения шума, адаптивная пороговая сегментация для выделения объектов, морфологические операции для улучшения выделения, поиск контуров и создание масок.Результаты сегментации изображений на основе библиотеки scikit-image (skimage) представлены на рис. 2, 3.         Рис. 2. Входные изображения для сегментации при помощи scikit-image Fig. 2. Input images for scikit-image segmentation         Рис. 3. Выходные изображения после сегментации при помощи scikit-image Fig. 3. Output images for scikit-image segmentation  Проверка эффективности сегментации графиков зависимостей на основе библиотеки компьютерного зрения OpenCVБыли использованы следующие инструменты: NumPy применялся для работы с массивами и числовыми операциями; модуль Ipython.display использовался для отображения картинки; с помощью модуля cv2 библиотеки OpenCV были реализованы такие задачи, как конвертация RGB-изображений в градации серого, размытие изображений для уменьшения шума, адаптивная пороговая сегментация для выделения объектов, морфологические операции для улучшения выделения, поиск контуров и создание масок.Было реализовано несколько методов сегментации:1. Метод цветовых пространств [7]. Цветовые пространства представляют собой способ представления цветовых каналов, присутствующих в изображении, который придает изображению определенный оттенок. Данный метод является одним из самых простых для сегментации изображения. Для улучшения сегментации изображения было применено гауссовское размытие – фильтр, использующий гауссовскую функцию для преобразования каждого пикселя изображения.Результаты работы метода цветовых пространств представлены на рис. 4, 5.        Рис. 4. Входные изображения для сегментациипри помощи метода цветовых пространств Fig. 4. Input images for color-space conversion method   Рис. 5. Выходные изображения после сегментациипри помощи метода цветовых пространств Fig. 5. Output images for color-space conversion methods   2. Метод watershed (водоразделения) [8]. Данный подход – классический метод сегментации изображений, основанный на концепции преобразования водораздела. В процессе сегментации будет учитываться сходство с соседними пикселями изображения в качестве важного ориентира для соединения пикселей с похожими пространственными позициями и значениями серого.Результаты работы метода водораздела представлены на рис. 6, 7.        Рис. 6. Входные изображения для сегментации при помощи метода водоразделения Fig. 6. Input images for watershed algorithm        Рис. 7. Выходные изображения после сегментации при помощи метода водоразделения Fig. 7. Output images for watershed algorithm 3. Метод выделения контура [9]. В данном методе находим контуры изображения, затем избавляемся от шумов на изображении, находим контуры и выводим изображение (рис. 8, 9).        Рис. 8. Входные изображения для сегментации при помощи метода выделения контура Fig. 8. Input images for countour finding        Рис. 9. Выходные изображения после сегментации при помощи метода выделения контура Fig. 9. Output images for countour finding  Как видим, методы, реализованные на OpenCV, как правило, имеют более низкую точность сегментации, вследствие чего они менее надежны в сегментации графиков, хоть и достаточно точны. Из этого можно сделать вывод, что библиотека OpenCV и реализованные на ней классические методы сегментации уступают методу сегментации при помощи библиотеки scikit-image.  Алгоритм классификации изображений графиков зависимостейВ ходе работы была рассмотрена библиотека tensorflow [10] и методы LSTM [11], CNN [12], ViT [13], с помощью которых была реализована нейросеть для классификации графиков зависимостей по 9 классам (вогнутое увеличение, вогнутое уменьшение, выпуклое увеличение, выпуклое уменьшение, линейное увеличение, линейное уменьшение, постоянство, скачкообразное увеличение, скачкообразное уменьшение) (рис. 10).Рис. 10. Алгоритм классификации изображенийFig. 10. Image classification algorithm  Также с помощью PyDesmos [15] и PyAutoGUI [16] осуществлялась генерация графиков и их графический захват. PyDesmos – библиотека для работы с графическим калькулятором Desmos через его API. PyAutoGUI – библиотека, которая используется для захвата изображений экрана. В коде применяется для создания скриншотов графиков, созданных с помощью PyDesmos. Скриншоты сохраняются в указанной директории с уникальными именами.Сформированный при помощи библиотеки Matplotlib и PyDesmos датасет содержит более 26 тыс. изображений графиков зависимостей.Модели обучаются на сформированных данных с использованием функции потерь SparseCategorical Crossentropy и оптимизатора Adam. После завершения обучения модель сохраняется в файл для последующего использования. Классификация графиков зависимостей с помощью метода LSTMДля классификации использовались фреймворк TensorFlow и Keras – API для TensorFlow, упрощающий создание и настройку нейронных сетей. Keras используется как для предварительной обработки данных, так и для создания архитектуры модели.LSTM (Long Short-Term Memory) – это тип архитектуры рекуррентной нейронной сети (RNN), который обычно используется для задач моделирования последовательностей.Для построения модели нейронной сети использовались сверточные слои (Conv2D), слои максимального объединения (MaxPooling2D), слои регуляризации (Dropout) и полносвязные слои (Flatten и Dense). Строятся графики точности и потерь на обучающей и валидационной выборках для анализа процесса обучения.Обучена нейронная сеть, определяющая, какая зависимость представлена на изображении (рис. 11): доля верных ответов и ошибка обучения и валидации лежат в диапазоне от 0 до 1.  а                                                                                             б  Рис. 11. Пример обучения при помощи модели LSTM:а – точность обучения и валидации; б – потери обучения и валидации Fig. 11. Example of training using an LSTM model: а – train and Test Accuracy; б – training and Validation errors   Классификация графиков зависимостей с помощью метода CNNМетод CNN (convolutional neural network, сверточная нейронная сеть) – тип нейронной сети, позволяющий обрабатывать данные с пространственной структурой, такие как изображения.Для увеличения точности обучения, а также исправления проблемы переобучения модели была применена аугментация данных перед началом обучения. Аугментация данных (генерирование новых данных на основе имеющихся):– tf.keras.layers.experimental.preprocessing. Rescaling – слой для масштабирования значений пикселей изображений;– tf.keras.layers.experimental.preprocessing. Random Rotation, RandomZoom, RandomContrast – слои для случайных преобразований изображений, таких как повороты, увеличение/уменьшение и изменение контраста, что помогает улучшить обобщающую способность модели.Обучена нейронная сеть, определяющая, какая зависимость представлена на изображении (рис. 12): доля верных ответов и ошибка обучения и валидации лежат в диапазоне от 0 до 1.  а                                                                                              б  Рис. 12. Пример обучения при помощи модели CNN:а – точность обучения и валидации; б – потери обучения и валидации  Fig. 12. Example of training using a CNN model: а – train and Test Accuracy; б – training and Validation errors  Классификация графиков зависимостей с помощью метода ViTМетод ViT (Vision Transformer, трансформер для обработки изображений) – тип нейронной сети, использующий архитектуру трансформеров для анализа изображений. ViT способен обучаться сложным пространственным зависимостям в данных и позволяет значительно улучшить результаты в задачах компьютерного зрения.Использовались: – MobileNetV2 – предобученная модель для извлечения признаков из изображений, веса модели предварительно обучены на наборе данных ImageNet; – аугментация данных: RandomFlip и Random-Rotation – слои, применяемые к изображениям перед передачей их в предобученную модель, помогающие улучшить обобщающую способность модели за счет случайного поворота и отражения изображений.Обучена нейронная сеть, определяющая, какая зависимость представлена на изображении (рис. 13): доля верных ответов и ошибка обучения и валидации лежат в диапазоне от 0 до 1.  а                                                                                                 б  Рис. 13. Пример обучения при помощи модели ViT:а – точность обучения и валидации; б – потери обучения и валидации Fig. 13. Example of training using the ViT model: а – train and Test Accuracy; б – training and Validation errors Анализ эффективности моделей классификации изображенийAccuracy – это показатель, который описывает общую точность предсказания модели по всем классам. Это особенно полезно, когда каждый класс одинаково важен. Он рассчитывается как отношение количества правильных прогнозов к их общему количеству.Precision характеризует долю правильно предсказанных релевантных классов среди всех образцов, которые модель спрогнозировала как релевантный класс.Recall отражает долю правильно предсказанных релевантных классов среди всех реальных релевантных образцов. F1 Score представляет собой гармоническое среднее между Precision и Recall, обеспечивая между ними баланс, что особенно полезно при неравномерном распределении классов.В том случае, когда необходимо оценить качество модели при различных пороговых значениях, используется AUC-площадь (Area Under Curve) под ROC-кривой (Receiver Operating Characteristics), выраженной через отношение доли истинно релевантных прогнозов к доле нерелевантных.Для вычисления метрик использовался модуль metrics. Для нахождения accuracy используется accuracy_score(y_true, y_pred); precision – precision_score(y_true, y_pred); recall – recall_score(y_true, y_pred); f1-score – f1_score(y_true, y_pred); ROC-AUC – roc_auc_score(y_test, y_pred), где y_true – эталонные метки; y_pred – предсказанные метки. Метрики проверки эффективности методов показаны в таблице: в первой колонке метрики получены на тестовых данных, которых не было в обучающем датасете при обучении модели, во второй колонке – результаты на проверочном датасете с реальными изображениями графиков из текста патентов. Метрики эффективностиPerformance metricsМетодНа тестовом набореНа произвольном набореLSTMValidation Accuracy: 0.9844442004319022Validation Precision: 0.9856259517640155Validation Recall: 0.9844442004319022Validation F1 Score: 0.9796998726648553Validation ROC AUC: 0.9999767709888074Validation Accuracy: 0.8982300884955752Validation Precision: 0.9215481618976024Validation Recall: 0.8982300884955752Validation F1 Score: 0.8704177530852268Validation ROC AUC: 0.9996753279542457CNNValidation Accuracy: 0.9823008849557522Validation Precision: 0.9831544218712363Validation Recall: 0.9823008849557522Validation F1 Score: 0.9823999231765366Validation ROC AUC: 0.9997857932559425Validation Accuracy: 0.9623824451410659Validation Precision: 0.9659810347621521Validation Recall: 0.9623824451410659Validation F1 Score: 0.9602090282137591Validation ROC AUC: 1.0ViTValidation Accuracy: 0.9823008849557522Validation Precision: 0.9831544218712363Validation Recall: 0.9823008849557522Validation F1 Score: 0.9823999231765366Validation ROC AUC: 0.9997857932559425Validation Accuracy: 0.876265466816648Validation Precision: 0.8110381515505287Validation Recall: 0.876265466816648Validation F1 Score: 0.8348252704983662Validation ROC AUC: 0.9971783748849872   После анализа метрик можно сделать вывод, что все 3 метода показывают почти одинаковые результаты при тестировании на сгенерированных изображениях – примерно 98 %, однако при тестировании на патентных изображениях точность анализа падает: у метода LSTM и ViT примерно на10 %, а CNN примерно на 2 %, из чего можно сделать вывод, что для реальных изображений лучше всего использовать метод CNN. ЗаключениеНовизна разработанного метода анализа графических изображений для расширения описаний физических эффектов заключается в применении моделей глубокого обучения для распознавания типов зависимостей физических величин.В результате были  разработаны  и  программно реализованы алгоритмы сегментации изображений графиков зависимостей, позволяющие избавиться от зашумляющих (для задачи классификации) частей рисунка, таких как оси координат, их обозначения, координатные сетки и т. д., на решении данной задачи проверена эффективность библиотек OpenCV и scikit-image. Сформирован размеченный массив графиков зависимостей, который содержит более 26 тыс. изображений графиков зависимостей. Разработан и программно реализован алгоритм классификации изображений графиков зависимостей по 9 классам (вогнутое увеличение, вогнутое уменьшение, выпуклое увеличение, выпуклое уменьшение, линейное увеличение, линейное уменьшение, постоянство, скачкообразное увеличение, скачкообразное уменьшение).