Алгоритм и программная реализация автоматического расчета длин и площадей трещин на бортах и отвалах угольных разрезов

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

В работе представлен алгоритм и описание его программной реализации для обнаружения линеаментов (трещин) на изображениях аэрофотосъемки угольных разрезов. В основе предложенного подхода лежит аппарат сверточных нейронных сетей для семантической классификации бинаризованных изображений объектов, а также теория графов для определения геометрического расположения объектов с последующим вычислением их длин и площадей. В качестве исходных данных использовались трехканальные RGB-изображения аэрофотосъемки высокого разрешения (пиксел 10 × 10 см). Модель программного модуля логически разделена на три уровня: предобработка, детектирование и постобработка. Первый уровень включает в себя предобработку входных данных для формирования обучающей выборки на базе последовательных трансформаций RGB-изображения в бинарное с применением библиотеки OpenCV. Второй уровень информационной модели представлен нейронной сетью типа U-Net, включающей блоки сверточной (Encoder) и разверточной частей (Decoder). На данном уровне реализовано автоматическое детектирование объектов. Третий уровень модели отвечает за расчет площадей и длин. На вход ему передается результат работы сверточной нейронной сети. Площадь трещин вычисляется путем суммирования общего числа точек с умножением на размер пиксела. Длина рассчитывается путем линеаризации площадного объекта в сегментированный объект с узловыми пикселами и последующим расчетом длин между ними с учетом разрешения исходного изображения. Программный модуль может работать с фрагментами исходного изображения путем их объединения. Модуль реализован на языке программирования Python. Код доступен по адресу (https://gitlab.ict.sbras.ru/popov/lineaments/-/tree/master/lineaments-cnn).

Полный текст

Доступ закрыт

Об авторах

С. Е. Попов

ФГБУН “Федеральный исследовательский центр информационных и вычислительных технологий”

Автор, ответственный за переписку.
Email: popov@ict.nsc.ru
ORCID iD: 0000-0001-9495-6561
Россия, 630090, Новосибирск, пр. Академика Лаврентьева, 6

В. П. Потапов

ФГБУН “Федеральный исследовательский центр информационных и вычислительных технологий”

Email: vadimptpv@gmail.com
ORCID iD: 0000-0002-1530-5902
Россия, 630090, Новосибирск, пр. Академика Лаврентьева, 6

Р. Ю. Замараев

ФГБУН “Федеральный исследовательский центр информационных и вычислительных технологий”

Email: zamaraev@ict.nsc.ru
ORCID iD: 0000-0003-4822-4794
Россия, 630090, Новосибирск, пр. Академика Лаврентьева, 6

Список литературы

  1. Potapov V.P., Oparin V.N., Mikov L.S., Popov S.E. Information Technologies in Problems of Nonlinear Geomechanics. Part I: Earth Remote Sensing Data and Lineament Analysis of Deformation Wave Processes. Journal of Mining Science. 2022. T. 58. P. 486–50.
  2. Hao X., Du W., Zhao Y., Sun Z., Zhang Q., Wang S., Qiao H. Dynamic tensile behaviour and crack propagation of coal under coupled static-dynamic loading. Int. J. Min. Sci. Technol. 2020. T. 30. P. 659–668.
  3. Krull B., Patrick J., Har, K., White S., Sottos N. Automatic optical crack tracking for double cantilever beam specimens. Exp. Tech. 2016. T. 40. P. 937–945.
  4. Sun H., Liu Q., Fang L. Research on fatigue crack growth detection of M (T) specimen based on image processing technology. J. Fail. Anal. Prev. 2018. T. 18. P. 1010–1016.
  5. Zhang W., Zhang Z., Qi D., Liu Y. Automatic crack detection and classification method for subway tunnel safety monitoring. Sensors. 2014. T. 14. P. 19307–19328.
  6. Kong X., Li J. Vision-based fatigue crack detection of steel structures using video feature tracking. Comput.-Aided Civ. Inf. 2018. T. 33. P. 783–799.
  7. Kong X., Li J. Non-contact fatigue crack detection in civil infrastructure through image overlapping and crack breathing sensing. Automat. Constr. 2019. T. 99. P. 125–139.
  8. Li D., Huang P., Chen Z., Yao G., Guo X., Zheng X., Yang Y. Experimental study on fracture and fatigue crack propagation processes in concrete based on DIC technology. Eng. Fract. Mech. 2020. T. 235. P. 107–166.
  9. Vanlanduit S., Vanherzeele, J., Longo, R. Guillaume P. A digital image correlation method for fatigue test experiments. Opt. Laser. Eng. 2009. T. 47. P. 371–378.
  10. Valença J., Dias-da-Costa D., Júlio E., Araújo H., Costa H. Automatic crack monitoring using photogrammetry and image processing. Measurement. 2013. T. 46. P. 433–441.
  11. Yeum C.M., Dyke S.J. Vision-based automated crack detection for bridge inspection. Comput.-Aided Civ. Inf. 2015. T. 30. P. 759–770.
  12. Dong L., Tang Z., Li X., Chen Y., Xue J. Discrimination of mining microseismic events and blasts using convolutional neural networks and original waveform. J. Cent. S. Univ. 2020. T. 27. P. 3078–3089.
  13. Yu Y., Wang C., Gu X., Li J. A novel deep learning-based method for damage identification of smart building structures. Struct. Health Monit. 2019. T. 18. P. 143–163.
  14. Su C., Wang W. Concrete Cracks Detection Using Convolutional Neural Network Based on Transfer Learning. Mathematical Problems in Engineering. 2020. Article ID 7240129. 10 p. doi: 10.1155/2020/7240129
  15. Pauly L., Hogg D., Fuentes R., Peel H. Deeper networks for pavement crack detection. In Proc. 34th ISARC. 2017. P. 479–485.
  16. Maeda H., Sekimoto Y., Seto T., Kashiyama T., Omata Y. Road damage detection using deep neural networks with images captured through a smartphone. arXiv preprint. 2018. P. 1-14. URL: https://arxiv.org/abs/ 1801.09454
  17. Xu H., Su X., Wang Y., Cai H., Cui K., Chen X. Automatic bridge crack detection using a convolutional neural network. Applied Sciences. 2019. V. 9(14). P. 2867. doi: 10.3390/app9142867
  18. Yuan Y., Ge Z., Su X., Guo X., Suo T., Liu Y., Yu Q. Crack Length Measurement Using Convolutional Neural Networks and Image Processing. Sensors. 2021. T. 21. P. 5894.
  19. Gehri N., Mata-Falcón J., Kaufmann W. Automated crack detection and measurement based on digital image correlation. Construction and Building Materials. 2020. T. 256. P. 119383. doi: 10.1016/j.conbuildmat.2020.119383
  20. Shelhamer E., Long J., Darrell T. Fully Convolutional Networks for Semantic Segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. T. 39. № 4. P. 640-651. doi: 10.1109/TPAMI.2016.2572683
  21. Chen L., Zhu Y., Papandreou G., Schroff F., Adam H. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation. Proc. European conference on computer vision (ECCV). 2018. P. 801–818. URL: https://arxiv.org/abs/1802.02611

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Схема преобразования RGB-изображения в бинарное изображение. Названия компонентов соответствуют программной библиотеке OpenCV API (https://docs.opencv.org/4.x/) и scikit-image (https://scikit-image.org/). Число по вертикали – размер изображения, по горизонтали – количество каналов.

Скачать (223KB)
Метаданные
3. Рис. 3. Фрагмент кода предобработки субизображений обучающей выборки.

Скачать (367KB)
Метаданные
4. Рис. 2. Схема подготовки обучающей выборки на основе схемы преобразования (рис. 1).

Скачать (386KB)
Метаданные
5. Рис. 4. Конфигурация нейронной сети

Скачать (431KB)
Метаданные
6. Рис. 5. Программная реализация блоков Encoder и Decoder. Переменными “c1-c9” обозначены модули свертки.

Скачать (646KB)
Метаданные
7. Рис. 6. Фрагмент кода компиляции и старта процесса обучения сети.

Скачать (146KB)
Метаданные
8. Рис. 7. Фрагмент кода для запуска процедуры обнаружения трещин.

Скачать (129KB)
Метаданные
9. Рис. 8. Схема процесса детектирования трещин для тестового субизображения.

Скачать (327KB)
Метаданные
10. Рис. 9. Фрагмент программного кода получения набора координат пикселов для каждого объекта-трещины.

Скачать (737KB)
Метаданные
11. Рис. 10. Пример объекта-графа. Черным обозначены вершины, соответствующие краевым пикселам, стрелками – пути обхода графа между двумя краевыми точками. Штрихованные стрелки – наибольший путь по количеству пикселов на каждой итерации. Ребра графа имеют веса, равные 1.

Скачать (96KB)
Метаданные
12. Рис. 11. Результаты расчета длин (слева) и площадей (справа) трещин.

Скачать (1MB)
Метаданные
13. Рис. 12. DFS-диаграмма потоков данных процесса обнаружения трещин и расчета их длин и площадей.

Скачать (499KB)
Метаданные

© Российская академия наук, 2024