А.И. Власов1, Н.В. Завьялов2, К.В. Селиванов3, И.И. Скальченков4

1–4 МГТУ им. Н.Э.Баумана (Москва, Россия)

Постановка проблемы. Человеку-оператору при длительном монотонной деятельности свойственно допускать ошибки в работе. Эта проблема особенно актуальна на современных массовых производствах электронных изделий. Важным этапам такого производства является контроль качества изделия, характерной ошибкой в работе отдела выходного контроля является пропуск дефектной печатной платы. В производстве высокотехнологичных изделий это является наиболее критической ошибкой. Это делает невозможным дальнейшее использование изделия, а также полностью бракует все радиоэлектронные элементы, уже запаянные на дефектную печатную плату. Все это приводит к необходимости разработки современных цифровых методов и технологий для автоматического контроля компонентов изделий электронной техники с применением искусственного интеллекта. Решение задачи обнаружения дефектов на печатных платах с использованием нейронных сетей направлено на создание промышленных современных решений высоко автоматизированных систем контроля качества печатных плат.

Цель. Разработать нейросетевые методы и средства для автоматического обнаружения дефектов печатных плат при визуальном контроле; реализовать нейросети на архитектурах U-Net и SegNet; сравнить эффективности данных нейросетей на детектировании дефектов печатных плат.

Результаты. Сделан анализ нейронных сетей, предназначенных для работы с изображениями. По результатам анализа обоснован выбор нейросетей на архитектурах U-Net и SegNet для решения задачи автоматической дефектоскопии печатных плат. Проведено сравнение эффективности данных нейросетей на детектировании дефектов печатных плат. На основе полученных в ходе эксперимента данных построены графики процесса обучения. Общие результаты работы двух архитектур не имеют сильных различий, но при работе на изображениях проводящего рисунка с мелкими элементами повышенную эффективность показала сверточная нейронная сеть с архитектурой U-Net. Разработано программное обеспечение, позволяющее детектировать и классифицировать базовые типы дефектов печатных плат. Выполнено тестирование программной реализаций комплекса на печатных платах пятого и выше классов точности, и продемонстрирована на изображениях работа комплекса. Предложено использование сверточных нейронных сетей для сегментации дефектных участков проводящего рисунка, отличающееся от нейронных сетей детекции более высокой точностью работы и лучшей производительностью. Сделан вывод, что предлагаемые решения на основе архитектур сверточных сетей U-Net и SegNet позволяют с высокой эффективностью и скоростью решать задачу обнаружения и классификации дефектов.

Практическая значимость. Предложенные реализации нейронных сетей могут найти применение в создании автоматизированных информационных систем технологического профиля, позволяющих проводить автоматический визуальный контроль на всех технологических этапах его производства. Применение предлагаемого комплекса на производстве дают возможность уменьшить роль человеческого фактора и снизить время, затрачиваемое на контроль качества.

Власов А.И., Завьялов Н.В., Селиванов К.В., Скальченков И.И. Применение нейронных сетей в обнаружении дефектов печатных плат // Нейрокомпьютеры: разработка, применение. 2022. T. 24. № 6. С. 5-19. DOI: https://doi.org/10.18127/j19998554-202206-01

1. Макушина Н.В., Сергеева М.Д. Анализ дефектов металлизированных отверстий печатных плат // Проектирование и технология электронных средств. 2018. № 1. С. 3–12.
2. Маркелов В.В., Кабаева А.С. Управление качеством электронных средств - Москва, Изд-во МГТУ им. Н.Э.Баумана. 2014. 272 с.
3. Buyanov A.A., Vlasov A.I., Gridnev V.N. The neuronet hardware and software integrated system for defectoscopy of printed circuits based on microsections // Сб. тезисов докладов 3-й междунар. конф. "Компьютерные методы и обратные задачи в неразрушающем контроле и диагностике". 2002. С. 71.
4. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. arXiv preprint arXiv:1505.04597. 2015.
5. Badrinarayanan V., Kendall A., Cipolla R. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. arXiv preprint arXiv:1511.00561v3. 2016.
6. Вирясова А.Ю., Власов А.И., Гладких А.А. Нейросетевые методы дефектоскопии интегральных структур // Нейрокомпьютеры: разработка, применение 2019. № 2. С. 54–67.
7. Буянов А.И., Власов А.И., Загоскин А.В. Применение нейросетевых методов при дефектоскопии печатных плат // Нейрокомпьютеры: разработка, применение. 2002. № 3. С. 42–70.
8. Панфилова С.П., Власов А.И., Гриднев В.Н., Червинский А.С. Бесконтактный тепловой контроль изделий электронной техники // Производство электроники. 2007. № 3. С. 25–30.
9. Панфилова С.П., Власов А.И., Гриднев В.Н., Червинский А.С. Бесконтактный тепловой контроль электронно-вычислительных средств // Технология и конструирование в электронной аппаратуре. 2007. № 6. С. 42–49.
10. Гриднев В.Н., Сергеева М.Д., Чебова А.И. Линейные модели распознавания тепловизионных изображений неисправностей электронных ячеек // Контроль. Диагностика. 2014. № 8. С. 57–66.
11. Аверьянихин А.Е., Власов А.И., Евдокимова Е.В. Иерархическая пирамидальная субдискретизация в глубоких сверточных сетях для распознавания визуальных образов // Нейрокомпьютеры: разработка, применение. 2021. Т. 23. № 1. С. 17–31.
12. Szegedy C., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Erhan D., Vanhoucke V., Rabinovich A. Going deeper with convolutions. CoRR, abs/1409.4842. 2014.
13. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR). 2015. P. 3431–3440.
14. Ren S., He K., Girshick R., Sun J. Faster R-CNN: Towards realtime object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence. Jun. 2017. V. 39. № 6. P. 1137–1149.
15. Chang Liu, Xudong Jiang, Fellow, IEEE, Henghui Ding. Instance-Specific Feature Propagation for Referring Segmentation. arXiv:2204.12109v1. 26 Apr 2022.
16. Rizgar R. Zebari, Adnan Mohsin Abdulazeez, Diyar Qader Zeebaree, Dilovan Asaad Zebari, Jwan Najeeb Saeed A Comprehensive Review of Dimensionality Reduction Techniques for Feature Selection and Feature Extraction. Journal of Applied Science and Technology Trends. 2020. V. 1. № 2. P. 56–70.
17. Christian S., Sergey I., Vincent V., Alex A. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning. arXiv:1602.07261v2. 2016.
18. Gao H., Zhuang L., Laurens van der Maaten, Kilian Q. Densely Connected Convolutional Networks. arXiv:1608.06993v5. 2018.
19. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton ImageNet Classification with Deep Convolutional Neural Networks. Communications of the ACM. 2017. V. 60. Iss. 6. P. 84–90.
20. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv:1409.1556v6. 2015.
21. Szegedy C., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Erhan D., Vanhoucke V., Rabinovich A. Going deeper with convolutions. CoRR. abs/1409.4842. 2014.
22. Lin T.Y., Maire M., Belongie S., Hays J., Perona P., Ramanan D., Doll´ar P., Zitnick C.L. Microsoft coco: Common objects in context. European Conference on Computer Vision. 2014. P. 740–755.
23. Kingma D.P., Ba J. Adam: A method for stochastic optimization. arXiv :1412.6980. 2014.
24. Phan T.H., Yamamoto K. Resolving Class imbalance in object detection with weighted cross entropy losses. arXiv:2006.01413. 2020.
25. Cheng B., Girshick R., Dollar P., Berg A., Kirillov A. Facebook AI Research (FAIR) Boundary IoU: Improving Object-Centric Image Segmentation Evaluation. arXiv:2103.16562v1. 2021.
26. He K., Gkioxari G., Dollar P., Girshick R. Mask R-CNN. In: Proceedings of the IEEE International Conference on Computer Vision. 2017. P. 2961–2969.
27. Azad R., Khosravi N., Merhof D. SMU-Net: Style matching U-Net for brain tumor segmentation with missing modalities. Institute of Imaging and Computer Vision. RWTH Aachen University. Germany. arXiv:2204.02961v1. 2022.