Магистерская диссертация на тему "МОИ (МТИ) | Разработка и исследование методов распознавания образов в системах машинного зрения установок микромонтажа"

Работа Синергии на тему: Разработка и исследование методов распознавания образов в системах машинного зрения установок микромонтажа.
Год сдачи: 2018
Оценка: Отлично.
Оригинальность работы на момент публикации 50+% на антиплагиат.ру.
Ниже прилагаю все данные для покупки.
https://studentu24.ru/list/suppliers/Anastasiya1---1326

Описание работы

Негосударственное образовательное учреждение высшего образования
Московский технологический институт

Факультет: Техники и современных технологий Кафедра: Информатика и автоматизации
Уровень образования: Магистратура ФГОС 3+ Направление: Информатика и вычислительная техника
Профиль: Искусственный интеллект и компьютерная лингвистика


МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ
«Разработка и исследование методов распознавания образов в системах машинного зрения установок микромонтажа»

Москва 2018 г.

Оглавление
Введение 4
ГЛАВА 1. Анализ методов обработки изображений в установках микромонтажа электронных компонентов» 13
1.1. Подготовка оборудования 13
1.2. Разработка программы 16
1.3. Подготовка материалов 17
1.4. Методы обработки изображений, применяемые в установке 19
1.5. Методы поиска образов объектов, описание 22
1.5.1. MatchTemplate - прямое сопоставление 22
1.5.2. Поиск особых точек 24
1.5.2.1. SURF 26
1.5.2.2. FAST 28
1.5.2.3. BRIEF 29
1.5.2.4. ORB 29
1.5.2.5. BRISK 30
1.5.2.6. KAZE, AKAZE 31
1.5.2.7. FREAK 33
1.5.2.8. DAISY 35
1.6. Методы поиска инвариантов 36
1.6.1. LogPolar – полярно-логарифмическое преобразование 36
1.6.2. GI - геометрические инварианты 38
ГЛАВА 2. Разработка метода получения координат объектов 41
2.1 Сравнение рассмотренных алгоритмов 41
2.1.1 Сравнение времени работы 41
2.1.2 Выявленные недостатки 41
2.1.2.1 Прямое сопоставление 41
2.1.2.2 Поиск особых точек 43
2.1.2.3 Преобразование LogPolar 44
2.1.2.4 Поиск геометрических инвариантов 45
2.1.3 Итог анализа 48
2.2 Система координат 49
2.3 Разработка шагов для получения координат объектов 50
2.4 Калибровка 52
ГЛАВА 3. Реализация и оценка затрат на внедрение разработки и оценка ожидаемого эффекта 54
3.1 Организация работ по реализации предложенных методов 54
3.2 Разработка программного обеспечения 57
3.2.1 Инструменты разработчика 57
3.2.2 Стадии разработки и жизненный цикл 58
3.1.1 Уровень связи с ПК 60
3.3 Разработка программы управления установкой для ПК 61
3.4 Эффективность внедрения предложенных методов 66
Заключение 70
Список используемых источников 72
ПРИЛОЖЕНИЕ А 79
ПРИЛОЖЕНИЕ Б 81

Введение
За короткий промежуток времени полупроводниковая электроника прошла огромный путь развития от простейших электронных приборов до сложнейших микромодулей и микросхем. Разработка и освоение серийного выпуска интегральных микросхем (ИМС) явились значительным шагом вперед на пути миниатюризации аппаратуры. Микроскопические размеры компонентов и продолжающаяся тенденция увеличения степени интеграции интегральных схем (ИС) делают операции сборки особо важными. Под сборкой полупроводниковых приборов и ИС понимают совокупность технологических операций, обеспечивающих соединение элементов и частей полупроводникового прибора или ИМС в единое целое.
Заключительные операции производства полупроводниковых приборов и ИМС – это операции их монтажа и сборки, включая операции скайбирования пластин, монтажа кристаллов, присоединения выводов, герметизации полупроводниковых приборов и ИМС, технологических испытаний. Операции сборки были и остаются наиболее трудоемкими в техпроцессе изготовления полупроводниковых приборов и ИМС. Если в процессах создания кристаллов применяются групповые методы обработки, то при сборке оперируют с каждым изделием отдельно, что требует высокой степени повторяемости операций, а значит автоматизации.
Современный этап развития микроэлектроники характеризуется выпуском сверхбольших интегральных схем (СБИС), благодаря чему создаются блоки и функциональные узлы электронной аппаратуры. В этой связи новое развитие получают основные технологические процессы
сборки: монтаж кристаллов, разводка выводов и герметизация изделий. [40]
В своей практической деятельности автор работы занимается разработкой оборудования для монтажа кристаллов. Этот этап является одним из важнейших при производстве электронных приборов, так как от правильности выбора таких параметров, как точность монтажа, время, температура, усилие – зависит качество посадки кристалла и дальнейшая работа изделия. Для установки кристаллов на предприятиях с широким спектром продукции, на опытном производстве, а также в исследовательских институтах большим спросом пользуется оборудование, позволяющее гибко настраивать его под разные виды изделий. Перенастроить оборудование и запустить производство снова, с соблюдением современных требований к его точности и скорости, можно только в том случае, если оборудование позволяет изменять параметры отдельных производственных операций, а также геометрические и технологические характеристики компонентов сборки.
Как раз для обеспечения независимости от геометрических свойств компонентов необходимо выполнить т.н. обучение установки – посредством пользовательского интерфейса сконфигурировать отдельные этапы сборки на корректное обнаружение, захват, перемещение и монтаж компонентов. Системы машинного зрения сегодня позволяет применять определенные методы распознавания изображений для выполнения перечисленных действий в автоматическом режиме.
Преимущества монтажа на автоматическом оборудовании
• Увеличение производительности
• Настройка автоматической линии от опытного образца
• Снижение стоимости готового изделия
• Высокая точность и повторяемость установки компонентов
• Короткие сроки производства
• Высокое качество готовой продукции
Появление систем машинного зрения (промышленное применение методов обработки изображений) явилось закономерным продолжением развития систем компьютерного зрения.
Параллельное развитие электроники и ее минимизация привели к появлению технологии, бурному развитию которой мы сейчас являемся свидетелями. Эта технология в зарубежной литературе носит название
«Embedded vision», что можно перевести на русский язык как «зрение встраиваемых систем» или «встроенное зрение».
Встроенное зрение это одна из наиболее впечатляющих технологий, появившихся в последнее время, которая привносит «машинное зрение» и полный спектр сопутствующих возможностей во все сферы деятельности человека, формируя будущее целых промышленных областей (см. Табл. 1)

Табл. 1
Область применения Краткое описание Прогноз по емкости рынка
Производство микроэлектроники установка компонентов на платы, сортировка, контроль качества 437 млрд.долл. в 2018 году
Автомобильная промышленность системы поддержки водителя (ADAS), сейчас находится в ранней стадии развития 67 млрд.долл. к 2025 году
Робототехника промышленные роботизированные системы 71 млрд.долл. к 2023 году
Потребительские товары встраивание видеокамер в бытовую электронику и товары личного пользования 1,5 трлн.долл. к 2024 году
Химия и фармацевтика задачи инспектирования качества при большой скорости и объемах производства с одной стороны, и высокими требования регуляторов
с другой 1,4 трлн.долл. к 2021 году

Табл. 1 (продолжение)
Область применения Краткое описание Прогноз по емкости рынка
Медицина диагностика 24 млрд.долл. к 2025 году
Авиакосмическая промышленность поддержка пилота в системах расширенного (EVS) и синтетического (SVS) зрения 2,7 трлн.долл мирового валового
продукта
Логистика распознавание номеров и кодов товаров, поддержка ERP систем 54 млрд.долл к 2022 году
Дополненная реальность объединение физической и виртуальной картины мира 61 млрд.долл. к 2023 году
Безопасность обнаружение проникновения по периметру охраняемых объектов 75 млрд.долл. к 2022 году
Вооружение ведущая роль в технологической трансформации современной армии 134 млрд.долл. к 2021 году
Беспилотные аппараты появление легких и компактных систем встроенного зрения дали толчок бурному развитию исследований в области авиации и
беспилотных полетов 52 млрд.долл. к 2025 году

Перспективы разработок систем встроенного зрения в Российской Федерации
Возможный экономический эффект от участия в разработке
подобных технологий инженерами в Российской Федерации представлен цифрами о потенциальной емкости мирового рынка по перечисленным
отраслям в ближайшие годы. Вопросы конкуренции с разработчиками из других стран в данной работе не рассматриваются.
Одна из отраслей в приведенном выше списке – производство микроэлектроники – требует отдельного упоминания. Ожидается, что объем производства электронных компонентов должен претерпеть взрывной рост, как следствие роста потребностей в электронике во всех остальных перечисленных в таблице сферах жизнедеятельности человека. Фактически, эта отрасль является жизненно важной для тех стран, которые предполагают и дальше находиться в числе индустриально развитых. Достаточная емкость мощностей производства микроэлектроники является своего рода горлышком воронки, от которого зависит насыщение промышленности высокими технологиями.
Если говорить о безопасности стран, то из описания выше явно следует, что преимущество в технологиях через несколько лет даст и преимущество в вооружениях.
Однако, существует острый недостаток отечественных средств производства. Например, на современном российском заводе электроники
«Авангард», работающем с технологиями 200нм, в качестве основного средства производства используются станки и оборудование фирм
«Samsung», «Ersa», «KLA-Tencor» (Германия). Техническая инфраструктура, обеспечивающая работу чистой комнаты – также импортная.
6 сентября 2016 года стало известно, что Соединённые Штаты расширили санкционный список в отношении российских компаний и организаций, связанных с ОПК РФ. Соответствующее уведомление в правительственном вестнике Federal Register разместило профильное подразделение Минторга США.

Бюро промышленности и безопасности Минторга США решило включить в собственные санкционные списки 81 компанию и организацию под 86 наименованиями.
Под санкциями подразумевается «введение дополнительных требований при лицензировании и ограничение доступа к большинству лицензионных исключений для экспорта, реэкспорта и трансферта внутри страны». Как видно по ссылке [3], в список наряду с десятками компаний включены и такие крупные производители микроэлектроники как «Ангстрем-Т» и «Микрон».
Таким образом, в условиях внешних санкций, принятых против отдельных высокотехнологичных предприятий и целых отраслей Российской Федерации, жизненно важным становится разработка собственных (отечественных) средств производства микроэлектроники.
Этап сборки ИС или платы подразумевает индивидуальный монтаж каждого электронного компонента. Это серьезное ограничение на пути повышения производительности отрасли. Машины, позволяющие в автоматическом режиме проходить этот этап на максимальной скорости, являются одним из ключевых компонентов производственного процесса. Для того, чтобы иметь возможность взять кристалл или электронный компонент из кассеты или с пластины, и разместить его на плате с точностью до нескольких микрометров, и при этом обеспечить скорость установки хотя бы на среднем уровне (а это не меньше тысячи компонентов в час), в таких машинах не обойтись без систем встроенного зрения с возможностью обработки изображений в реальном времени с выработкой решения о следующем шаге процесса.
В данной работе рассматриваются методы обработки изображений в системах машинного зрения на установках для монтажа электронных компонентов и интегральных схем, на примере платы Raspberry PI 3B (далее RPI) с операционной системой Linux и подключенной
видеокамерой. Такая конфигурация позволяет максимально приблизиться по параметрам аппаратной части, возможностям библиотек обработки данных и программного кода к тем системам встроенного зрения, которые применяются в большом количестве реальных промышленных установок, в том числе установок для монтажа печатных плат. Большую роль в выборе также сыграл факт переносимости программного кода проекта и используемых библиотек на подавляющее большинство устройств, управляемых операционными системами Linux, Windows, Mac OS, Android. Переносимость кода также позволит использовать те же алгоритмы на более мощных компьютерах, если это применимо, со значительным выигрышем во времени обработки данных.

Объект исследования: методы распознавания образов в системах машинного зрения установок микромонтажа.
Предмет исследования: проблемы и совершенствование методов нахождения центра объектов и их положения в системе координат автоматической установки.
Гипотеза исследования: представленный в исследовании набор методов позволяет сформировать последовательность шагов обработки визуальных данных, необходимых для автоматизации процесса микромонтажа.
Цель исследования: исследовать существующие методы обработки изображений и доработать их для получения координат объектов с последующим пересчетом в системе координат установки микромонтажа электронных компонентов.
Задачи исследования:
1) Провести анализ методов обработки изображений в установках микромонтажа электронных компонентов;
2) Рассмотреть основные проблемы при поиске объектов на изображении и вычислении их координат в системе установки;
3) Представить решение, позволяющее связать координаты объекта на изображении с его координатами в системе установки;
4) Оценить эффективность предложенного решения.
Методы исследования:
База исследования: прототип установки с видеорегистратором и моторами осей XYZ, управляемый от Raspberry PI 3B на ОС Linux.
Новизна и значимость: предложенные программные решения можно интегрировать в системы управления автоматическими установками для монтажа электронных компонентов и тем самым значительно повысить их производительность.
Работа состоит из трех глав. Суммарный объем работы составляет 85 страниц, включая 2 таблицы, 39 рисунков, 61 источник литературы, 2 приложения.

Список используемых источников
1. Визильтер Ю.В., Желтов С.Ю., Бондаренко А.В. Обработка и анализ изображений в задачах машинного зрения. М.: Физматкнига, 2010.
2. Потапов А.С. Системы компьютерного зрения. СПб.: ИТМО, 2016.
3. Russian Sanctions: Addition of Certain Entities to the Entity List // Federal Register. The Daily Journal of the Unites States Government. [Электронный ресурс]
4. Embedded Vision Industries // Global Association for Vision Information. [Электронный ресурс]
5. What's New in Robotics // ROBOTIQ. [Электронный ресурс]
6. ГОСТ 20999 - 83. Устройства числового программного управления для металлообрабатывающего оборудования. М.: Изд-во стандартов, 1983.
7. Шувалов Р.И. Распознавание образов на цифровых изображениях на основе теории инвариантов. М.: Вестник МГТУ им. Н.Э.Баумана, 2012.
8. Ярославский Л. П. Введение в цифровую обработку изображений. М.: Сов. Радио, 1979.
9. Harris, C., Stephens, M. A Combined Corner and Edge Detector // 4th Alvey Vision Conference. London: BMVA, 1988. С. 23.1-23.6.
10. Bay H., Tuytelaars T., Van Gool L. SURF: Speeded Up Robust Features // European Conference on Computer Vision. Munich: ECCV, 2006. С. 404–417.
11. David G. L. Object recognition from local scale-invariant features // International Conference on Computer Vision. Salt Lake City: ICCV, 1999. С. 1150–1157.
12. Yang X., Cheng K. T. Local Difference Binary for Ultra-fast and Distinctive Feature Description // ISMAR. Santa Barbara: Electrical and Computer Engineering University of California, 2012.
13. Calonder M., Lepetit V., Strecha C., Fua P. BRIEF: Binary Robust Independent Elementary Features // 11th European Conference on Computer Vision. Munich: ECCV, 2010. С. 778–792.
14. Leutenegger S., Chli M., Siegwart R. BRISK: Binary Robust Invariant Scalable Keypoints // International Conference on Computer Vision. Salt Lake City: ICCV, 2011. С. 2548–2555.
15. Rublee E., Rabaud V., Konolige K., Bradski G. ORB: an efficient alternative to SIFT or SURF // International Conference on Computer Vision. Salt Lake City: ICCV, 2011. С. 2564 – 2571.
16. A comparison of object detection algorithms using unmanipulated testing images - comparing SIFT, KAZE, AKAZE and ORB // KTH. [Электронный ресурс]
17. Bradski G., Kaehler A. Learning OpenCV - Computer Vision with the OpenCV Library. 2-e изд. Sebastopol, CA: O'Reilly Media, 2017.
18. Tuytelaars T., Mikolajczyk K., Local Invariant Feature Detectors: A Survey. Surrey: CGV, 2008.
19. Конушин А. Слежение за точечными особенностями сцены // On-line журнал "Графика и мультимедиа", вып. 4, 2003. [Электронный ресурс]
20. FAST Corner Detection // Blog Edward Rosten. [Электронный ресурс]
21. Rosten E., Drummond T. Machine learning for high speed corner detection // 9th European Conference on Computer Vision. Munich: ECCV, 2006. С. 430- 443.
22. Rosten E., Porter R., Drummond T. Faster and better: a machine learning approach to corner detection. Cambridge: Cambridge University, 2008.
23. Leutenegger S., Chli M., Siegwart R. BRISK: Binary Robust Invariant Scalable Keypoints // International Conference on Computer Vision. Salt Lake City: ICCV, 2011. С. 2548 – 2555.
24. Fernandez Alcantarilla P., Bartoli A., J. Davison A. KAZE Features // European Conference on Computer Vision. Munich: ECCV, 2012. С. 214-227.
25. Ahmed K.T., Saleem Z. A Comparative Analysis of SIFT, SURF, KAZE, AKAZE, ORB, and BRISK // International Conference on Computing, Mathematics and Engineering Technologies. Sukkur: iCoMET, 2018. С. 761– 771. [Электронный ресурс]
26. Xu X., Wu X., Lin F. Cellular Image Classification. Beijing: Springer, 2016.
27. Visual Categorization with Bags of Keypoints // Carnegie Mellon University School of computer science. [Электронный ресурс]
28. Bay H., Ess A., Tuytelaars T. SURF: Speeded Up Robust Features // Computer Vision and Image Understanding. 2008. №3. С. 346-359.
29. Alahi A, Ortiz R., Vandergheynst P. Freak: Fast retina keypoint // IEEE Computer Vision and Pattern Recognition. Salt Lake City: IEEE Computer Society, 2012. С. 510–517.
30. Нургатин А.Р. Метод улучшения алгоритма FREAK: FAST RETINA KEYPOINT // Вестник Уфимского государственного авиационного технического университета. 2015. №1. С. 251—253.
31. Tola E., Lepetit V., Fua P. DAISY: An Efficient Dense Descriptor Applied to Wide-Baseline Stereo // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2010. №5. С. 815-830.
32. Choudhury T, Pentland A. Face Recognition for Smart Environments // IEEE Computer. 2000. №4. С. 50-55.
33. Yong Kim H., Alves de Araujo S. Grayscale Template-Matching Invariant to Rotation, Scale, Translation, Brightness and Contrast // Pacific-Rim Symposium on Image and Video Technology. 2007. №1. С. 100-113.
34. Javier Traver V., Pla F. The Log-polar Image Representation in Pattern Recognition Tasks // Iberian Conference on Pattern Recognition and Image Analysis. 2003. №1. С. 1032-1040.
35. Тхань Нгуен З. Инварианты в задачах распознавания графических образов // Вестник РУДН. Серия: Математика, информатика, физика. 2016.
№1. С. 76-85.
36. Васин Д.Ю., Аратский А.В. Распознавание символов на основе инвариантных моментов графических изображений // 25 международная конференция GraphiCon 2015. Москва. 2015. С. 259–264.
37. Абрамов Н. С., Хачумов В. М. Распознавание на основе инвариантных моментов // Вестник РУДН. Серия: Математика. Информатика. Физика. 2014. № 2. C.142-149.
38 Вин Хтет З., Колдаев В.Д. // Агломеративные алгоритмы выделения инвариантных характеристик изображений. Т. 21, № 6, с. 566–573.
39. Самарина, О.В. Новый методологический подход к цифровой обработке изображений, основанный на теории геометрических инвариантов // Информационные технологии в науке, образовании и производстве: материалы третьей международной научно-технической конференции. Орел, 2008. №1-2/269(544). – С. 195-199.
40. Сычик В.А. Технология сборки интегральных схем: конспект лекций. Белорусский национальный технический университет. Минск: БНТУ, 2014.
41. Ланин В.Л. Технология сборки, монтажа и контроля в производстве электронной аппаратуры. Белорусский гос. ун-т информатики и радиоэлектроники. Минск: Инпредо, 1997.
42. Жетимекова Г. Ж. Распознавания для вариантных и инвариантных образов // Молодой ученый. 2015. №9. С. 120-124.
43. Кручинин А. Детектирование объектов с помощью особенностей в OpenCV: FREAK. Детектирование множетства объектов. // Блог Распознавание образов для программистов. [Электронный ресурс]
44. Wolberg G., Zokai S. Robust image registration using log-polar transform // Proceedings of International Conference on Image Processing. 2000. №1. С. 493-496.
45. Sing T. Bow Pattern Recognition and Image Preprocessing. De Kalb: Taylor & Francis, 2002.
46. Мясников Е.В. Определение параметров геометрических трансформаций для совмещения портретных изображений // Компьютерная оптика. 2007. Том 31, №3. С. 77-82.
47. Козловский А. Н. Сравнение геометрических преобразований изображений // Доклады БГУИР. 2008. № 3 (33). - С. 84 - 89.
48. Zokai S., Wolberg G. Image Registration Using Log-Polar Mappings for Recovery of Large-Scale Similarity and Projective Transformations // IEEE Transactions on Image Processing. 2005. №14.
49. Marshall W. H., Woolsey C. N., Bard P. Observations on cortical somatic sensory mechanisms of cat and monkey // J. Neurophysiol. 1941. №4.
50. Hubel D. H., Wiesel T. N., Sequence regularity and geometry of orientation columns in the monkey striate cortex // J. Comp. Neurol. 1974, C. 158–267.
51. Горелов Д.В. Отчет по производственной практике (по получению профессиональных умений и опыта профессиональной деятельности). М.: МТИ, 2018.
52. Грэг Д. Применение контурного анализа для распознавания образов на С# // Russian MSDN, 2012. [Электронный ресурс]
53. ГОСТ 34.601-90 Межгосударственный стандарт. Информационная технология. Автоматизированные системы. Стадии создания. М.: Стандартинформ, 2009
54. ГОСТ Р ИСО/МЭК 12207 (ISO/IEC 12207) Информационная технология. Системная и программная инженерия. Процессы жизненного цикла программных средств. М.: ИПК Издательство стандартов, 2000
55. Зараменских Е.П. Управление жизненным циклом информационных систем. Новосибирск: ЦРНС, 2014.
56. Broggi A., Berte S. Vision-Based Road Detection in Automotive Systems: A Real-Time Expectation-Driven Approach // Universita di Parma. Journal of Artificial Interlligence Research. 1995. №12.
57. Li Y., Ding W., Zhang X., Ju Z. Road detection algorithm for Autonomous Navigation Systems based on dark channel prior and vanishing point in complex road scenes. Beijing: Institute of Electrical Engineering, 2015.
58. Khalifa O., Islam Rd. Vision Based Road Lane Detection System for Vehicles Guidance. K.Lumpur: International Islamic University Malaysia, 2011.
59. Advanced Lane Detection for Autonomous Cars // Blog Alberto Escarlate. [Электронный ресурс]
60. Roal Lane Detection with Raspberry PI // Blog Abhinav. [Электронный ресурс]
61. Object Detection on Drone Imagery Using Raspberry Pi // Object Detection on Drone Imagery Using Raspberry PI. [Электронный ресурс]