УДК 621.38
ББК 32.973.26108.2
В41
Визильтер Ю. В., Желтов С. Ю., Князь В. А., Ходарев А. Н., Моржин А. В.
В41 Обработка и анализ цифровых изображений с примерами на LabVIEW
IMAQ Vision. – М.: ДМК Пресс. – 464 с.
ISBN 978 5970601785
Данная книга представляет собой полный учебный курс по тематике ма
шинного зрения и цифровой обработки изображений и одновременно может
служить практическим пособием по построению приложений машинного
зрения в среде визуального программирования LabVIEW с использованием
библиотеки средств обработки и анализа изображений IMAQ Vision. Рас
сматриваются основные аспекты получения, хранения, обработки и анализа
цифровых изображений, а также автоматического выделения и распознава
ния на изображениях различного рода объектов. Описываемые методы под
робно иллюстрируются программами и схемами обработки, созданными в
LabVIEW на базе IMAQ Vision. Приводятся многочисленные примеры прак
тических приложений машинного и компьютерного зрения в таких областях,
как автоматизация измерений и технический контроль, видеонаблюдение,
биометрия, обработка документов, медицинские приложения.
На сайте издательства www.dmkpress.com размещены цветные рисунки
из книги, а также 30дневные версии программных продуктов LabVIEW
8.5, NI Vision Builder for Automated Inspection 3.0 и LabVIEW Vision
Development Module 8.5.
Книга рассчитана на научных работников, инженеров и студентов техни
ческих ВУЗов, интересующихся тематикой машинного зрения и програм
мированием в среде LabVIEW.
УДК 621.38
ББК 32.973.26108.2
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой
бы то ни было форме и какими бы то ни было средствами без письменного разрешения вла
дельцев авторских прав.
Материал, изложенный в данной книге, многократно проверен. Но поскольку вероятность
технических ошибок все равно существует, издательство не может гарантировать абсолютную
точность и правильность приводимых сведений. В связи с этим издательство не несет ответ
ственности за возможные ошибки, связанные с использованием книги.
ISBN 978 5970601785
© Визильтер Ю. В., Желтов С. Ю.,
Князь В. А., Ходарев А. Н.,
Моржин А. В.
© Оформление, ДМК Пресс
Стр.3
СОДЕРЖАНИЕ
Введение .................................................................................................. 10
1
Машинное зрение, LabVIEW и NI Vision ................................................ 14
1.1. Проблематика машинного зрения................................................. 14
1.1.1. Задачи машинного зрения ........................................................... 15
1.1.2. Уровни и методы машинного зрения...........................................16
1.1.3. Сопряженные технические дисциплины ......................................17
1.1.4. Требования к алгоритмам машинного зрения .............................19
1.1.5. Роль специальных программных средств в разработке
приложений машинного зрения ............................................................ 22
1.2. Знакомство с LabVIEW .................................................................... 24
1.3. Знакомство с NI Vision .................................................................... 44
1.3.1. Платформа NI Vision: захват, обработка и анализ изображений
в LabVIEW .............................................................................................. 44
1.3.2. Функции NI Vision ........................................................................ 45
1.4. Знакомство с Vision Assistant..........................................................50
1.4.1. Начало работы с Vision Assistant .................................................50
1.4.2. Пример работы в Vision Assistant ................................................ 52
1.4.3. Экспорт проекта в LabVIEW ......................................................... 56
2
Цифровые изображения ........................................................................ 59
2.1. Растровое изображение ................................................................ 59
2.1.1. Изображение как двумерный массив данных .............................. 59
2.1.2. Алгебраические операции над изображениями ............................62
Стр.4
4
Обработка и анализ цифровых изображений с примерами
2.2. Виды изображений.......................................................................... 75
2.2.1. Физическая природа изображений .............................................76
2.2.2. Тип пикселя.................................................................................. 81
2.3. Устройства оцифровки и ввода изображений ............................. 84
2.3.1. Линейки и матрицы, сканеры и камеры ....................................... 84
2.3.2. Геометрия изображения.............................................................. 87
2.3.3. Цифровые и аналоговые устройства ........................................... 88
2.3.4. Пространственное разрешение ................................................. 89
2.3.5. Программное обеспечение ........................................................91
2.4. Форматы хранения и передачи цифровых изображений ...........92
2.4.1. Методы сжатия цифровых изображений .....................................94
2.4.2. Формат BMP ................................................................................96
2.4.3. Формат PCX .................................................................................99
2.4.4. Формат GIF ..................................................................................99
2.4.5. Формат TIFF .............................................................................. 100
2.4.6. Формат JPEG ............................................................................ 101
2.4.7. Формат DICOM ......................................................................... 105
2.5. Цифровые видеопоследовательности ....................................... 107
2.5.1. Скорость съемки ...................................................................... 107
2.5.2. «Смаз» изображения ................................................................ 108
2.5.3. Этапы проектирования системы видеосъемки.......................... 109
2.5.4. Быстрая съемка и съемка быстропротекающих процессов ..... 111
2.5.5. Форматы хранения и передачи цифровых
видеопоследовательностей ............................................................... 112
3
Методы обработки изображений ......................................................118
3.1. Гистограмма и гистограммная обработка. Бинаризация
и сегментация. Профили и проекции ................................................ 119
3.1.1. Гистограмма и гистограммная обработка изображений .......... 121
3.1.2. Бинаризация полутоновых изображений ...................................137
3.1.3. Адаптивная бинаризация ...........................................................137
3.1.4. Сегментация многомодальных изображений ............................ 141
3.1.5. Обработка цветных изображений ............................................ 141
3.1.6. Профиль вдоль линии и анализ профиля ....................................151
3.1.7. Проекция и анализ проекции ................................................... 160
Стр.5
Содержание
5
3.2. Фильтрация изображений. Ранговая нелинейная фильтрация.
Выделение объектов ............................................................................163
3.2.1. Задача фильтрации изображений ..............................................163
3.2.2. Фильтрация бинарных изображений .........................................168
3.2.3. Нелинейная фильтрация полутоновых изображений .................175
3.2.4. Задача выделения объектов интереса .......................................... 180
3.3. Линейная фильтрация изображений. Линейная фильтрация
в пространственной области. Преобразование Фурье.
Линейная фильтрация в частотной области .......................................184
3.3.1. Линейная фильтрация изображений. Линейная фильтрация
в пространственной области ..............................................................184
3.3.2. Преобразование Фурье. Линейная фильтрация в частотной
области .............................................................................................. 192
3.3.3. Вейвлетанализ ......................................................................... 204
3.4. Выделение контуров на полутоновых изображениях ............... 216
3.4.1. Задача выделения контуров ...................................................... 216
3.4.2. Операторы выделения контуров в IMAQ Vision .........................222
3.5. Математическая морфология Серра (ММ) .................................. 228
3.5.1. Теоретические основы математической морфологии .............. 229
3.5.2. Операции математической морфологии в IMAQ Vision.............239
4
Методы анализа изображений ............................................................251
4.1. Выделение и анализ связных областей ........................................251
4.1.1. Выделение связных областей на бинарных изображениях ........251
4.1.2. Методы сегментации полутоновых изображений ......................256
4.1.3. Геометрическое описание выделенных областей .................... 261
4.1.4. Выделение и анализ связных областей в IMAQ Vision ................265
4.2. Выделение геометрических примитивов ................................... 280
4.2.1. Методы выделения геометрических примитивов на основе
преобразования Хафа ........................................................................ 280
4.2.2. Выделение геометрических примитивов в IMAQ Vision ............ 285
4.3. Обнаружение объектов, заданных эталонами .......................... 296
4.3.1. Методы обнаружения объектов, заданных эталонами .............. 296
4.3.2. Функции привязки эталонов в IMAQ Vision ............................... 302
4.4. Измерения на изображениях ...................................................... 306
Стр.6
6
Обработка и анализ цифровых изображений с примерами
4.4.1. Функции геометрических измерений в IMAQ Vision ................ 306
4.4.2. Функции яркостных измерений в IMAQ Vision...........................311
4.5. Считывание символьной информации ........................................312
4.5.1. Задача оптического распознавания символов (OCR) .................312
4.5.2. Считывание штриховых кодов ................................................... 323
4.5.3. Считывание информации технических индикаторов.................. 332
4.6. Служебные функции пакета IMAQ Vision ..................................... 333
4.6.1. Ручные геометрические измерения и построения .................... 333
4.6.2. Работа c растровым изображением и областями интереса ...... 343
5
Цифровая фотограмметрия и бесконтактные измерения ............. 347
5.1. Методы цифровой фотограмметрии ...........................................347
5.1.1. Фотограмметрический метод бесконтактных трехмерных
измерений ..........................................................................................347
5.1.2. Математическая модель камеры ................................................ 348
5.1.3. Калибровка видеокамер ............................................................350
5.1.4. Внешнее ориентирование камер .............................................. 351
5.1.5. Решение задачи стереосоответствия при построении модели
поверхности. Структурированный подсвет ........................................ 352
5.1.6. Приведение координат точек снимков к нормальному случаю
съемки. Определение элементов взаимного ориентирования
по внешнему ....................................................................................... 354
5.1.7. Вычисление пространственных координат точек
поверхности ....................................................................................... 355
5.2. Фотограмметрический комплекс для бесконтактных
измерений на базе LabVIEW и PXI ....................................................... 356
5.2.1. Аппаратное обеспечение комплекса ........................................ 356
5.2.2. Программное обеспечение комплекса .................................... 360
6
Compact Vision System – новая промышленная платформа
для систем технического зрения.........................................................369
6.1. Compact Vision System (CVS) ....................................................... 368
6.1.1. Технические характеристики CVS ............................................. 368
6.1.2. Подключение и настройка CVS .................................................369
Стр.7
Содержание
7
6.1.3. Создание приложения для CVS ..................................................374
6.2. Пример приложения: фотограмметрический комплекс
на базе CVS ...........................................................................................377
6.2.1. Аппаратное обеспечение комплекса ........................................377
6.2.2. Программное обеспечение комплекса .................................... 378
6.2.3. Пример сканирования детали ................................................... 388
7
Примеры практических систем машинного зрения .........................391
7.1. Автоматизация измерений и технический контроль ..................391
7.1.1. Система автоматического выделения и фильтрации следа
частиц .................................................................................................391
7.1.2. Система автоматизированного бесконтактного измерения
объема круглых лесоматериалов ........................................................392
7.1.3. Система определения гранулометрического состава рудной
массы (разработка ИИТ и ООО «НВП ЦентрЭСТАгео») ....................394
7.1.4. Система автоматического измерения угла схождения
сварного шва ...................................................................................... 395
7.1.5. Система автоматического распознавания и подсчета
некондиционных кристаллов на круглой пластине ..............................396
7.1.6. Система компенсации геометрических искажений
и бесшовной сшивки изображений, получаемых
от многокамерных систем видеоввода ...............................................397
7.1.7. Система автоматизированного контроля
качества внутренней поверхности труб .............................................. 398
7.2. Зрение роботов ............................................................................399
7.2.1. Область применения: автомобильные системы ........................399
7.2.2. Область применения: мобильные роботы................................ 401
7.2.3. Система обнаружения препятствий на дороге перед
движущимся транспортным средством ............................................. 404
7.2.4. Система автоматической привязки телефрагментов
к ортофотоизображению ................................................................... 404
7.3. Видеонаблюдение ........................................................................ 405
7.3.1. Область применения: видеонаблюдение ................................. 405
7.3.2. Система обнаружения и сопровождения движущихся
объектов по признаку их движения .................................................... 406
Стр.8
8
Обработка и анализ цифровых изображений с примерами
7.3.3. Система стереообнаружения движения в зоне
видеонаблюдения .............................................................................. 411
7.3.4. Система считывания регистрационных номеров
автомобилей .......................................................................................412
7.3.5. Система считывания номеров железнодорожных вагонов
и цистерн ............................................................................................413
7.4. Биометрия......................................................................................414
7.4.1. Область применения: биометрия ..............................................414
7.4.2. Система обнаружения и распознавания лиц .............................421
7.4.3. Система трехмерной реконструкции и формирования
строго фронтального изображения лица человека ............................. 423
7.4.4. Система автоматического выделения человеческого лица
и слежения за его чертами .................................................................. 425
7.4.5. Система распознавания жестов руки человека ......................... 426
7.4.6. Cистема для биомеханических исследований на основе
высокоскоростной стереосъемки движений человека ...................... 426
7.4.7. Система слежения за положением головы и направлением
взгляда ребенка .................................................................................. 428
7.5. Обработка документов, распознавание текста и штриховых
кодов .................................................................................................... 429
7.5.1. Система автоматического поиска и считывания штриховых
кодов ................................................................................................. 429
7.5.2. Система автоматического распознавания машиночитаемых
документов ........................................................................................ 430
7.5.3. Система считывания номеров денежных банкнот ......................431
7.5.4. Система оценки подлинности денежных банкнот ...................... 432
7.5.5. Cистема для оценки ветхости денежных банкнот ....................... 433
7.6. Медицинские приложения ........................................................... 434
7.6.1. Проекты в области анализа и обработки медицинских
изображений ...................................................................................... 434
7.6.2. Системы для компьютерного анализа томографических
изображений ...................................................................................... 435
7.6.3. Система компьютерного анализа томографических
изображений для диагностики воспалительных заболеваний пазух
и полости носа (синуитов) ..................................................................436
7.6.4. Система компьютерного анализа томографических
изображений для оценки степени ожирения у мужчин .......................436
Стр.9
Содержание
9
7.6.5. Система компьютерного анализа медицинской
рентгенографической информации для ранней диагностики
остеопороза ....................................................................................... 438
7.6.6. Автоматизированное рабочее место врачарентгенолога ....... 438
7.6.7. Система телемедицины в области радиологических
обследований .................................................................................... 440
7.6.8. Модуль управления данными медицинского обследования
на основе технологии DICOM .............................................................441
Список литературы ...............................................................................442
Литература по машинному зрению .................................................... 443
Литература по машинному зрению на русском языке ........................ 443
Литература по машинному зрению на английском языке.................... 445
Литература по LabVIEW и NI Vision..................................................... 452
Литература по LabVIEW и NI Vision на русском языке ......................... 452
Литература по LabVIEW и NI Vision на английском языке .................... 453
Предметный указатель ......................................................................... 454
Стр.10