Интернет-журнал ТелеФото Техника           Главная    |    E-mail    |    28.03.2024      
Главная страница   |   О журнале   |   Авторам   |   Редколлегия   |   Контакты            

Научно-технический интернет-журнал        Свидетельство о регистрации Эл № ФС 77-31314      


   


 

Системы технического зрения
На главную / Все статьи раздела

Дата публикации  :  03.11.2009  |  Просмотров  :  798  |  Для печати
Автор(ы)  :  Е.Н. Веснин, А.В. Вето, В.А. Царев

 

Интеллектуальный оптоэлектронный комплекс УмКа и его применение при создании адаптивных систем технического зрения

Рассматривается один из аспектов разработки адаптивных оптоэлектронных систем технического зрения (ОЭСТЗ), связанный с созданием методов и средств интеллектуального управления процессом формирования видеоданных в таких системах. Дано описание телевизионно-вычислительного комплекса УмКа, предназначенного для использования в составе адаптивных ОЭСТЗ. Рассмотрен пример применения комплекса УмКа при создании адаптивной системы распознавания регистрационных номеров автомобилей. Предложен алгоритм управления процессом формирования видеоданных в рамках системы, рассмотренной в примере.

Введение

Эффективность функционирования системы технического зрения (СТЗ), как правило, существенно зависит от внешних условий ее эксплуатации. Наиболее характерно эта зависимость проявляется при использовании оптоэлектронного метода контроля. В настоящее время известно достаточно много приложений ОЭСТЗ с высокой априорной неопределенностью условий эксплуатации: контроль геометрических параметров крупногабаритных промышленных изделий [1], охранное видеонаблюдение [2], контроль автотранспортных потоков на дорогах [3], идентификация движущихся объектов контроля путем распознавания нанесенных на них текстовых меток [4] и т.п. Среди причин этой неопределенности в качестве основных можно выделить: индивидуальные особенности объектов контроля, например, их значительное многообразие и случайные изменения отражающих характеристик их поверхности; нестационарность источников внешнего освещения; влияние возмущающих факторов передающей среды (дождь, снег, пар, пыль и т.п.). Одним из путей обеспечения эффективности ОЭСТЗ при данных условиях эксплуатации является разработка метода и средств интеллектуального управления процессом формирования видеоданных для таких систем.

Интеллектуальное автоматическое управление процессом формирования видеоданных в адаптивных ОЭСТЗ

Функциональная схема большинства используемых в настоящее время ОЭСТЗ представлена на рис. 1. Возможности управления процессом формирования видеоданных в такой схеме ограничены возможностями, заложенными на аппаратном уровне в телевизионный датчик (камеру) его производителем, и чаще всего не учитывают специфику задачи, решаемой при помощи ОЭСТЗ.


Рис.1.Функциональная схема "классической" ОЭСТЗ

Недостатки представленной схемы очевидны: существенная зависимость эффективности ОЭСТЗ от внешних условий, при которых происходит формирование изображений сцены и объектов контроля. В условиях нестационарного (например, уличного) освещения зоны контроля и значительной вариативности самих объектов контроля и свойств их поверхности часть сформированных при такой схеме изображений практически оказываются не пригодными для анализа либо требует применения высокоинтеллектуальных, а значит ресурсоемких алгоритмов.

Создание оптоэлектронного комплекса, обеспечивающего интеллектуальное автоматическое управление процессом формирования видеоданных, является важным шагом на пути развития адаптивных СТЗ. Основная цель такого управления - повышение эффективности ОЭСТЗ при нестационарных условиях эксплуатации и влиянии негативных внешних факторов, имеющих чаще всего случайный характер. Эффективность повышается за счет формирования качественных с точки зрения последующего анализа изображений объектов контроля. Суть управления заключается в использовании алгоритмов предварительной обработки и интеллектуального анализа изображений каждого из объектов контроля с целью оценки состояния внешних условий и степени влияния негативных факторов, сопутствующих формированию этих изображений. При этом компенсация влияния данных факторов выполняется путем изменения параметров камеры, используемой в составе адаптивного комплекса.

Принципиальная функциональная схема формирования, обработки и анализа изображений в ОЭСТЗ с использованием предлагаемого подхода представлена на рис. 2.


Рис.2.Функциональная схема ОЭСТЗ с интеллектуальным управлением процессом формирования видеоданных

Проектируемый адаптивный оптоэлектронный комплекс должен обеспечивать выполнение шести этапов.

    1. Начальная настройка комплекса: определение параметров оптической схемы, зоны интереса и области допустимых значений параметров настройки; задание разрешения формируемых изображений, определение начальных значений времени экспозиции кадра и усиление видеосигнала.
    2. Формирование изображения общей сцены и наблюдаемого в текущее время объекта контроля с заданными начальными условиями.
    3. Предварительная интеллектуальная обработка и анализ текущего изображения общей сцены и объекта контроля.
    4. Оценка значений заданных пользователем характеристик качества сформированного изображения (например, яркость и/или контрастность области интереса, выделяемой на этапе 3) с учетом решаемой задачи.
    5. Выработка управляющих решений для камеры по оптимизации значений выбранных характеристик качества изображений наблюдаемой сцены и объекта контроля на следующем или серии следующих изображений.
    6. Итоговая обработка и анализ улучшенных изображений сцены и объекта контроля, формирование, запись и/или передача результатов анализа. При необходимости дополнительная оценка достигнутых значений показателей эффективности контроля и корректировка управляющих воздействий на видеокамеру.

Очевидно, что для выполнения этапов 3...6 проектируемый адаптивный оптоэлектронный комплекс должен иметь в своем составе достаточно мощные вычислительные и программные ресурсы.

УмКа - оптоэлектронный комплекс с интеллектуальным управлением процессом формирования видеоданных

Учеными и инженерами научно-технической лаборатории ИМИТ СПбГПУ, научно-производственных компаний Спецтелетехника (г. Москва) и Малленом (г. Череповец) в ходе выполнения цикла НИОКР в течение 2008-2009 гг. был разработан оптоэлектронный комплекс УмКа, удовлетворяющий всем сформулированным выше требованиям (рис. 3).


Рис.3.Внешний вид комплекса "УмКа"

Состав комплекса УмКа

  1. Сдвоенный телевизионный камерный блок с независимыми оптическими системами КБ1 и КБ2.
  2. Импульсные ИК-осветители на основе сборки светодиодов с длинной волны излучения 0,85 мкм и встроенными источниками питания.
  3. РС-совместимый процессорный модуль в индустриальном исполнении.
  4. Накопитель на жестком диске или на основе Flash-памяти (SSD).
  5. Коммутационно - наладочный блок.
  6. Блок питания.
  7. Стеклоочиститель-дворник (дополнительная опция для тяжелых условий эксплуатации).
  8. Общее ПО - ОС семейства Windows XP.
  9. Специализированное ПО формирования потока видеоизображений, интеллектуального анализа видеоданных и управления параметрами формирования видеопотока.

КБ1 является черно-белой камерой с прогрессивной разверткой и разрешением 768х576 точек. Кадровая частота - 25Гц. На входе оптической системы расположен узкополосный интерференционный фильтр с максимальным пропусканием на длине волны излучения ИК осветителя (0,85 мкм). Тем самым существенно снижается компонента засветки от солнечного излучения, автомобильных фар и осветительных ламп. Подсветка ИК прожектора синхронизирована с экспозицией электронного затвора камеры, при этом длительность свечения регулируется программно и лежит в диапазоне 10 мкс...4 мс (патент РФ №78343). Камера обменивается информацией со встроенной ЭВМ через порт USB 2.0. Оптическая система содержит вариообъектив 5...50 мм с возможностью подстройки фокусного расстояния и резкости через съемный люк в камерной части устройства.

КБ2 является цветной камерой с прогрессивной разверткой с разрешением 1392х1032 точек (1,4 Мпикс), режимы работы которой также устанавливаются программно. Камера позволяет работать с кадровой частотой 8 Гц (в полном разрешении) и предназначена для фиксации общего вида участка контроля. Оптическая система КБ2 также содержит вариообъектив 5...50 мм с возможностью подстройки через съемный люк в камерной части устройства.

Каждый из двух ИК-осветителей содержит 120 светодиодов, которые работают в форсированном токовом режиме. Для исправления колоколообразной диаграммы направленности излучения, приводящей к неоднородности освещения сцены, столбцы диодной сборки имеют различные углы наклона диодов. Это обеспечивает выравнивание освещенности с разбросом <10% в горизонтальной плоскости (Решение о выдаче патента РФ по заявке № 2009103644/22 004745). Осветители управляются TTL сигналами от КБ1 и содержат мощные ключевые схемы для обеспечения форсированного режима работы светодиодов в условиях высокой скважности управляющих импульсов. Импульсный режим работы позволяет существенно снизить энергопотребление при сохранении высокой энергетики подсветки.

Все электронные модули установлены в герметичном корпусе, что допускает эксплуатацию комплекса в уличных условиях. Питание комплекса осуществляется от внешнего источника с напряжением 12 В, потребляемый ток - ≤ 2А.

Коммутационно-наладочный блок представляет собой герметически закрывающийся контейнер в нижней части устройства. Внутри него находятся:

- стандартные разъемы для подключения внешних устройств (клавиатура, мышь, SVGA монитор) к встроенному процессорному блоку;

- четыре коннектора USB 2.0, позволяющие подключать внешние накопители данных;

- разъем RJ-45 для подключения кабеля Ethernet;

- два разъема DSUB-9 для подключения к процессорному блоку внешних устройств по интерфейсам RS-232/RS-485 (например, поворотной платформы);

- клеммники для подключения к источнику питания.

Такая конструкция позволяет легко производить отладку и обновление внутреннего ПО процессорного модуля без разборки комплекса.

Программное обеспечение комплекса УмКа

ПО комплекса УмКа включает следующие приложения: программное ядро (ПЯ) комплекса (работает как сервис непосредственно на встроенном процессорном модуле); утилита просмотра видеопотока с камеры (клиентское ПО); утилита настройки ядра комплекса (клиентское ПО); утилита вывода лога работы ядра комплекса (клиентское ПО).

Процессорный модуль комплекса работает под управлением ОС MS Windows XP SP2 (или SP3) c установленной платформой MS .NET Framework 3.5 SP1. Клиентское ПО также работает под управлением ОС Windows XP и может быть запущено на любом компьютере, имеющем сетевое соединение с камерой.

Взаимодействие с ПЯ комплекса производится через сетевой интерфейс при помощи специализированного протокола (основанном на IP-протоколе).

Возможны следующие типы взаимодействий с ПЯ комплекса:

  • получение видеопотока в виде последовательного набора изображений;
  • доступ к хранилищу данных, сгенерированных ПЯ комплекса;
  • настройка ПЯ комплекса;
  • ведение лога работы ПЯ комплекса.

Функции ПЯ комплекса:

  • получение видеопотока в РВ;
  • управление параметрами камеры и видеопотока: разрешение изображения; выбор зоны интереса; выбор области настройки; время экспозиции кадра; усиление видеосигнала;
  • управление параметрами интеллектуальной обработки видеопотока (набор параметров зависит от используемого разработчиком ОЭСТЗ модуля интеллектуальной обработки);
  • ведение хранилища данных, накапливаемых в результате работы комплекса;
  • предоставление сетевого доступа к функциям ПЯ;
  • самодиагностика работы комплекса;
  • доступ по паролю;
  • ведение лога работы.

ПЯ комплекса поддерживает следующие режимы управления камерой и видеопотоком:

  • ручной режим установки параметров;
  • управление параметрами камеры на основании требуемых характеристик (яркости, контрастности и т.п.) указанной области изображения;
  • управление параметрами камеры на основании требуемых характеристик (яркости, контрастности и т.п.) с предварительным интеллектуальным выбором области изображения (например, номерной пластины автомобиля).

Применение комплекса УмКа при разработке системы распознавания регистрационных номеров автомобилей

Эффективность предложенных метода и аппаратно-программных средств интеллектуального управления процессом формирования видеоданных при создании ОЭСТЗ может быть продемонстрирована на примере решения известной задачи распознавания регистрационных номеров автомобилей [5]. Для этой цели на базе комплекса УмКа и программного ядра распознавания автомобильных номеров Автомаршал (разработка ООО Малленом, был создан прибор УМКА-Автомаршал, обеспечивающий обнаружение и автоматическую идентификацию автотранспортных средств. Функциональная схема прибора представлена на рис. 4


Рис.4.Функциональная схема прибора идентификации автотранспортных средств

Прибор, может быть, размещен на обочине автодороги или над автодорогой (на штативе, столбе, ферме и т.п.). Его питание обеспечивается от сети переменного тока или аккумуляторного устройства. При первом запуске прибора вручную удаленно выполняется настройка оптической схемы, после чего запускается процесс автонастройки, в ходе которого выполняется оценка текущих внешних условий и размеров распознаваемых номеров. Далее система начинает функционировать в автономном режиме. Номера проезжающих ТС вместе с их изображениями записываются в БД прибора, доступ к которой может быть осуществлен через сеть Ethernet как по проводным, так и беспроводным каналам связи.

Номерные пластины автомобилей обладают различной отражающей способностью из-за ряда случайных факторов (загрязнения, потертости и т.п.). В типовых решениях для автоматического управления параметрами камеры (диафрагма, экспозиция, усиление) используется, как правило, информация о средней/пиковой яркости кадра или некоторых заранее определенных областей кадра. Это приводит к тому, что при фиксированных параметрах устройства формирования изображений, изображения номеров части автомашин оказываются малопригодными для их идентификации (например, изображения на рис. 5 а и в).

 

а)

б)

в)

Рис. 5. Примеры изображений, содержащих регистрационный номер автомобиля

В приборе УмКа-Автомаршал осуществляется автоматическое управление параметрами камеры так, чтобы обеспечить получение изображение номера каждого проезжающего автомобиля, приемлемого для его достоверной идентификации. При этом учитывается тот факт, что изображение одного и того же номера формируется, как правило, несколько раз в течение времени прохождения автомобиля через зону контроля. В приборе выделено два уровня управления: один для адаптации к медленным изменениям внешних условий (смена времени суток, погодных условий) - глобальный, на втором (локальном) уровне камера подстраивается под номер каждого проезжающего автомобиля. Суть предложенных алгоритмических решений описана далее.

Наиболее существенное влияние на качество изображения номера оказывают экспозиция E и коэффициент усиления G, являющиеся внутренними параметрами камеры. В качестве величины, характеризующей качество изображения, предложено использовать средний уровень яркости зоны, содержащей изображение регистрационного номера.

Увеличение яркости изображения достигается увеличением значений как E, так и G. На практике более предпочтительно вначале изменять экспозицию в допустимых пределах, поскольку увеличение усиления приводит к увеличению вместе с уровнем полезного сигнала и уровня шумов. Для решения задачи управления введен новый параметр - коэффициент передачи K=E*G.

Зависимость экспозиции E и усиления G от коэффициента передачи K определим по следующим формулам (рис. 6):

(1)

где Kmin = Emin, Ks = Emax, Kmax = Emax·Gmax.

Величина Emin определяется используемой в составе прибора ПЗС-матрицей (в нашем случае Emin = 10-6 с). Верхний предел экспозиции Emax выбирается, исходя из требования получения изображения номера без скоростного смаза (достаточным может считаться значение Emax = 0,001 с). Gmax - максимальный коэффициент усиления камеры.

.

Рис. 6. Зависимость экспозиции E и усиления G от коэффициента передачи K

 

Рассмотрим зависимость средней яркости f интересующей нас области изображения D от параметра K. Функция f(K) является монотонной, ограниченной и, к сожалению, неизвестной. Целью управления параметрами камеры является приведение средней яркости области D к желаемому значению M, априорно также не известному. Таким образом, можно сформулировать задачу управления как отыскание значения коэффициента Kn+1, при котором функция f примет требуемое значение M при известном текущем значении f(Kn), где n - порядковый номер формируемого изображения (кадра). В ходе экспериментальных исследований наилучшие результаты были достигнуты при использовании следующей рекуррентной формулы:

. (2)

При инициализации системы требуется выполнить оценку и установить начальные значения параметров K и M с учетом особенностей сложившихся к настоящему моменту внешних условий эксплуатации прибора. С этой целью при первом запуске системы определенным систематическим образом перебираются значения K из отрезка [Kmin, Kmax]. При каждом значений K формируется последовательность из q изображений, каждое из которых подвергается интеллектуальному анализу (выявлению и распознаванию номера). В случае достоверного распознавания на изображении некоторого номера, сохраняется значение K, при котором сформировано это изображение, и рассчитывается значение f(K), описывающее среднюю яркость зоны распознанного номера на изображении. Этап настройки завершается после накопления информации об m различных распознанных номерах. После чего в качестве начальных значений K и M используются их средние значения K0 и M0, рассчитанные по сохраненным параметрам. Таким образом, значение K0 соответствует параметрам камеры, при которых номера автомобилей успешно распознаются, а M0 задает ограничения на изображения зон с номерами, требуемые для их успешной обработки применяемым алгоритмом распознавания.

Далее в режиме автоматического функционирования на каждом текущем изображении с порядковым номером n выполняется локализация регистрационного номера (поиск области, возможно содержащей такой номер). Если на входном изображении обнаружен номер, вычисляется средняя яркость области номера f(Kn) и по формуле (2) рассчитывается новое значение коэффициента передачи Kn+1. По формуле (1) определяются новые значения экспозиции E и усиления G и передаются в камеру, после чего формируется новое изображение. Если же на текущем изображении зон с номером не обнаружено, то значение K вновь устанавливается в значение K0.

Описанная процедура реализует локальный уровень адаптации параметров камеры, поскольку позволяет получить хорошее изображение номера текущего автомобиля.

Для учета медленных изменений параметров внешней среды реализован глобальный уровень адаптации. Он заключается в переоценке параметров K0 и M0 по распознанным номерам. Для этого сохраняются g последних значений параметров K и f(K), при которых был распознан номер. Значения K0 и M0, как и на этапе инициализации, определяются усреднением по данной выборке. На начальном этапе эта выборка заполнена значениями, полученными в ходе инициализации, которые в ходе работы системы вытесняются в порядке очереди новыми значениями.

За счет использования указанных преимуществ комплекса и предложенных алгоритмов управления достигается значительное улучшение характеристик системы идентификации автотранспортных средств. В первую очередь, эффект заметен при использовании системы в сложных погодных условиях и при низком уровне освещенности зоны контроля, а также при распознавании загрязненных номеров. Эксперименты показывают, что вероятность правильной идентификации автомобилей может быть увеличена в таких случаях на 7:10%.

Заключение

Применение алгоритмов и программно-технических средств управления процессом формирования видеоданных в ОЭСТЗ, основанных на предварительном интеллектуальном анализе последовательности формируемых изображений, позволяет повысить эффективность таких систем. Наиболее заметен этот эффект в таких системах, которые применяются в нестационарных условиях эксплуатации с высокой степенью априорной неопределенности возмущающих факторов. Потребность в подобных системах постоянно растет, однако многие научно-технические проблемы в данной области остаются малоисследованными. Авторы надеются, что предложенные ими научно-технические решения и пример их использования будут определенным вкладом в развитие теоретической и программно-технической базы для создания адаптивных оптоэлектронных СТЗ.

 

Список литературы

  1. Yeremin S. Using image processing technology in metal-roll quality control system // 7th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-7-2004). Conference Proceedings. Vol. II. St.-Petersburg: SPbETU. 2004.
  2. Денисов А. Системы видеонаблюдения на основе контекстного анализа сцен / Сб. научных трудов ИМИТ СПбГПУ. Выпуск 2. Под ред. Л.Л. Малыгина. Череповец: ИМИТ СПбГПУ.
  3. Еремин С.Н., Малыгин Л.Л., Михайлов А.Н., Царев В.А. Опыт использования технологии обработки изображений при проектировании интеллектуальных транспортных систем // Искусственный интеллект в XXI веке. Тр. межд. конгресса ICAI 2001. М.: Физматлит. 2001. Т. 2.
  4. Воскресенский Е.М., Царев В.А. Моделирование и адаптация систем распознавания текстовых меток на видеоизображениях. Череповец: ИНЖЭКОН. 2009.
  5. Царев В.А. Научные аспекты проектирования и оптимизации оптоэлектронных систем идентификации наземных транспортных средств // Автоматизация в промышленности. 2009. № 5.

 

 

Сведения об авторах

Веснин Евгений Николаевич - руководитель лаборатории систем технического зрения Института менеджмента и информационных технологий (филиала СПбГПУ г. Череповце),

Вето Александр Владимирович - ген. директор ООО Спецтелетехника,

Царев Владимир Александрович - канд. техн. наук, зам. директора по науке ООО Малленом.

E-mail: vesnin@imit.ru / veto@sptt.ru /vats@imit.ru

Http://www.imit.ru / www.sptt.ru / www.mallenom.ru

 Скачать статью (RAR -архив, 6.5 Мb)

Автор(ы)  :  Е.Н. Веснин, А.В. Вето, В.А. Царев

Внимание ! Использование любых текстовых или графических материалов(а так-же их фрагментов) с сайта http://www.telephototech.ru возможно с разрешения администрации сайта с обязательным указанием ссылок на первоисточник и авторов статей и публикаций !