МЕТОД ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ ПОТОКОВЫХ ВИДЕОДАННЫХ ДЛЯ ПОВЫШЕНИЯ УСТОЙЧИВОСТИ ИНТЕЛЛЕКТУАЛЬНОЙ ОБРАБОТКИ Российский патент 2017 года по МПК G06T1/00 H04N19/80 

ОБЛАСТЬ ТЕХНИКИ

Техническое решение предназначено для интеллектуальных систем видеонаблюдения, систем автономной навигации транспортных средств и робототехники, систем структурирования и индексирования изображений и видеоданных.

УРОВЕНЬ ТЕХНИКИ

Системы видеонаблюдения, автономные устройства навигации на основе анализа регистрируемой сцены окружения, робототехнические системы должны обеспечивать стабильную работу в различных условиях. При этом вследствие использования различных устройств для регистрации сцены, разнообразия условий освещения и погоды, принятые потоковые данные могут содержать шумовую составляющую, что, в свою очередь, снижает точность работы алгоритмов детектирования объектов и событий. Поэтому для поддержания точности работы соответствующих алгоритмов необходимо применять методы шумоподавления обрабатываемых потоковых данных. Стоит отметить, что в своем большинстве предложенные алгоритмы шумоподавления были разработаны с целью улучшения визуального качества зашумленного изображения, что, в свою очередь, может даже ухудшить показатели точности работы алгоритмов детектирования объектов и событий на потоковых данных после применения фильтрации шумов с помощью этих методов. Поэтому необходима разработка алгоритмов шумоподавления потоковых данных с учетом последующего применения алгоритмов детектирования объектов и событий. Дополнительным требованием к разработке алгоритма шумоподавления является невысокие требования к вычислительным ресурсам, которые необходимы для последующей работы алгоритмов детектирования объектов и событий.

Большинство существующих походов к фильтрации шумов основаны на предположении, что основная информация в изображении регистрируемой сцены сосредоточена в низкочастотной части его спектра, в то время как шумовая составляющая занимает намного более широкую область частот спектра. Поэтому присутствие шума можно сократить за счет фильтра низких частот, который устранит высокочастотные компоненты, обусловленные наличием шума. Однако такой подход также может убрать детали изображения, не относящиеся к шуму.

Известен способ шумоподавления «Adaptive denoising filtering for object detection applications» (Milani S., Bernardini R., Rinaldo R. Image Processing (ICIP), 2012 19th IEEE Interna tional Conference on. - IEEE, 2012. - C. 1013-1016). Данный способ шумоподавления выполняет локальную обработку изображения, использует рекурсивный фильтр для подавления шума, параметры которого подбираются автоматически по степени регулярности изображения. У этого метода есть несколько особенностей:

1. Метод анализирует отдельные области изображения и стремится подобрать параметры фильтрации в соответствии с характером границ этих областей.

2. Для фильтрации используются два очень быстрых сепарабельных фильтра по горизонтальному и вертикальному направлениям с бесконечной импульсной характеристикой.

Это позволяет методу адаптивно выполнять фильтрацию, определяя области, которых содержится важная информация о текстуре с небольшим контрастом и выполняя на них фильтрацию с меньшим подавлением высоких частот. Для определения таких областей изображение разделяется на блоки размера 32 на 32 пикселя. В каждом блоке считается среднее абсолютное значение величины градиента для пикселей, содержащих значительную информацию о нем, и дисперсия суммы модулей разности ориентаций градиента. Первая характеристика является мерой контраста в блоке, вторая - мерой регулярности ориентаций границ. На основании этих характеристик выбираются блоки, которые с одной стороны обладают достаточной регулярностью границ, с другой стороны имеющие низкий контраст, поэтому сильное подавление высоких частот приведет к потере информации, связанной с регулярностью ориентаций. Поэтому эти блоки помечаются как «критичные» и обрабатываются фильтром с меньшей степенью сглаживания по сравнению с другими блоками изображения. Параметр сглаживания также зависит от коэффициента корреляции пикселей в обрабатываемом блоке.

Однако данный метод шумоподавления для повышения точности работы алгоритмов детектирования объектов различных классов имеет ряд недостатков. В первую очередь, метод определения регулярности границ на основе суммы модулей разности ориентаций градиента не является достаточно устойчивым к шуму. На Фиг. 1 (поз. а) показано исходное изображение, а на Фиг. 1 (поз. б) показана карта регулярности границ на основе суммы модулей разности ориентаций градиента. Для визуализации значения карт регулярности границ их значения были нормированы на интервал от 0 до 255. Из этой карты видно, что области, соответствующие объектам (люди и автомобили) имеют более высокую сумму модулей разности ориентаций градиента. На Фиг. 1 (поз. в-е) изображены карты регулярности границ в случае наличия Гауссова шума с нулевым средним и различными величинами среднеквадратического отклонения - 11, 16, 20, 23. Из этих карт видно, что данный метод определения регулярности границ не является достаточно устойчивым к наличию шума, и карта регулярности значительно меняется при различных уровнях шума. При этом мера регулярности областей, относящихся к объектам, может уменьшаться, в то время как для областей, относящихся к фону, может увеличиваться. Это негативно сказывается на выборе подходящих характеристик фильтров для эффективного шумоподавления. Еще одним недостатком данного подхода является использование рекурсивного фильтра. Несмотря на его простоту, при использовании такого фильтра ошибки при передаче или декодировании потоковых данных будут оказывать существенное влияние на результат шумоподавления при дальнейшей обработке изображения, создавая дополнительные искажения.

СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ

Данное техническое решение направлено на устранение недостатков, присущих существующим аналогам.

Технический результат от использования данного технического решения заключается в расширении арсенала технических средств предварительной обработки потоковых видеоданных.

Данный технический результат достигается за счет выполнения адаптивной предобработки изображения на основе анализа регулярности изображения для поиска важных областей на основе анализа окрестности каждого пикселя, выполняя вычислительно простые операции сравнения значений яркости каждого пикселя изображения и описания окрестности на основании значений этих сравнений.

Метод предварительной обработки потоковых видеоданных включает в себя следующие шаги: получают поток видеоданных и извлекают из него фрагмент видеоданных; разбивают полученный на предыдущем шаге фрагмент видеоданных на кадры как отдельные изображения; разбивают каждое изображение, полученное на предыдущем шаге, на области; определяют меру регулярности каждой полученной на предыдущем шаге области изображения, где мера регулярности находит отношение числа пикселей, у которых есть только 2 перехода между «0» и «1» (первая группа) к числу остальных пикселей этой группы (2 группа) на основе анализа окрестности каждого пикселя путем оценки интегрального характера, где под анализом окрестности каждого пикселя подразумевается анализ 8 соседних значений пикселей путем сравнения их со значением центрального пикселя, которое взято в качестве порога, при этом пиксели, которые имеют значения больше, чем центральный пиксель, принимают значения «1», те, которые имеют значения меньше, чем центральный пиксель, принимают значение «0», а под оценкой интегрального характера подразумевается использование интегральных картинок от бинарных масок принадлежности пикселей к одной из двух групп; оценивают уровень шума на обрабатываемом изображении на основе определенных на предыдущем шаге мер регулярности областей этого изображения; определяют контрастность областей изображения; подбирают параметры билатерального фильтра для каждой области изображения исходя из найденных на предыдущих шагах меры регулярности, уровня шума, контрастности области изображения; обрабатывают изображение путем использования билатерального фильтра для каждой области изображения с использованием параметров, подобранных на предыдущем шаге, в результате чего получают отфильтрованное изображение.

Изображения, полученные из фрагмента видеоданных, могут быть цветными, и/или черно-белыми, и/или в градациях серого.

Изображение при выполнении обработки может быть разбито на равные неперекрывающиеся блоки изображения.

Изображение при выполнении обработки может быть разбито на отдельные пиксели.

В качестве области изображения могут рассматривать каждый пиксель изображения, определяя его меру регулярности по блоку изображения, центр которого с ним совпадает.

При этом могут учитывать размер отдельных областей изображения, для которых определяют меру регулярности, контрастность и параметры билатерального фильтра.

Данное техническое решение может быть выполнено в виде системы предварительной обработки потоковых видеоданных, которая включает в себя: (одно или более) устройство обработки команд, (одно или более) устройство хранения данных, (одну или более) программу, где (одна или более) программа хранится на (одном или более) устройстве хранения данных и исполняется на (одном или более) процессоре, причем (одна или более) программа включает следующие инструкции: получают поток видеоданных и извлекают из него фрагмент видеоданных; разбивают полученный на предыдущем шаге фрагмент видеоданных на кадры как отдельные изображения; разбивают каждое изображение, полученное на предыдущем шаге, на области; определяют меру регулярности каждой полученной на предыдущем шаге области изображения, где мера регулярности находит отношение числа пикселей, у которых есть только 2 перехода между «0» и «1» (первая группа) к числу остальных пикселей этой группы (2 группа) на основе анализа окрестности каждого пикселя путем оценки интегрального характера, где под анализом окрестности каждого пикселя подразумевается анализ 8 соседних значений пикселей путем сравнения их со значением центрального пикселя, которое взято в качестве порога, при этом пиксели, которые имеют значения больше, чем центральный пиксель, принимают значения «1», те, которые имеют значения меньше, чем центральный пиксель, принимают значение «0», а под оценкой интегрального характера подразумевается использование интегральных картинок от бинарных масок принадлежности пикселей к одной из двух групп; оценивают уровень шума на обрабатываемом изображении на основе определенных на предыдущем шаге мер регулярности областей этого изображения; определяют контрастность областей изображения; подбирают параметры билатерального фильтра для каждой области изображения исходя из найденных на предыдущих шагах меры регулярности, уровня шума, контрастности области изображения; обрабатывают изображение путем использования билатерального фильтра для каждой области изображения с использованием параметров, подобранных на предыдущем шаге, в результате чего получают отфильтрованное изображение.

Изображения, полученные из фрагмента видеоданных, могут быть цветными, и/или черно-белыми, и/или в градациях серого.

Изображение при выполнении обработки может быть разбито на равные неперекрывающиеся блоки изображения.

Изображение при выполнении обработки может быть разбито на отдельные пиксели.

В качестве области изображения могут рассматривать каждый пиксель изображения, определяя его меру регулярности по блоку изображения, центр которого с ним совпадает.

При этом могут учитываться размер отдельных областей изображения, для которых определяют меру регулярности, контрастность и параметры билатерального фильтра.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - Исходное изображение (а), соответствующая ему карта регулярности границ на основе суммы модулей разности ориентаций градиента (б), аналогичные карты регулярности границ при наличии шума с величиной среднеквадратического отклонения, равного 11 (в), 16 (г), 20 (д), 23 (е);

Фиг. 2 - окрестности пикселя и его возможные бинарные описания, известные как локальные бинарные шаблоны;

Фиг. 3 - Исходное изображение (а), соответствующая ему карта предложенной меры регулярности на основе анализа окрестностей пикселей (б), аналогичные карты регулярности границ при наличии шума с величиной среднеквадратического отклонения, равного 11 (в), 16 (г), 20 (д), 23 (е);

Фиг. 4 - блок-схема возможного процесса обработки изображения;

Фиг. 5 - схема системы для реализации технического решения;

Фиг. 6 - блок-схема одного из вариантов реализации метода предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки.

ПОДРОБНОЕ ОПИСАНИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ

Данное техническое решение в различных своих вариантах осуществления может быть выполнено в виде способа, в виде системы или машиночитаемого носителя, содержащего инструкции для выполнения вышеупомянутого способа.

В некоторых вариантах реализации техническое решение может быть реализовано в виде распределенной компьютерной системы.

В данном техническом решении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).

Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор, процессор, микроконтроллер), исполняющая машинные (машиночитаемые) инструкции (программы).

Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), ОЗУ, твердотельные накопители (SSD), оптические носители данных (CD-R, DVD-R, BlueRay Disk и т.п.).

Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.

Ниже будут рассмотрены некоторые термины, которые в дальнейшем будут использоваться при описании технического решения.

Цветовая модель - математическая модель описания представления цветов в виде кортежей чисел (обычно из трех, реже - четырех значений), называемых цветовыми компонентами или цветовыми координатами. Все возможные значения цветов, задаваемые моделью, определяют цветовое пространство. Цветовая модель обычно используется для хранения и обработки цветов в дискретном виде, при представлении ее в вычислительных устройствах, в частности, ЭВМ. Цветовая модель задает соответствие между воспринимаемыми человеком цветами, хранимыми в памяти, и цветами, формируемым на устройствах вывода (возможно, при заданных условиях).

Цветовая модель YUV (модель YUV) - широко применяется в телевещании и хранении/обработке видеоданных. Яркостная компонента содержит «черно-белое» (в оттенках серого) изображение, а оставшиеся две компоненты содержат информацию для восстановления требуемого цвета. В цветовом пространстве YUV есть один компонент, который представляет яркость (сигнал яркости), и два других компонента, которые представляют цвет (сигнал цветности). В то время как яркость передается со всеми деталями, некоторые детали в компонентах цветоразностного сигнала, лишенного информации о яркости, могут быть удалены путем понижения разрешения отсчетов (фильтрация или усреднение), что может быть сделано несколькими способами (т.о. существует множество форматов для сохранения изображения в цветовом пространстве YUV).

FPS или кадровая частота, частота кадросмен (англ. Frames per Second (FPS), Frame rate, Frame frequency) - количество сменяемых кадров за единицу времени в телевидении и кинематографе.

Данное техническое решение обеспечивает повышение точности детектирования объектов для большинства классов на зашумленных изображениях (при этом техническое решение имеет низкие требования к вычислительным затратам, что позволяет использовать его в режиме реального времени при обработке потоковых данных, используя несущественную часть вычислительных ресурсов) за счет выполнения адаптивной предобработки изображения на основе анализа регулярности изображения для поиска важных областей на основе анализа окрестности каждого пикселя, выполняя вычислительно простые операции сравнения значений яркости каждого пикселя изображения и описания окрестности на основании значений этих сравнений.

Согласно предлагаемому техническому решению, метод предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки включает следующие шаги:

Получают поток видеоданных и извлекают фрагмент видеоданных.

Фрагмент видеоданных может быть получен из файла, оцифрованной видеозаписи, видеопотока интернет-ресурса и т.п.

Интервал фрагмента видеоданных может быть произвольным и может быть выбран такой интервал, где отсутствуют помехи, реклама, типовые заставки.

При декодировании фрагмента видеоданных может осуществляться конверсия из RGB (или другой цветовой модели) в YUV; конверсия может быть осуществлена по формулам:

где R, G, В - соответственно интенсивности цветов красного, зеленого и синего, Y - яркостная составляющая, U и V - цветоразностные составляющие.

Разбивают полученный на предыдущем шаге поток видеоданных на кадры как отдельные изображения.

Количество извлеченных кадров зависит от параметра FPS и временного интервала видеоданных и не существенно для описываемого технического решения.

Разбивают каждое изображение, полученное на предыдущем шаге, на области.

Изображение при выполнении данного действия может быть разбито на равные неперекрывающиеся блоки изображения.

Изображение при выполнении данного действия при выполнении обработки может быть разбито на отдельные пиксели, то есть в качестве области изображения могут рассматривать каждый пиксель изображения.

Определяют меру регулярности каждой полученной на предыдущем шаге области изображения на основе анализа окрестности каждого пикселя путем оценки интегрального характера.

Регулярность изображения определяется для поиска важных областей на основе анализа окрестности каждого пикселя, выполняя простые операции сравнения значений яркости каждого пикселя изображения и описания окрестности на основании значений этих сравнений. На Фиг. 2 изображены окрестности пикселя и его возможные бинарные описания, известные как локальные бинарные шаблоны. В этом подходе анализируется 8 соседних значений, используя значение центрального пикселя в качестве порога. Пиксели, которые имеют значения больше, чем центральный пиксель (или равное ему), принимают значения «1», те, которые меньше центрального, принимают значения «0», как показано на Фиг. 2, образуя восьмиразрядный бинарный код. Предлагаемая мера регулярности некоторой области изображения находит отношение числа пикселей, у которых есть только 2 перехода между «0» и «1» (первая группа) к числу остальных пикселей этой области (вторая группа). Такая мера регулярности обладает большей устойчивостью при различных уровнях шума, например, по сравнению с дисперсией направлений градиентов, и требует малых вычислительных затрат и применяется для оценки регулярности впервые. Интегральный характер выбранного признака регулярности для областей изображения позволяет выполнять его оценку как для отдельных блоков изображения, так и для каждого пикселя без существенных вычислительных затрат с использованием интегральных картинок от бинарных масок принадлежности пикселей к одной из групп.

На Фиг. 3 (поз. а) показано исходное изображение, а на Фиг. 3 (поз. б) показана карта предложенной меры регулярности. Для визуализации значения карт регулярности границ их значения были нормированы на интервал от 0 до 255. Из этой карты видно, что области, соответствующие объектам (люди и автомобили) имеют более высокую сумму модулей разности ориентаций градиента. На Фиг. 3 (поз. в-е) изображены карты предложенной меры регулярности случае наличия Гауссова шума с нулевым средним и различными величинами среднеквадратического отклонения - 11, 16, 20, 23. Из этих карт видно, что предложенный метод определения регулярности является достаточно устойчивым к наличию шума, и карта регулярности не претерпевает значительных изменений при различных уровнях шума.

Оценивают уровень шума на обрабатываемом изображении на основе определенных на предыдущем шаге мер регулярности областей этого изображения.

Максимальное значение предложенной меры регулярности по всему изображению обратно пропорционально уровню шума, что позволяет ее использовать для оценки степени шума на обрабатываемом изображении.

Определяют контрастность областей изображения.

Исходя из найденных степеней регулярности и наличия шума контраста изображения подбираются параметры фильтра для обработки изображения. Степень сглаживания некоторой области должна быть обратно пропорциональна степени регулярности данной области, максимальной степени регулярности и степени контраста.

Подбирают параметры билатерального фильтра для каждой области изображения исходя из найденных на предыдущих шагах меры регулярности, уровня шума, контрастности области изображения.

При адаптивной обработке фильтром необходимо учитывать характер области изображения при выборе значения параметра сглаживания по яркостной составляющей. Низкий контраст требует использования небольшой степени сглаживания по яркости, иначе будет потеряна информация о границах, что ухудшит показатели работы алгоритмов интеллектуальной обработки потоковых данных. Высокая степень регулярности также показывает, что обрабатывается область с информацией текстуре, которую нужно сохранить для последующей обработки интеллектуальным алгоритмом. В свою очередь, в случае высокого уровня контраста можно использовать более сильную степень сглаживания, не боясь потерять информацию о текстуре. Также в случае малой степени регулярности в обрабатываемой области можно использовать высокую степень сглаживания для эффективного подавления шума, не боясь потерять информацию о структуре, имеющей случайный характер текстуры. Помимо этого степень сглаживания должна быть пропорциональна уровню шума. Таким степень сглаживания фильтра будет определяться следующим образом для каждого блока изображения:

где R_i - предложенная мера регулярности для обрабатываемого блока изображения, R_max - максимальное значение предложенной меры регулярности среди всех блоков изображения, С - мера контраста в данном блоке, а - константа, значение которой подобрано эмпирическим путем. Данная константа подбирается исходя из достижения наилучших показателей алгоритмов визуального распознавания на размеченном наборе данных. Степень сглаживания может быть использована, например, в билатеральном фильтре в качестве параметра сглаживания по яркости:

где σ_D и σ_С - параметры сглаживания для геометрической и яркостной составляющей, ƒ(i,j,k) - регистрируемое значение интенсивности изображения в результате воздействия шума для k-го кадра в пикселе, имеющего пространственные координаты (i,j), - результат фильтрации. Этот метод оценки степени сглаживания может применяться с любым типом фильтра, который имеет параметр меры сглаживания.

Обрабатывают изображение путем использования билатерального фильтра для каждой области изображения с использованием параметров, подобранных на предыдущем шаге.

Блок-схема возможного процесса обработки изображения представлена на Фиг. 4. Обрабатываемое изображение поступает на блоки определения ориентации (поз. 1) и модуля градиента (поз. 2), блок бинарного описания окрестности пикселей (поз. 3). В блоке бинарного описания окрестности выполняется кодирование пикселей на основе сравнения значений их окрестностей. Полученные коды идут в блок оценки регулярности (поз. 5), в котором может оцениваться степень регулярности как отдельных блоков изображения, так и каждого индивидуального пикселя на основании анализа окрестности, который будет быстро выполняться за счет интегральных свойств предложенной меры регулярности. Полученные меры регулярности идут в блок выбора параметров фильтрации (поз. 8), а также блок определения степени шума (поз. 6), выход которого затем идет в блок выбора параметров фильтрации (поз. 8). Выход блока определения модуля градиента (поз. 2) используется для выбора значимых значений пикселей (поз. 4). Этот выбор может быть осуществлен по статистике найденных значений модуля градиента. В блоке определения направления градиента (поз. 1) выбор направления максимальной величины градиента происходит выбором максимального модуля разности между пикселями с координатами (-1,0) и (1,0) (вертикальный градиент), (0,-1) и (0,1) (горизонтальный градиент), (-1,-1) и (1,1) (диагональный градиент под углом 45°), (-1,1) и (1,-1) (диагональный градиент под углом 135°). Полученные данные о модуле (поз. 2) и ориентации (поз. 1) градиента и значимых пикселей (поз. 4) используются в блоке определения контраста (поз. 7). Далее, по величине контраста (поз. 7), степени регулярности (поз. 5) и степени шума (поз. 6) подбираются параметры фильтрации (поз. 8), после чего выполняется фильтрация обрабатываемого изображения (поз. 9). При этом информация межпиксельных разностях, которая находится в блоках определения ориентации градиента (поз. 1) и описания окрестностей (поз. 3) может быть использована в блоке фильтрации (например, для определения весов билатерального фильтра), что позволяет сократить число операций. Эксперименты показали, что разработанная модель, реализованная в пакете математического моделирования MATLAB, обеспечивает более высокие результаты детектирования объектов на зашумленных изображениях базы PASCAL VOC Challenge 2007, точность может увеличиться на величину до 22%. Результаты представлены в таблице 1. На изображения накладывался Гауссовский шум с различной величиной среднеквадратического отклонения: 11, 16, 20, 23, 26. В качестве алгоритма обнаружения использовалась модель деформируемых частей. Оценивалась точность нахождения объектов в % согласно протоколу соревнования PASCAL VOC Challenge.

Согласно Фиг. 5, примерная система для реализации технического решения включает в себя устройство обработки данных 500. Устройство обработки данных 500 может быть сконфигурировано как клиент, сервер, мобильное устройство или любое другое вычислительное устройство, которое взаимодействует с данными в системе совместной работы, основанной на сети. В самой базовой конфигурации устройство обработки данных 500, как правило, включает в себя по меньшей мере один процессор 501 и устройство хранения данных 502. В зависимости от точной конфигурации и типа вычислительного устройства системная память 502 может быть энергозависимой (например, оперативное запоминающее устройство (ОЗУ, RAM)), энергонезависимой (например, постоянное запоминающее устройство (ПЗУ, ROM)) или некоторой их комбинацией. Устройство хранения данных 502, как правило, включает в себя одну или более прикладных программ 503 и может включать в себя данные 504 программ. Настоящее техническое решение как способ, описанное в деталях выше, реализовано в прикладных программах 503.

Устройство обработки данных 500 может иметь дополнительные особенности или функциональные возможности. Например, устройство обработки данных 500 может также включать в себя дополнительные устройства хранения данных (съемные и несъемные), такие как, например, магнитные диски, оптические диски или лента. Такие дополнительные хранилища проиллюстрированы на Фиг. 5 посредством несъемного хранилища 507 и съемного хранилища 508. Компьютерные носители данных могут включать в себя энергозависимые и энергонезависимые, съемные и несъемные носители, реализованные любым способом или при помощи любой технологии для хранения информации. Устройство хранения данных 502, несъемное хранилище 507 и съемное хранилище 508 являются примерами компьютерных носителей данных. Компьютерные носители данных включают в себя, но не в ограничительном смысле, оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), электрически стираемое программируемое ПЗУ (EEPROM), флэш-память или память, выполненную по другой технологии, ПЗУ на компакт-диске (CD-ROM), универсальные цифровые диски (DVD) или другие оптические запоминающие устройства, магнитные кассеты, магнитные ленты, хранилища на магнитных дисках или другие магнитные запоминающие устройства, или любую другую среду, которая может быть использована для хранения желаемой информации и к которой может получить доступ устройство обработки данных 500. Любой такой компьютерный носитель данных может быть частью устройства 500. Устройство обработки данных 500 может также включать в себя устройство(а) 505 ввода, такие как клавиатура, мышь, перо, устройство с речевым вводом, устройство сенсорного ввода, и так далее. Устройство(а) 506 вывода, такие как дисплей, динамики, принтер и тому подобное, также могут быть включены в состав устройства.

Устройство обработки данных 500 содержит коммуникационные соединения, которые позволяют устройству связываться с другими вычислительными устройствами, например по сети. Сети включают в себя локальные сети и глобальные сети наряду с другими большими масштабируемыми сетями, включая, но не в ограничительном смысле, корпоративные сети и экстрасети. Коммуникационное соединение является примером коммуникационной среды. Как правило, коммуникационная среда может быть реализована при помощи машиночитаемых инструкций, структур данных, программных модулей или других данных в модулированном информационном сигнале, таком как несущая волна, или в другом транспортном механизме, и включает в себя любую среду доставки информации. Термин «модулированный информационный сигнал» означает сигнал, одна или более из его характеристик изменены или установлены таким образом, чтобы закодировать информацию в этом сигнале. Для примера, но без ограничения, коммуникационные среды включают в себя проводные среды, такие как проводная сеть или прямое проводное соединение, и беспроводные среды, такие как акустические, радиочастотные, инфракрасные и другие беспроводные среды. Термин «машиночитаемый носитель», как употребляется в этом документе, включает в себя как носители данных, так и коммуникационные среды.

На Фиг. 6 представлена блок-схема одного из вариантов реализации метода предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки.

Специалисту в данной области очевидно, что конкретные варианты осуществления метода предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки были описаны здесь в целях иллюстрации, допустимы различные модификации, не выходящие за рамки и сущности объема технического решения.

Изобретение относится к области компьютерной техники, в частности к системам автономной навигации транспортных средств и робототехники, системам структурирования и индексирования изображений и видеоданных. Технический результат заключается в расширении арсенала технических средств предварительной обработки потоковых видеоданных. Технический результат достигается за счет определения меры регулярности каждой полученной области изображения, где мера регулярности находит отношение числа пикселей, у которых есть только 2 перехода между «0» и «1» (первая группа) к числу остальных пикселей этой группы (2 группа) на основе анализа окрестности каждого пикселя путем оценки интегрального характера, где под анализом окрестности каждого пикселя подразумевается анализ 8 соседних значений пикселей путем сравнения их со значением центрального пикселя, которое взято в качестве порога, при этом пиксели, которые имеют значения больше, чем центральный пиксель, принимают значения «1», те которые имеют значения меньше, чем центральный пиксель, принимают значение «0», а под оценкой интегрального характера подразумевается использование интегральных картинок от бинарных масок принадлежности пикселей к одной из двух групп. 3 н. и 5 з.п. ф-лы, 6 ил., 1 табл.

1. Метод предварительной обработки потоковых видеоданных, характеризующийся тем, что:

- получают поток видеоданных и извлекают из него фрагмент видеоданных;

- разбивают полученный на предыдущем шаге фрагмент видеоданных на кадры как отдельные изображения;

- разбивают каждое изображение, полученное на предыдущем шаге, на области;

- определяют меру регулярности каждой полученной на предыдущем шаге области изображения, где мера регулярности находит отношение числа пикселей, у которых есть только 2 перехода между «0» и «1» (первая группа) к числу остальных пикселей этой группы (2 группа) на основе анализа окрестности каждого пикселя путем оценки интегрального характера, где под анализом окрестности каждого пикселя подразумевается анализ 8 соседних значений пикселей путем сравнения их со значением центрального пикселя, которое взято в качестве порога, при этом пиксели, которые имеют значения больше, чем центральный пиксель, принимают значения «1», те, которые имеют значения меньше, чем центральный пиксель, принимают значение «0», а под оценкой интегрального характера подразумевается использование интегральных картинок от бинарных масок принадлежности пикселей к одной из двух групп;

- оценивают уровень шума на обрабатываемом изображении на основе определенных на предыдущем шаге мер регулярности областей этого изображения;

- определяют контрастность областей изображения;

- подбирают параметры билатерального фильтра для каждой области изображения исходя из найденных на предыдущих шагах меры регулярности, уровня шума, контрастности области изображения;

- обрабатывают изображение путем использования билатерального фильтра для каждой области изображения с использованием параметров, подобранных на предыдущем шаге, в результате чего получают отфильтрованное изображение.

2. Метод по п. 1, в котором изображения, полученные из фрагмента видеоданных, могут быть цветными, и/или черно-белыми, и/или в градациях серого.

3. Метод по п. 1, в котором изображение разбивают на равные неперекрывающиеся блоки изображения.

4. Метод по п. 3, в котором изображение разбивают на отдельные пиксели.

5. Метод по п. 4, в котором в качестве области изображения рассматривают каждый пиксель изображения, определяя его меру регулярности по блоку изображения, центр которого с ним совпадает.

6. Метод по п. 5, в котором учитывают размер отдельных областей изображения, для которых определяют меру регулярности, контрастность и параметры билатерального фильтра.

7. Система предварительной обработки потоковых видеоданных, содержащая:

- по крайней мере одно устройство обработки команд;

- по крайней мере одно устройство хранения данных;

- одну или более компьютерных программ, загружаемых в по крайней мере одно вышеупомянутое устройство хранения данных и выполняемых на по крайне мере одном из вышеупомянутых устройств обработки команд, при этом одна или более компьютерных программ содержат инструкции для выполнения способа по любому из пп. 1-6.

8. Машиночитаемый носитель данных, содержащий исполняемые одним или более процессором машиночитаемые инструкции, которые при их исполнении реализуют выполнение метода предварительной обработки потоковых видеоданных, по любому из пп. 1-6.