СПОСОБ ДЛЯ АВТОМАТИЗИРОВАННОЙ РЕГИСТРАЦИИ В РЕАЛЬНОМ ВРЕМЕНИИ МОРСКИХ МЛЕКОПИТАЮЩИХ Российский патент 2015 года по МПК G06K9/00 G01S15/00 

Изобретение относится к способу для автоматизированной регистрации в реальном времени морских млекопитающих в природных водах в окружающей судно среде путем обнаружения тепловых сигнатур морских млекопитающих посредством формирующего изображение термографического сканирования поверхности вод системой инфракрасной камеры, которая служит для формирования потока данных изображения следующих друг за другом изображений, причем каждое изображение разделено на отдельные пиксели, и последующей модульной обработки потока данных изображения в компьютере с по меньшей мере следующими последовательными, отдельными этапами процесса, реализуемыми в отдельных компьютерных компонентах:

- предварительная обработка каждого изображения с буферизацией изображения, ориентацией изображения и сегментацией изображения на подизображения,

- обнаружение локальных изменений контраста на изображении согласно заданному алгоритму,

- классификация обнаруженных локальных изменений контраста для распознавания образа тепловой сигнатуры морского млекопитающего,

- локализация классифицированной тепловой сигнатуры морского млекопитающего по меньшей мере с учетом глобальных данных местоположения судна,

- верификация классифицированной, локализованной тепловой сигнатуры морского млекопитающего и

- документирование классифицированной, локализованной и верифицированной тепловой сигнатуры морского млекопитающего с по меньшей мере длительным сохранением данных изображения

и с представлением в виде изображений обработанного потока данных на графическом пользовательском интерфейсе, который одновременно служит для управления способом.

К морским млекопитающим относятся все млекопитающие, которые приспособились к жизни на море, в частности, все типы китообразных и ластоногих. При этом как раз китообразным в максимальной степени угрожает вымирание. Наряду с непосредственным оптическим распознаванием такие морские млекопитающие также распознаются, прежде всего, по их тепловым, то есть сформированным на основе тепла сигнатурам, соответствующим, в частности, появляющимся на поверхности частям тел, таким как плавники и хвостовые плавники китов, фонтану кита (выталкиваемый из дыхательного отверстия выдыхаемый воздух, имеющий температуру тела) и так называемым ″отпечаткам″ (следам), то есть завихрениям воды в следе животного. Ввиду возрастающих опасений в отношении воздействий антропогенных, вырабатывающих подводный звук работ (например, свайных работ для ветроэнерогоцентров или гидроакустических исследований в нефтяной и газовой индустрии) на всех морских млекопитающих, например, для сейсмико-геофизических исследований в пределах EEZ (исключительной экономической зоны) США и Великобритании требуется отключать пневматическое оружие (Airguns - пневмопушки) в присутствии морских млекопитающих в окружности обычно от 1 км до 3 км, так называемого ″радиуса снижения отрицательного воздействия на окружающую среду″. Перед началом использования пневмопушки, кроме того, требуется интервал времени наблюдения отсутствия млекопитающих 30 минут. Находятся ли морские млекопитающие в радиусе снижения отрицательного воздействия на окружающую среду или подвергаются опасности попадания в его пределы, в настоящее время в светлое время суток устанавливается, как правило, с помощью визуальных наблюдений числом до трех одновременно действующих наблюдателей. Однако в ночное время или в условиях плохой видимости (дальность наблюдения, зеркальные отражения, условия освещения или погодные условия (ветер, туман, волнение на море) визуальное наблюдение не может быть реализовано. Также при достаточных условиях видимости визуальные наблюдения по всему горизонту, продолжающиеся в течение длительного промежутка времени, требуют наивысшей концентрации от наблюдателя, так как распознаваемая тепловая сигнатура морского млекопитающего на часто изменяющемся фоне волн зачастую наблюдается лишь в течение нескольких секунд. Поэтому каждый наблюдатель, ввиду быстро наступающей утомляемости, может привлекаться к наблюдению лишь на относительно короткое время. Поэтому во все большей степени пытаются использовать автоматические системы с камерами и автоматической оценкой регистрируемых изображений. Известные до сих пор попытки концентрировались главным образом на термографических способах, при которых в качестве источника изображения использовались инфракрасные камеры.

УРОВЕНЬ ТЕХНИКИ

Далее вводятся прежде всего некоторые основополагающие определения применяемых специальных терминов, известных специалисту в данной области техники.

Классификация, типизация или систематика представляет планомерный сбор данных абстрактных классов (также понятий, типов или категорий), которые применяются для разграничения и упорядочения. Отдельные классы получают и иерархически упорядочивают, как правило, посредством классифицирования, то есть посредством разделения объектов на основе определенных признаков. Количество наименований классов образует контролируемый словарь. Применение классификации к объекту посредством выбора подходящего класса данной классификации называется классифицированием.

Верифицирование или верификация является подтверждением, что предполагаемое или утверждаемое положение дел является истинным. Термин применяется по-разному, в зависимости от того, можно ли при установлении истинного значения опираться только на приведенное доказательство или в качестве верификации рассматривается более легко реализуемая на практике подтверждающая проверка и удостоверение положения дел посредством аргументов независимой инстанции (см. Википедия, статья ″Верификация″), что имеет место в данном случае.

Контролируемое обучение является подобластью машинного обучения. Под обучением при этом понимается способность моделировать закономерности. Результаты становятся известными посредством естественных законов или экспертных знаний и используются для того, чтобы обучить систему. Алгоритм обучения пытается найти гипотезу, которая по возможности точно соответствует прогнозам. Под гипотезой при этом следует понимать отображение, которое ассоциирует с каждым входным значением предполагаемое выходное значение. Для этого алгоритм изменяет свободные параметры выбранного класса гипотез. Данный метод ориентируется на заранее установленные изучаемые выводы, результаты которых известны. Результаты процесса обучения могут сравниваться с известными правильными результатами, то есть ″контролируются″. После тренировки или соответственно процесса обучения система должна быть в состоянии для неизвестного ввода, подобного использованным при обучении примерам, выдать корректный вывод. Чтобы протестировать эту способность, система валидируется. Одна возможность состоит в том, чтобы располагаемые данные подразделить на тренировочный набор и на тестовый набор. Цель состоит в том, чтобы меру ошибок в тестовом наборе, с помощью которого не проводится тренировка, свести к минимуму. Часто для этого применяется способ перекрестного валидирования.

Support Vector Machine (SVM, в переводе с английского - машина опорных векторов или метод опорных векторов) является классификатором и подразделяет множество объектов на классы таким образом, что вокруг центров классов остается по возможности широкая область, свободная от объектов. Метод опорных векторов является чисто математическим методом распознавания образов, который реализуется в компьютерных программах. Исходной базой для построения машины опорных векторов является множество тренировочных объектов (тренировочных наборов данных), для которых соответственно известно, к какому классу они принадлежат. Каждый объект (каждый набор данных) посредством векторы представляется в векторном пространстве. Задача машины опорных векторов состоит в том, чтобы с этим пространством согласовать гиперплоскость, которая служит в качестве разделительной плоскости и разделяет тренировочные объекты на два класса. При этом расстояние до тех векторов, которые лежат наиболее близко к гиперплоскости, максимизируется. Этот широкий пустой край должен затем обеспечивать то, что также объекты, которые не точно соответствуют тренировочным объектам, по возможности точно классифицируются. При использовании гиперплоскости не требуется учитывать все тренировочные векторы. Векторы, которые лежат на удалении от гиперплоскости и в известной степени ″скрыты″ за фронтом других векторов, не влияют на положение и позицию разделительной плоскости. Гиперплоскость зависит только от лежащих ближе всего к ней векторов - и также только они необходимы, чтобы математически точно описать плоскость. Эти ближайшие векторы согласно их функции называются опорными векторами (анг. Support Vectors) и дали свое название машине опорных векторов. Гиперплоскость не может ″искривляться″, так что чистое разделение с помощью гиперплоскости возможно только тогда, когда объекты являются линейно разделяемыми. Это не имеет места в реальных случаях применения. Машины опорных векторов в случае нелинейно разделяемых данных применяют базовый прием, состоящий в том, чтобы установить нелинейную границу классов. Идея этого базового приема состоит в том, чтобы перевести векторное пространство и, тем самым, также находящиеся в нем тренировочные векторы в пространство более высокой размерности. В пространстве с достаточно высоким числом размерностей - в сомнительном случае бесконечным - даже вложенные векторные множества становятся линейно разделимыми. В этом многомерном пространстве определяется разделяющая гиперплоскость. При обратном преобразовании в пространство с меньшей размерностью линейная гиперплоскость становится нелинейной, при определенных обстоятельствах, даже невзаимосвязанной гиперплоскостью, которая разделяет тренировочные векторы лишь на два класса (см. C.-C. Chang, C.J.Lin: ″LIBSVM: A Library for Support Vector Machines”, http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.66.2871; источник http://www.csie.ntu.edu.tw/cjlin/papers/libsvm.pdf;

Archiv CiteSeerX - Scientific Literature Digital Library and Search Engine (United States), Stand 20.05.2011).

Анализ главных компонентов (Principal Component Analysis РСА) специально используется в обработке изображений и является способом многомерной статистики. Он служит для того, чтобы структурировать обширные наборы данных, упрощать и делать наглядными, за счет того, что множество статистических переменных аппроксимируются посредством незначительного количества наиболее информативных линейных комбинаций (″главных компонентов″). Лежащий в основе набор данных обычно имеет структуру матрицы из предметов и их признаков. Такой набор данных может быть представлен в р-мерном пространстве как множество n точек. Целью анализа главных компонентов является спроецировать эти точки данных на q-мерное подпространство таким образом, чтобы при этом терялось по возможности мало информации, и имеющаяся избыточность в виде корреляции концентрировалась в точках данных. Математически выполняется преобразование главных осей. Анализ главных компонентов является проблемно-зависимым, потому что для каждого набора данных должна вычисляться собственная матрица преобразования. Поворот системы координат выполняется таким образом, что ковариационная матрица приводится к диагональной форме, то есть данные декоррелируются (корреляции представляют собой недиагональные элементы ковариационной матрицы). Для нормально распределенных наборов данных это означает, что отдельные компоненты каждого набора данных согласно РСА статистически независимы друг от друга, так как нормальное распределение полностью характеризуется посредством нулевого (нормировка), первого (среднее значение) и второго момента (ковариации). Если наборы данных не являются нормально распределенными, то данные и после РСА - хотя и декоррелированные - все еще будут статистически зависимыми. РСА является, особенно для нормально распределенных наборов данных, оптимальным методом.

В случае метода предельных значений (First Break Picking - выделение первых вступлений) целенаправленно выбираются данные, которые лежат выше и ниже заданного предельного значения (порогового значения). В случае метода анализа отношения амплитуд в коротком и длинном временных окнах (метод STA/LTA), из различных средних значений параметра, значимого для соответствующего решения, образуется отношение и ставится во взаимосвязь с заданным, при известных обстоятельствах изменяемым в зависимости от времени и случая предельным значением. Применение алгоритма предельного значения известно, в частности, из сейсмологии (см. Automatic time-picking of first arrivals on noisy microseismic data“, J. Wong et al., Conference Abstract Canadian Society 5 of Exploration Geophysicists CSEG Microseismic Workshop 2009; „Automatic time-picking of Microseismic Data Combining STA/LTA and the Stationary Discrete Wavelet Transform″, I. R. Rodriguez, 2011 CSPG CSEG CWLS Convention).

Ближайший для настоящего изобретения уровень техники с описанием представленного выше способа, из которого исходит настоящее изобретение, раскрыт в дипломной работе ″Hast Du's aufm Schirm? Entwurf und Implementierung eines stabilen multifunktionalen Mehrkamera-Outdoor-Echtzeitsystems zur automatischen Objektdetektion im Infrarotbereich“ (″А у тебя под контролем?″ Проектирование и использование стабильной мультифункциональной многокамерной системы реального времени, предназначенной для наружного использования, для автоматического обнаружения объектов в инфракрасном диапазоне), инициированной и руководимой автором настоящего изобретения (Marc Ritter, 19.03. 2007, Technische Universität Chemnitz, дипломная работа цитирована в „Entwurf eine Echtzeit-Bildverarbeitungssystem zur automatischen Erkennung von Walen im Umfeld der Antarktis“, Marc Ritter в „15 Jahre Künstliche Intelligenz an der TU Chemnitz“ CSR-08-01, April 20 2008, стр.231-250).

Для сканирования поверхности воды в этой дипломной работе стационарно использовались визуальная камера с углом регистрации 24° и две инфракрасные камеры с углом регистрации 12° или 7° в качестве системы инфракрасных камер (см. стр.9, фиг.1.5 дипломной работы). Основополагающая модульная конвейерная обработка показана на стр.62, фиг.5.1 и соответствующая модульная иерархия - на стр.47, фиг.4.2 дипломной работы. В процессе всей технологической обработки предварительная обработка изображения представляет собой интегральную составляющую всего процесса распознавания (см. стр.24, фиг.2.2 дипломной работы). Во время предварительной обработки изображения данные изображения сохраняются в кольцевом буфере по принципу FIFO (“первым пришел - первым ушел”) (см. стр.53, глава 4.3.1 дипломной работы).

При сегментации изображения изображение разделяется на взвешенные части изображения тем, что, с одной стороны, отыскиваются однородные объекты сегментации со сходной характеристикой, а с другой стороны, - границы объекта. Однако при подобной взвешенной сегментации релевантные сигналы могут быть потеряны. Уже во время предварительной обработки изображений пытаются за счет использования нескольких гауссовых фильтров и эмпирически установленных весовых значений улучшить отношение сигнал-шум (см. стр.68, таблица 5.1 дипломной работы). Однако из-за фильтрации релевантные сигналы также могут быть потеряны. Из-за эмпирической установки коэффициентов могут быть к тому же пропущены данные, необходимые для последующей классификации. При обнаружении фильтр Собеля дважды применяется к усиленному сигналу изображения. При этом рассматриваются только точки наивысшей интенсивности (таким образом, наивысшей крутизны кромок) и привлекаются для классификации. Локальный контраст остается неучтенным. Классификация состоит из проверки того, устанавливается ли крутизна кромки пять раз (также чисто эмпирически установленное значение) друг за другом на том же месте в изображении наивысшая. Оптимизация в смысле согласования с актуальными краевыми условиями (измененными условиями окружающей среды) не выполняется.

Верификация, локализация и документация не являются основополагающими компонентами известного способа обработки. Они лишь упоминаются вскользь в дипломной работе. В отношении верификации только замечается, что сохраненные данные могут заново вызываться (посредством функции воспроизведения (см. стр.52, глава 4.2.3 дипломной работы). В локализации в смысле определения местоположения могут вводиться данные глобального позиционирования (GPS) (см. стр.54, глава 4.3.2 дипломной работы). В отношении документации в смысле обеспечения возможности использования информации для дальнейшего применения упоминается сохранение на долговременных носителях данных (см. стр.77 дипломной работы, в середине) и хронологическая распечатка на веб-сайте (см. стр.80 дипломной работы, сверху).

Кроме того, из ″MAPS: an Automated Whale Detection System for Mitigation Purposes″ (D.P. Zitterbart et al., SEG (Society of Exploration Geophysicist) Расширенные тезисы 30, 67 (2011) к Международной выставке и 81-у Ежегодному заседанию, Сан-Антонио, США, 18.23.09.2011; первая публикация в Интернет 01.08.2011, doi: 10.1190/1.3628169,) известны отдельные аспекты системы, впервые всесторонне описанной в настоящей патентной заявке, что для наблюдения китовых используется инфракрасная камера (FIRST-Navy), которая закрепляется на мачте исследовательского судна. Инфракрасная камера может вести наблюдение в пределах почти полного круга (300°) вокруг судна, создает полутоновые изображения и гироскопически скомпенсирована в отношении движений судна. Кроме того, показан графический пользовательский интерфейс (Tashtego Desktop, причем Tashtego является программным обеспечением, разработанным Институтом имени Альфреда Вегенера), который отображает текущее видео и десять полученных перед ним видеопоследовательностей. Также показаны увеличенный фрагмент изображения и цикл съемки последнего обнаруженного фонтана кита. На текущем изображении показаны линии ориентирования для горизонта и различных радиусов. Кроме того, представлены изображения с интегрированным изменением масштаба, данные расстояния и температуры воды относительно судна и географические картографические записи обнаруженных фонтанов китов. Кроме того, упоминается, что обработка включает в себя детектирование, верификацию, локализацию и документирование. Однако о собственно обработке данных изображения нет никаких сведений, которые выходили бы за пределы тех, которые приведены в цитированной выше дипломной работе Marc Ritter.

Кроме того, из US 2010/0046326 А1 известен способ обнаружения китов, который основан на акустическом принципе с использованием звуков, издаваемых китами, и внешних звуков, отраженных от китов.

Кроме того, инфракрасные камеры используются на летательных аппаратах, чтобы с воздуха проводить перепись антарктической популяции китов. В публикации “Infrared whale counting” (Keith Dartez 21.04.2009, приводится в Интернете на странице: http://infraredinnature.blogspot.com/, по состоянию на 18.09.2011) описано, что след (Footprint) китов различим на термографическом изображении при полностью спокойном море. Во всяком случае, автоматизация распознавания этих сигнатур не описывается, а также наблюдение с летательного аппарата для описанного в публикации случая снижения воздействий на окружающую среду создающих шум антропогенных работ логистически нереализуемо, так как самолеты не могут непрерывно в течение многих месяцев контролировать окружающую судно или платформу среду.

ПОСТАНОВКА ЗАДАЧИ

Так как обнаружения внутри радиуса снижения воздействий на окружающую среду приводят к затратным (до нескольких 100000 евро в сутки) отключениям или замедлениям сейсмических исследований, существует конфликт интересов между интересами защиты животных и видов и вытекающих отсюда требований по снижению отрицательных воздействий на окружающую среду, а также задачей исследований фирмы, эксплуатирующей сейсморазведочное судно. По этой причине, дополнительно к независимому от светлого времени суток, по возможности объективному обнаружению всплывающих животных, желательна немедленная верификация этих наблюдений. Кроме того, для решения о нахождении внутри или вне радиуса снижения отрицательных воздействий на окружающую среду необходима локализация относительно корабля и в географической системе координат. Для того чтобы органу власти, дающему согласие, впоследствии иметь возможность доказать соблюдение требований по снижению отрицательных воздействий на окружающую среду (включая предписанные отчетности), необходимо стремиться к документированию всех наблюдений и трудозатрат на проведение работ по наблюдению. По этим причинам желательно автоматизированное, географическое обнаружение морских млекопитающих, которое предоставляет воспроизводимые и мгновенно верифицируемые регистрационные данные и автоматически документирует их.

Поэтому, более конкретно, задачей настоящего изобретения является усовершенствование известного типового способа таким образом, что

- на отдельном этапе процесса ″предварительная обработка изображения″ выданные датчиком изображения векторы изображения (UDP-пакеты) корректируются на индивидуальную пиксельную чувствительность и располагаются в матрице изображения (изображение/кадр), внутри которой определяются направление вперед и кривая горизонта и сохраняются для дальнейшего анализа;

- на отдельном этапе процесса обнаружения возможно автоматическое распознавание локальных измерений контраста в 360^о видеопотоках при различных условиях освещения и окружающей среды на расстоянии до нескольких километров,

- на отдельном этапе процесса ″классификация″ возможна мгновенная проверка обнаруженных локальных изменений контраста в отношении их возможных ассоциаций с тепловыми сигнатурами морских млекопитающих (фонтан кита, теплота тела или ″след″),

- на отдельном этапе процесса ″локализация″ возможно мгновенное определение расстояний сигнатура-детектор, сигнатура-носовая часть судна и сигнатура-генерирующий звук прибора (пневмопушка), а также географическое положение и его подходящее представление с учетом положения горизонта на изображении и направления взгляда камеры,

- на отдельном этапе процесса ″верификация″ возможна мгновенная независимая проверка классифицированных как тепловая сигнатура локальных изменений контраста в отношении корректности этого ассоциирования и

- на отдельном этапе процесса документирования возможно автоматическое сохранение всех релевантных для получения разрешения информаций для электронной дальнейшей обработки на Web (html) и печатных носителях.

При этом предлагаемый способ должен в реальном времени выдавать надежные результаты и при этом для пользователя несмотря на это должен обслуживаться простым и удобным образом, что является одной из основных предпосылок для приемлемости способа для пользователя. Решение этих задач раскрывается в независимом пункте формулы изобретения. Предпочтительные варианты осуществления представлены в зависимых пунктах формулы изобретения.

В способе согласно изобретению на этапе предварительной обработки изображений для получения отдельных изображений, то есть отдельных кадров, сначала выполняется коррекция индивидуальных чувствительностей пикселей, а также определяется предварительное выравнивание внутри изображения (ориентация изображения), далее, на основе динамических остаточных ошибок в перпендикулярном выравнивании создающих изображение датчиков определяется возможно перемещающаяся линия горизонта и сохраняется для этапа процесса ″локализация″. Затем видеопоток сегментируется с помощью известной позиции изображения на элементы, которые - по нескольким следующим друг за другом изображениям - образуют так называемые (видео-) фрагменты (короткие видеокадры небольшого фрагмента изображения). В предварительной обработке изображений не выполняется ни взвешивание, ни фильтрация при выборе фрагментов, из-за чего интересные сигналы могут быть потеряны. Более того, каждое отдельное изображение разделяется на многочисленные, соответственно упорядоченные элементы. За счет последующей индивидуальной дополнительной обработки каждого отдельного фрагмента вплоть до этапа процесса верификации могут также обнаруживаться глобально слабоконтрастные аномалии, если они локально формируют повышенный контраст. Например, фонтаны китов вблизи горизонта имеют более высокий контраст, в то время как они в полном изображении по сравнению с более светло представляемыми волнами в передней области изображения являются относительно темными, таким образом, глобально содержат меньше контраста. Предлагаемый в данном случае способ превосходит человеческие способности, так как светлая плоскость в видимом диапазоне приводит к сокращению зрачка и, тем самым, смежные слабые локальные изменения контраста относительно темных областей поля зрения воспринимаются заметно менее четко или даже совсем не воспринимаются.

Выгодным и предпочтительным образом в сегментировании изображения может осуществляться разделение на фрагменты с зависимыми, при известных обстоятельствах, от позиции размерами (элементы, подизображения) и длительностью в несколько секунд, причем каждое изображение разделяется на множество отдельных подизображений или элементов (37577 элементов в примере применения). В данном случае речь идет об относительно малых (21×21 пикселях в примере применения) и до 50% перекрывающихся подизображений (элементах), которые обеспечивают сохранность информации, но при этом также возможна обработка в реальном времени. Видеопоследовательность из 10 изображений (кадров) длится при съемке, например, 3 изображения в секунду, примерно 3 секунды. Тем самым она достаточно длинная, чтобы показать изменения, но достаточно короткая, чтобы повторяться в бесконечных циклах.

В заявленном способе для обнаружения используется алгоритм предельного значения на основе отношения краткосрочного среднего значения к долгосрочному среднему значению при задании предельного значения для распознавания локальных изменений контраста, причем только фрагменты с превышением предельного значения передаются далее на классификацию. Обнаружение служит для того, чтобы принятый поток видеоданных исследовать на (переходные и стационарные) локальные изменения контраста, и области изображений, которые имеют локальные изменения контраста, передать далее в классификатор. Это является необходимым, так как классификацию всех областей изображения следует проводить не в реальном времени. На этапе процесса обнаружения согласно уровню техники не используют локальный контраст. Более того, согласно уровню техники происходит ложное обнаружение, если, например, волна светлее, чем фонтан кита. В противоположность этому, способ согласно изобретению функционирует посредством локального изменения контраста с адаптивным по времени предельным значением независимо от каждого отдельного фрагмента. Тем самым достигается то, что вся видимая - оптически постоянно изменяющаяся - водная поверхность (ближней и дальней зоны) может соразмерно анализироваться. STA/LTA-детектор отслеживает, таким образом, локальные временные изменения интенсивности и контраста и сравнивает их с адаптивным предельным значением, чтобы иметь возможность регулироваться в соответствии с изменяющимися параметрами изображения (например, диафрагмирование в зависимости от высоты солнца, волнения на море). Предпочтительным образом в заявленном способе на этапе обнаружения вычисляется алгоритм STA/LTA с адаптивным по времени предельным значением (VLTA, пороговым значением) по формуле

$$VLTA=\overline{\left(\frac{STA}{LTA}\right)}+\lambda *\sigma \left(\frac{STA}{LTA}\right)$$

При этом STA - краткосрочное среднее значение (например, 2 изображения/кадра в примере применения), например, локального контраста, LTA - долгосрочное среднее значение (например, 10 изображений/кадров в примере применения) локального контраста, лямбда (λ) - факультативный параметр, который определяет чувствительность графического пользовательского интерфейса. Сигма σ описывает стандартное отклонение STA/LTA-отношения, а горизонтальная линия указывает среднее значение, соответственно по N (например, 50 в примере применения) измеренным значениям. За счет применения вычисленного таким образом VLTA может достигаться надежное обнаружение локальных изменений контраста.

В способе согласно изобретению, кроме того, на этапе классификации выполняется контролируемое обучение посредством метода опорных векторов (более употребительно - ″машины опорных векторов″) с вычисленной посредством задания выбранных тренировочных наборов данных и параметров m-мерной гиперплоскости из значений решений для разделения на два класса выше и ниже гиперплоскости, причем только фрагменты с превышением значения решения ассоциируются с классом ″китовые″ и передаются далее на верификацию. На этапе классификации принимается решение, с какой вероятностью обнаруженное перед этим локальное изменение контраста является тепловой сигнатурой морского млекопитающего или нет. Все необходимые для классификации параметры получаются непосредственно из данных алгоритма, при этом классификация может быть улучшена посредством любой дополнительной верифицированной и автоматически или вручную добавленной в базу данных тепловой сигнатуры. Применяемый метод опорных векторов позволяет на основе нескольких примеров обращаться с новыми условиями, такими как изменяющаяся температура воды, скорость ветра, условия освещенности и так далее, которые изменяют длительность тепловой сигнатуры и локальный контраст. Обучающий алгоритм (″машина″) применяет характеристики, лежащие в основе уже имеющихся верифицированных тепловых сигнатур, и может тем самым классифицировать локальные изменения контраста как ″тепловая сигнатура морского млекопитающего″ или ″отсутствие тепловой сигнатуры морского млекопитающего″. Тем самым задаются установленные коэффициенты, и все необходимые для классификации данные сами получаются обучением из этих данных. Предельное значение решения ″морское млекопитающее/отсутствие морского млекопитающего″ полностью обучается самостоятельно на основе тренировочных данных. Поэтому алгоритм в состоянии, на основе малого количества данных из примеров, быстро согласовываться с условиями окружающей среды с учетом различных сценариев (например, температура воды, волнение на море, тип животного, ледоход).

На основе следующих параметров посредством SVM вычисляется используемая для классификации m-мерная гиперплоскость:

- выбранные на основе анализа главных компонентов релевантные N главные компоненты p_x·p_y·Τ/τ-мерного фрагмента (τ - частота кадров, например, 3 изображения в секунду, Т - длительность фрагмента, p_x, p_y - количество пикселей по х- и у-оси элемента),

- локальный контраст внутри фрагмента,

- глобальный контраст между фрагментом и всем изображением и

- расстояние между фрагментами от горизонта.

Из этого затем вычисляется значение решения как величина расстояния от классифицируемой точки до гиперплоскости.

Кроме того, в способе согласно изобретению при локализации автоматически выполняется вычисление расстояния до распознанной тепловой сигнатуры. Таким образом, можно автоматически определить расстояние до животного (распознанного по его тепловой сигнатуре). Исходя из этого, можно из обнаруженного положения сигнатуры на изображении посредством дальнейшей обработки получить абсолютное географическое положение сигнатуры за счет привязки к географическим метаданным (например, положение и ориентация судна, положение камеры, ориентация и положение горизонта на изображении). По географической локализации последовательно распознаваемых тепловых сигнатур затем возможно определить пространственно-временное движение животного и создать проекцию направления, в котором оно плывет. На основе этих данных возможен предварительный расчет времени возможного входа в пределы радиуса снижения отрицательного воздействия на окружающую среду или столкновения с кораблем или находящимся в воде оборудованием. Преимущественно и предпочтительно, на общее изображение, а также переданные на верификацию фрагменты могут быть наложены линии ориентации и расстояния, как на отображении изображения, так и на отображении карты. Кроме того, могут быть интегрированы другие географические данные (например, морской путь судна). Оцененные на этапе локализации фрагменты могут затем передаваться на верификацию для мгновенной проверки решения или непосредственно на документирование.

Кроме того, в способе в соответствии с изобретением на этапе верификации переданные фрагменты подвергаются мгновенному решению ″истинно″ или ″ложно″, принимаемому оператором, причем фрагменты с принятыми решениями могут автоматически или вручную на этапе классификации вводиться в тренировочные наборы данных, например, путем простого нажатия на клавишу человека-оператора. Предпочтительно и преимущественно по меньшей мере десять подизображений из нескольких переданных фрагментов могут отображаться одновременно в виде изображения при верификации. Кроме того, в переданных фрагментах область изображения в подизображении с обнаруженной тепловой сигнатурой с теми же глобальными данными местоположения может отображаться в виде увеличенного изображения. Такие меры необходимы для того, чтобы обеспечить возможность ручной верификации человеком-оператором. Оператором может являться предпочтительно и преимущественно алгоритм, который автоматически выполняет верификацию путем объединения нескольких тепловых сигнатур и их положения, определенного вышеуказанными методами, а также привлечения других внешних параметров, или человек, выполняющий ручную верификацию. Заявленный способ для обнаружения морских млекопитающих может верифицироваться, таким образом, как автоматически, так и вручную. В обоих случаях предпочтительно, если во время передачи фрагмента с этапа классификации на этап верификации осуществляется автоматическое оповещение оператора.

Наконец, в способе согласно изобретению для документирования автоматически предоставляются в распоряжение специфические для пользователя данные изображения обнаруженных морских млекопитающих вместе с соответствующими данными с этапа локализации. Таким образом, возможно автоматическое протоколирование наблюдений с изображениями/ видеопоследовательностями, положения, времени и других измеренных значений, и, таким образом, предотвращаются проблемы ручного протоколирования (ошибки записи/набора, ошибки считывания, отсутствующие записи из-за временных ограничений). С этой целью может быть предусмотрена память FIFO с ретроспективным сохранением файлов посредством ″ToDo″ файлов. Кроме того, можно предпочтительно предусмотреть, что при документировании классифицированные, верифицированные и локализованные сигнатуры отображаются в виде картографической проекции. Таким образом, возможно как электронное документирование, так и документирование на бумажном носителе в простой форме, что имеет особое значение по отношению к лицензирующим органам с жесткими условиями согласования на проведение экспериментов, представляющих угрозу для животных.

Способ в соответствии с изобретением состоит из нескольких отдельных этапов процесса, которые соответственно просто проектируются и реализуются и могут выполняться в иерархическом порядке. Предпочтительно и преимущественно, дополнительный этап процесса реализован на этапе модульной обработки, который служит для согласования глобальной синусоидальной линии горизонта с помощью автоматически или вручную определенных опорных точек. Синусоидальный ход линии горизонта вызван (лишь трудно уловимым) наклоном оси камеры. Он не компенсируется активной гироскопической подвеской для компенсации движения судна по отношению к горизонту. Кроме того, предпочтительно дополнительный этап процесса может быть реализован на этапе модульной обработки, который служит прогнозированию направления, в котором плывут морские млекопитающие, на основе пространственно-временной последовательности обнаружений. За счет этого может быть принято решение, уменьшается ли расстояние от обнаруженных морских млекопитающих до судна (и, таким образом, увеличивается нагрузка от воздействия пневмопушки), или они покидают пределы радиуса области снижения отрицательного воздействия на окружающую среду, так что текущая серия испытаний не должна быть прервана. Аналогично обнаружению морских млекопитающих, также дополнительно может выполняться обнаружение айсбергов всех размеров (даже небольших айсбергов) и других объектов, плавающих в водах. Посредством соответствующей обработки дополнительного потока данных изображения может быть инициировано предупреждение столкновения системы с судном или оборудованием, находящимся в водах в окружающей судно среде. В случае сближения с морскими млекопитающими может предпочтительным образом инициироваться предупреждение столкновения. Кроме того, возможный поиск неисправностей быстро сокращается до определенного отдельного этапа процесса. Предпочтительно и преимущественно, в качестве ошибок, могут расчетным путем корректироваться, и тем самым, компенсироваться, тепловые воздействия на систему инфракрасной камеры при тепловом сканировании и смазывания изображения горизонта путем коррекции индивидуальной чувствительности пикселей.

Поскольку обработка в реальном времени при автоматическом обнаружении морских млекопитающих в контексте уменьшения отрицательных антропогенных звуковых воздействий имеет особое значение, модульная обработка предпочтительно выполняется одновременно в нескольких параллельных цепочках компьютерными компонентами. Под компьютерными компонентами понимаются соответственно процессоры и память. Увеличение производительности способа в соответствии с изобретением может быть реализовано просто путем обеспечения соответственно сконфигурированного компьютера.

Наряду с модульной обработкой, в способе в соответствии с изобретением аппаратные технические компоненты также имеют важное значение. В частности, особенно предпочтительно, когда формирующее изображение термографическое сканирование водной поверхности выполняется системой инфракрасной камеры с отдельной одно- или двухдиапазонной инфракрасной камерой в полном круге (квази-360° видеоданные) или несколькими одно- или двухдиапазонными инфракрасными камерами в соответствующей части круга, каждая с активной гироскопической компенсацией движения судна относительно горизонта. Предпочтительно могут быть получены, по меньшей мере, три последовательных полутоновых или цветных изображения в секунду во время формирующего изображения сканирования поверхности воды. Подобная система обеспечивает всеохватывающую регистрацию всей поверхности вокруг судна, например, научно-исследовательского судна, во взаимосвязи с формированием информационно насыщенного потока данных изображений, чтобы обеспечить надежную регистрацию практически любой тепловой сигнатуры и - в случае термографических ИК данных - по достоверным источникам, при температурах воды до по меньшей мере +10°C в пределах определенного радиуса обнаружения. Кроме того, путем объединения способа в соответствии с изобретением с дополнительной высокоразрешающей визуальной камеры, предусматривающей автоматическое сохранение, которая на основе данных способа автоматически ориентируется на прогнозируемые положения наблюдения, также производятся определения видов на основе, например, формы фонтана или анатомии животного (ретроспективная, подтверждаемая идентификация видов).

Таким образом, подводя итоги, заявленный способ, соответствующий изобретению, с учетом возможных реализаций всех его концепций, обеспечивает следующие особые преимущества:

- постоянный мониторинг в пределах почти 360° (в зависимости от места установки), 24 часа в сутки, непрерывно в течение нескольких месяцев;

- независимость от дневного света;

- снижение потребности в персонале до одного оператора;

- независимость скорости регистрации от субъективной производительности человека-наблюдателя;

- объективированный алгоритм распознавания/классификации, независимый от опыта отдельных людей-наблюдателей;

- возможность независимой верификации третьей стороной с использованием FIFO буфера видеоклипов, которые показывают последние 10 автоматических регистраций;

- точная, не зависимая от волнения на море автоматическая локализация и, таким образом, определение расстояний до объектов регистрации;

- автоматизированное или ручное непрерывное определение предварительного направления изображения и определение хода горизонта на изображении;

- объективное определение направления плавания, скорости и частоты дыхания животного, а также создание прогноза столкновения;

- автоматическое документирование всех встреч судна с морскими млекопитающими для доказательства действий в контрольных инстанциях.

Дальнейшие детали изобретения будут показаны далее на основе описания примера выполнения.

ПРИМЕР ВЫПОЛНЕНИЯ

Формы выполнения способа автоматизированной регистрации в реальном времени морских млекопитающих в природных водах в соответствии с изобретением описаны ниже для более глубокого понимания изобретения со ссылкой на чертежи, на которых показано следующее:

фиг.1 - логическая структура программного обеспечения Tashtego,

фиг.2 - инфракрасная камера на борту судна,

фиг.3 - логическая структура способа в соответствии с изобретением,

фиг.4 - производительность детектора и классификатора на основе интервала времени, составляющего 10 суток,

фиг.5 - фотографии различных автоматически зарегистрированных фонтанов кита в качестве тепловой сигнатуры морского млекопитающего,

фиг.6 - локализация местоположение малого полосатика по его фонтану относительно судна и в географической системе координат,

фиг.7 - скриншот пользовательского интерфейса программного обеспечения Tashtego,

фиг.8 - три примера обнаруженных фонтанов китов,

фиг.9 - карта обнаруженных фонтанов китов.

В качестве примера выполнения служит реализация способа в соответствии с изобретением для автоматической регистрации морских млекопитающих с помощью термографических методов в системе на борту судна Polarstern (″Полярная звезда″), являющегося научно-исследовательским судном Федеративной Республики Германии, владелец - фонд Alfred-Wegener-Institut (AWI) (Институт Альфреда Вегенера) для полярных и морских исследований, Бремерхафен, Германия.

Для записи термографических изображений служит термографический сканер (″FIRST-Navy″) от фирмы Rheinmetall Defence Electronics. Представление, регистрация и хранение данных осуществляется посредством разработанного в AWI, до сих пор не публиковавшегося программного обеспечения ″Tashtego″ для автоматического распознавания тепловых сигнатур морских млекопитающих с помощью инфракрасных камер (см. фиг.1). Для упрощения распараллеливания программное обеспечение было разработано полностью модульным. Модули работоспособны независимо друг от друга, в результате чего в случае ошибки поиск ошибки значительно упрощен, так как только соответствующий модуль, а не полное программное обеспечение должен быть проверен на наличие ошибки. При этом отдельные блоки обозначают следующее:

FIRST FIRST-Navy-сенсор, который UDP пакеты посылает в подсеть регистрации данных GPS Метаданные GPS-сенсора и другие метаданные из информационной системы судна rde2mmap Часть процесса предварительной обработки изображений. Драйвер, который UDP пакеты преобразует в изображение исходных данных в карте памяти и записывает в кольцевой буфер Tash GPS Обработка навигационных данных.
Сохранение и предоставление этих других метаданных для ретроспективного анализа/валидации TashControl Процесс ″предварительная обработка изображений″.
- Прием изображений исходных данных и конвертирование в скорректированные по чувствительности изображения
- Сохранение изображений в совместно используемой памяти
- Определение ориентации изображений (предварительно)
- Определение линии горизонта
- Автоматическая установка оптимального глобального контраста для полного представления изображения (TashView) Shared Memory Центральное ЗУ изображений, реализованное как кольцевой буфер
Центральное ЗУ данных для межпроцессорного контроля TashDetect Процесс обнаружения локальных изменений контраста TashEvent Процесс классификации обнаруженных локальных изменений контраста в отношении тепловых сигнатур морских млекопитающих, автоматическое протоколирование обнаруженных тепловых сигнатур TashView Представление полных изображений, изображений с изменением масштаба, направляющих линий и представление и управление пользовательским интерфейсом (GUI) EventDB База данных тепловых сигнатур (фрагменты и метаданные) ToSave База данных для сохраняемых наборов данных xMmap2Rbf Процесс документирования: создание многосуточных кольцевых буферов (временные ИК данные) видеоданных, из которых выбранные в зависимости от обнаружения наборы данных могут постоянно сохраняться (постоянные ИК данные)

На Фиг.2 показано изображение с инфракрасной камерой IRC на борту судна с видом на покрытую льдом поверхность воды перед горизонтом HZ. Здесь нет тепловой сигнатуры (фонтана китов, всплывающего животного или следа).

Модули, необходимые для автоматического распознавания морских млекопитающих в соответствии с изобретением, описаны ниже. Автоматическое распознавание морских млекопитающих в потоке видеоданных делится на четыре секции (см. фиг.3 с логической структурой заявленного способа в области модульной обработки сигналов MP):

- предварительная обработка FPP изображений,

- обнаружение DET локальных изменений контраста,

- классификация CLA локальных изменений контраста,

- локализация LOC тепловых сигнатур,

- верификация VER верности решений истинно/ложно оператором.

Во время предварительной обработки FPP изображений исходные данные с ИК камеры IRV корректируются в отношении различных характеристик отдельных сенсорных элементов (компенсация, например, теплового влияния термоэлементов), данные изображения копируются в буфер РМ изображений и сегментируются на малые области изображения. Сегментация SEG необходима, чтобы иметь возможность проверить отдельные участки изображения в разных цепочках программного обеспечения на наличие тепловых сигнатур морских млекопитающих TSMM. Эти получаемые в результате сегментации SEG области изображения (в выбранном примере выполнения 21 рх * 21 рх * 10 кадров) будут далее называться ″фрагментами″.

На этапе обнаружения DET этап обнаружения осуществляется для каждого отдельного фрагмента независимо. Эта обработка на уровне фрагмента поддерживается вплоть до верификации VER. Обнаружение DET применяет известный из сейсмологии алгоритм, определяемый как ″Алгоритм краткосрочного среднего/долгосрочного среднего (STA/LTA)″, и адаптирует его для обнаружения локальных изменений контраста. Идея STA/LTA-алгоритма была адаптирована для каждого фрагмента к двумерным данным и расширена на адаптивное по времени и пространству предельное значение (FB, здесь VLTA - очень долгосрочное среднее). Алгоритм характеризует происходящие локальные изменения контраста за счет того, что сравнивается средняя яркость по двум временным диапазонам разной длины. Если отношение STA/LTA увеличивается выше предельного значения VLTA, соответствующий фрагмент передается на классификатор CLA. Предельное значение VLTA, ввиду резких колебаний яркости (из-за солнца, волн, льда) для каждого фрагмента, является отличающимся и изменяется во времени. В приведенном примере выполнения VLTA рассчитывалось как

$$VLTA=\overline{\left(\frac{STA}{LTA}\right)}+\lambda *\sigma \left(\frac{STA}{LTA}\right)$$

При этом STA - краткосрочное среднее значение, например, локального контраста, LTA - долгосрочное среднее значение локального контраста, лямбда (λ) - факультативный параметр, который определяет чувствительность. Сигма (σ) описывает стандартное отклонение STA/LTA-отношения, а горизонтальная линия указывает соответствующее среднее значение, в примере выполнения по 50 значениям (10 секунд). Если значение STA/LTA в пределах фрагмента больше, чем VLTA

$$\frac{STA}{LTA}>VLTA$$ ,

то этот фрагмент оценивается как интересное локальное изменение контраста и направляется на верификатор VER. Например, STA может принимать значение 2 или 0,6 с, а LTA - значение 10 или 3 с, так что для значений выше 0,2 для VLTA данный фрагмент передается далее на этап верификации VER.

Классификатор CLA был реализован как обученный метод опорных векторов или машина опорных векторов (SVM). При этом для точек измерений, которые находятся в двух классах (″тепловая сигнатура морского млекопитающего″ - символ TSMM √/″отсутствие тепловой сигнатуры морского млекопитающего″ - символ TSMM ⌀) в n-мерном пространстве параметров, находится m-мерная гиперплоскость, которая разделяет эти классы с учетом различных стоимостных показателей (чтобы избежать избыточной подгонки). Эта гиперплоскость находится по тренировочному набору данных, который был разделен вручную на два класса. Параметры, используемые для вычисления гиперплоскости, берутся из фрагментов с соответственно 30 случаями ″тепловая сигнатура морского млекопитающего″ и 30 случаями ″отсутствие тепловой сигнатуры морского млекопитающего″. В примере применения с помощью следующих параметров посредством метода опорных векторов SVM была вычислена используемая для классификации CLA m-мерная гиперплоскость:

- полученные после анализа главных компонентов (PCA) релевантные N главные компоненты 21×21×10-мерного фрагмента;

- локальный контраст LC внутри фрагмента;

- глобальный контраст GC между фрагментом и всем изображением и

- расстояние Y от фрагмента до горизонта.

На основании этого вычисляется значение решения DV как величина расстояния классифицированной точки от гиперплоскости.

На этапе локализации LOC автоматически вычисляются относительное положение RP обнаруженной тепловой сигнатуры морских млекопитающих TSMM относительно судна RV или спущенного прибора (AG), например пневматического оружия, и абсолютное положение AP (GPS-данные). После этапа локализации LOC фрагмент либо непосредственно подается на документирование DOC (тогда классификация CLA предполагается верной), либо на этапе верификации VER автоматически или вручную проверяется.

На этапе верификации VER затем ряд подизображений SF одновременно отображается для проверки на графическом пользовательском интерфейсе GUI. Посредством оператора OP они оцениваются либо как ″истинно″ Т (имеется тепловая сигнатура морского млекопитающего TSMM), либо как ″ложно″ F (отсутствует тепловая сигнатура морского млекопитающего TSMM).

На фиг.4 представлена оценка классификатора CLA. В данном случае анализировались данные в течение 10-дневного периода. Детектор DET зарегистрировал за это время в качестве представляющих интерес 1093 локальных изменений контраста. SVM-модель обучалась с соответственно 30 точками данных ″тепловая сигнатура морских млекопитающих″/″отсутствие тепловой сигнатуры морских млекопитающих″ из другого периода времени. Машина опорных векторов SVM классифицировала в данном случае 93 из 1093 обнаруженных изменений контраста как ″тепловая сигнатура морских млекопитающих″ - (″истинно″). Из них 55 ″ложно положительных″ были классифицированы как ″ложно″ - отсутствие тепловой сигнатуры, 38 ″истинно положительных″ классифицированы как “верно” - тепловая сигнатура морских млекопитающих. Два других события из предоставленных детектором 1093 сигнатур не были зарегистрированы классификатором, то есть являются ″ложно отрицательными”. Однако количество ложных тревог/час важно для оператора. Оно было снижено на основе классификации посредством машины опорных векторов SVM с 4,38 до 0,23 в час.

Таким образом, очевидны преимущества способа согласно изобретению. Вместо того чтобы в течение десяти дней несколькими наблюдателями контролировать пространство в пределах 360^о (и, возможно, ночью), система за это время выдала тревогу только 93 раза, которые могли быть верифицированы одним единственным оператором на основе записанного непрерывного видеофрагмента в произвольные моменты времени. Приблизительно 50% этих тревог соответствует ″истинно положительному”, то есть присутствию морского млекопитающего. Поскольку животное, как правило, оставляет несколько тепловых сигнатур (многократные фонтаны от выдоха, всплывание), вполне вероятно, что все животные, тем самым, регистрируются автоматически, даже если некоторые тепловые сигнатуры не определяются автоматически.

На фиг.5 показано изображения FR из автоматической регистрации горбача, сверху показано обнаружение фонтана кита в серии подизображений SF, а затем всего кита. На верхнем изображении показана автоматическая регистрация горбача на расстоянии 5568 метров от судна. Начало ИК последовательности: 2011-01-13 20:43:03. Момент времени фото с увеличением: 2011-01-13 20:43:09-2. На среднем изображении показана автоматическая регистрация горбачей на расстоянии 1864 метров от судна. Начало ИК последовательности: 2011-01-13 20:50:59. Момент времени фото с увеличением: 2011-01-13 20:51:03-0. На нижнем изображении показана автоматическая регистрация малого полосатика на расстоянии 1525 метров от судна. Начало ИК последовательности: 2011-01-27 19:51:1. Момент времени фото с увеличением: 2011-01-27 19:51:14-8.

На фиг.6 показана локализация малого полосатика. На фото сверху обнаруженный полосатик малый WS обведен кружком. Внизу слева представлен график обнаруженного малого полосатика относительно судна, и внизу справа представлен график с географической привязкой.

На фиг.7 показан скриншот пользовательского интерфейса GUI (темный пользовательский интерфейс выбран намеренно (как правило, представляется в виде белого), чтобы максимизировать видимость теплых сигнатур и при использовании в ночное время не ослеплять персонал на мостике судна) программного обеспечения Tashtego (отображение осуществляется на трех широкоэкранных дисплеях, показаны на данной фигуре повернутыми на 90°). Окно в верхней области изображения представляет окружающую среду судна в режиме реального времени. Показаны различные линии LS ориентации и расстояния. Десять малых окон в нижней области экрана показывают 2-секундные циклы последнего события (тепловые сигнатуры). Окно в правой области экрана показывает увеличенный фрагмент соответственно в 10-секундном цикле и на виде отслеживания, в котором отслеживаются соответствующие географические координаты последнего события. В левой нижней области экрана показаны состояние системы и окно управления.

На фиг.8 показаны три примера фонтанов китов как тепловые сигнатуры морских млекопитающих TSMM на разных расстояниях и при различных температурах T(H₂0), соответственно с увеличенными фрагментами изображения ZF как вставками.

На Фиг.9 показана карта с представлением обнаруженных и верифицированных фонтанов китов как тепловых сигнатур морских млекопитающих TSMM в окружающей среде судна RV в течение времени всей экспедиции.

СПИСОК ССЫЛОЧНЫХ ПОЗИЦИЙ

AP абсолютная позиция

AG пневматическое оборудование

ALERT тревога

CLA классификация

COM компьютер

DET обнаружение

DOC документирование

DV значение решения

FALSE решение ″ложно″

FPP предварительная обработка изображений

FR изображение

GC глобальный контраст

GPS глобальное определение положения

GUI графический пользовательский интерфейс

h час

НЕ гиперплоскость

HZ горизонт

IRC система инфракрасной камеры, инфракрасная камера

IRV поток данных изображения, данные изображения

λ коэффициент настройки GUI

LC локальный контраст

LOC локализация

LS линия ориентации и расстояния

LTA долгосрочное среднее значение

ММ морское млекопитающее

МР модульная обработка

ОР оператор

PAR параметр

РСА анализ главных компонентов

PM буферное ЗУ/буфер изображения

р_х пиксель в направлении оси х изображения

р_у пиксель в направлении оси у изображения

σ стандартное отклонение

RV научно-исследовательское судно

RP относительное положение

s секунда

SEG сегментация изображения

SF подизображение, элемент

SNIPPET короткая серия подизображений

SP отдельный этап процесса

STA короткое временное окно

SVM метод (машина) опорных векторов

Т длительность фрагмента

Т(Н₂О) температура воды

TDS тренировочный набор данных

TSMS тепловая сигнатура морского млекопитающего

TRUE решение ″истинно″

Τ частота кадров (FR/с)

VER проверка

VLTA очень длительное долгосрочное среднее значение

Y расстояние от фрагмента до горизонта

ZF увеличенная область изображения

√ TSMM присутствует, условие выполняется, далее

⌀ TSMM отсутствует, условие не выполняется, конец

Изобретение относится к автоматизированной регистрации в реальном времени морских млекопитающих. Техническим результатом является повышение точности регистрации в режиме реального времени морских млекопитающих. В способе на этапе предварительной обработки (FPP) изображений осуществляется коррекция изображения и невзвешенная полная сегментация (SEG) изображения на фрагменты, на этапе обнаружении (DET) используется алгоритм предельного значения на основе обнаруженного локального изменения контраста, на этапе классификации (CLA) выполняется контролируемое обучение с использованием метода опорных векторов (SVM) с гиперплоскостью (НЕ) для разделения на два класса, на этапе локализации (LOC) выполняется автоматическое вычисление расстояния до обнаруженной тепловой сигнатуры морского млекопитающего (TSMM) и его временных и пространственных изменений относительно судна (RV), на этапе верификации (VER) обеспечивается возможность мгновенной проверки решения оператором, и на этапе документировании (DOC) пользовательские данные (IRV) изображения обнаруженных тепловых сигнатур морских млекопитающих (TSMM) автоматически предоставляются в распоряжение. Для формирования данных используется система инфракрасной камеры (IRC) с регистрацией в пределах полного круга или части круга и с активной гироскопической стабилизацией относительно горизонта (HZ). 20 з.п. ф-лы, 9 ил.

1. Способ автоматизированной регистрации в реальном времени морских млекопитающих (ММ) в природных водах в окружающей среде судна (RV) путем обнаружения тепловых сигнатур морских млекопитающих (TSMM) посредством формирующего изображение термографического сканирования поверхности вод системой (IRC) инфракрасной камеры, которая служит для формирования потока данных (IRV) изображения следующих друг за другом изображений (FR), причем каждое изображение (FR) разделено на отдельные пиксели, и последующей модульной обработки (MP) потока данных (IRV) изображения в компьютере (COM), содержащий по меньшей мере следующие последовательные отдельные этапы (SP) процесса, реализуемые в отдельных компьютерных компонентах:
- предварительная обработка (FPP) каждого изображения (FR) с буферизацией (FP) изображения и сегментированием (FS) изображения на подизображения (SF),
- обнаружение (DET) локальных изменений контраста в изображении (FR) согласно заданному алгоритму,
- классификация (CLA) детектированных локальных изменений контраста для распознавания образа тепловой сигнатуры морского млекопитающего (TSMS),
- локализация (LCO) классифицированной тепловой сигнатуры морского млекопитающего (TSMM) по меньшей мере с учетом глобальных данных местоположения (GPS) судна (RV),
- верификация (VER) классифицированной, локализованной тепловой сигнатуры морского млекопитающего (TSMM) и
- документирование (DOC) классифицированной, локализованной и верифицированной тепловой сигнатуры морского млекопитающего (TSMM) с по меньшей мере одним длительным сохранением данных (IRV) изображения
и с представлением в виде изображения обработанного потока данных (IRV) изображения на графическом пользовательском интерфейсе (GUI), который одновременно служит для управления способом, отличающийся тем, что
- на этапе предварительной обработки (FPP) изображений осуществляют сегментацию (SEG) изображения на отдельные фрагменты из невзвешенных подизображений (SF) по нескольким последовательным изображениям (FR) с ориентацией изображения,
- на этапе обнаружения (DET) используют алгоритм предельного значения на основе отношения краткосрочного среднего значения (STA) к долгосрочному среднему значению (LTA) при задании адаптивного по времени предельного значения (VLTA) для распознавания локального изменения контраста, причем только фрагменты с превышением предельного значения (VLTA) передают на классификацию (CLA),
- на этапе классификации (CLA) выполняют контролируемое обучение с использованием метода опорных векторов (SVM) с m-мерной гиперплоскостью (НЕ), вычисляемой посредством задания выбранных тренировочных наборов данных (TDS) и параметров (PAR), для разделения на два класса выше и ниже гиперплоскости (НЕ), причем только фрагменты с превышением значения (DV) решения как расстояния до гиперплоскости (HE) ассоциируют с классом “тепловая сигнатура морского млекопитающего (TSMM)″ и передают на локализацию (LOC),
- на этапе локализации (LOC) автоматически выполняют вычисления расстояния до обнаруженной тепловой сигнатуры морского млекопитающего (TSMM) и его временных и пространственных изменений относительно судна (RV) или относительно находящегося в воде оборудования (AG) в окружающей среде судна (RV) и вместе с фрагментами передают на верификацию (VER) или документирование (DOC),
- на этапе верификации (VER) переданные фрагменты подвергают процедуре мгновенного решения ″истинно″ (TRUE) или ″ложно″ (FALSE) посредством оператора (OP), причем фрагменты с принятыми решениями автоматически или вручную вводят в тренировочные наборы данных (TDS) в классификации (CLA), и
- на этапе документирования (DOC) пользовательские данные (IRV) изображения обнаруженных морских млекопитающих (ММ) вместе с соответствующими данными из локализации (LOC) автоматически предоставляют в распоряжение.

2. Способ по п.1, отличающийся тем, что
на этапе сегментации (SEG) изображения фрагмент имеет размер 21 пиксель * 21 пиксель * 10 изображений (FR).

3. Способ по п.1, отличающийся тем, что
на этапе обнаружения (DET) предельное значение (VLTA) рассчитывают согласно

где
STA - краткосрочное среднее значение,
LTA - долгосрочное среднее значение,
λ - постоянная в пределах от 1 до 3 в зависимости от разрешения графического пользовательского интерфейса (GUI),
σ - стандартное отклонение по N измеренным значениям STA и LTA и
горизонтальная линия - среднее значение по N измеренным значениям STA и LTA.

4. Способ по п.1, отличающийся тем, что
на этапе классификации (CLA) m-мерная гиперплоскость (HE) вычисляют с параметрами:
- главные компоненты фрагмента, выбранные на основе анализа главных компонентов (PCA),
- локальный контраст (LC) в пределах фрагмента,
- глобальный контраст (GC) между фрагментом и всем изображением и
- расстояние (Y) от фрагмента до горизонта (HZ),
и из этого вычисляют значение (DV) решения как расстояние до гиперплоскости (HE).

5. Способ по п.4, отличающийся тем, что
в качестве главных компонентов выбирают частоту изображений τ в кадрах/секунду, длительность Т фрагмента в секундах и количество пикселей р_х, p_y подизображения (SF) в горизонтальном (х) и вертикальном (у) направлении оси.

6. Способ по п.1, отличающийся тем, что
на этапе классификации (CLA) используют 30 тренировочных наборов данных (TDS) класса ″тепловая сигнатура морского млекопитающего (TSMM)″ и 30 тренировочных наборов данных (TDS) класса ″отсутствие тепловой сигнатуры морского млекопитающего (TSMM)″.

7. Способ по п.1, отличающийся тем, что
на этапе локализации (LOC) в переданные фрагменты вводят линии (LS) ориентации и расстояния, которые представляют в графическом представлении (GUI).

8. Способ по п.1, отличающийся тем, что
на этапе верификации (VER) одновременно графически представляют по меньшей мере десять подизображений (SF) из переданных фрагментов.

9. Способ по п.1, отличающийся тем, что
на этапе верификации (VER) в переданных фрагментах области изображения с обнаруженным локальным изменением контраста с одинаковыми глобальными данными местоположения графически (ZF) представляют в увеличенном виде.

10. Способ по п.1, отличающийся тем, что
на этапе верификации (VER) оператором является алгоритм, который выполняет автоматическую верификацию (VER) путем объединения относительных расстояний для нескольких обнаружений, или человек, который выполняет ручную верификацию (VER).

11. Способ по п.1, отличающийся тем, что
при передаче фрагмента на верификацию (VER) осуществляют автоматическое оповещение оператора.

12. Способ по п.1, отличающийся тем, что
на этапе документирования (DOC) классифицированные, локализованные и верифицированные тепловые сигнатуры морских млекопитающих (TSMM) представляют в виде картографических проекций.

13. Способ по п.1, отличающийся тем, что
на этапе модульной обработки (MP) реализуют дополнительный отдельный этап процесса (SP), который служит для согласования глобальной синусоидальной линии горизонта посредством автоматических или вручную определенных опорных точек.

14. Способ по п.1, отличающийся тем, что
на этапе модульной обработки (MP) реализуют дополнительный отдельный этап процесса (SP), который служит для прогнозирования направления плавания морских млекопитающих (ММ) на основе пространственно-временной последовательности обнаружений (DET) и/или инициирования предупреждения о столкновении с судном (RV) или с находящимся в водах оборудованием (AG) в окружающей среде судна (RV).

15. Способ по п.1, отличающийся тем, что
на этапе модульной обработки (МР) реализуют дополнительный отдельный этап процесса (SP), который служит для обработки дополнительного потока данных (IRV) изображения обнаружения (DET) айсбергов любой величины и других плавучих объектов в водах и/или инициирования предупреждения о столкновении с судном (RV) или с находящимся в водах оборудованием (AG) в окружающей среде судна (RV).

16. Способ по п.1, отличающийся тем, что
на этапе модульной обработки (МР) реализован дополнительный отдельный этап процесса (SP), который служит для автоматической компенсации возникающих ошибок.

17. Способ по п.16, отличающийся тем, что
в качестве ошибок компенсируют тепловые влияния системы инфракрасной камеры (IRC) при тепловом сканировании или размывание горизонта (HZ) посредством коррекции индивидуальной пиксельной чувствительности.

18. Способ по п.1, отличающийся тем, что
модульную обработку (МР) осуществляют одновременно в виде множества параллельных цепочек из компьютерных компонентов (COM).

19. Способ по п.1, отличающийся тем, что
формирующее изображение термографическое сканирование поверхности вод системой инфракрасной камеры (IRC) с помощью одной отдельной одно- или двухдиапазонной инфракрасной камеры выполняют в пределах полного круга или с помощью нескольких одно- или двухдиапазонных инфракрасных камер соответственно, в пределах части круга, с соответствующей активной гироскопической компенсацией движений судна относительно горизонта (HZ).

20. Способ по п.1, отличающийся тем, что
с помощью системы инфракрасной камеры (IRC) формируют по меньшей мере три последовательных полутоновых или цветных изображения (FR) в секунду.

21. Способ по п.1, отличающийся тем, что дополнительно предусмотрена формирующая изображение камера для сканирования поверхности вод в видимом световом диапазоне.