УСТРОЙСТВО ДЛЯ ОБНАРУЖЕНИЯ И УСТРАНЕНИЯ АНОМАЛЬНЫХ ИЗМЕРЕНИЙ Российский патент 2007 года по МПК G06F17/18 

Изобретение относится к области вычислительной техники и может быть использовано в системах управления и обработки сигналов.

Наблюдаемый временной ряд является последовательностью у₁, у₂, ..., у_n результатов измерений, полученной в равностоящие моменты времени t₁, t₂, ..., t_n, где y(t_k)=y_k, .

Математическая модель результатов измерений может быть представлена в общем виде:

где S_k - полезная составляющая; u_k - аддитивная шумовая составляющая; η_k - аномальная составляющая.

Значения аддитивной шумовой составляющей u_k являются некоррелированными, имеют нулевое математическое ожидание и являются реализацией эргодического случайного процесса.

Цель данного изобретения - обнаружение и устранение аномальных измерений η_k в условиях недостаточной априорной информации о статистических характеристиках аддитивного шума, функции полезного сигнала (тренда) и характеристик аномальных измерений. Аномальными измерениями будем считать значения последовательности результатов измерений, которые резко отличаются по амплитуде и статистическим свойствам на фоне основной группы значений реализации. Задача обнаружения аномальных измерений может возникнуть: 1) в работе приемопередающих устройствах дальней или космической связи; 2) в радиотехнике при оценке помехоустойчивости схем (алгоритмов) обработки сигналов в моделирующих системах; 3) в метрологии при измерении характеристик состояния атмосферы и т.д.

Для решения задачи обнаружения аномальных измерений в настоящее время используется теория статистических решений с применением параметрических методов, использование которых требует априорных сведений, как о характере распределения измеряемого процесса, так и о его параметрах (математическом ожидании, дисперсии, корреляционной функции и ряда других). Для эффективного решения задач обнаружения и устранения аномальных измерений необходимо знать статистические характеристики нормальных и аномальных составляющих шума.

Использование непараметрических статистик в методах и алгоритмах проверки достоверности результатов измерений предполагает, что функциональный вид распределений шумовых составляющих априорно неизвестен. При использовании непараметрических статистик априорная информация сводится к заданию только различий между конкурирующими гипотезами, сами же распределения, охватываемые той или иной гипотезой, не конкретизируются.

Известен способ обнаружения аномальных измерений, использующий U-статистику [Марчук В.И. Первичная обработка результатов измерений при ограниченном объеме априорной информации. Под ред. Румянцева К.Е. Таганрог: ТРГТУ, 2003, 160 с.] [1]. Применяется в том случае, если выборка представляет N независимых измерений случайного процесса у распределенного по нормальному закону.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: дискретизация сигнала по времени, запоминание цифрового сигнала, вычисление среднего квадратического отклонения, обнаружение аномальных измерений.

Недостатками известного способа и устройства, его реализующего, являются:

- данный способ используется только для стационарных процессов;

- требуется априорная информация о математическом ожидании, среднем квадратическом отклонении и о законе распределения случайного процесса y_k.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- в большинстве случаях априорная информация о функциональном виде распределения, а также математическом ожидании и среднем квадратическом отклонении ограничена.

Структурная схема устройства, реализующего рассмотренный способ-аналог, содержит генератор тактовых импульсов, коммутатор, первый и второй регистры, сумматор, блок вычисления среднего квадратического отклонения, сравнивающее устройство, блок установки уровня значимости.

Известен способ обнаружения аномальных измерений методом разбиения на интервалы [Переверткин С.М. и др. Бортовая телеметрическая аппаратура космических летательных аппаратов. - М.: Машиностроение, 1977, 208 с.] [2], где устранение одиночных аномальных измерений из результатов измерений осуществляется с помощью аппроксимации неизвестного распределения шума только в области больших положительных значений аргумента (правого "хвоста" плотности распределения), при этом предполагается, что распределение шума относится к экспоненциальному типу. Для аппроксимации правых "хвостов" неизвестных функций распределения F(y) экспоненциального типа используется выражение:

где α₁, u₁, τ - соответственно экстремальная функция интенсивности, характеристическое наибольшее значение и дополнительный параметр, определяемые из опытных данных; n₁ - объем выборки.

Для оценки указанных величин, соответствующих неизвестному распределению шума, согласно методу моментов с помощью опорного шумового канала, m₁ раз производится выборка из n₁ независимых членов (общий объем N=m₁n₁). В каждые из m₁ частных выборок выделяются максимальные по величине члены y_k, где k=1, ..., m₁ и вычисляются среднее максимальных членов и их дисперсия D₁, на основании которых определяются оценки

где С=0,5772 - постоянная Эйлера.

Полная выборка из N членов вновь разбивается на m₂ выборок по n₂ членов (N=m₂n₂, m₂>m₁). В каждой из m₂ выборок выделяются максимальные по величине члены y_k, где k=1, ..., m₂, и определяются , D₂, , , соответствующие новому разбиению полной исходной выборки. Согласно процедуре обнаружения определяется параметр

По априорному значению вероятности ложной тревоги а определяется значение величины решающего порога

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: дискретизация сигнала по времени, запоминание цифрового сигнала, выделение временных отрезков, разбиение исходной реализации на интервалы, обнаружение аномальных измерений.

Недостатками известного способа и устройства, его реализующего, являются:

- процедура обнаружения не эффективна в случае обработки групповых аномальных измерений;

- присутствие аномальных измерений делает выборку неоднородной, что приводит к ошибкам при определении параметров закона распределения;

- известный способ применим только в случае обработки одиночных аномальных измерений, если их амплитуда не превышает в два раза среднее значение y_k;

- определение решающего порога П связано с априорно известным значением вероятности ложной тревоги α.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- неоднородность выборки приводит к ошибкам при определении параметров закона распределения, что является следствием наличия в выборке аномальных измерений;

- известный способ не позволяет обнаруживать групповые аномальные измерения;

- алгоритм определения порога П и параметров , основан на отборе и обработке только максимальных членов частных выборок, что повышает влияние аномальных измерений на оценку параметров.

Структурная схема устройства, реализующего рассмотренный способ-аналог, содержит генератор тактовых импульсов, коммутатор, первый и второй регистры, сумматор, сравнивающее устройство, блок вычисления порога, блок разбиения.

Известно цифровое сглаживающее устройство с предварительным обнаружением и устранением аномальных измерений Пат. №2010325 [3]. Блок обнаружения и устранения аномальных измерений обеспечивает получение абсолютной величины разности |Δ_k| между текущим k-м отсчетом входного сигнала у_k и значением сглаженного выходного сигнала , схема сравнения обеспечивает сравнение сигнала абсолютной величины разности |Δ_k| с кодом допустимого значения строба Δ и формирует на выходе признак превышения.

В сглаживающем устройстве реализуется следующий алгоритм сглаживания:

где величины m_k и m_k-1 определены как приведенное значение входного сигнала относительно своего среднего значения соответственно для k-го и (k-1)-го моментов текущего времени и равны:

Величина Δ есть допустимое значение строба приведенного отклонения входного сигнала, N_c - значение коэффициента деления.

При проверке условия |Δ_k| (6), являющегося условием отсутствия ошибки, происходит переход на ту или иную ветвь вычислений. Если условие отсутствия ошибки не выполняется, то вычисленное значение m_k считается неверным и вместо него для формирования текущего сглаженного значения используется предыдущее верное значение m_k-1. Такая замена вследствие монотонности исходного сглаженного сигнала не ведет к его искажению. Если после этого на следующем шаге сглаживания условие отсутствия выполняется, то ошибка классифицируется как исправленное аномальное измерение. Невыполнение условия отсутствия ошибки является признаком отказа.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: дискретизация сигнала по времени, запоминание цифрового сигнала, выделение сглаженного сигнала, обнаружение и устранение аномальных измерений.

Недостатками известного способа и устройства, его реализующего, являются:

- процедура обнаружения не эффективна в случае обработки групповых аномальных измерений;

- требуется априорное знание допустимого значения строба Δ.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- так как данный способ позволяет обнаруживать только одиночные аномальные измерения, то эффективность обнаружения групповых аномальных измерений будет низкой;

- величина Δ задается в зависимости от класса входных сигналов и от области применения сглаживающего устройства.

Структурная схема устройства, реализующего рассмотренный алгоритм, содержит первый сумматор, счетчик отсчетов, первый и второй дешифраторы, первый и второй элемент И, элемент ИЛИ, триггер, блок задания коэффициента деления, первый регистр и второй сумматор, второй регистр, третий дешифратор, счетчик аномальных измерений, блок выделения модуля, схема сравнения, третий элемент И, генератор тактовых импульсов.

Наиболее близким к изобретению является способ для выделения тренда методом размножения оценок его единственной исходной реализации (РАЗОЦ) и устройство, его реализующее, Пат. №2207622 [4].

Рассматриваемый способ-прототип предполагает: 1) запоминание входной реализации у₁, у₂, ..., у_n; 2) разбиение входной реализации на подинтервалы случайными числами, имеющими равномерный закон распределения; 3) проверка условия, что подинтервалы включают не менее l значений исходной реализации, если условие не выполняется, то заново генерируются случайные числа разбиения; 4) нахождение на каждом подинтервале входной реализации оценок коэффициентов аппроксимирующего полинома a+bt+ct² с помощью метода наименьших квадратов; 5) повторение процедур, описанных в пунктах 2-4, К раз; 6) нахождение сглаживающей функции как среднего арифметического "кусочно-квадратичных" аппроксимирующих функций в каждый момент t_k.

Устройство для выделения тренда методом размножения оценок его единственной исходной реализации (РАЗОЦ) содержит буферный блок, блок хранения результатов измерений, коммутаторы, генератор случайных чисел, блок устранения связанных значений, блок ранжирования, регистр хранения выборки случайных чисел, блоки аппроксимации, регистры хранения оценок исходной функции, арифметическое суммирующее устройство, регистр хранения тренда, генератор тактовых импульсов.

Недостатками известного способа-прототипа и устройства, его реализующего, являются:

- невозможность реализации известного способа РАЗОЦ в реальном масштабе времени;

- наличие аномальных измерений во входной реализации существенно снижает эффективность способа РАЗОЦ в смысле минимума средней квадратической ошибки выделения полезной составляющей.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- для данного метода требуются априорные данные о требуемом количестве подинтервалов и количестве повторений К;

- сильная зависимость эффективности выделения полезной составляющей РАЗОЦ от наличия в выборке аномальных измерений.

Целью изобретения является обнаружение и устранение аномальных измерений в исходной дискретной реализации результатов измерений.

Предлагаемый способ исходит из наличия единственной дискретной реализации у₁, у₂, ..., у_n результатов измерений, полученной в равностоящие моменты времени t₁, t₂, ..., t_n, где y(t_k)=y_k, .

Упрощенная математическая модель результатов измерений описывается выражением (1).

В предлагаемом способе обнаружения аномальных результатов измерений за прототип принят способ размножения оценок, который имеет высокую эффективность при очищении единственной реализации нестационарного случайного процесса от шумовой составляющей. Суть предлагаемого устройства заключается в разбиении исходной дискретной реализации результатов измерений y_k, представляющей собой дискретную последовательность отсчетов , на покрытия ▿_j, случайной длины и аппроксимации на каждом из них полиномом второй степени, где р - число покрытий.

Многократное разбиение на покрытия ▿_j и аппроксимация на них значений измерений позволяют размножать оценки единственной реализации результатов измерений. На каждом интервале (покрытии) ▿_j проводят аппроксимацию значений результатов измерений полиномом второй степени по методу наименьших квадратов и находят разность Δ_k между значениями оценки аппроксимирующей функции S_k и исходной реализацией результатов измерений y_k.

На каждом покрытии устанавливается некоторый порог ε_j=A·σ_j, где 0<А≤3. Превышение установленного порога разностным процессом штрафуется на каждом из покрытий, т.е. если

то у_k получает одно штрафное значение, равное 1. В соответствии с методом размножения оценок изложенная выше процедура определения штрафов повторяется для каждой из размноженных оценок исходной реализации. При этом происходит накопление значений штрафов для элементов исходной реализации при выполнении условия (8). При окончании обработки для всех оштрафованных значений исходной реализации находят среднее значение штрафов. Отсчеты, у которых суммарное число штрафов превышает среднее значение, будут определяться как аномальные. Единичные и групповые аномальные измерения устраняются с помощью линейной интерполяции, проводимой по двум точкам, соответствующим значениям полученных измерений до аномального измерения (группы аномальных измерений) и после аномального измерения (группы аномальных измерений).

Устройство для обнаружения и устранения аномальных измерений (фиг.1) содержит блок хранения результатов измерений 1, вход которого является информационным входом устройства, к выходу которого подключены входы коммутаторов 2.n, к управляющим входам которых подключен выход блока разбиения на покрытия 3, который содержит генератор случайных чисел 16, распределенных по равномерному закону, выход которого подключен к входу блока устранения связанных значений 17, выход которого подсоединен ко входу блока ранжирования 18, к выходу которого подключен вход регистра хранения выборки случайных чисел 19, чей выход является информационным выходом блока разбиения на покрытия 3, к выходам коммутаторов 2.n подключены входы блоков аппроксимации 3.n, выходы которых подключены к входам блоков вычитания 4.n, ко вторым входам которых подключен выход блока хранения результатов измерений 1, выходы блоков вычитания 4.n соединены с входами блоков хранения остатков 5.n, выходы которых соединены с блоками вычисления оценки среднего квадратического отклонения 6.n, выходы которых подключены ко входам блоков умножения 7.n, ко вторым входам которых подключен выход блока установки коэффициента 8, выходы блоков умножения 7.n соединены с первыми входами компараторов 8.n, ко вторым входам которых подключены выходы блоков хранения остатков 5.n, выходы компараторов 8.n соединены с блоками хранения штрафов 9.n, выходы которых соединены с входами арифметического суммирующего устройства 10, выход которого соединен с первым входом компаратора 12 и входом блока вычисления порога 11, выход которого подключен ко второму входу компаратора 12, выход компаратора 12 подключен ко входу регистра хранения штрафов 13, выход которого подключен к первому входу блока устранения аномальных измерений 14, ко второму входу которого подключен выход блока задержки 21, вход которого соединен с выходом блока хранения результатов измерений 1, выход блока устранения аномальных измерений 14 подключен ко входу регистра хранения 15, чей выход является информационным выходом устройства. Синхронность работы устройства обеспечивается генератором тактовых импульсов 20.

Устройство для обнаружения и устранения аномальных измерений работает следующим образом. Исходная дискретная реализация результатов измерений физической величины в каждом из n каналов разбивается на m интервалов случайными числами. На каждом из m интервалов производится аппроксимация исходной дискретной реализации полиномом второй степени, коэффициенты которого определяются с помощью метода наименьших квадратов. Таким образом определяются n оценок исходной дискретной реализации на каждом из m интервалов. В каждом из n каналов определяются остатки путем вычитания оценок аппроксимирующих полиномов из исходной дискретной реализации на каждом из m интервалов. Для значений остатков определяется m оценок среднего квадратического отклонения в каждом из n каналов. Затем определяется порог обнаружения аномальных измерений умножением значений оценок среднего квадратического отклонения на постоянный коэффициент для каждого интервала из m. Значения остатков, полученные на каждом из m интервалов, сравниваются с полученным порогом обнаружения аномальных измерений. При превышении значения остатка определенного порога отсчет выборки получает одно штрафное значение. Для значений полученных штрафов из n каналов находится среднее арифметическое отдельно для каждого отсчета. Таким образом определяются результирующие значения штрафов для каждого из отсчетов исходной дискретной реализации. По результирующим значениям полученных штрафов определяется средняя величина штрафного значения. В исходной дискретной реализации аномальными считаются те отсчеты, у которых объем полученных штрафов превышает их среднюю величину. Единичные и групповые аномальные измерения устраняются с помощью линейной интерполяции, проводимой по двум точкам, соответствующим значениям полученных измерений до аномального измерения (группы аномальных измерений) и после аномального измерения (группы аномальных измерений). Таким образом, аномальные измерения исключаются из исходной дискретной реализации, и обработанные данные поступают на выход устройства.

Такой способ обнаружения аномальных измерений реализуется следующим образом. В блок хранения результатов измерений 1 записывается исходная дискретная реализация результатов измерений физической величины. Блок разбиения на покрытия 3 формирует ранжированные последовательности случайных чисел, распределенных по равномерному закону с устраненными "связками", которые поступают последовательно на коммутаторы 2.n. На полученных интервалах в блоках аппроксимации 3.n производится аппроксимация исходной дискретной реализации полиномами 2-й степени по методу наименьших квадратов. В блоках вычитания 4.n находятся остатки путем вычитания оценок аппроксимирующего полинома из исходной дискретной реализации, записанной в блоке хранения результатов измерений 1. Значения остатков записываются в блоки хранения остатков 5.n. В блоках 6.n вычисляются оценки среднего квадратического отклонения остатков, на каждом покрытии значения которых умножаются на постоянный коэффициент в блоках умножения 7.n. Полученные значения порогов поступают на входы компараторов 8.n, на вторые входы которых поступают данные об остатках из блоков хранения остатков 5.n. Полученные пороги обнаружения аномальных измерений сравниваются со значениями остатков. Если значение остатка превышает значение порога, то данный отсчет получает штрафное значение, которое записывается в блоках хранения штрафов 9.n. Данные из блоков хранения штрафов 9.n в каждом из n каналов поступают на входы арифметического суммирующего устройства 10, где находится среднее арифметическое штрафов отдельно для каждого из отсчетов, и формирование результирующих данных о полученных штрафах. В блоке вычисления порога 11 определяется средняя величина штрафа среди результирующих значений штрафов. В компараторе 12 сравниваются значение штрафов с их средним значением. Номера отсчетов, у которых значение штрафов превышает полученный порог, считаются аномальными и записываются в регистр хранения штрафов 13. Далее номера с аномальными значениями регистра хранения штрафов 13 и значения исходной дискретной реализации с блока 1 через блок задержки 21 поступают на входы блока устранения аномальных измерений 14, где единичные и групповые аномальные измерения устраняются с помощью линейной интерполяции, проводимой по двум точкам, соответствующим значениям полученных измерений до аномального измерения (группы аномальных измерений) и после аномального измерения (группы аномальных измерений). Таким образом, аномальные измерения исключаются из исходной дискретной реализации, и обработанные данные поступают на регистр хранения 15, с выхода которого данные поступают на выход устройства.

Изобретение относится к вычислительной технике и может быть использовано в системах управления и обработки сигналов. Техническим результатом является обнаружение и устранение аномальных измерений в исходной дискретной реализации результатов измерений. Устройство содержит блок хранения результатов измерений, n каналов, каждый из которых состоит из коммутатора, блока аппроксимации, блока вычитания, блока хранения остатков, блока вычисления оценки среднего квадратического отклонения, блока умножения, компаратора и блока хранения штрафов, блок разбиения на покрытия, состоящий из генератора случайных чисел, блока устранения связных значений, блока ранжирования и регистра хранения выборки случайных чисел, блок установки коэффициента, генератор тактовых импульсов, блок задержки, арифметическое устройство, блок вычисления порога, компаратор, регистр хранения штрафов, блок устранения аномальных измерений, регистр хранения. 1 ил.

Устройство для обнаружения и устранения измеренных аномальных значений сигналов, содержащее блок хранения результатов измерений, вход которого является информационным входом устройства, n каналов, каждый из которых состоит из коммутатора и блока аппроксимации, арифметическое суммирующее устройство, регистр хранения, выход которого является информационным выходом устройства, при этом выход блока хранения результатов измерений подключен к первым входам коммутаторов, ко вторым входам которых подключен выход блока разбиения на покрытия, который содержит генератор случайных чисел, распределенных по равномерному закону, выход которого подключен к входу блока устранения связанных значений, выход которого подсоединен к входу блока ранжирования, к выходу которого подключен вход регистра хранения выборки случайных чисел, чей выход является информационным выходом блока разбиения на покрытия, к выходам коммутаторов подключены входы блоков аппроксимации, отличающееся тем, что в каждый канал введены блок вычитания, вход которого подключен к выходу блока аппроксимации, ко второму входу блока вычитания подключен выход блока хранения результатов измерений, выход блока вычитания соединен с входом блока хранения остатков, выход которого соединен с входом блока вычисления оценки среднего квадратического отклонения, выход которого подключен к входу блока умножения остатков на постоянный коэффициент, ко второму входу которого подключен выход блока установки коэффициента, выход блока умножения на постоянный коэффициент подключен к входу компаратора, ко второму входу которого подключен выход блока хранения остатков, выход компаратора соединен с входом блока хранения штрафов, в который записывается штрафное значение при превышении значения заданного порога, выходы блоков хранения штрафов всех n каналов соединены с входами арифметического суммирующего устройства, выход которого соединен с входом компаратора и входом блока вычисления порога, выход которого подключен к входу компаратора, выход которого подключен к входу регистра хранения штрафов, выход которого подключен к первому входу блока устранения аномальных измерений, ко второму входу которого подключен выход блока задержки, вход которого подключен к выходу блока хранения результатов измерений, выход блока устранения аномальных измерений подключен к входу регистра хранения, синхронность работы всех элементов устройства обеспечивается генератором тактовых импульсов.