Способ выявления аномалий в киберфизической системе в реальном времени Российский патент 2024 года по МПК G06F21/50 H04L9/40 

Область техники

Изобретение относится к области информационных технологий и информационно-управляющих систем, в том числе информационной и промышленной безопасности, а более конкретно к системам и способам выявления аномалий в киберфизической системе в реальном времени.

Уровень техники

Работа современных предприятий обеспечивается киберфизическими системами (КФС) с тысячами датчиков, исполнительных механизмов, ПИД-регуляторов (пропорционально-интегрально-дифференцирующий регулятор), ПЛК (программируемый логический контроллер), а также информационными системами (ИС) со множеством вычислительных устройств в сети. Поэтому на таких предприятиях также устанавливают различные системы мониторинга, предназначенные для мониторинга и анализа данных предприятий.

Указанные КФС или ИС также называют объектом мониторинга (далее - объектом). Таким образом, для объектов мониторинга свойственно наличие потока данных, характеризующих работу этих объектов. Такие данные служат важным предметом анализа как в реальном времени (онлайн, англ. online), так и ретроспективно по собранным данным для обнаружения аномалий (отклонений от нормальной работы объекта), а также для формирования предсказаний о будущем состоянии объекта.

Для анализа данных телеметрии физических процессов (то есть значений параметров КФС, таких как показаний сенсоров, значений уставок, уровней управляющих воздействий, далее - телеметрия) успешно применяются предсказательные модели на основе нейронных сетей и другие методы машинного обучения (методы классификации, кластеризации, регрессии и другие), далее - детекторы аномалий (детекторы), а также предиктивные анализаторы. Примеры таких детекторов и предиктивных анализаторов описаны, например, в патентах RU2724716, RU2724075, RU2749252, US11175976, US11494252. Указанный анализ телеметрии может производиться, например, для обнаружения аномалий или для предсказания поведения объекта в будущем.

Математическая основа большинства методов машинного обучения, в том числе нейронных сетей, состоит в восстановлении неизвестной непрерывной функции, описывающей работу объекта, по массиву дискретных наблюдений, выполненных на объекте. Однако на практике, а особенно в тех случаях, когда детектор аномалий должен работать в реальном времени, возникают различные проблемы, для решения которых применяются специальные методы потоковой обработки данных.

Для работы моделей на основе нейронных сетей на временных рядах (например, на данных телеметрии) необходимо, чтобы соседние наблюдения отстояли друг от друга на одинаковые промежутки времени. Когда нейронная сеть анализирует временной ряд, она, как правило, рассматривает за раз не одно наблюдение, а множество наблюдений в некотором интервале времени (так называемое «окно»). Работа с окном необходима, чтобы воспринять динамику процесса, разворачивающегося во времени. Проанализировав поведение объекта в окне, нейронная сеть выдает результат своей работы - например, предсказание будущего поведения объекта или классификацию настоящего поведения объекта. Далее окно сдвигается на заданный шаг вперед (соседние окна могут не перекрываться, или частично перекрываются), и процесс повторяется на новом отрезке времени. Во время обучения нейронная сеть проходит окнами (то есть окна поступают поочередно на вход нейронной сети) по длительному интервалу времени, чтобы «понять» все детали и скрытые правила функционирования объекта. В режиме вывода (англ. inference) нейронная сеть анализирует по одному окну за раз в реальном времени и выдает результат на основе своих «знаний», полученных при обучении.

Чтобы нейронная сеть могла работать, как описано выше, и демонстрировать стабильное качество, все окна как на обучении, так и в продуктивном режиме должны предоставлять одинаковый «обзор» объекта мониторинга. Это значит, что все окна должны представлять собой одинаковые интервалы времени, разделенные на одинаковое число моментов, в которых производятся наблюдения объекта, и в каждом таком моменте объект наблюдается одинаковым образом. Отсюда следует, что телеметрия объекта, поступающая на вход модели машинного обучения, должна быть представлена наблюдениями, взятыми в узлах некоторой равно-интервальной временной сетки (РИВС), причем в каждом узле должны быть известны значения всех входных параметров.

Однако ситуация, когда поступающие наблюдения уже распределены по узлам РИВС, как правило, не встречается. Вместо этого детектор сталкивается с одной или несколькими из следующих особенностей потока данных (наблюдений):

• наблюдения параметров КФС поступают с произвольными интервалами, не совпадающими с периодом РИВС;

• наблюдения некоторых параметров КФС формируются часто, других - редко, третьих - спорадически (по факту определенного события);

• даже если собственные периоды наблюдений разных параметров КФС совпадают, их фазы (конкретные моменты измерений) отличаются;

• наблюдения могут опаздывать или приходить раньше относительно соседних наблюдений, иными словами, временная метка нового наблюдения, полученного детектором, может находиться в прошлом относительно временной метки предыдущего полученного наблюдения. Это может быть вызвано перепадами нагрузки на процессоры системы мониторинга, вариацией задержек в сети передачи данных, или разницей в показаниях часов, которые формируют наблюдения на стороне объекта мониторинга;

• некоторые наблюдения теряются при передаче или вовсе не формируются из-за перегрузки системы мониторинга и/или из-за аппаратных проблем, возникающих в процессах функционирования КФС;

• поток данных может время от времени прерываться полностью или частично, в том числе штатно (планово-периодическое отключение агрегата).

Таким образом, в общем случае наблюдения приходят хаотически, например, генерируются с произвольными интервалами, прибывают в произвольном порядке, не синхронны друг с другом и с РИВС, задерживаются или теряются в пути. Например, для РИВС с периодом 10 сек. нейронная сеть ожидает получить значения параметров КФС «А», «В» и «С» в момент 12:00:00, потом в 12:00:10, потом в 12:00:20 и т.д. На самом деле измерения значений параметра КФС «А» могут быть взяты в 12:00:01, 12:00:09, 12:00:21. Измерения параметра КФС «B» — в 11:59:48 и 12:00:08, при этом последнее опоздало и было получено после поступления значения параметра КФС «А» от 12:00:21. Наблюдения параметра КФС «С» последний раз поступали в 11:30. При работе с таким потоком наблюдений, результаты работы детекторов, полагающихся на равномерное и синхронное поступление измерений параметров «А», «В», «С», будут ошибочными, а результаты работы предиктивных анализаторов — недостаточно точными.

Поэтому возникает техническая проблема, на решение которой направлено заявленное техническое решение, заключающаяся в создании компьютерно-реализуемого способа выявления аномалий в киберфизической системе в реальном времени.

Из уровня техники известны способы приведения к РИВС наблюдений различных исторических данных, предварительно собранных в своей совокупности в статический массив, покрывающий весь подлежащий анализу интервал времени (см., например, патент US8818919). Однако такие способы не применимы для потока наблюдений, поступающих в реальном времени, где неизвестны будущие наблюдения и время их поступления. В частности, при приеме потока неизвестно, все ли наблюдения для определенного узла РИВС уже приняты к настоящему моменту, или часть еще не получена, или другая часть наблюдений никогда не будет получена, так как эти наблюдения либо не были произведены на объекте, либо были потеряны. При работе со статическим массивом данных такая проблема отсутствует в принципе, так как обработчику данных все полученные наблюдения для всех узлов РИВС доступны немедленно и одновременно. Кроме того, при приведении к РИВС статического массива данных отсутствует необходимость идентифицировать и специальным образом обрабатывать опоздавшие или слишком рано прибывшие наблюдения, выявлять «потерю потока», адаптироваться под изменение скорости хода времени данных относительно времени процессинга.

Таким образом, известные технологии имеют недостатки, препятствующие полноценному решению заявленной технической проблемы, поэтому возникает необходимость в заявленном изобретении.

Раскрытие сущности изобретения

Первый технический результат заключается в приведении произвольно распределенного потока наблюдений параметров КФС, поступающих в реальном времени, к РИВС.

Второй технический результат заключается в снижении времени приведения произвольно распределенного потока наблюдений параметров КФС, поступающих в реальном времени, к РИВС.

Третий технический результат заключается в повышении качества выявления аномалий в КФС за счет приведения произвольно распределенного потока наблюдений параметров КФС, поступающих в реальном времени, к РИВС, и выявления аномалий в приведенных к РИВС значениях выходных параметров КФС, причем высокое качество включает, в частности, низкое число ошибок первого и второго рода, сокращение времени выявления.

Согласно варианту реализации используется реализуемый компьютером способ выявления аномалий в киберфизической системе в реальном времени, включающий этапы, на которых: получают в реальном времени произвольно распределенный поток наблюдений параметров КФС; при выполнении по меньшей мере одного из условий вызова проверяют при помощи по меньшей мере одного критерия выгрузки возможность выгрузки по меньшей мере одного узла равно-интервальной временной сетки, причем критерий выгрузки проверяется с учетом свойств потока наблюдений параметров КФС из набора входных параметров КФС, где наблюдению параметра КФС соответствует значение параметра КФС и время данных; при выполнении по меньшей мере одного критерия выгрузки, выгружают по меньшей мере один узел РИВС, для которого выполняется указанный по меньшей мере один критерий выгрузки; в каждом выгруженном узле РИВС для каждого выходного параметра КФС из набора выходных параметров КФС, вычисляют его значение на основании упомянутого выгруженного узла РИВС, причем каждый выходной параметр КФС связан с по меньшей мере одним из входных параметров КФС, в частности совпадает с одним из входных параметров КФС или является производным от по меньшей мере одного из входных параметров КФС; выявляют по меньшей мере одну аномалию в КФС в приведенных к РИВС значениях выходных параметров КФС с использованием по меньшей мере одного детектора аномалий.

Согласно одному из частных вариантов реализации условия вызова включают по меньшей мере одно из следующих: из потока получено по меньшей мере одно новое наблюдение параметра КФС; наступил один из предварительно заданных моментов времени.

Согласно другому частному варианту реализации с использованием по меньшей мере одного детектора аномалий реализуют по меньшей мере один из следующих способов выявления аномалий: способ, согласно которому выявляют аномалию в случае превышения общей ошибкой прогноза порогового значения, при этом предварительно выполняют прогнозирование значений выходных параметров КФС и последующее определение общей ошибки прогноза для выходных параметров КФС; способ, согласно которому выявляют аномалию путем применения модели машинного обучения к значениям выходных параметров КФС; способ, согласно которому выявляют аномалию при выполнении правила выявления аномалий; способ, согласно которому выявляют аномалию на основании сравнения значений выходных параметров КФС с предельными значениями установленных диапазонов значений для выходных параметров КФС; ансамблирование результатов работы по меньшей мере одного из указанных выше способов.

Согласно еще одному частному варианту реализации свойства потока включают по меньшей мере одно из следующих: дистанцию выгрузки по потоку, таймаут.

Согласно одному из частных вариантов реализации критерий выгрузки является по меньшей мере одним из следующих: выгрузка по потоку; выгрузка по таймауту.

Согласно другому частному варианту реализации в случае, если проверяют возможность выгрузки по меньшей мере двух узлов РИВС и если критерий выгрузки по потоку выполняется для одного узла РИВС, а критерий выгрузки по таймауту выполняется для другого узла РИВС, тогда выбирают тот из указанных узлов РИВС, у которого метка времени больше.

Согласно еще одному частному варианту реализации дополнительно выгружают один или несколько других узлов РИВС, последовательно предшествующих тому узлу РИВС, который удовлетворяет критерию выгрузки.

Согласно одному из частных вариантов реализации в случае, если к выгруженному узлу РИВС относится наблюдение по меньшей мере одного параметра КФС, также выгружают указанное по меньшей мере одно наблюдение параметра КФС.

Согласно другому частному варианту реализации в случае, если к узлу РИВС относится по меньшей мере одно наблюдение входного параметра КФС, связанного с выходным параметром КФС, то его учитывают при вычислении значения выходного параметра КФС.

Согласно еще одному частному варианту реализации используется способ, дополнительно включающий этапы, предварительно выполняемые при условии поступления по меньшей мере одного нового наблюдения параметра КФС из потока, согласно которым каждое полученное наблюдение параметра КФС накапливают и относят к узлу РИВС в соответствии со временем данных указанного наблюдения, а также для каждого полученного наблюдения параметра КФС проверяют по меньшей мере один критерий признания нового головного узла РИВС и в случае его выполнения признают узел РИВС, соответствующий времени данных указанного наблюдения параметра КФС, головным узлом РИВС.

Согласно одному из частных вариантов реализации критерий признания нового головного узла РИВС является одним из: критерий признания по представительству; критерий признания по соразмерности интервала; критерий признания в состоянии полной остановки потока.

Согласно другому частному варианту реализации используется способ, в котором дополнительно формируют инцидент в случае выполнения по меньшей мере одного из условий формирования инцидента.

Согласно еще одному частному варианту реализации условия формирования инцидента включают следующие: для инцидента «опоздавшее наблюдение»: время данных наблюдения параметра КФС соответствует ранее выгруженному узлу РИВС; для инцидента «сбой часов источника»: время данных наблюдения параметра КФС опережает метку времени головного узла РИВС на заданный интервал времени; для инцидента «потеря потока»: в случае прекращения поступления наблюдений параметра КФС в течение определенного времени, заданного для параметра КФС, причем к значению выходного параметра КФС дополнительно добавляют информацию об инциденте.

Согласно одному из частных вариантов реализации используется способ, дополнительно включающий этапы, на которых переопределяют свойства потока в случае, если частота возникновения инцидентов «опоздавшее наблюдение» или «сбой часов источника» превышает установленный порог.

Согласно другому частному варианту реализации, если набор входных параметров КФС совпадает с набором выходных параметров КФС, то в каждом из выгруженных узлов РИВС вычисляют значение для каждого параметра КФС из набора выходных параметров КФС в зависимости от количества отнесенных к узлу РИВС наблюдений соответствующего входного параметра КФС, причем если в указанном узле РИВС для входного параметра КФС накоплено одно или несколько наблюдений, выполняют агрегацию на основе накопленных наблюдений входного параметра КФС в указанном узле РИВС.

Согласно еще одному частному варианту реализации, если набор входных параметров КФС совпадает с набором выходных параметров КФС и если в выгруженном узле РИВС для параметра КФС не накоплено ни одного из наблюдений, выполняют импутацию отсутствующего значения параметра КФС на основе наблюдений параметра КФС для более ранних узлов РИВС.

Согласно одному из частных вариантов реализации вычисляют значение выходного параметра КФС в узле РИВС согласно зависимости от связанных с ним параметров КФС, причем вычисляют значения для каждого параметра КФС в зависимости от количества отнесенных к узлу РИВС наблюдений указанного параметра КФС, причем если в указанном узле РИВС для указанного параметра КФС накоплено одно или несколько наблюдений, выполняют агрегацию на основе накопленных наблюдений параметра КФС в указанном узле РИВС или в более ранних узлах РИВС или в указанном узле РИВС и более ранних узлах РИВС.

Согласно другому частному варианту реализации вычисляют значение выходного параметра КФС в узле РИВС согласно зависимости от связанных с ним параметров КФС, причем если в выгруженном узле РИВС для по меньшей мере одного связанного параметра КФС не накоплено ни одного из наблюдений, выполняют импутацию отсутствующего значения указанного параметра КФС на основе наблюдений указанного параметра КФС для более ранних узлов РИВС или на основе ранее вычисленных значений указанного параметра КФС для более ранних узлов РИВС или на основе комбинации из наблюдений указанного параметра КФС и ранее вычисленных значений указанного параметра КФС для более ранних узлов РИВС.

Согласно еще одному из частных вариантов реализации вычисляют значение выходного параметра КФС в узле РИВС дополнительно на основе значений других выходных или других входных параметров КФС, связанных с указанным выходным параметром КФС.

Согласно одному из частных вариантов реализации используется способ, дополнительно включающий этапы, на которых определяют свойства потока в случае начала поступления потока или возобновления поступления потока после прерывания.

Краткое описание чертежей

Дополнительные цели, признаки и преимущества настоящего изобретения будут очевидными из прочтения последующего описания осуществления изобретения со ссылкой на прилагаемые чертежи, на которых:

На Фиг. 1 представлен пример киберфизической системы и ее взаимодействий с потоковым процессором.

На Фиг. 2 представлены примеры детекторов аномалий.

На Фиг. 3 представлены примеры предиктивных анализаторов.

На Фиг. 4 представлена архитектура потокового процессора.

На Фиг. 5 представлен пример работы потокового процессора, в частности пример способа приведения потока наблюдений параметров КФС, поступающих в реальном времени, к РИВС.

На Фиг. 6 представлен пример способа выявления аномалий в КФС в реальном времени.

На Фиг. 7 представлен пример способа осуществления предиктивного анализа в КФС в реальном времени.

На Фиг. 8 представлен пример РИВС.

На Фиг. 9а-9г представлены примеры потока наблюдений параметров КФС.

На Фиг. 10а-10г представлены примеры изменения времени данных наблюдений параметров КФС в потоке.

На Фиг. 11 представлен пример наблюдений параметров КФС, указывающих на инцидент в данных.

На Фиг. 12 представлен пример работы потокового процессора на примере плотного потока наблюдений параметров КФС.

На Фиг. 13 представлен пример работы потокового процессора на примере разреженного потока наблюдений параметров КФС.

Фиг. 14 представляет пример компьютерной системы общего назначения, с помощью которой может быть реализовано настоящее изобретение.

Осуществление изобретения

Объекты и признаки настоящего изобретения, способы для достижения этих объектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, оно может воплощаться в различных видах. Приведенное описание предназначено для помощи специалисту в области техники для исчерпывающего понимания изобретения, которое определяется только в объеме приложенной формулы.

Глоссарий

Информационная система (ИС, англ. information system) — совокупность вычислительных устройств и используемых для их связи коммуникаций.

Киберфизическая система (КФС, англ. cyber-physical system, CPS) - информационно-технологическая концепция, подразумевающая интеграцию вычислительных ресурсов в физические процессы. Примерами киберфизической системы является технологическая система, интернет вещей (в том числе носимые устройства), промышленный интернет вещей.

Интернет вещей (англ. Internet of Things, IoT) - вычислительная сеть физических предметов («вещей»), оснащённых встроенными сетевыми технологиями для взаимодействия друг с другом или с внешней средой. Интернет вещей включает такие технологии, как носимые устройства, электронные системы транспортных средств, умные автомобили, умные города, промышленные системы и пр.

Промышленный Интернет вещей (англ. Industrial Internet of Things, IIoT) - состоит из подключенного к вычислительной сети оборудования и платформ расширенной аналитики, которые выполняют обработку данных, получаемых от подключенных устройств. Устройства IIoT могут быть самыми разными - от небольших датчиков погоды до сложных промышленных роботов. Несмотря на то, что слово «промышленный» вызывает такие ассоциации, как склады, судоверфи и производственные цеха, технологии IIoT имеют большой потенциал использования в самых различных отраслях, включая сельское хозяйство, здравоохранение, финансовые услуги, розничную торговлю и рекламу. Промышленный Интернет вещей является подкатегорией Интернета вещей.

Объект - объект мониторинга, в частности ИС или КФС.

Технологический процесс (ТП) - процесс материального производства, заключающийся в последовательной смене состояний (а также определенных свойств) материальной сущности (предмета труда). Например, физический процесс, химический процесс. ТП может осуществляться в КФС.

Равно-интервальная временная сетка, РИВС (англ. uniform temporal grid, UTG) - бесконечная последовательность моментов времени, в которой расстояние между соседними элементами последовательности неизменно (одинаковое).

Узел РИВС (англ. node, UTG node) - любой из моментов времени, составляющих РИВС.

Метка времени узла РИВС - соответствующий конкретному узлу РИВС момент времени.

Ячейка узла РИВС (англ. cell) - интервал времени вокруг узла РИВС, длина которого равна расстоянию между узлами (то есть метками времени узлов РИВС). Ячейка определяет, какие точки на оси времени относятся к узлу РИВС. В предпочтительном варианте реализации узел РИВС находится в центре своей ячейки. В других вариантах реализации узел РИВС находится слева или справа от центра своей ячейки.

РИВС характеризуется тремя параметрами (см. пример на Фиг. 8):

• период (англ. period) (обратно пропорционально частоте) - расстояние между узлами сетки;

• фаза (англ. phase) - положение узлов относительно времени суток (например, интервал между полуночью и ближайшим узлом РИВС, следующим за полуночью);

• левое поле ячейки (англ. left margin) - расстояние между левой границей ячейки и соответствующим узлом РИВС как доля периода РИВС (0.5, если узел РИВС находится в центре своей ячейки).

Технологический параметр, параметр технологического процесса (англ. Process Variable, PV) - текущее измеренное значение определенного состояния ТП, КФС или ИС, который наблюдается или контролируется. Примером технологического параметра является температура, давление, расход, объем, масса и другие.

Уставка (англ. setpoint) - поддерживаемое значение технологического параметра. Например, для технологического параметра «температура», уставкой может быть поддерживаемая температура (например, 0 градусов или 100 градусов по Цельсию). В другом примере, для технологического параметра «давление» уставкой может быть поддерживаемое давление.

Управляемый параметр (англ. Manipulated Variable, MV) - параметр, который регулируется для того, чтобы значение технологического параметра поддерживалось на уровне уставки. Например, для поддержания температуры воды в емкости (технологический параметр) на уровне значения уставки 100 градусов, регулируют уровень подачи газа (управляемый параметр) из баллона на газовый нагреватель.

Параметр КФС (англ. CPS variable, tag) - параметр, характеризующий работу КФС, включающий один из следующих: технологический параметр, уставка, управляемый параметр, который относится к КФС, а также производные параметры, вычисляемые на основе перечисленных выше параметров. Например, для физического или химического процесса, параметром КФС является технологический параметр КФС. Причем указанные процессы являются непрерывными. Поэтому параметр КФС является также непрерывным и в каждый момент времени принимает определенное значение, независимо от того, было ли проведено измерение значения указанного параметра КФС или нет в какой-либо момент времени.

Параметры КФС могут быть разделены на два типа - натуральные параметры и производные параметры. Значения параметра КФС могут поступать от объекта, где они были измерены (такой параметр КФС называют также натуральным параметром КФС, англ. original tag), либо быть вычислены получателем данных на основании значений одного или нескольких натуральных параметров КФС (такой параметр КФС называют производным параметром КФС, при этом параметры КФС, на основании которых вычисляется производный параметр КФС называют исходными параметрами КФС для указанного производного параметра КФС). Производный параметр КФС также может быть вычислен на основании других производных параметров КФС или на основании как натуральных, так и производных параметров КФС. Заявленное изобретение одинаково корректно работает с любыми параметрами КФС - как с натуральными, так и с производными. Поэтому далее в описании вариантов реализации будут иметься в виду все виды параметров КФС. Однако в отдельных частных вариантах реализации, где это важно для работы изобретения, параметры КФС будут разделяться на натуральные и производные.

Примеры натуральных параметров КФС: T1 (температура одного датчика), T2 (температура другого датчика), P (давление), V (объем), U (электрическое напряжение), I (сила тока).

Примеры производных параметров КФС: T3 = T1/100 (температура T1 в процентах от 100 градусов); W = U⋅I (электрическая мощность); T3 равно скользящему среднему от T1; T4 = T1-T2 (разностный показатель); P1 = 1 если значения P поступают и выполняется условие P>10, а в ином случае P1 = 0.

Телеметрия - совокупность параметров КФС. Данные телеметрии - совокупность значений параметров КФС.

Время данных (англ. data time, event time, также время событий) - момент времени, в который было измерено или иным образом сформировано значение параметра КФС по часам источника данных (объекта мониторинга). Время данных однозначно определяет узел РИВС, к которому относится соответствующее наблюдение параметра КФС, в соответствии с ячейкой узла РИВС, к которой относится указанное время данных.

Время процессинга (англ. processing time, system time, также системное время, время обработки) - время, измеренное по часам получателя данных - например, по системным часам компьютера, на котором работает потоковый процессор.

Наблюдение, наблюдение параметра КФС - набор из трех значений, в состав которого входят: идентификатор параметра КФС (название, порядковые номер или иное указание на конкретный параметр КФС); значение параметра КФС, измеренное или иным образом сформированное в определенный момент времени (время данных); само значение момента времени (время данных) по часам источника данных параметра КФС. В контексте обработки потока данных может различаться наблюдение как таковое (англ. data point) и наблюдение, полученное получателем данных (англ. observation). В последнем случае в состав атрибутов наблюдения добавляется время прибытия наблюдения по часам получателя данных (время процессинга).

Поток параметра КФС - последовательность наблюдений параметра КФС, воспринимаемая во времени процессинга.

Поток телеметрии, поток наблюдений параметров КФС, поток значений параметров КФС, входной поток (далее - поток) - последовательность наблюдений параметров КФС (также - входных параметров КФС) из заданного набора входных параметров КФС.

Поток выходной телеметрии, поток наблюдений выходных параметров КФС, поток значений выходных параметров КФС, выходной поток — последовательность наблюдений выходных параметров КФС из заданного набора выходных параметров КФС - то есть последовательность значений выходных параметров КФС в узлах РИВС.

Потоковый процессор (англ. stream processor, SP) - аппаратно-программный модуль (сервис), выполняющий в почти реальном времени приведение произвольно распределенного во времени (англ. arbitrarily distributed in time) потока наблюдений параметров КФС в поток наблюдений этих же или производных от них параметров КФС (выходных параметров КФС), приведенных к РИВС - то есть выполняющий приведение (англ. fit) произвольно распределенного потока наблюдений параметров КФС к РИВС. «В почти реальном времени» означает, что задержка преобразования потока на выходе потокового процессора относительно входного потока воспринимается пользователем как незначительная или вообще не заметна.

Система управления трактом данных (СУТД) - часть системы анализа потока данных КФС, отвечающая за передачу наблюдений и сопутствующих данных между различными модулями (сервисами) системы, выполняющими их прием, обработку или хранение. СУТД - это внешняя по отношению к потоковому процессору система, которая вызывает потоковый процессор и принимает результаты его работы.

Агрегация - процедура определения значения параметра КФС в узле РИВС на основе одного или нескольких наблюдений данного параметра КФС, отнесенных к ячейке данного узла РИВС. Примеры агрегации: взятие значения самого позднего наблюдения (по времени данных); вычисление среднего значения наблюдений. Для производного параметра КФС, зависящего от одного или нескольких других параметров КФС (исходных параметров КФС), в одном примере реализации агрегация может быть осуществлена путем определения значения производного параметра КФС в узле РИВС на основе одного или нескольких наблюдений, указанных исходных параметров КФС, отнесенных к ячейке данного узла РИВС. В другом примере реализации вначале определяют значения указанного одного или нескольких выходных параметров КФС, в т.ч. с использованием агрегации, после чего определяют значение производного параметра КФС в соответствии с зависимостью от указанных одного или нескольких исходных параметров КФС.

Пустой узел РИВС - узел, в ячейку которого не поступило ни одного наблюдения конкретного параметра КФС или вообще ни одного наблюдения.

Импутация - процедура определения значения параметра КФС для пустого узла РИВС на основе значений данного параметра КФС, сформированных для более ранних узлов РИВС. Пример импутации: повторение значения параметра КФС из предыдущего узла. В контексте предметной области данного документа импутация является частным случаем интерполяции: обе процедуры предназначены для восстановления отсутствующего значения, однако импутация может использовать только известные значения из прошлого, а интерполяция - как из прошлого, так и из будущего. Соответственно, импутация может быть применена при обработке потока, а интерполяция в общем виде - нет. Для производного параметра КФС, зависящего от одного или нескольких других параметров КФС (исходных параметров КФС), в одном примере реализации импутация может быть осуществлена для пустого узла РИВС на основе значений данного производного параметра КФС, сформированных для более ранних узлов РИВС. В другом примере реализации для производного параметра КФС импутация может быть осуществлена для пустого узла РИВС на основе значений, указанных для одного или нескольких исходных параметров КФС, сформированных для более ранних узлов РИВС. В еще одном примере реализации для производного параметра КФС импутация может быть осуществлена для пустого узла РИВС на основе как значений указанных одного или нескольких исходных параметров КФС, отнесенных к более ранним узлам РИВС, так и значений данного производного параметра КФС, сформированных для более ранних узлов РИВС.

Компьютерная атака (также кибератака, от англ. cyber attack) - целенаправленное воздействие на информационные системы и информационно-телекоммуникационные сети программно-техническими средствами, осуществляемое в целях нарушения безопасности информации в этих системах и сетях.

Аномалия в КФС или ИС, аномалия - отклонение от технологического процесса в КФС или ИС. Аномалия может возникнуть, например, из-за компьютерной атаки, из-за некорректного или нелегитимного вмешательства человека в работу ТС или ТП, из-за сбоя или отклонения технологического процесса, в том числе связанного с периодами смены его режимов, из-за перевода контуров управления в ручной режим или из-за некорректных показаний датчиков, а также по другим причинам, известным из уровня техники. Аномалия может характеризоваться отклонением параметров КФС.

Область аномалии, область локализации аномалии - диапазон времени наблюдения аномалии (временная область) и/или место возникновения аномалии - то есть указание на элемент или часть КФС, где возникла аномалия (пространственная область), например, указание на датчик или его координаты, в котором возникла аномалия. Для каждой аномалии определена область локализации аномалии - временная и/или пространственная. Для определения пространственных областей КФС может быть разделена на различные части в соответствии с принадлежностью к разным ТП или его частям, в соответствии с принадлежностью к разным физическим или логическим областям КФС и согласно другим критериям, в том числе задаваемым оператором КФС.

На Фиг. 1 представлен пример киберфизической системы 100 и ее взаимодействий с потоковым процессором 400. КФС 100 представлена в упрощенном варианте. Примерами КФС 100 являются технологическая система (ТС), интернет вещей, промышленный интернет вещей, ИС, ТП. Для определенности далее в описании в качестве основного примера КФС 100 будет рассматриваться ТС. КФС 100 содержит множество датчиков, исполнительных механизмов, ПИД-регуляторов (программируемый логический контроллер), данные которых в необработанном виде передают на ПЛК (программируемый логический контроллер, англ. programmable logic controller, PLC). При этом может использоваться аналоговый сигнал для передачи данных. Затем ПЛК выполняет обработку данных и преобразование данных в цифровой вид - в наблюдения параметров КФС (то есть в поток телеметрии КФС 100), а также в события (например, включение того или иного датчика, срабатывание сигналов тревоги датчиков, отдельные команды и другие). Наблюдения параметров КФС затем передают, например, системе SCADA 101 (англ. supervisory control and data acquisition - диспетчерское управление и сбор данных) и системе анализа потока данных КФС 102 (например, системе типа Kaspersky MLAD (англ. machine learning anomaly detection) или любой другой системе для анализа потока данных КФС), которая включает систему управления трактом данных (СУТД) 110.

СУТД 110 - система, отвечающая за передачу наблюдений параметров КФС и сопутствующих данных между различными другими модулями (сервисами), выполняющими их прием, обработку или хранение, в частности потоковым процессором 400, детекторами аномалий 200, предиктивными анализаторами 300. СУТД 110 - это внешняя по отношению к потоковому процессору 400 система, которая вызывает (инициирует начало или возобновление работы путем передачи данных, необходимых для указанного начала или возобновления работы) потоковый процессор 400 и принимает результаты его работы, которые затем могут быть переданы детекторам аномалий 200 (также модули выявления аномалий, далее - детекторы), а также предиктивным анализаторам 300. Примеры детекторов 200, в частности средств 201-205, представлены на Фиг. 2, а примеры предиктивных анализаторов 300 представлены на Фиг. 3. Описание вариантов реализации детекторов 200 и предиктивных анализаторов 300 представлено ниже.

Описание детекторов аномалий 200, Фиг. 2

Детекторы 200 служат для выявления аномалий в КФС 100 в приведенных к РИВС значениях выходных параметров КФС, а также для определения сопутствующей информации о выявленных аномалиях. В частном варианте реализации информация об аномалиях в КФС 100 включает такие сведения об аномалии, как область локализации аномалии, значения выходных параметров КФС в каждый момент диапазона времени наблюдения аномалии, вклад каждого выходного параметра КФС в аномалию, информацию о способе выявления указанной аномалии (то есть о детекторе 200, выявившем аномалию). В еще одном частном варианте реализации информация об аномалиях в КФС 100 дополнительно включает для каждого выходного параметра КФС по меньшей мере одно из: временной ряд значений, текущую величину отклонения спрогнозированного значения от фактического значения, сглаженную величину отклонения спрогнозированного значения от фактического значения. В другом частном случае информация об аномалиях в КФС 100 дополнительно включает информацию о максимальных, минимальных и средних значениях выходных параметров КФС, взятых в области локализации аномалии, других статистических и детерминированных характеристиках, включая выборочные дисперсии и квантили, спектр Фурье и вейвлет (англ. wavelet) преобразований, сверточные операторы от выходных параметров КФС.

В качестве детекторов 200 могут быть использованы система и способ определения аномалии 201 в КФС 100, описанные ранее в патентах RU2724716, RU2724075, RU2749252, которые осуществляют определение аномалии путем прогнозирования значений подмножества выходных параметров КФС (в упомянутых патентах использовался термин «признаки КФС», соответствующий термину «параметры КФС» в заявленном изобретении) и последующего определения общей ошибки прогноза для подмножества выходных параметров КФС, при этом определяют аномалию в КФС 100 в случае превышения общей ошибкой прогноза порогового значения, кроме того, определяют вклад подмножества выходных параметров КФС в общую ошибку прогноза как вклад ошибки прогноза соответствующего выходного параметра КФС в общую ошибку прогноза.

Детекторы 200 могут включать модуль базовой модели 202, предназначенный для применения обученной модели машинного обучения для выявления аномалий по значениям подмножества выходных параметров КФС (далее - базовая модель). При этом базовая модель может быть обучена на данных обучающей выборки, включающей известные аномалии в КФС 100 или не включающей известные аномалии, но включающей известное поведение при нормальной работе КФС 100, а также значения подмножества выходных параметров КФС за определенный период времени - то есть используется модель машинного обучения с учителем. Кроме того, в качестве базовой модели может быть использована модель машинного обучения без учителя. Для повышения качества базовой модели могут выполнять тестирование и валидацию обученной базовой модели на тестовой и валидационной выборках соответственно. При этом тестовая и валидационная выборки могут включать известные аномалии и значения подмножества выходных параметров КФС за определенный период времени, предшествующий известной аномалии в КФС 100, но указанные тестовая и валидационная выборки отличаются от обучающей выборки.

В еще одном варианте реализации детекторы 200 включают модуль определения на основе правил 203, с использованием которого применяют правила определения аномалий. Такие правила могут быть предварительно сформированы и получены от оператора КФС посредством интерфейса обратной связи и содержат условия, применяемые к значениям подмножества выходных параметров КФС, при выполнении которых определяют аномалию.

В еще одном частном варианте реализации детекторы 200 включают модуль определения на основе предельных значений 204, с использованием которого определяют аномалию, когда значение по меньшей мере одного выходного параметра КФС из подмножества параметров выходных КФС вышло за пределы предварительно заданного диапазона значений для указанного выходного параметра КФС. При этом указанные диапазоны значений могут быть рассчитаны из значений характеристик или документации для КФС 100 или получены от оператора КФС посредством интерфейса обратной связи.

В еще одном частном варианте реализации детекторы 200 включают модуль диагностических правил 205, с использованием которого формируют диагностические правила путем задания перечня выходных параметров КФС, используемых в указанном диагностическом правиле, и способа вычисления значений вспомогательного (индикаторного) параметра КФС с последующим вычислением значений вспомогательных параметров КФС с использованием заданного перечня выходных параметров КФС и в соответствии со сформированным диагностическим правилом. В итоге модуль диагностических правил 205 определяет аномалию в КФС 100 на основании значений всех выходных параметров КФС. Пример модуля диагностических правил 205 описан в патенте RU2790331.

В еще одном частном варианте реализации детекторы 200 включают систему графического интерфейса для определения аномалии оператором КФС вручную (см. патент RU2724716), информация о которой может быть передана через интерфейс обратной связи.

Предиктивные анализаторы 300, Фиг. 3

Предиктивные анализаторы 300 служат для предиктивного анализа в приведенных к РИВС значениях выходных параметров КФС, то есть для формирования суждения о наиболее вероятном поведении КФС 100 в будущем на основе наблюдений параметров КФС (то есть входных параметров КФС, связанных с упомянутыми выходными параметрами КФС) в настоящем и прошлом.

В контексте описания предиктивных анализаторов 300 «будущим», применительно к каждому конкретному параметру КФС, считаются все и любой из моментов времени данных, следующих за наиболее поздним моментом T времени данных, для которого значение параметра КФС известно из наблюдения к моменту формирования результата работы предиктивного анализатора 300. Момент времени данных Т при этом считается «настоящим».

В контексте применения предиктивных анализаторов 300 с потоковым процессором 400 понятие «будущее» уточняется как все и любой из узлов РИВС, следующих за последним выгруженным узлом РИВС, т.е. за последним узлом РИВС, для которого вычислены значения выходных параметров КФС из набора выходных параметров КФС. Этот последний узел РИВС при этом считается «настоящим» (моментом времени).

Выгрузка по меньшей мере одного узла РИВС осуществляется накопителем 420 и включает считывание данных (например, в оперативную память 25) выбранного по меньшей мере одного узла РИВС и в случае наличия выбранных наблюдений параметров КФС для использования их, в частности вычислителем 430.

В частном варианте реализации результат работы предиктивного анализатора 200 включает предсказание вероятных значений одного или нескольких выходных параметров КФС в одном или нескольких моментах времени данных в будущем (предиктивный анализатор 300-1).

В другом частном варианте реализации результат работы предиктивного анализатора 300 включает интервал времени данных в будущем, внутри которого значение выходного параметра КФС с заданной вероятностью достигнет заданного уровня (предиктивный анализатор 300-2). Этот вариант реализации называется «оценка времени до события» (англ. time to event estimation).

В еще одном частном варианте реализации результат работы предиктивного анализатора 300 включает предсказание вероятных значений одного или нескольких выходных параметров КФС в настоящем или в одном или нескольких моментах времени данных в будущем, когда вышеупомянутые выходные параметры КФС не наблюдаются (то есть наблюдения входных параметров КФС, связанных с указанными выходными параметрами КФС, не были сформированы источником или не были получены получателем) как минимум в настоящем и в ближайшем прошлом (заданный интервал времени назад относительно текущего момента времени), хотя, возможно, были наблюдаемы в некоторые отдаленные моменты в прошлом (более заданного интервала времени назад относительно текущего момента времени). Этот вариант реализации осуществляется предиктивным анализатором 300-3 и называется «виртуальным сенсором» (англ. virtual sensor или soft sensor).

На Фиг. 4 представлена архитектура потокового процессора 400. Потоковый процессор 400 может включать калибратор 410, накопитель 420 и вычислитель 430. Потоковый процессор 400 и его составные элементы могут быть реализованы на компьютере 20, пример которого представлен на Фиг. 14.

Потоковый процессор 400 получает на вход наблюдения параметров КФС (из набора входных параметров КФС) из потока наблюдений параметров КФС. Результат работы потокового процессора 400 содержит значения выходных параметров КФС (из набора выходных параметров КФС) в узлах РИВС. Набор входных параметров КФС и набор выходных параметров КФС могут быть заданы заранее, например, оператором КФС 100, СУТД 110, потоковым процессором 400. В одном примере реализации может быть вначале задан набор выходных параметров КФС, после чего будет определен набор входных параметров КФС, связанных с указанными выходными параметрами КФС.

Каждый выходной параметр КФС связан (зависит) с по меньшей мере одним из входных параметров КФС, в частности совпадает с одним из входных параметров КФС (например, для натуральных параметров КФС, но также справедливо, если входной параметр является производным параметром КФС от других натуральных параметров КФС) или является производным от по меньшей мере одного из входных параметров КФС. То есть выходные параметры КФС могут являться как натуральными, так и производными параметрами КФС.

Таким образом потоковый процессор 400 выполняет приведение произвольно распределенного во времени потока наблюдений параметров КФС в поток наблюдений этих же или производных от них параметров КФС (выходных параметров КФС), приведенных к РИВС.

В одном частном варианте реализации выходные параметры КФС соответствуют параметрам КФС (из набора входных параметров КФС). В этом случае также набор выходных параметров КФС совпадает с набором входных параметров КФС.

В другом частном варианте реализации набор выходных параметров КФС содержит по меньшей мере один параметр КФС из набора входных параметров КФС, а также по меньшей мере один производных параметр КФС, зависящий от по меньшей мере одного входного параметра КФС.

В еще одном частном варианте реализации набор выходных параметров КФС содержит только производные параметры КФС от по меньшей мере одного входного параметра КФС.

Например, если в наборе входных параметров КФС, являющихся натуральными параметрами КФС, присутствуют длина, высота и ширина некоторого предмета формы параллелепипеда, то среди выходных параметров КФС могут присутствовать длина, высота и ширина этого же предмета, но также может присутствовать производный параметр КФС, характеризующий объем этого предмета, равный произведению длины, высоты и ширины. В другом примере, если в наборе входных параметров КФС присутствует натуральный параметр КФС - температура воздуха, то среди выходных параметров КФС будет присутствовать температура воздуха, но также может присутствовать производный параметр КФС, равный скользящему среднему от температуры воздуха, вычисленному за последние 10 дней. В третьем примере, если в наборе входных параметров КФС присутствует температура воздуха и температура поверхности объекта, среди выходных параметров КФС температура воздуха (натуральный параметр) будет отсутствовать, а температура поверхности объекта будет присутствовать, но также будет присутствовать скользящее среднее от температуры воздуха (производный параметр от температуры воздуха). В четвертом примере, если в наборе входных параметров КФС присутствует температура воздуха и температура поверхности объекта, то среди выходных параметров КФС могут отсутствовать как температура воздуха, так и температура поверхности объекта, но будут присутствовать скользящее среднее значения температуры воздуха, вычисленное за последние 10 дней, а также скользящее среднее от температуры поверхности объекта, вычисленное за последние 10 дней.

Калибратор 410 предназначен для анализа заданного объема данных в потоке наблюдений параметров КФС (входных параметров КФС) из набора входных параметров КФС с целью определения или переопределения свойств потока 411 (то есть - калибровки и перекалибровки накопителя 420, подробнее свойства потока 411 будут раскрыты на Фиг. 5). Свойства потока 411 также могут быть заданы значениями по умолчанию. Свойства потока 411 используются накопителем 420 в штатном режиме работы потокового процессора 400. Накопитель 420 предназначен для накопления полученных из потока наблюдений параметров КФС, отнесения их к соответствующим узлам РИВС. Кроме того, накопитель 420 также предназначен для выгрузки узлов РИВС, соответствующих критерию выгрузки, вместе с отнесенными к ним наблюдениями параметров КФС для их последующей передачи вычислителю 430. Выгрузка узлов РИВС происходит относительно головного узла РИВС.

Головной узел РИВС - это узел РИВС, к которому относится большая часть наблюдений параметров КФС, уже поступивших и еще ожидаемых вокруг текущего момента времени процессинга. Головной узел РИВС характеризует связь между временем данных и временем процессинга. Головной узел РИВС назначают (признают) согласно критериям признания (англ. acknowledge) нового головного узла РИВС, которые будут раскрыты далее.

Вычислитель 430 предназначен для вычисления значений выходных параметров КФС из набора выходных параметров КФС в узлах РИВС на основании выгруженных накопителем 420 узлов РИВС и наблюдений параметров КФС (при их наличии) в указанных узлах РИВС.

Подробное раскрытие реализации потокового процессора 400, а также вариантов его реализации представлены далее на Фиг. 5.

На Фиг. 5 представлен пример работы потокового процессора 400, в частности пример способа приведения потока наблюдений параметров КФС, поступающих в реальном времени, к РИВС.

В одном варианте реализации потоковый процессор 400 может быть независимым модулем, самостоятельно определяющим начало своей работы. В другом варианте реализации потоковый процессор 400 может начать работу по вызову от внешней системы, например, от СУТД 110 или от системы анализа потока данных КФС 102. В примере СУТД 110 вызывает потоковый процессор 400, когда происходит одно из следующего:

• с объекта мониторинга получено новое наблюдение параметра КФС (или сразу несколько новых наблюдений параметров КФС);

• наступил момент времени процессинга, ранее предложенный (указанный) самим потоковым процессором 400 для своего вызова.

Относительно последнего случая стоит отметить, что, вообще говоря, СУТД 110 может вызвать потоковый процессор 400 в любой момент времени. Результат работы потокового процессора 400 (т.е. состав значений выходных параметров КФС в узлах РИВС) не зависит то того, как часто и когда именно СУТД 110 будет вызывать потоковый процессор 400. Но для того, чтобы выходной поток генерировался во времени, максимально близком к реальному времени (что определяется, например, отставанием на заданную величину времени генерации выходного потока относительно реального времени), в одном варианте реализации вызовы потокового процессора 400 происходят в предложенные (указанные) им моменты времени процессинга.

При каждом вызове потокового процессора 400 СУТД 110 передает на вход потоковому процессору 400, в частности, один или несколько из следующих аргументов:

• список поступивших во входном потоке новых наблюдений, то есть новых значений параметров КФС (список может быть пустым, если потоковый процессор 400 вызывается по времени);

• текущее время процессинга (например, показания системных часов СУТД 110).

После каждого вызова потоковый процессор 400 может возвращать СУТД 110 по крайней мере один из указанных ниже списков, причем любой из возвращаемых списков может быть пуст:

• выходные наблюдения, то есть значения выходных параметров КФС в узлах РИВС;

• предлагаемые моменты последующих вызовов потокового процессора 400 во времени процессинга;

• список инцидентов, возникших при обработке входного потока (например, «опоздавшее наблюдение», «сбой часов источника», «потеря потока»).

СУТД 110 может распоряжаться результатами вызова потокового процессора 400 следующим образом:

• значения выходных параметров КФС в узлах РИВС помещаются в тракт данных (выходной поток), откуда они поступают следующему потребителю, например, к детекторам аномалий 200, к предиктивным анализаторам 300 (см. подробнее на Фиг. 6, Фиг. 7);

• инциденты направляются модулю (сервису, на чертеже не указан), предназначенному для работы с инцидентами;

• предлагаемые моменты последующих вызовов используются для установки таймеров для вызова потокового процессора 400 в будущем.

СУТД 110 вызывает потоковый процессор 400 на этапе 501.

В случае, когда потоковый процессор 400 реализован согласно архитектуре, описанной на Фиг. 4, этапы 520-521 выполняются калибратором 410, этапы 502-507 выполняются накопителем 420, а этап 508 выполняется вычислителем 430.

На этапе 502 проверяют поступление по меньшей мере одного нового наблюдения параметра КФС из потока и в случае поступления на этапе 503 каждое полученное наблюдение параметра КФС накапливают и относят к узлу РИВС в соответствии со временем данных указанного наблюдения параметра КФС. Накопление наблюдений параметров КФС и узлов РИВС означает любое сохранение указанных данных с возможностью последующего их чтения. Данные могут быть сохранены (накоплены) как на машиночитаемом носителе (например, запоминающие устройства 27-28 на Фиг. 14), так и в оперативной памяти (например, ОЗУ 25 компьютера 20 на Фиг. 14). Хранение (накопление) данных может осуществляться в виде списка, базы данных, файлов или любым другим способом.

На этапе 504 для каждого полученного наблюдения параметра КФС проверяют по меньшей мере один критерий признания нового головного узла РИВС и в случае его выполнения на этапе 505 узел РИВС, соответствующий времени данных указанного наблюдения параметра КФС, признают головным узлом РИВС.

В частном варианте реализации критерий признания нового головного узла РИВС, проверяемый на этапе 504, является одним из:

критерий признания по представительству: узел РИВС (узел N), следующий за головным узлом РИВС (узел H), признают головным узлом РИВС, если для узла N поступили наблюдения для такого количества параметров КФС, которое равно или выше заданного числа (регулярность потока R);

критерий признания по соразмерности интервала: узел N признают головным узлом РИВС, если получено наблюдение параметра КФС, соответствующее узлу N в момент времени процессинга (T_now), причем и , где Th - время процессинга, когда узел H был признан головным узлом РИВС, p - период РИВС, Da - средний интервал времени процессинга между признаниями заданного количества последних головных узлов РИВС;

критерий признания в состоянии полной остановки потока (состояние “standstill”): если накопитель 420 находится в состоянии “standstill”, то узел N признают головным узлом РИВС сразу же после получения любого наблюдения параметра КФС, соответствующего узлу N.

В еще одном частном варианте реализации критерий признания по соразмерности интервала используют при условии, когда критерий признания по представительству неприменим.

В еще одном частном варианте реализации критерий признания по соразмерности интервала конфигурируется в настройках потокового процессора 400: указанный критерий используется либо для всех параметров КФС, либо только для заранее определенных параметров КФС. В последнем случае накопитель 420 проверяет одновременно оба критерия (представительство значений параметров КФС среди всего набора входных параметров КФС и соразмерность интервала для упомянутых заранее определенных параметров КФС), а новый головной узел РИВС признается, если сработал хотя бы один из проверяемых критериев.

В частном варианте реализации в начале работы накопителя 420 первое поступившее наблюдение параметра КФС формирует первый головной узел РИВС для потока.

В случае, если на этапе 502 не было получено ни одного нового наблюдения параметра КФС, то переходят к этапу 506. Кроме того, если на этапе 504 ни один из критериев признания нового головного узла РИВС не выполнился, также переходят к этапу 506.

На этапе 506 проверяют при помощи по меньшей мере одного критерия выгрузки возможность выгрузки по меньшей мере одного узла РИВС, причем критерий выгрузки проверяется с учетом, в частности, свойств потока 411 наблюдений параметров КФС из набора входных параметров КФС. Если ни один из критериев выгрузки не выполняется, то потоковый процессор 400 возвращает результаты работы 510 СУТД 110, которые не будут содержать значений выходных параметров КФС в узлах РИВС, но могут содержать предполагаемые моменты последующих вызовов потокового процессора 400.

В то же время при выполнении по меньшей мере одного критерия выгрузки на этапе 507 выгружают по меньшей мере один узел РИВС, для которого выполняется указанный по меньшей мере один критерий выгрузки. В частном варианте реализации в случае, если к выгруженному узлу РИВС относится наблюдение по меньшей мере одного параметра КФС, также выгружают указанное по меньшей мере одно наблюдение параметра КФС.

Под выгрузкой понимается считывание данных (например, в оперативную память 25) выбранных узлов РИВС и в случае наличия выбранных наблюдений параметров КФС для использования их на этапе 508. Причем выгруженные данные будут исключены из числа накопленных данных. Исключение может включать удаление или добавление пометки к выгруженным данным о том, что при следующем вызове потокового процессора 400 выгруженные данные не будут использоваться при проверке критериев выгрузки на этапе 506 и на последующих этапах. Таким образом обеспечивается работа заявленного изобретения в режиме, максимально близком к режиму реального времени.

Выгруженные данные также могут быть сохранены на машиночитаемом носителе для их последующего использования как на этапе 508, так и при последующем вызове потокового процессора 400.

На этапе 508 в каждом из выгруженных узлов РИВС для каждого выходного параметра КФС из набора выходных параметров КФС вычисляют его значение на основании упомянутого выгруженного узла РИВС, причем этому значению соответствует время данных, равное метке времени узла РИВС, к которому относится значение выходного параметра КФС. В частном варианте реализации в случае, если к узлу РИВС относится по меньшей мере одно наблюдение входного параметра КФС, связанного с выходным параметром КФС, то его учитывают при вычислении значения выходного параметра КФС. Вычисление значений выходных параметров КФС из набора выходных параметров КФС в узлах РИВС осуществляется на основании выгруженных узлов РИВС и наблюдений параметров КФС (при их наличии) в указанных узлах РИВС.

В частном варианте реализации свойства потока 411 включают по меньшей мере одно из следующих: дистанцию выгрузки по потоку — Ds (заданное количество узлов РИВС, к которым возможно отнесение значений параметров КФС, поступающих из потока), таймаут - Dt (заданный интервал времени процессинга, определяющий максимальное время ожидания поступления из потока значений параметров КФС). Калибровка накопителя 420, то есть определение указанных значений Ds, Dt, осуществляется таким образом, чтобы выходной поток наблюдений (значения выходных параметров КФС в узлах РИВС) формировался с минимальной задержкой (значение такой задержки может быть заранее определено) относительно потока (то есть входного потока), но при этом чтобы все наблюдения параметров КФС, за исключением отстающих или ранних (то есть являющихся инцидентом), классифицировались как пришедшие вовремя (англ. on time) и передавались вычислителю 430. Исходя из изложенного, для Ds может быть дополнительно определено (по умолчанию или на этапе калибровки) минимально возможное значение, например, 2 или 3.

Критерий выгрузки является по меньшей мере одним из следующих:

• выгрузка по потоку: между узлом РИВС, для которого проверяется возможность выгрузки, и головным узлом РИВС находится такое количество других узлов РИВС, которое равно или превышает дистанцию выгрузки по потоку Ds, таким образом, критерию выгрузки по потоку удовлетворяет узел РИВС и предшествующие ему во времени узлы РИВС , и т.д.), где H — головной узел РИВС, p – период РИВС;

• выгрузка по таймауту: время, прошедшее с предыдущего времени процессинга, во время которого узел РИВС, для которого проверяется возможность выгрузки, был признан головным узлом РИВС, до времени процессинга (текущего) равно или превышает таймаут Dt, таким образом, узел H был признан головным узлом РИВС в момент времени процессинга Th, то он будет выгружен по таймауту, когда текущее время процессинга будет равно или превысит значение Th + Dt.

Стоит отметить, что в случае, если проверяют возможность выгрузки по меньшей мере двух узлов РИВС и если критерий выгрузки по потоку выполняется для одного узла РИВС, а критерий выгрузки по таймауту выполняется для другого узла РИВС, тогда выбирают тот из указанных узлов РИВС, у которого метка времени больше.

В предпочтительном варианте реализации дополнительно выгружаются все узлы РИВС, следующие за последним выгруженным узлом до узла РИВС, который удовлетворяет критерию выгрузки, включительно.

В одном из частных вариантов реализации на этапе 508 дополнительно формируют инцидент (например, «опоздавшее наблюдение», «сбой часов источника», или «потеря потока») в случае выполнения по меньшей мере одного из условий формирования инцидента: для инцидента «опоздавшее наблюдение»: время данных наблюдения параметра КФС соответствует ранее выгруженному узлу РИВС; для инцидента «сбой часов источника»: время данных наблюдения параметра КФС опережает метку времени головного узла РИВС на заданный интервал времени; для инцидента «потеря потока»: в случае прекращения поступления наблюдений параметра КФС в течение определенного времени, заданного для параметра КФС, причем к значению выходного параметра КФС дополнительно добавляют информацию об инциденте.

В еще одном частном варианте реализации способ на Фиг. 5 дополнительно включает этапы 520-521, на которых переопределяют свойства потока 411 (этап 521) в случае, если частота возникновения инцидентов, связанных с опозданием или сбоем часов источника, превышает установленный порог (проверяют на этапе 520). В другом частном варианте реализации определяют свойства потока 411 в случае начала поступления потока или возобновления поступления потока после прерывания или «потери потока». Необходимость определения/переопределения свойств потока 411 проверяется на этапе 520 с учетом информации, полученной от СУТД 110 при вызове потокового процессора 400 на этапе 501.

В одном частном варианте реализации на этапе 508, когда набор входных параметров КФС совпадает с набором выходных параметров КФС, в каждом из выгруженных узлов РИВС вычисляют значение для каждого параметра КФС из набора выходных параметров КФС в зависимости от количества отнесенных к узлу РИВС наблюдений соответствующего входного параметра КФС:

если в указанном узле РИВС для входного параметра КФС накоплено одно или несколько наблюдений, выполняют агрегацию на основе накопленных наблюдений входного параметра КФС в указанном узле РИВС;

если в указанном узле РИВС для параметра КФС не накоплено ни одного из наблюдений, выполняют импутацию отсутствующего значения параметра КФС на основе наблюдений параметра КФС для более ранних узлов РИВС.

В другом частном варианте реализации на этапе 508 вычисляют значение выходного параметра КФС в узле РИВС согласно зависимости от связанных с ним параметров КФС, причем вычисляют значения для каждого параметра КФС в зависимости от количества отнесенных к узлу РИВС наблюдений указанного параметра КФС:

если в указанном узле РИВС для указанного параметра КФС накоплено одно или несколько наблюдений, выполняют агрегацию на основе накопленных наблюдений параметра КФС в указанном узле РИВС или в более ранних узлах РИВС или в указанном узле РИВС и более ранних узлах РИВС;

если в указанном узле РИВС для параметра КФС не накоплено ни одного из наблюдений, выполняют импутацию отсутствующего значения параметра КФС на основе наблюдений параметра КФС для более ранних узлов РИВС или на основе ранее вычисленных значений параметра КФС для более ранних узлов РИВС или на основе комбинации из наблюдений параметра КФС и ранее вычисленных значений параметра КФС для более ранних узлов РИВС.

В частном случае вычисляют значение выходного параметра КФС в узле РИВС дополнительно на основе значений других выходных или других входных параметров КФС, связанных с указанным выходным параметром КФС (далее - промежуточные параметры).

В этом примере вычисляют значение упомянутого промежуточного параметра КФС, после чего вычисляют значение выходного параметра КФС на основании связанных с ним параметров КФС из набора входных параметров КФС, а также на основании промежуточного параметра КФС. Например, входными параметрами КФС являются параметры А2, А3, А4, А6. Выходным параметром КФС является параметр А30, зависящий от параметров А2, А3, А4 согласно следующей зависимости: А30 = F(А20, А6), где F - скользящее среднее от значений параметров А20, А6 в предыдущих узлах РИВС. Однако, чтобы вычислить значение параметра А30, предварительно необходимо вычислить значение промежуточного параметра А20 согласно его зависимости от параметров А2, А3, А4, которая определяется формулой: А20 = G(А2, А3, А4), где G — среднее значение от параметров А2, А3, А4 в текущем узле РИВС. Таким образом, заявленное изобретение позволяет использовать любые зависимости выходных параметров КФС от входных параметров КФС, в том числе с использованием промежуточных параметров КФС.

Разрывом потока параметра КФС называется ситуация, когда для узла РИВС к моменту его выгрузки не было получено ни одного наблюдения данного параметра КФС. Различают два вида разрыва: прерывание потока и «потерю потока».

Прерывание потока - это разрыв, который возник вследствие потери одного или незначительного (ниже определенного значения) числа наблюдений параметра КФС или из-за того, что собственный период формирования наблюдений параметра КФС больше периода РИВС. Прерывание потока не связано с каким-либо изменением в поведении объекта мониторинга. Вычислитель 430 не пытается интерпретировать прерывание потока специальным образом, а просто восполняет разрыв путем импутации (например, путем повторения последнего известного значения параметра КФС, или среднего от нескольких последних значений параметра КФС) на этапе 508. В частном варианте реализации вычислитель 430 также аналогичным образом восполняет разрыв потока выходного параметра КФС, то есть путем импутации (например, путем повторения последнего вычисленного значения выходного параметра КФС, или среднего от нескольких последних вычисленных значений выходного параметра КФС) на этапе 508.

«Потеря потока» - это длительное (в течении определенного интервала времени, заданного для параметра КФС, или потеря такого числа наблюдений параметра КФС, которое превышает определенное значение) прекращение поступления наблюдений параметра КФС, которое может быть вызвано отключением объекта мониторинга (или его части) или аварией в сети передачи данных. Ввиду того, что «потеря потока» свидетельствует о существенном изменении состояния наблюдаемой системы, на этапе 508 вычислитель 430 обрабатывает «потерю потока» особым образом: формирует специальный инцидент «потеря потока» (англ. loss of data, LoD) и/или устанавливает для параметра КФС, чей поток был потерян, значение по умолчанию, заданное для указанного параметра КФС, в узлах РИВС, начиная с узла РИВС, в котором была идентифицирована «потеря потока». В частном варианте реализации вычислитель 430 обрабатывает «потерю потока» выходного параметра КФС аналогичным образом, то есть устанавливает значение по умолчанию для выходных параметров КФС, которые связаны с параметром КФС, чей поток был потерян.

В варианте реализации разрывы потоков одного или нескольких параметров КФС не создают особой ситуации для накопителя 420, пока для каждого узла РИВС поступает хотя бы одно наблюдение любого параметра КФС. Поступающие от других параметров КФС наблюдения позволяют выгружать узлы РИВС по потоку (если поток плотный) или по таймауту (если поток разреженный), и, следовательно, вызывать вычислитель 430 для обработки этих узлов РИВС.

В другом частном варианте реализации, когда произошел одновременный разрыв потока, для всех параметров КФС возникает состояние полной остановки потока (“standstill”).

Состояние полной остановки потока диагностируется накопителем 420 при одновременном выполнении следующих условий:

а) накопитель 420 определил, что выгрузке подлежит узел N;

б) головной узел РИВС предшествует или равен узлу, подлежащему выгрузке: H ≤ N. Это означает, что входной поток уже какое-то время не поступает и узел N выгружается по таймауту;

в) очередь выгрузки по таймаутам пуста (т.е. узел N был последним в очереди).

В частном варианте реализации для идентификации обработки «потери потока» наблюдений параметров КФС при полной остановке потока в потоковом процессоре 400 предусмотрен механизм отгрузки некоторого числа пустых узлов РИВС «по инерции». Этот механизм называется выбегом (англ. afterlife). Когда накопитель 420 переходит в состояние полной остановки потока, он одновременно переходит в режим выбега; продолжительность выбега в узлах РИВС указывается в настройках потокового процессора 400.

В режиме выбега накопитель 420 запрашивает у СУТД 211 вызов себя через равные интервалы времени процессинга, соответствующие периоду выбега Da. Период выбега может вычисляться в момент перехода в режим выбега следующим образом. В процессе обработки входного потока потоковый процессор 400 запоминает интервалы времени процессинга между признаниями соседних головных узлов РИВС для заданного числа (например, 10 или 20) последних признанных головных узлов РИВС. Период выбега Da принимается равным заданному перцентилю (например, 75% или 90%) этих интервалов. Таким образом, выбег производится примерно на той скорости хода времени данных относительно времени процессинга, которая наблюдалась до остановки потока, а период выбега Da примерно соответствует периоду РИВС, измеренному во времени процессинга, с поправкой в большую сторону. Поправка нужна для снижения риска того, что выбег опередит время данных. В режиме выбега таймаут выгрузки узла фактически принимается равным Da, а головной узел РИВС не изменяется. Скорость хода времени данных относительно времени процессинга — это отношение разницы между временами данных двух наблюдений к разнице между моментами времени прибытия этих наблюдений в накопитель 420, измеренных по часам процессинга (то есть временем процессинга этих наблюдений, см подробнее описание к Фиг. 9а-10г). При этом указанная скорость может быть измерена как между двумя соседними наблюдениями, так и между двумя наблюдениями, отстающими на определенный интервал времени.

При каждом вызове себя в режиме выбега накопитель 420 помещает очередной узел РИВС в очередь выгрузки по таймаутам на момент T_now + Da, где T_now - текущий момент времени процессинга, и, соответственно, выгружает по таймауту предыдущий узел РИВС, который в этом случае может оказаться полностью пустым. Выгрузка даже полностью пустого узла РИВС на шаге 507 инициирует вызов вычислителя 430 для обработки этого узла РИВС на шаге 508, следовательно, вычислитель 430 получает возможность провести импутацию или идентифицировать «потерю потока» тех параметров КФС, для которых такие действия сконфигурированы.

Продолжительность выбега задается не меньше числа узлов РИВС, которые требуются вычислителю 430 для идентификации и обработки «потери потока» всех параметров КФС, для которых такие действия сконфигурированы.

Выход из состояния полной остановки потока (“standstill”) производится по факту получения любого наблюдения, относящегося к узлу РИВС Z, находящемуся в будущем относительно текущего головного узла РИВС H (Z > H), при этом узел Z немедленно признается новым головным узлом РИВС. При выходе из состояния полной остановки потока может происходить одномоментная выгрузка нескольких узлов (англ. flush discharge) вплоть до узла Z исключительно (то есть узел Z не будет выгружен), которая в зависимости от текущего состояния процесса выбега может включать полное или частичное завершение выбега (вплоть до узла min(H+a×p, Z–p), где a конфигурированная продолжительность выбега, p - период РИВС) и/или пропуск пустых узлов, расположенных между последним возможным узлом выбега (или узлом H, если выбег не сконфигурирован) и узлом Z. Пропуск узлов означает, что узлы считаются выгруженными, но при этом не подаются на вычислитель 430, так как их обработка будет непродуктивной: состояние «потери потока» уже было выявлено и обработано на этапе выбега, после чего пустые узлы никакой полезной информации не несут. Таким образом, при пропуске узлов, следующим узлом РИВС после последнего возможного узла выбега (или последнего непустого узла D: H ≤ D < Z, если выбег не сконфигурирован), который будет выгружен в вычислитель и для которого, соответственно, будут сформированы значения выходных параметров КФС, будет узел Z, выгрузка которого произойдет в свое время штатным образом, то есть, по потоку или по таймауту.

Таким образом, заявленный способ приведения произвольно распределенного потока наблюдений параметров КФС, поступающих в реальном времени, к РИВС позволяет решить заявленную техническую проблему и достичь заявленных технических результатов, заключающихся в приведении произвольно распределенного потока наблюдений параметров КФС, поступающих в реальном времени, к РИВС, в снижении времени приведения произвольно распределенного потока наблюдений параметров КФС, поступающих в реальном времени, к РИВС (например, в сравнении с приведением к РИВС наблюдений исторических данных, когда необходимо дождаться формирования такого набора данных, прежде чем приступить к приведению их к РИВС), в формировании приведенного к РИВС потока значений выходных параметров КФС без пропусков, а также в подготовке данных в форме и объеме, необходимом для корректной работы детекторов аномалий и предиктивных анализаторов.

Результаты работы потокового процессора 510 могут быть переданы посредством СУТД 110 для выявления аномалий 511 с помощью детекторов аномалий 200 (подробнее на Фиг. 6), а также на предиктивный анализ 512 с помощью предиктивных анализаторов 300 (подробнее на Фиг. 7).

На Фиг. 6 представлен пример способа выявления аномалий в КФС в реальном времени. На этапе 601 получают в реальном времени произвольно распределенный поток наблюдений параметров КФС. Затем на этапе 602 при выполнении по меньшей мере одного из условий вызова, осуществляют приведение потока наблюдений параметров КФС к РИВС с использованием потокового процессора 400 согласно способу по Фиг. 5. В итоге на шаге 603 выявляют по меньшей мере одну аномалию в КФС в приведенных к РИВС значениях выходных параметров КФС с использованием по меньшей мере одного детектора аномалий 200.

В одном частном варианте реализации условия вызова включают по меньшей мере одно из следующих:

из потока получено по меньшей мере одно новое наблюдение параметра КФС;

наступил один из предварительно заданных моментов времени.

Детекторы из перечня детекторов 200 реализуют по меньшей мере один из следующих способов выявления аномалий:

• способ, согласно которому выявляют аномалию в случае превышения общей ошибкой прогноза порогового значения, при этом предварительно выполняют прогнозирование значений выходных параметров КФС и последующее определение общей ошибки прогноза для выходных параметров КФС;

• способ, согласно которому выявляют аномалию путем применения модели машинного обучения к значениям выходных параметров КФС;

• способ, согласно которому выявляют аномалию при выполнении правила выявления аномалий;

• способ, согласно которому выявляют аномалию на основании сравнения полученных значений выходных параметров КФС с предельными значениями установленных диапазонов значений для выходных параметров КФС;

• ансамблирование результатов работы по меньшей мере одного из указанных выше способов.

Другие возможные, но не исчерпывающие способы реализации детекторов 200 представлены на Фиг. 2.

Таким образом, заявленный на Фиг. 6 способ позволяет решить заявленную техническую проблему и достичь перечисленных ранее для способа по Фиг. 5 технических результатов. Кроме того, достигается еще один технический результат, заключающийся в повышении качества выявления аномалий в КФС за счет приведения произвольно распространенного потока наблюдений параметров КФС, поступающих в реальном времени, к РИВС и выявления аномалий в приведенных к РИВС значениях выходных параметров КФС, причем высокое качество включает, в частности, низкое число ошибок первого и второго рода, сокращение времени выявления аномалий.

На Фиг. 7 представлен пример способа осуществления предиктивного анализа в КФС в реальном времени. На этапе 701 получают в реальном времени произвольно распределенный поток наблюдений параметров КФС. Затем на этапе 702 при выполнении по меньшей мере одного из условий вызова, осуществляют приведение потока наблюдений параметров КФС к РИВС с использованием потокового процессора 400 согласно способу по Фиг. 5. В итоге на этапе 703 с помощью предиктивных анализаторов 300 (см. Фиг. 3) осуществляют предиктивный анализ в приведенных к РИВС значениях выходных параметров КФС.

В одном частном варианте реализации условия вызова включают по меньшей мере одно из следующих:

из потока получено по меньшей мере одно новое наблюдение параметра КФС;

наступил один из предварительно заданных моментов времени.

Таким образом, заявленный на Фиг. 7 способ позволяет решить заявленную техническую проблему и достичь перечисленных ранее для способа по Фиг. 5 технических результатов. Кроме того, достигается еще один технический результат, заключающийся в повышении качества предиктивного анализа параметров КФС за счет приведения произвольно распространенного потока наблюдений параметров КФС, поступающих в реальном времени, к РИВС и выполнения предиктивного анализа в приведенных к РИВС значениях выходных параметров КФС, причем высокое качество включает, в частности, высокую точность предсказания значений одного или нескольких выходных параметров КФС на длительном периоде времени.

На Фиг. 9а-9г представлены примеры потока наблюдений параметров КФС.

Здесь и далее по оси абсцисс отложено время процессинга (T^p), по оси ординат - время данных (T^d). РИВС определяется во времени данных и, соответственно, на оси ординат также отложены метки времени соответствующих им узлов РИВС (t₁, t₂ и т.д.). На графиках круги разных оттенков соответствуют наблюдениям разных параметров КФС. На Фиг. 9а представлен пример идеального потока наблюдений параметров КФС. Такой поток характеризуется следующими условиями:

а) значения всех параметров КФС измеряются на объекте мониторинга одновременно;

б) значения параметров КФС измеряются точно в узлах РИВС, то есть время данных точно соответствует метке времени узла РИВС;

в) значения параметров КФС измеряются в каждом узле РИВС;

г) значения параметров КФС, взятые на объекте мониторинга одновременно, доставляются на потоковый процессор 400 вместе (одним пакетом наблюдений);

д) задержка доставки (англ. delay) каждого пакета наблюдений параметров КФС от объекта мониторинга на потоковый процессор 400 одна и та же, а скорость хода времени данных относительно времени процессинга является постоянной. Задержка доставки может быть измерена как интервал времени между временем данных и временем процессинга.

Стоит отметить, что в реальных КФС идеальный поток, представленный на Фиг. 9а, практически не возможен. С этим связана заявленная техническая проблема. Практически всегда в мониторинг и обработку потока телеметрии вовлечены сети передачи данных и многокомпонентные системы, в том числе СУТД 110, в которых не может быть гарантировано отсутствие задержки доставки (условие д) из-за технических ограничений. Другие условия (а-г) на разных объектах не соблюдаются в разных сочетаниях.

На Фиг. 9б показан пример нарушения потока вследствие вариации (англ. jitter) задержки прибытия наблюдений параметров КФС. Например, в моменты времени данных t1 и t2, наблюдение первого параметра КФС (круг темного оттенка) относительно времени данных пришло первым среди наблюдений всех четырех параметров КФС, в то время как в момент времени данных t3, наблюдение первого параметра КФС пришло последним (задержка увеличилась), а в момент времени данных t4 - вторым (задержка снизилась). Аналогичная ситуация с наблюдениями других параметров КФС. Кроме того, скорость хода времени данных относительно времени процессинга также варьируется.

На Фиг. 9в показан пример потока, в котором значения параметров КФС измеряются не в узлах РИВС, а вариация задержки прибытия наблюдений параметров КФС отсутствует - то есть интервал времени между временем данных и временем процессинга для наблюдений параметров КФС остается постоянным, причем скорость хода времени данных относительно времени процессинга также остается постоянной.

На Фиг. 9г показан пример реалистичного потока, в котором не выполняется ни одно из условий идеального потока.

Кроме примеров на Фиг. 9б-9г, связанных с нарушением потока данных, в потоке данных также может искажаться скорость хода времени данных относительно времени процессинга. На Фиг. 10а-10г представлены примеры изменения времени данных наблюдений параметров КФС в потоке. Обозначения аналогичны обозначениям на Фиг. 9а-9г. Линия иллюстрирует ход времени данных относительно времени процессинга. Под ходом времени данных понимается время, соответствующее текущему головному узлу РИВС, к которому относят большинство наблюдений параметров КФС, поступивших в текущий момент времени процессинга или непосредственно перед ним. Соответственно, изменение (продвижение в будущее) головного узла РИВС отражает ход времени данных во времени процессинга.

На Фиг. 10а показан пример флуктуации скорости хода времени данных относительно времени процессинга, вызванной вариациями нагрузки на различные системы, обрабатывающие движение потока наблюдений параметров КФС от объекта мониторинга к потоковому процессору 400. На Фиг. 10б показан пример, в котором поток данных прерывается (например, произошло временное отключение сети), после чего объект мониторинга быстро досылает накопившиеся наблюдения параметров КФС и возвращается к регулярной отправке телеметрии. На Фиг. 10в время данных расщеплено на три потока вследствие того, что измерения значений параметров КФС на объекте мониторинга производятся с участием трех разных часов. Наблюдения параметров КФС одного потока (одного набора параметров КФС) отстают от наблюдений параметров КФС другого потока (другого набора параметров КФС) на постоянный интервал во времени данных, а наблюдения параметров КФС третьего потока (третьего набора параметров КФС) уходят в будущее, затем время данных этого потока корректируется, и далее процесс повторяется.

Наконец, на Фиг. 10г показана, казалось бы, невозможная ситуация — скачок времени данных в будущее. Тем не менее, это вполне реалистичный сценарий: такое может произойти, когда источник телеметрии воспроизводит заранее записанный поток, который по каким-то причинам не мог быть передан принимающей стороне (детектору аномалий 200 или предиктивному анализатору 300) в реальном времени, тем не менее задача обнаружения аномалий в нём или выполнения предиктивного анализа актуальна. Запись потока содержит длительные паузы (например, соответствующие интервалам отключения оборудования) и для ускорения процесса источник телеметрии сокращает эти паузы до некоторого минимального значения во времени процессинга.

Таким образом, Фиг. 9б-9г, Фиг. 10а-10г показывают примеры искажения потока наблюдений параметров КФС и настоящее изобретение позволяет привести произвольно-распределенный поток наблюдений параметров КФС (в т. ч. как на указанных примерах), поступающих в реальном времени, к РИВС, пример которого представлен на Фиг. 9а, таким образом решив заявленную техническую задачу.

На Фиг. 11 представлен пример значений параметров КФС, указывающих на инциденты в данных.

Следует отметить, что время данных представляет собой показания часов, идущих на компьютерах объекта мониторинга (например КФС), которые не обязательно синхронизированы с истинным физическим временем. Вполне может оказаться, что время данных отдельных наблюдений параметров КФС не соответствует истинному времени создания этих наблюдений параметров КФС в силу различных задержек и неточностей, которые могут возникнуть в компьютерной системе, занимающейся формированием наблюдений параметров КФС на стороне объекта мониторинга. В общем случае разница между временем данных и истинным временем наблюдаемого процесса может варьироваться случайным образом. В некоторых случаях потоковый процессор 400 может определить некорректность хода часов источника, например, когда наблюдение параметра КФС было получено со временем данных из будущего относительно времени данных основного объема, получаемых в данный момент времени процессинга наблюдений параметров КФС. Такие наблюдения могут быть помечены как ранние (англ. early), и вычислитель 430 на этапе 508 может не вычислять значения тех выходных параметров КФС, которые зависят от входных параметров КФС в указанных ранних наблюдениях. В то же время при получении таких ранних наблюдений параметров КФС будет создан инцидент «сбой часов источника», потому что время данных таких наблюдений параметров КФС не может быть корректным. Причины возникновения таких инцидентов не всегда могут быть купированы автоматически и требуют расследования специалистом.

С другой стороны, появление (или увеличение частоты появления) опоздавших наблюдений параметров КФС (англ. late), чье время данных существенно отстает от времени данных основного объема получаемых в данный момент наблюдений параметров КФС, не обязательно является признаком отставания часов объекта мониторинга от истинного времени. Увеличение задержки доставки наблюдений параметров КФС может объясняться множеством других причин, связанных с функционированием промежуточных агентов. Для снижения числа опоздавших наблюдений параметров КФС в потоковом процессоре 400 может быть настроена автоматическая перекалибровка накопителя 420 (переопределение свойств потока 411, параметров Ds, Dt), активируемая, если частота опоздавших значений параметров КФС превысит заданный порог. Если перекалибровка не окажет эффекта, может потребоваться расследование ситуации специалистом. Калибровка накопителя 420 осуществляется таким образом, чтобы выходной поток наблюдений (значения выходных параметров КФС в узлах РИВС) формировался с минимальной задержкой относительно потока (то есть входного потока), но при этом чтобы все наблюдения параметров КФС, за исключением отстающих или ранних (то есть являющихся инцидентом), классифицировались как пришедшие вовремя (англ. on time) и передавались вычислителю 430. Это позволить решить указанную техническую проблему и достичь заявленных технических результатов.

В остальных случаях, т.е. когда наблюдения параметров КФС не могут быть квалифицированы как ранние или опоздавшие, потоковый процессор 400 и потребители данных (детекторы аномалий 200, предиктивные анализаторы 300) могут считать, что время данных соответствует истинному физическому времени процесса, наблюдаемого на объекте мониторинга.

На Фиг. 12 представлен пример работы потокового процессора на примере плотного потока наблюдений параметров КФС.

Текущий момент времени процессинга показан вертикальной линией. Потоковый процессор 400, будучи вызван в этот момент по факту прибытия одного из наблюдений параметров КФС, относящихся к узлу 7, решает признать узел 7 головным узлом РИВС. Вследствие этого с учетом того, что Ds = 3, выгрузке по потоку подлежит узел 4. Поскольку последним выгруженным узлом РИВС является узел 2, то фактически будут выгружены узлы 3 и 4. Узлы 5, 6 и головной узел РИВС 7 продолжат накопление наблюдений параметров КФС.

Прямоугольные рамки для каждого узла РИВС соответствуют времени накопления наблюдений параметров КФС по часам данных (высота вертикальной стороны рамки) и по часам процессинга (длина горизонтальной стороны рамки). По вертикали время накопления соответствует ячейке узла РИВС, а по горизонтали представляет собой интервал между прибытием на процессор первого наблюдения параметра КФС, относящегося к данному узлу, и моментом выгрузки узла.

По факту признания головного узла РИВС 7 также устанавливается момент выгрузки этого узла по таймауту, который расположен в будущем на расстоянии Dt от текущего момента во времени процессинга. Этот момент добавляется в очередь выгрузки по таймаутам - список узлов РИВС и соответствующих им моментов времени процессинга, когда соответствующий узел должен быть выгружен по таймауту. В данном примере в очереди выгрузки по таймаутам уже находятся узлы 5 и 6. Как именно будут выгружены узлы 5–7, по потоку или по таймауту, потоковому процессору 400 в настоящий момент неизвестно (они будут выгружены в момент времени процессинга, когда выполнится тот или иной критерий выгрузки); соответствующие рамки показаны пунктиром.

Что касается ранее выгруженных узлов, то из Фиг. 12 видно, что они были выгружены по потоку: например, узел 2 был выгружен в момент признания головным узла РИВС 5. Формально узлы 1-4 всё еще находятся в очереди отгрузки по таймаутам, но эти элементы будут удалены из очереди по мере продвижения времени процессинга.

На Фиг. 13 представлен пример работы потокового процессора на примере разреженного потока наблюдений параметров КФС.

В данном примере поток данных разрежен. В текущий момент времени процессинга потоковый процессор 400 был вызван по времени. Рекомендованное время вызова потокового процессора 400 было установлено ранее в момент признания узла 2 головным узлом РИВС как время, когда узел 2 должен быть выгружен по таймауту Dt. Фактически СУТД 110 выполнила вызов потокового процессора 400 несколько позже назначенного времени, что вполне допустимо.

В момент вызова накопитель 420 обнаруживает, что никакие новые наблюдения параметров КФС не получены и, следовательно, узел 2 остается головным узлом РИВС. Дистанция выгрузки по потоку Ds равна 2, т.е. выгрузке по потоку подлежит узел 0, который давно выгружен, поскольку последний выгруженный узел L = 1. Инспектируя очередь на выгрузку по таймауту, накопитель 420 находит в ней единственный узел 2; время его выгрузки уже наступило, но он еще не был выгружен. Таким образом, в результате вызова потокового процессора 400 в текущий момент будет произведена выгрузка узла 2.

Видно, что в разреженном потоке решение о выгрузке узла по таймауту систематически принимается раньше, чем было бы принято решение о выгрузке того же узла по потоку. Если бы узел 2 выгружался по потоку, то этого события пришлось бы ждать до момента признания узла 4 головным узлом РИВС.

На Фиг. 14 представлена компьютерная система, на которой могут быть реализованы различные варианты систем и способов, раскрытых в настоящем описании. Компьютерная система 20 может представлять собой систему, сконфигурированную для реализации настоящего изобретения и может быть представлена в виде одного вычислительного устройства или в виде нескольких вычислительных устройств, например, настольного компьютера, портативного компьютера, ноутбука, сервера, мейнфрейма, встраиваемого устройства и других форм вычислительных устройств.

Как показано на Фиг. 14, компьютерная система 20 включает в себя: центральный процессор 21, системную память 22 и системную шину 23, которая связывает разные системные компоненты, в том числе память, связанную с центральным процессором 21. Системная шина 23 реализована, как любая известная из уровня техники шинная структура, содержащая в свою очередь память шины или контроллер памяти шины, периферийную шину и локальную шину, способную взаимодействовать с любой другой шинной архитектурой. Примерами шин являются: PCI, ISA, PCI-Express, HyperTransport™, InfiniBand™, Serial ATA, I2C и другие подходящие соединения между компонентами компьютерной системы 20. Центральный процессор 21 содержит один или несколько процессоров, имеющих одно или несколько ядер. Центральный процессор 21 исполняет один или несколько наборов машиночитаемых инструкций, реализующих способы, представленные в настоящем документе. Системная память 22 может быть любой памятью для хранения данных и/или компьютерных программ, исполняемых центральным процессором 21. Системная память может содержать как постоянное запоминающее устройство (ПЗУ) 24, так и память с произвольным доступом (ОЗУ) 25. Основная система ввода/вывода (BIOS) 26, содержит основные процедуры, которые обеспечивают передачу информации между элементами компьютерной системы 20, например, в момент загрузки операционной системы с использованием ПЗУ 24.

Компьютерная система 20 включает в себя одно или несколько устройств хранения данных, таких как одно или несколько извлекаемых запоминающих устройств 27, одно или несколько неизвлекаемых запоминающих устройств 28, или комбинации извлекаемых и неизвлекаемых устройств. Одно или несколько извлекаемых запоминающих устройств 27 и/или неизвлекаемых запоминающих устройств 28 подключены к системной шине 23 через интерфейс 32. В одном из вариантов реализации извлекаемые запоминающие устройства 27 и соответствующие машиночитаемые носители информации представляют собой энергонезависимые модули для хранения компьютерных инструкций, структур данных, программных модулей и других данных компьютерной системы 20. Системная память 22, извлекаемые запоминающие устройства 27 и неизвлекаемые запоминающие устройства 28 могут использовать различные машиночитаемые носители информации. Примеры машиночитаемых носителей информации включают в себя машинную память, такую как кэш-память, SRAM, DRAM, ОЗУ не требующую конденсатора (Z-RAM), тиристорную память (T-RAM), eDRAM, EDO RAM, DDR RAM, EEPROM, NRAM, RRAM, SONOS, PRAM; флэш-память или другие технологии памяти, такие как твердотельные накопители (SSD) или флэш-накопители; магнитные кассеты, магнитные ленты и магнитные диски, такие как жесткие диски или дискеты; оптические носители, такие как компакт-диски (CD-ROM) или цифровые универсальные диски (DVD); и любые другие носители, которые могут быть использованы для хранения нужных данных и к которым может получить доступ компьютерная система 20.

Системная память 22, извлекаемые запоминающие устройства 27 и неизвлекаемые запоминающие устройства 28, содержащиеся в компьютерной системе 20 используются для хранения операционной системы 35, приложений 37, других программных модулей 38 и программных данных 39. Компьютерная система 20 включает в себя периферийный интерфейс 46 для передачи данных от устройств ввода 40, таких как клавиатура, мышь, стилус, игровой контроллер, устройство голосового ввода, устройство сенсорного ввода, или других периферийных устройств, таких как принтер или сканер через один или несколько портов ввода/вывода, таких как последовательный порт, параллельный порт, универсальная последовательная шина (USB) или другой периферийный интерфейс. Устройство отображения 47, такое как один или несколько мониторов, проекторов или встроенных дисплеев, также подключено к системной шине 23 через выходной интерфейс 48, такой как видеоадаптер. Помимо устройств отображения 47, компьютерная система 20 оснащена другими периферийными устройствами вывода (на Фиг. 14 не показаны), такими как динамики и другие аудиовизуальные устройства.

Компьютерная система 20 может работать в сетевом окружении, используя сетевое соединение с одним или несколькими удаленными компьютерами 49. Удаленный компьютер (или компьютеры) 49 является рабочим персональным компьютером или сервером, который содержит большинство или все упомянутые компоненты, отмеченные ранее при описании сущности компьютерной системы 20, представленной на Фиг. 14. В сетевом окружении также могут присутствовать и другие устройства, например, маршрутизаторы, сетевые станции или другие сетевые узлы. Компьютерная система 20 может включать один или несколько сетевых интерфейсов 51 или сетевых адаптеров для связи с удаленными компьютерами 49 через одну или несколько сетей, таких как локальная компьютерная сеть (LAN) 50, глобальная компьютерная сеть (WAN), интранет и Интернет. Примерами сетевого интерфейса 51 являются интерфейс Ethernet, интерфейс Frame Relay, интерфейс SONET и беспроводные интерфейсы.

Варианты раскрытия настоящего изобретения могут представлять собой систему, способ, или машиночитаемый носитель (или носитель) информации.

Машиночитаемый носитель информации является осязаемым устройством, которое сохраняет и хранит программный код в форме машиночитаемых инструкций или структур данных, к которым имеет доступ центральный процессор 21 компьютерной системы 20. Машиночитаемый носитель может быть электронным, магнитным, оптическим, электромагнитным, полупроводниковым запоминающим устройством или любой подходящей их комбинацией. В качестве примера, такой машиночитаемый носитель информации может включать в себя память с произвольным доступом (RAM), память только для чтения (ROM), EEPROM, портативный компакт-диск с памятью только для чтения (CD-ROM), цифровой универсальный диск (DVD), флэш-память, жесткий диск, портативную компьютерную дискету, карту памяти, дискету или даже механически закодированное устройство, такое как перфокарты или рельефные структуры с записанными на них инструкциями.

Система и способ настоящего изобретения, могут быть рассмотрены в терминах средств. Термин «средство», используемый в настоящем документе, относится к реальному устройству, компоненту или группе компонентов, реализованных с помощью аппаратного обеспечения, например, с помощью интегральной схемы, специфичной для конкретного приложения (ASIC) или FPGA, или в виде комбинации аппаратного и программного обеспечения, например, с помощью микропроцессорной системы и набора машиночитаемых инструкций для реализации функциональности средства, которые (в процессе выполнения) превращают микропроцессорную систему в устройство специального назначения. Средство также может быть реализовано в виде комбинации этих двух компонентов, при этом некоторые функции могут быть реализованы только аппаратным обеспечением, а другие функции - комбинацией аппаратного и программного обеспечения. В некоторых вариантах реализации, по крайней мере, часть, а в некоторых случаях и все средство может быть выполнено на центральном процессоре 21 компьютерной системы 20. Соответственно, каждое средство может быть реализовано в различных подходящих конфигурациях и не должно ограничиваться каким-либо конкретным вариантом реализации, приведенным в настоящем документе.

В заключение следует отметить, что приведенные в описании сведения являются примерами, которые не ограничивают объем настоящего изобретения, определенного формулой. Специалисту в данной области становится понятным, что при разработке любого реального варианта осуществления настоящего изобретения необходимо принять множество решений, специфических для конкретного варианта осуществления, для достижения конкретных целей, и эти конкретные цели будут разными для разных вариантов осуществления. Понятно, что такие усилия по разработке могут быть сложными и трудоемкими, но, тем не менее, они будут обычной инженерной задачей для тех, кто обладает обычными навыками в данной области, пользуясь настоящим раскрытием изобретения.

Изобретение относится к области вычислительной техники для информационной безопасности. Технический результат заключается в приведении произвольно распределенного потока наблюдений параметров киберфизической системы (КФС), поступающих в реальном времени, к равно-интервальной временной сетке (РИВС) и в снижении времени приведения произвольно распределенного потока наблюдений параметров КФС, поступающих в реальном времени, к РИВС. Технический результат достигается за счёт того, что получают в реальном времени произвольно распределенный поток наблюдений параметров КФС; при выполнении условий вызова проверяют при помощи критерия выгрузки возможность выгрузки узла РИВС, причем критерий выгрузки проверяется с учетом свойств потока наблюдений параметров КФС из набора входных параметров КФС; при выполнении критерия выгрузки выгружают узел РИВС, для которого выполняется указанный критерий выгрузки; в каждом выгруженном узле РИВС для каждого выходного параметра КФС из набора выходных параметров КФС вычисляют его значение на основании упомянутого выгруженного узла РИВС, причем каждый выходной параметр КФС связан с входным параметром КФС; выявляют аномалию в КФС в приведенных к РИВС значениях выходных параметров КФС с использованием детектора аномалий. 19 з.п. ф-лы, 14 ил.

1. Реализуемый компьютером способ выявления аномалий в киберфизической системе (далее - КФС) в реальном времени, включающий этапы, на которых:

а) получают в реальном времени произвольно распределенный поток наблюдений параметров КФС, при этом каждое полученное наблюдение параметра КФС накапливают и относят к узлу равно-интервальной временной сетки (далее - РИВС) в соответствии со временем данных указанного наблюдения, а также для каждого полученного наблюдения параметра КФС проверяют по меньшей мере один критерий признания нового головного узла РИВС и в случае его выполнения признают узел РИВС, соответствующий времени данных указанного наблюдения параметра КФС, головным узлом РИВС;

б) при выполнении по меньшей мере одного из условий вызова проверяют при помощи по меньшей мере одного критерия выгрузки возможность выгрузки по меньшей мере одного узла РИВС, причем критерий выгрузки проверяется с учетом свойств потока наблюдений параметров КФС из набора входных параметров КФС, где наблюдению параметра КФС соответствует значение параметра КФС и время данных;

в) при выполнении по меньшей мере одного критерия выгрузки выгружают по меньшей мере один узел РИВС, для которого выполняется указанный по меньшей мере один критерий выгрузки;

г) в каждом выгруженном узле РИВС для каждого выходного параметра КФС из набора выходных параметров КФС вычисляют его значение на основании упомянутого выгруженного узла РИВС, причем каждый выходной параметр КФС связан с по меньшей мере одним из входных параметров КФС, в частности совпадает с одним из входных параметров КФС или является производным от по меньшей мере одного из входных параметров КФС;

д) выявляют по меньшей мере одну аномалию в КФС в приведенных к РИВС значениях выходных параметров КФС с использованием по меньшей мере одного детектора аномалий.

2. Способ по п. 1, в котором условия вызова включают по меньшей мере одно из следующих:

а) из потока получено по меньшей мере одно новое наблюдение параметра КФС;

б) наступил один из предварительно заданных моментов времени.

3. Способ по п. 1, в котором с использованием по меньшей мере одного детектора аномалий реализуют по меньшей мере один из следующих способов выявления аномалий:

• способ, согласно которому выявляют аномалию в случае превышения общей ошибкой прогноза порогового значения, при этом предварительно выполняют прогнозирование значений выходных параметров КФС и последующее определение общей ошибки прогноза для выходных параметров КФС;

• способ, согласно которому выявляют аномалию путем применения модели машинного обучения к значениям выходных параметров КФС;

• способ, согласно которому выявляют аномалию при выполнении правила выявления аномалий;

• способ, согласно которому выявляют аномалию на основании сравнения значений выходных параметров КФС с предельными значениями установленных диапазонов значений для выходных параметров КФС;

• ансамблирование результатов работы по меньшей мере одного из указанных выше способов.

4. Способ по п. 1, в котором свойства потока включают по меньшей мере одно из следующих: дистанцию выгрузки по потоку, таймаут.

5. Способ по п. 4, в котором критерий выгрузки является по меньшей мере одним из следующих:

а) выгрузка по потоку;

б) выгрузка по таймауту.

6. Способ по п. 5, в котором в случае, если проверяют возможность выгрузки по меньшей мере двух узлов РИВС и если критерий выгрузки по потоку выполняется для одного узла РИВС, а критерий выгрузки по таймауту выполняется для другого узла РИВС, тогда выбирают тот из указанных узлов РИВС, у которого метка времени больше.

7. Способ по п. 1, в котором дополнительно выгружают один или несколько других узлов РИВС, последовательно предшествующих тому узлу РИВС, который удовлетворяет критерию выгрузки.

8. Способ по п. 1, в котором в случае, если к выгруженному узлу РИВС относится наблюдение по меньшей мере одного параметра КФС, также выгружают указанное по меньшей мере одно наблюдение параметра КФС.

9. Способ по п. 8, в котором в случае, если к узлу РИВС относится по меньшей мере одно наблюдение входного параметра КФС, связанного с выходным параметром КФС, то его учитывают при вычислении значения выходного параметра КФС.

10. Способ по п. 9, дополнительно включающий этапы, предварительно выполняемые при условии поступления по меньшей мере одного нового наблюдения параметра КФС из потока, согласно которым каждое полученное наблюдение параметра КФС накапливают и относят к узлу РИВС в соответствии со временем данных указанного наблюдения, а также для каждого полученного наблюдения параметра КФС проверяют по меньшей мере один критерий признания нового головного узла РИВС и в случае его выполнения признают узел РИВС, соответствующий времени данных указанного наблюдения параметра КФС, головным узлом РИВС.

11. Способ по п. 10, в котором критерий признания нового головного узла РИВС является одним из:

а) критерия признания по представительству;

б) критерия признания по соразмерности интервала;

в) критерия признания в состоянии полной остановки потока.

12. Способ по п. 10, в котором дополнительно формируют инцидент в случае выполнения по меньшей мере одного из условий формирования инцидента.

13. Способ по п. 12, в котором условия формирования инцидента включают следующие: для инцидента «опоздавшее наблюдение»: время данных наблюдения параметра КФС соответствует ранее выгруженному узлу РИВС; для инцидента «сбой часов источника»: время данных наблюдения параметра КФС опережает метку времени головного узла РИВС на заданный интервал времени; для инцидента «потеря потока»: в случае прекращения поступления наблюдений параметра КФС в течение определенного времени, заданного для параметра КФС, причем к значению выходного параметра КФС дополнительно добавляют информацию об инциденте.

14. Способ по п. 13, дополнительно включающий этапы, на которых переопределяют свойства потока в случае, если частота возникновения инцидентов «опоздавшее наблюдение» или «сбой часов источника» превышает установленный порог.

15. Способ по п. 9, в котором, если набор входных параметров КФС совпадает с набором выходных параметров КФС, то в каждом из выгруженных узлов РИВС вычисляют значение для каждого параметра КФС из набора выходных параметров КФС в зависимости от количества отнесенных к узлу РИВС наблюдений соответствующего входного параметра КФС, причем, если в указанном узле РИВС для входного параметра КФС накоплено одно или несколько наблюдений, выполняют агрегацию на основе накопленных наблюдений входного параметра КФС в указанном узле РИВС.

16. Способ по п. 1, в котором, если набор входных параметров КФС совпадает с набором выходных параметров КФС и если в выгруженном узле РИВС для параметра КФС не накоплено ни одного из наблюдений, выполняют импутацию отсутствующего значения параметра КФС на основе наблюдений параметра КФС для более ранних узлов РИВС.

17. Способ по п. 9, в котором вычисляют значение выходного параметра КФС в узле РИВС согласно зависимости от связанных с ним параметров КФС, причем вычисляют значения для каждого параметра КФС в зависимости от количества отнесенных к узлу РИВС наблюдений указанного параметра КФС, причем, если в указанном узле РИВС для указанного параметра КФС накоплено одно или несколько наблюдений, выполняют агрегацию на основе накопленных наблюдений параметра КФС в указанном узле РИВС или в более ранних узлах РИВС или в указанном узле РИВС и более ранних узлах РИВС.

18. Способ по п. 1, в котором вычисляют значение выходного параметра КФС в узле РИВС согласно зависимости от связанных с ним параметров КФС, причем, если в выгруженном узле РИВС для по меньшей мере одного связанного параметра КФС не накоплено ни одного из наблюдений, выполняют импутацию отсутствующего значения указанного параметра КФС на основе наблюдений указанного параметра КФС для более ранних узлов РИВС или на основе ранее вычисленных значений указанного параметра КФС для более ранних узлов РИВС или на основе комбинации из наблюдений указанного параметра КФС и ранее вычисленных значений указанного параметра КФС для более ранних узлов РИВС.

19. Способ по п. 9, в котором вычисляют значение выходного параметра КФС в узле РИВС дополнительно на основе значений других выходных или других входных параметров КФС, связанных с указанным выходным параметром КФС.

20. Способ по п. 1, дополнительно включающий этапы, на которых определяют свойства потока в случае начала поступления потока или возобновления поступления потока после прерывания.