Способ определения дублирующихся пакетов в потоке сетевого трафика Российский патент 2023 года по МПК H04L47/10 H04L47/32 

Изобретение относится к области построения систем мониторинга и анализа сетей передачи данных и может быть использовано в устройствах предварительной обработки пакетов данных для систем глубокого анализа сетевого трафика, поддерживающих стек протоколов TCP/IP.

Наиболее близким аналогом к предложенному способу является способ дедупликации трафика, описанный в патенте US 10091075 В2 (кл. H04L 12.26, 02.10.2018). Известный способ включает приём входного потока пакетов через входной интерфейс, передачу его в блок анализа пакета, в котором выполняется выделение из пакета Ethernet, IP и TCP/UDP-заголовков и формирование на их основе дескриптора, сохранение пакетов в пакетном буфере, а дескрипторов – в буфере дескрипторов.

Недостатком известного способа является невозможность игнорировать отдельные поля Ethernet, IP и TCP/UDP-заголовков, такие как MAC-адреса, VLAN, Traffic class, IP checksum, TTL, которые могут изменяться в процессе прохождения пакета через сеть.

Техническая проблема, решаемая заявленным изобретением, заключается в повышении производительности систем глубокого анализа сетевого трафика за счет снижения нагрузки путем исключения дублирующихся пакетов.

Технический результат заключается в снижении нагрузки на системы глубокого анализа благодаря снижению времени, затрачиваемого для анализа пакета данных, а также повышению точности определения дубликатов пакетов данных, в том числе с изменяющимися полями заголовков в Ethernet, IP, TCP/UDP-пакетах.

Технический результат достигается тем, что в заявленном способе определения дублирующихся пакетов в потоке сетевого трафика принимают входной поток пакетов через входной интерфейс, передают его в блок анализа пакета, в котором выполняется выделение из пакета Ethernet, IP и TCP/UDP-заголовков и формируют на их основе дескриптор, сохраняют пакеты в пакетном буфере, а дескрипторы – в буфере дескрипторов, по предложению

через несвязанный с сетью конфигурационный интерфейс в блоке поиска дубликатов задается LIMIT_T и остается неизменным до тех пор, пока оно не будет изменено оператором,

в блоке анализа пакета регистрируется время получения пакета,

из буфера дескрипторов дескрипторы передаются в блок расчета HASH,

в блоке расчета HASH на основе полей заголовков пакета, включающих IP-адрес получателя, IP-адрес отправителя, IP DSCP, идентификатор пакета IP ID, смещение фрагмента IP OFFSET, код протокола L4, TCP/UDP-порт получателя, TCP/UDP-порт отправителя, порядковый номер пакета в TCP, рассчитывается HASH-сумма по алгоритму счетчика с аутентификацией Галуа;

далее дескриптор с рассчитанной HASH-суммой поступает в блок поиска дубликатов, который загружает дескриптор из RAM-памяти по адресу, равному значению HASH-суммы дескриптора поступившего пакета, после чего сравниваются параметры пакетов из дескрипторов, определяется разность времени (ΔТ) из дескриптора анализируемого пакета и дескриптора, загруженного из RAM-памяти,

если в блоке поиска дубликатов определяется, что параметры анализируемого пакета из дескриптора не совпадают с параметрами пакета из дескриптора, хранящегося в RAM-памяти вне зависимости от значения разности времени ΔТ, то происходит перезапись информации о пакете в RAM-память, блоку удаления пакетов передается команда на передачу пакета из пакетного буфера в выходной интерфейс, а блоку анализа пакета – команда на прием нового пакета из входного интерфейса,

если в блоке поиска дубликатов определяется, что параметры анализируемого пакета из дескриптора совпадают с параметрами пакета из дескриптора, хранящегося в RAM-памяти, и разность времени ΔТ больше или равна заданному времени LIMIT_T, то происходит перезапись параметров пакета в RAM-памяти, блоку удаления пакетов передается команда на передачу пакета из пакетного буфера в выходной интерфейс, а блоку анализа пакета – команда на прием нового пакета из входного интерфейса,

если блоке поиска дубликатов определяется, что параметры анализируемого пакета из дескриптора совпадают с параметрами пакета из дескриптора, хранящегося в RAM-памяти, и разность времени ΔТ меньше заданного времени LIMIT_T, то блоку удаления пакетов передается команда на удаление пакета из пакетного буфера, а блоку анализа пакета – команда на прием нового пакета из входного интерфейса.

Максимальное значение времени, в течение которого пакеты с одинаковым значением дескрипторов считаются дубликатами, LIMIT_T находится в диапазоне от 10 мс до 30 с. LIMIT_T задается оператором через несвязанный с сетью конфигурационный интерфейс в блоке поиска дубликатов и остается неизменным до тех пор, пока оно не будет изменено оператором.

Заявленное изобретение поясняется следующими графическими материалами:

фиг. 1 - схема, иллюстрирующая функциональные блоки, участвующие в определении дублирующихся пакетов в потоке сетевого трафика,

фиг. 2 - блок-схема определения дублирующихся пакетов в потоке сетевого трафика,

фиг. 3 - схема, иллюстрирующая структуру хранения информации о пакете в дескрипторе и RAM-памяти.

Система определения дублирующихся пакетов в потоке сетевого трафика (фиг. 1) содержит входной интерфейс (101), блок анализа пакета (102), пакетный буфер (103), буфер дескрипторов (104), блок расчета HASH (105), блок поиска дубликатов (106), блок RAM-памяти (107), блок удаления пакетов (108), выходной интерфейс (109).

Входной интерфейс (101) выполняет прием сетевого пакета, проверку на соответствие требованиям протокола Ethernet (преамбула, начало пакета, контрольная сумма).

Блок анализа пакета (102) выполняет выделение сетевых заголовков из принятого пакета: Ethernet, IP и TCP/UDP-заголовков, регистрацию времени приема пакета и формирование на основе указанных данных специального информационного блока – дескриптора.

Пакетный буфер (103) – блок хранения, в котором на время обработки дескриптора пакета в блоке расчета HASH (105) и блоке поиска дубликатов (106) сохраняется весь пакет.

Буфер дескрипторов (104) – временное хранилище, где хранятся дескрипторы на время ожидания обработки.

Блок расчета HASH (105) – блок, в котором из дескриптора выделяются поля: IP-адрес получателя, IP-адрес отправителя, код протокола L4, TCP/UDP-порт получателя, TCP/UDP-порт отправителя и на основе этих полей формируется последовательность байт (вектор байт), по которым рассчитывается HASH-сумма по алгоритму счетчика с аутентификацией Галуа (метод расчета HASH-суммы). Это необходимо для того, чтобы дескриптор длиной 13 байт уменьшить до 4 байт и облегчить поиск дескриптора в RAM-памяти (107) по ключу, являющемуся HASH-суммой.

Блок поиска дубликатов (106) – блок, в котором производится сравнение информации о пакетах: хранящемся в RAM-памяти (107) и полученным пакетом. Извлечение из RAM-памяти (107) хранящегося там дескриптора производится по значению адреса, который равен значению HASH-суммы, полученной в блоке расчета HASH (105). В блоке поиска дубликатов (106) производится сравнение параметров пакетов и проверка значения разности штампов времени по полю «TIME» дескриптора, хранящегося в RAM-памяти (107) с дескриптором полученного пакета.

Блок RAM-памяти (107) – блок, являющийся оперативной памятью. Адрес памяти равен значению HASH-суммы. В каждой ячейке памяти хранится информация о пакетах, включающих в себя: IP-адрес получателя, IP-адрес отправителя, IP DSCP, идентификатор пакета IP ID, смещение фрагмента IP OFFSET, код протокола L4, TCP/UDP-порт получателя, TCP/UDP-порт отправителя, порядковый номер пакета в TCP (TCP SEQ) и время приема пакета (TIME). Код протокола L4 – код протокола транспортного уровня, определяющий TCP или UDP протокол.

Блок удаления пакетов (108) – блок, который пропускает или не пропускает (удаляет) пакет.

Выходной интерфейс (109) – выполняет передачу сетевого пакета в сеть.

Вышеуказанные блоки: блок анализа пакета (102), буфер дескрипторов (104), блок расчета HASH (105), блок поиска дубликатов (106) могут быть реализованы или выполнены на базе перепрограммируемой логической интегральной схемы (ПЛИС) или сверхбольшой интегральной схемы (СБИС). Также эти блоки могут быть реализованы конечным автоматом и несколькими регистрами с соответствующей внутренней логикой и реализуется автоматически, например, из представленного сетевого протокола они управляются микрокодом, хранящимся в встроенной памяти.

LIMIT_T – максимальное значение времени, загружаемого оператором, в течение которого пакеты с одинаковым значением дескрипторов считаются дубликатами. LIMIT_T находится в интервале от 10 мс до 30 с.

Вышеуказанные блоки, схемы/алгоритмы обработки также могут быть выполнены с помощью элемента памяти, который записывает обрабатываемые данные, и процессора обработки, в качестве которого могут применяться процессор общего назначения, конечный автомат или другое аппаратно-программируемое логическое устройство, дискретный логический элемент или транзисторная логика, дискретный компонент аппаратных средств или любого их сочетания, чтобы выполнять описанные выше функции. ПЛИС или СБИС может быть запрограммирована для выполнения предложенного способа и размещена в любом месте компьютерной сети центра обработки данных или брокерах сетевых пакетов (NPB).

Заявленный способ определения дублирующихся пакетов в потоке сетевого трафика осуществляется следующим образом.

Оператором через несвязанный с сетью конфигурационный интерфейс задаётся максимальное значение времени, в течение которого пакеты с одинаковым значением дескрипторов считаются дубликатами (LIMIT_T). LIMIT_T остается неизменным для всех передаваемых пакетов до тех пор, пока оно не будет изменено оператором.

Входной поток пакетов (фиг. 1, фиг. 2) принимается последовательно через входной интерфейс (101), включающий функции преобразования из электрического сигнала в набор последовательных цифровых значений и выполняющий проверку на соответствие требованием протокола Ethernet.

Затем пакеты передаются в блок анализа пакета (102), в котором выполняется выделение из каждого пакета Ethernet, IP и TCP/UDP-заголовков и регистрируется время приема пакета. Затем происходит формирование дескриптора.

При этом дескриптор сохраняется в буфер дескрипторов (104), а пакет сохраняется в пакетный буфер (103). При этом в пакетном буфере (103) (фиг. 3) начинается загрузка пакета данных в полном объеме и поскольку размер его намного больше, чем размер дескриптора, то время, затрачиваемое на его загрузку в пакетный буфер, как правило больше или равно времени, затрачиваемого на обработку дескриптора.

Дескриптор передаётся в блок расчета HASH (105) (фиг. 1), в котором на основе полей заголовков пакета (IP-адресов, IP идентификаторов, кода протокола L4, TCP/UDP-портов получателя и отправителя) рассчитывается HASH-сумма по алгоритму счетчика с аутентификацией Галуа. Код протокола L4 указывает номер протокола в поле «Протокол» заголовка пакета (данные какого протокола содержит пакет, например, TCP, UDP).

Счётчик с аутентификацией Галуа является разновидностью режима работы симметричных блочных шифров. В алгоритме счетчика с аутентификацией Галуа входные блоки вектора байт нумеруются последовательно, номер блока кодируется блочным алгоритмом. Выход функции шифрования используется в операции XOR (исключающее или) с открытым текстом для получения HASH-суммы. Схема представляет собой потоковый шифр, поэтому использование уникального вектора байт гарантирует получение уникальной HASH-суммы.

Далее дескриптор с рассчитанной HASH-суммой поступает в блок поиска дубликатов (106).

Блок поиска дубликатов (106) загружает дескриптор из RAM-памяти (107) по адресу, равному значению HASH-суммы дескриптора поступившего пакета. После этого в блоке поиска дубликатов (106) сравниваются параметры пакетов из дескрипторов, определяется разность времени (ΔТ) хранящихся в дескрипторах пакетов с одинаковой HASH-суммой, где

ΔТ – разность времени хранящегося в дескрипторе анализируемого пакета и хранящегося в RAM-памяти (107) дескриптора пакета.

Если параметры пакетов из дескрипторов одинаковы, то вычисляется разница между значениями времени (ΔТ), хранящегося в дескрипторе анализируемого пакета, и хранящегося в RAM-памяти (107) дескриптора пакета. Полученное значение сравнивается с максимальным значением времени, в течение которого пакеты с одинаковым значением дескрипторов считаются дубликатами (LIMIT_T).

Если в блоке поиска дубликатов (106) определяется, что параметры анализируемого пакета из дескриптора не совпадают с параметрами пакета из дескриптора, хранящегося в RAM-памяти (107) вне зависимости от значения разности времени ΔТ, то происходит перезапись информации о пакете в RAM-память, блоку удаления пакетов (108) передается команда на передачу пакета из пакетного буфера (103) в выходной интерфейс (109), а блоку анализа пакета (102) команда на прием нового пакета из входного интерфейса (101).

Если в блоке поиска дубликатов (106) определяется, что параметры анализируемого пакета из дескриптора совпадают с параметрами пакета из дескриптора, хранящегося в RAM-памяти (107), и разность времени ΔТ больше или равна заданному времени LIMIT_T (ΔТ ≥ LIMIT_T), то происходит перезапись параметров пакета в RAM-памяти (107), блоку удаления пакетов (108) передается команда на передачу пакета из пакетного буфера (103) в выходной интерфейс (109), а блоку анализа пакета (102) команда на прием нового пакета из входного интерфейса (101).

Если в блоке поиска дубликатов (106) определяется, что параметры анализируемого пакета из дескриптора совпадают с параметрами пакета из дескриптора, хранящегося, в RAM-памяти (107) и разность времени ΔТ меньше заданного времени LIMIT_T (ΔТ < LIMIT_T), то блоку удаления пакетов (108) передается команда на удаление пакета из пакетного буфера (103), а блоку анализа пакета (102) команда на прием нового пакета из входного интерфейса (101). Таким образом определяется, что пакет является дубликатом и пакет удаляется.

Входной и выходной сетевые интерфейсы коммутатора могут быть, например, стандарта Ethernet.

В качестве конфигурационного интерфейса, в зависимости от элементной базы, может быть использован любой цифровой интерфейс, например, JTAG.

Для обеспечения максимальной пропускной способности и минимальной задержки при обработке блок фильтрации данных должен быть реализован аппаратно на основе программируемых логических интегральных схем (ПЛИС) или специализированных заказных или полузаказных интегральных микросхем.

Предложенный способ существенно снижает время, затрачиваемое на обработку пакета данных, за счет анализа не всего пакета, а только его дескриптора, т.е. конвейерной работы, заключающейся в принятии (загрузке) пакета данных, одновременном выделении из него дескриптора и принятии решений о наличии/отсутствии дубликата только по его HASH-сумме.

Пример 1. Параметры анализируемого пакета из дескриптора полученного пакета не совпадают с параметрами пакета из дескриптора, хранящегося в RAM-памяти, вне зависимости от значения разности времени ΔТ

Пакеты передаются в блок анализа пакета (102), в котором выполняется выделение из каждого пакета Ethernet, IP и TCP/UDP-заголовков.

Затем происходит формирование дескриптора, включающего в себя значение полей заголовков пакета (IP-адрес получателя, IP-адрес отправителя, IP DSCP, идентификатор пакета IP ID, смещение фрагмента IP OFFSET, код протокола L4, TCP/UDP-порт получателя, TCP/UDP-порт отправителя, TCP SEQ) и времени приема пакета TIME, при этом дескриптор сохраняется в буфер дескрипторов (104), а пакет сохраняется в пакетный буфер (103).

Дескриптор передаётся в блок расчета HASH (105), в котором выполняется расчет HASH-суммы по полям пакета.

В блоке поиска дубликатов (106) определяется, что параметры анализируемого пакета из дескриптора не совпадают с параметрами пакета из дескриптора, хранящегося в RAM-памяти (107). Происходит перезапись информации о пакете в RAM-память (107), блоку удаления пакетов (108) передается команда на передачу пакета из пакетного буфера (103) в выходной интерфейс (109), а блоку анализа пакета (102) команда на прием нового пакета из входного интерфейса (101).

Пример 2. Параметры анализируемого пакета из дескриптора полученного пакета совпадают с параметрами пакета из дескриптора, хранящегося в RAM-памяти, заданная LIMIT_T=10мс, разность времени ΔТ=11мс

Входной поток пакетов принимается последовательно через входной интерфейс (101). Оператором загружено значение LIMIT_T=10 мс.

Пакеты передаются в блок анализа пакета (102), в котором выполняется выделение из каждого пакета Ethernet, IP и TCP/UDP-заголовков.

Затем происходит формирование дескриптора, включающего в себя значение полей заголовков пакета (IP-адрес получателя, IP-адрес отправителя, IP DSCP, идентификатор пакета IP ID, смещение фрагмента IP OFFSET, код протокола L4, TCP/UDP-порт получателя, TCP/UDP-порт отправителя, TCP SEQ) и времени приема пакета TIME, при этом дескриптор сохраняется в буфер дескрипторов (104), а пакет сохраняется в пакетный буфер (103).

Дескриптор передаётся в блок расчета HASH (105), в котором выполняется расчет HASH-суммы по полям пакета. Блок поиска дубликатов (106) загружает пакет из дескриптора, хранящегося в RAM-памяти (107), по адресу, равному значению HASH-суммы дескриптора поступившего пакета. После этого в блоке поиска дубликатов (106) сравниваются параметры пакетов из дескрипторов, вычисляется разность времени ΔТ для пакетов из дескрипторов с одинаковой HASH-суммой.

В блоке поиска дубликатов (106) определяется, что параметры пакета из дескриптора совпадают с параметрами пакета из дескриптора в RAM-памяти (107) и, так как ΔТ=11мс > LIMIT_T=10 мс, то происходит перезапись параметров пакета в RAM-памяти (107), блоку удаления пакетов (108) передается команда на передачу пакета из пакетного буфера (103) в выходной интерфейс (109), а блоку анализа пакета (102) команда на прием нового пакета из входного интерфейса (101).

Пример 3. Параметры анализируемого пакета из дескриптора полученного пакета совпадают с параметрами пакета из дескриптора, хранящегося в RAM-памяти, заданная LIMIT_T=10 мс, разность времени ΔТ=7мс

Входной поток пакетов принимается последовательно через входной интерфейс (101). Оператором загружено значение LIMIT_T=10 мс.

Пакеты передаются в блок анализа пакета (102), в котором выполняется выделение из каждого пакета Ethernet, IP и TCP/UDP-заголовков.

Затем происходит формирование дескриптора, включающего в себя значение полей заголовков пакета (IP-адрес получателя, IP-адрес отправителя, IP DSCP, идентификатор пакета IP ID, смещение фрагмента IP OFFSET, код протокола L4, TCP/UDP-порт получателя, TCP/UDP-порт отправителя, TCP SEQ) и времени приема пакета TIME, при этом дескриптор сохраняется в буфер дескрипторов (104), а пакет сохраняется в пакетный буфер (103).

Дескриптор передаётся в блок расчета HASH (105), в котором выполняется расчет HASH-суммы по полям пакета.

В блоке поиска дубликатов (106) определяется, что параметры анализируемого пакета из дескриптора совпадают с параметрами пакета из дескриптора, хранящегося, в RAM-памяти (107) и разность времени ΔТ=7мс < LIMIT_T=10 мс.

Блоку удаления пакетов (108) передается команда на удаление пакета из пакетного буфера (103), а блоку анализа пакета (102) передается команда на прием нового пакета из входного интерфейса (101). Таким образом определяется, что пакет является дубликатом и удаляется.

Изобретение относится к области сетей передачи данных. Техническим результатом является повышение производительности систем глубокого анализа сетевого трафика за счет снижения нагрузки путем исключения дублирующихся пакетов. Задаётся максимальное значение времени, в течение которого пакеты с одинаковым значением дескрипторов считаются дубликатами (LIMIT_T). Если в блоке поиска дубликатов определяется, что параметры анализируемого пакета из дескриптора не совпадают с параметрами из RAM-памяти, то происходит перезапись информации о пакете в RAM-память, и пакет передается в выходной интерфейс. Если в блоке поиска дубликатов определяется, что параметры анализируемого пакета из дескриптора совпадают с параметрами пакета из RAM-памяти, и разность времени ΔТ больше или равна заданному времени LIMIT_T, то происходит перезапись параметров пакета в RAM-памяти, и пакет передается в выходной интерфейс. Если в блоке поиска дубликатов определяется, что параметры анализируемого пакета из дескриптора совпадают с параметрами пакета из RAM-памяти, и разность времени ΔТ меньше заданного времени LIMIT_T, то пакет удаляется из пакетного буфера. 3 ил., 3 пр.

Способ определения дублирующихся пакетов в потоке сетевого трафика, включающий приём входного потока пакетов через входной интерфейс, передачу его в блок анализа пакета, в котором выполняется выделение из пакета Ethernet, IP и TCP/UDP-заголовков и формирование на их основе дескриптора, сохранение пакетов в пакетном буфере, а дескрипторов – в буфере дескрипторов, отличающийся тем, что

через несвязанный с сетью конфигурационный интерфейс в блоке поиска дубликатов задается LIMIT_T и остается неизменным до тех пор, пока оно не будет изменено оператором,

в блоке анализа пакета регистрируется время получения пакета,

из буфера дескрипторов дескрипторы передаются в блок расчета HASH,

в блоке расчета HASH на основе полей заголовков пакета, включающих IP-адрес получателя, IP-адрес отправителя, IP DSCP, идентификатор пакета IP ID, смещение фрагмента IP OFFSET, код протокола L4, TCP/UDP-порт получателя, TCP/UDP-порт отправителя, порядковый номер пакета в TCP, рассчитывается HASH-сумма по алгоритму счетчика с аутентификацией Галуа;

далее дескриптор с рассчитанной HASH-суммой поступает в блок поиска дубликатов, который загружает дескриптор из RAM-памяти по адресу, равному значению HASH-суммы дескриптора поступившего пакета, после чего сравниваются параметры пакетов из дескрипторов, определяется разность времени (ΔТ) из дескриптора анализируемого пакета и дескриптора, загруженного из RAM-памяти,

если в блоке поиска дубликатов определяется, что параметры анализируемого пакета из дескриптора не совпадают с параметрами пакета из дескриптора, хранящегося в RAM-памяти вне зависимости от значения разности времени ΔТ, то происходит перезапись информации о пакете в RAM-память, блоку удаления пакетов передается команда на передачу пакета из пакетного буфера в выходной интерфейс, а блоку анализа пакета – команда на прием нового пакета из входного интерфейса,

если в блоке поиска дубликатов определяется, что параметры анализируемого пакета из дескриптора совпадают с параметрами пакета из дескриптора, хранящегося в RAM-памяти, и разность времени ΔТ больше или равна заданному времени LIMIT_T, то происходит перезапись параметров пакета в RAM-памяти, блоку удаления пакетов передается команда на передачу пакета из пакетного буфера в выходной интерфейс, а блоку анализа пакета – команда на прием нового пакета из входного интерфейса,

если блоке поиска дубликатов определяется, что параметры анализируемого пакета из дескриптора совпадают с параметрами пакета из дескриптора, хранящегося в RAM-памяти, и разность времени ΔТ меньше заданного времени LIMIT_T, то блоку удаления пакетов передается команда на удаление пакета из пакетного буфера, а блоку анализа пакета – команда на прием нового пакета из входного интерфейса.