Способ сбора и хранения сетевых данных, полученных при трансляции IP-адреса Российский патент 2023 года по МПК H04L41/00 H04L47/00 H04L61/00 

Изобретение относится к технологии разделения нагрузки при передаче данных по сети.

Из уровня техники известен способ и устройство для разделения нагрузки (патент RU 2613528, МПК H04L12/803, G06F 15/163, G06F 9/50, опубликовано 06.03.2017г.). Способ разделения нагрузки, включающий конфигурирование публичных сетевых адресов в форме адресных пулов, после приема трафика, переданного пользовательскими устройствами, группирование пользовательских устройств согласно моделям трафика, передаваемого пользовательскими устройствами, назначение, центральными процессорными блоками (CPU), публичных сетевых адресов для пользовательских устройств и трансляцию частных сетевых адресов пользовательских устройств в публичные сетевые адреса, при этом каждый из упомянутых адресных пулов включает множество адресных блоков, и каждый из множества адресных блоков соответствует одному CPU, каждая группа пользователей включает множество блоков пользователей, и каждый из множества блоков пользователей соответствует одному CPU.

Недостатком данного изобретения следует считать отсутствие системы компоновки, обработки и последующего хранения всех операций NAT.

Из уровня техники известен способ изоляции пакетов данных, передаваемых по сетям общего пользования в формате протоколов семейства tcp/ip, с помощью комбинации способов маскирования, шифрования и контроля получаемых данных (RU 2 762 157 C1, МПК H04L 12/00, G06F 21/00 , опубликовано 20.02.2021 г.) Технический результат - повышение безопасности обмена данными в сети передачи данных. Для этого предложен модуль изоляции пакетов данных, который выполнен с возможностью встраивания между сетевым адаптером и модулем протоколов канального уровня для обработки пакетов данных. Модуль выполняет преобразование пакетов данных, в частности, определение идентификатора соединения для получателя обрабатываемого пакета данных; вычисление смещения относительно начала обрабатываемого пакета данных и размера исходных данных для сжатия и/или зашифровывания; создание копии исходного пакета с дополнением его областями данных, обеспечивающими его дальнейшую обработку; инициализацию и заполнение структуры сопроводительных данных для обрабатываемого пакета данных. Данные передаются от отправителя получателю через стандартные сетевые маршрутизирующие устройства в сетях общего пользования и/или в локальных сетях, при этом передаваемые данные содержат пакеты данных, преобразованные посредством модуля изоляции пакетов данных.

Недостатком данного изобретения следует считать отсутствие распределенного хранилища данных и способа их хранения.

Технический результат: способ разделения по способу обработки и хранения данных, позволяющий решить проблему хранения данных в разно форматном виде, исключая возможность перегрузки инструментов хранения данных.

Во всеобщей сети интернет существует пул IP-адресов, принадлежащих различным компаниям, осуществляющим доступ к глобальной сети интернет. Данные IP-адреса распределяются по этим компаниям и представляют собой публичные (“белые”) IP-адреса. Однако, их количество ограничено, и для каждого устройства невозможно зарезервировать публичный IP-адрес, тогда появляются внутренние, локальные, частные IP-адреса (“серые”), которые не видны в глобальной сети интернет. Для выхода в сеть интернет необходима коммуникация публичных и частных IP-адресов. Данная коммуникация осуществляется при помощи NAT (network address translation), который позволяет переводить из частных в публичные IP-адреса.

Любое устройство, имеющее выход в интернет, имеет частный IP-адрес из пула частных IP-адресов, принадлежащих компании, чьими услугами по интернет трансляции пользуется пользователь.

Таким устройством может быть как компьютер, так и роутер, имеющие свой частный IP-адрес, а в случае роутера - несколько адресов для каждого устройства, через которое будет осуществляться выход в интернет.

Технический результат достигается тем, что способ сбора и хранения сетевых данных, полученных при трансляции IP-адреса, выполняемый по меньшей мере одним вычислительным устройством, содержит следующие шаги:

подключают устройство для выхода в сеть к источнику раздачи интернета, от которого оно получает частный серый IP-адрес;

источник раздачи интернета посредством NAT преобразует частный IP-адрес в публичный, причем преобразование может быть выполнено в виде: один частный IP-адрес стыкуется в один публичный IP-адрес и/или несколько частных IP-адресов в один публичный IP-адрес;

после этого поступает сигнал запроса с публичного IP-адреса на выдачу интернет-трафика в сеть Интернет

устройство для выхода в сеть получает интернет-трафик в виде ответного сигнала, позволяющего загружать интернет ресурсы, такие как web-страницы, на IP-адрес устройства

при этом в базу данных clickhouse, размещенную на первом сервере обработки данных, записываются данные, такие как IP-адрес устройства, IP-адрес источника раздачи интернета, белый IP-адрес, полученные данные от соединений с иными интернет ресурсами во время интернет сессии, при помощи предустановленного демона (программа, работающая в фоновом режиме) contracked collector на nat-сервере;

указанные данные проходят предварительную подготовку, содержащую алгоритм действий по выстраиванию в хронологической последовательности всех данных вплоть до имени хоста, с которого осуществлялся запрос на выход в интернет, при помощи предустановленного программного обеспечения, осуществляющего дополнительную предобработку и подготовку данных, состоящего из conntrack2ch, conntrakd

передают одновременно в две базы данных clickhouse и main DB информацию, записанную contracked collector, при помощи предустановленного на nat-сервере демона dispatcher,

причем данные поступают в clickhouse в подробном виде, начиная от IP-адреса устройства, с которого был отправлен запрос на линк для выхода в интернет и до всех подключений к различным интернет ресурсам, а в main DB, расположенную на втором сервере обработки данных, данные поступают в общем виде: начало сессии, ее конец и публичный IP-адрес.

В качестве вычислительного устройства может быть использован сервер с процессором, осуществляющий работу механизмов по преобразованию IP-адресов и хранению информации по результатом трансляций.

В качестве источника раздачи интернета может быть роутер или иное сетевое оборудование, обеспечивающее функцию раздачи интернета, например настольный компьютер, ноутбук, смартфон, планшет, планшетный компьютер.

Архитектура nat-серверов, а именно наличие нескольких модулей, а именно каждый nat-сервер содержит в себе по четыре nat-модуля, осуществляющие преобразование частного в публичный IP-адрес, причем каждый nat-модуль преобразует определенный пул частных IP-адресов в также определенные публичные IP-адреса, что позволяет снизить нагрузку на nat-сервер, а также обеспечить максимально быстрое подключение устройства для выхода в сеть интернет.

Наличие двух баз данных clickhouse и main DB позволяет хранить данные в нескольких форматах: как исторические, максимально подробные данные с точностью до порта, с которого был произведен выход в сеть, хранящиеся 3 года - это clickhouse, а также оперативные, статистические данные - main DB, которые сгруппированы до минимума и отображают время интернет сессии, а также публичный IP-адрес, с которого было произведено подключение к интернету. Данное разграничение позволяет снизить нагрузку с баз данных, которые могут хранить информацию как в общем виде, так и в подробном.

Наличие программного обеспечения conntrack2ch и conntrakd, предустановленных на nat-сервере, позволяет осуществлять компоновку данных, полученных при помощи NAT, таким образом, чтобы в последующее хранение данные поступали в упорядоченном виде. Что при хранении информации обеспечит бесперебойную работу баз данных и исключит их перегруз.

Далее будут подробно рассмотрены варианты осуществления настоящего изобретения, примеры которых проиллюстрированы на сопроводительных чертежах. Формы исполнения, представленные в последующем описании примеров осуществления, не представляют всех форм исполнения, соответствующих изобретению. Вместо этого, они являются только примерами устройств и способа, соответствующих аспектам, связанным с изобретением, как изложено в прилагаемой формуле изобретения.

На Фиг. показана блок-схема системы сбора и хранения сетевых данных для реализации способа, где

1 - устройства с возможностью выхода в сеть

2 - NB (nat balancer) - программное обеспечение, которое распределяет равномерно пользователей по NAT-серверам

3 - NAT (Network Address Translation — «преобразование сетевых адресов»)

4 - nat-сервер

5 - conntrack2ch - программное обеспечение, которое выполняет функцию отслеживания соединений; позволяет отслеживать все логические сетевые соединения или потоки и тем самым идентифицировать все пакеты, которые составляют каждый поток, чтобы их можно было последовательно обрабатывать вместе.

6 - conntrakd - это программное обеспечение, которое выполняет функцию компоновки данных интернет сессии в сжатом виде

7 - ClickHouse

8 - MainDB

9 - первый сервер обработки данных

10 - второй сервер обработки данных

Ниже рассмотрим конкретный пример реализации способа сбора и хранения сетевых данных, полученных при трансляции IP-адреса.

У пользователя имеется устройство с возможностью выхода в сеть 1, в контексте данного примера - стационарный компьютер, подключенный к интернету, которое имеет свой определенный IP-адрес, с которого будет осуществлен выход в сеть интернет. Для того, чтобы был осуществлен данный вход, необходим источник раздачи интернета, в данном случае раз стационарный компьютер оснащен интернет подключением, то при попытке выхода в сеть для данного устройства будет сформирован частный IP-адрес. Как правило такой IP-адрес присваивается компанией, осуществляющей интернет соединение. То есть у данной компании существует свой пул частных IP-адресов, которые присваиваются каждому устройству, осуществляющему выход в сеть.

Для того, чтобы осуществился линк, необходимо соединить частный IP-адрес с публичным IP-адресом, который и будет обеспечивать доступ к интернет ресурсам.

Данное соединение адресов происходит при помощи модуля NAT 3. Так как в архитектуре NAT системы, включающей в себя модули 2-4, необходимо обеспечить стабильную работу nat сервера 4. Для этого перед непосредственным соединением частного с публичным IP-адресов, данные запроса на соединение с публичным IP-адресом проходят через модуль NB 2, который осуществляет балансировку подключений частных и публичных IP-адресов посредством NAT 3, что снижает нагрузку на работу nat-сервера.

Таким образом частный IP-адрес в данном конкретном примере будет: 172.24.18.21, а пул серых IP-адресов, обрабатываемый nat-сервером компании, осуществляющей доступ к сети, будет варьироваться в диапазоне 172.16.00 - 172.31.255.255. При этом, чтобы не загружать максимально мощности nat-сервера, выстраивается архитектура при помощи NB 2 и самих модулей NAT 3. Это означает, что чаще всего один и тот частный IP-адрес будет соединятся при выходе в сеть с одним и тем же публичным IP-адресом. При этом каждый модуль NAT 3 подключает только адреса, заданные в определенном диапазоне. Таким образом будет снижена нагрузка nat-сервера.

Как только осуществилось подключение частного и публичного IP-адресов, данные об этом проходят в nat-сервер 4, то есть на nat-сервер 4 записываются conntract логи при помощи предустановленного демона contracked collector на nat-сервере 4, после чего данные при помощи второго предустановленного демона dispatcher на nat сервере 4 передаются одновременно на дополнительную обработку в conntrack2ch 5 и conntrakd 6, после чего данные направляются на хранение в ClickHouse 7 и MainDB 8,

Причем данные, обработанные conntrack2ch 5 принимают следующий вид: адрес устройства (хоста), с которого направляется сигнал на выход в интернет, присвоенные частный IP-адрес, публичный IP-адрес ресурса, куда единожды зашел пользователь, время начала посещения данного интернет ресурса, время окончания посещения, количество использованного трафика при посещении каждой интернет страницы. Таким образом обработка conntrack2ch 5 позволяет проследить полную историю абсолютно каждого интернет соединения, которое проделывает пользователь за одну интернет сессию. Укомпанованные таким образом данные направляются в ClickHouse 7, расположенную на сервере 9 обработки данных 1 и хранятся до 3 лет.

Данные, которые одновременно с обработкой conntrack2ch 5 обрабатываются conntrakd 6 и приобретают следующий вид: одно событие - время начала трансляции, время окончания трансляции, длительность интернет сессии, использованный трафик, какой был использован частный и публичный IP-адрес. Такие данные записываются в MainDB 8, расположенной на сервере 10 обработки данных 2.

Таким образом, происходит разноформатное хранение данных, а расположение на разных серверах баз данных исключает возможность перегрузки инструментов хранения данных.

Изобретение относится к средствам разделения нагрузки при передаче данных по сети. Технический результат заключается в исключении возможности перегрузки инструментов хранения данных. Подключают устройство для выхода в сеть к источнику раздачи интернета, от которого оно получает частный серый IP-адрес. Источник раздачи интернета посредством NAT преобразует частный IP-адрес в публичный, причем преобразование может быть выполнено в виде: один частный IP-адрес стыкуется в один публичный IP-адрес и/или несколько частных IP-адресов - в один публичный IP-адрес. Устройство для выхода в сеть получает интернет-трафик в виде ответного сигнала, позволяющего загружать интернет-ресурсы, при этом в базу данных clickhouse, размещенную на первом сервере обработки данных, записываются данные, такие как IP-адрес устройства, IP-адрес источника раздачи интернета, белый IP-адрес, полученные данные от соединений с иными интернет-ресурсами во время интернет-сессии, при помощи предустановленного демона contracked collector на nat-сервере. Передают одновременно в две базы данных clickhouse и main DB информацию, записанную contracked collector, причем данные поступают в clickhouse в подробном виде, начиная от IP-адреса устройства, с которого был отправлен запрос на линк для выхода в интернет и до всех подключений к различным интернет-ресурсам, а в main DB, расположенную на втором сервере обработки данных, данные поступают в общем виде: начало сессии, ее конец и публичный IP-адрес. 1 ил.

Способ сбора и хранения сетевых данных, полученных при трансляции IP-адреса, выполняемый по меньшей мере одним вычислительным устройством, содержит следующие шаги:

- подключают устройство для выхода в сеть к источнику раздачи интернета, от которого оно получает частный серый IP-адрес;

- источник раздачи интернета посредством NAT преобразует частный IP-адрес в публичный, причем преобразование может быть выполнено в виде: один частный IP-адрес стыкуется в один публичный IP-адрес и/или несколько частных IP-адресов - в один публичный IP-адрес;

- после этого поступает сигнал запроса с публичного IP-адреса на выдачу интернет-трафика в сеть Интернет

- устройство для выхода в сеть получает интернет-трафик в виде ответного сигнала, позволяющего загружать интернет-ресурсы, такие как web-страницы, на IP-адрес устройства

- при этом в базу данных clickhouse, размещенную на первом сервере обработки данных, записываются данные, такие как IP-адрес устройства, IP-адрес источника раздачи интернета, белый IP-адрес, полученные данные от соединений с иными интернет-ресурсами во время интернет-сессии, при помощи предустановленного демона contracked collector, то есть программы, работающей в фоновом режиме, на nat-сервере осуществляющего преобразование сетевых адресов,

- указанные данные проходят предварительную подготовку, содержащую действия по выстраиванию в хронологической последовательности всех данных вплоть до имени хоста, с которого осуществлялся запрос на выход в интернет, при помощи предустановленного программного обеспечения, осуществляющего дополнительную предобработку и подготовку данных, состоящего из conntrack2ch – программного обеспечения, которое выполняет функцию отслеживания соединений; позволяет отслеживать все логические сетевые соединения или потоки и тем самым идентифицировать все пакеты, которые составляют каждый поток, чтобы их можно было последовательно обрабатывать вместе, conntrakd - программного обеспечения, которое выполняет функцию компоновки данных интернет-сессии в сжатом виде,

- передают одновременно в две базы данных clickhouse и main DB информацию, записанную contracked collector, при помощи предустановленного на nat-сервере демона dispatcher,

- причем данные поступают в clickhouse в подробном виде, начиная от IP-адреса устройства, с которого был отправлен запрос на линк для выхода в интернет и до всех подключений к различным интернет-ресурсам, а в main DB, расположенную на втором сервере обработки данных, данные поступают в общем виде: начало сессии, ее конец и публичный IP-адрес.