Изобретение относится к вычислительной технике, в частности системам хранения данных. Заявленный способ может быть использован для организации надежного хранения данных как в локально размещенных массивах устройств хранения данных, так и в распределенных системах хранения данных, позволяя снизить нагрузку на сеть передачи данных.
В условиях непрерывного роста объемов генерируемой и обрабатываемой информации, сопряженного с увеличением объемов трафика данных передаваемого через сети передачи данных, объединяющие различные устройства, остро стоит проблема организации надежного долгосрочного хранения данных. Для решения данной проблемы применяются различные аппаратные и программные средства, в частности системы хранения данных, состоящие из множества устройств хранения данных объединенных в массив. Надежность хранения данных в подобных системах гарантируется применением различных методов избыточного кодирования и резервирования.
Наиболее близким по технической сущности к заявленному способу является способ, представленный в патенте US 6269453 В1 от 31 июл 2001, когда массив из N1=K1+1 устройств хранения данных разделяется на множество K1, собственно устройств хранения информационных данных и одно дополнительное устройство хранения избыточных данных, при этом область памяти каждого из N1 устройств хранения данных, делиться на I равных зон хранения таким образом, что K1 одноименных зон разных хранилищ информационных данных формируют в хранилище избыточных данных одноименную зону, что в совокупности по всем одноименным зонам составляет линию проверки на четность с номером i⊂I, в случае утраты одного из устройств хранения данных, входящих в массив производится опрос всех оставшихся устройств хранения данных с последовательной передачей в контроллер массива содержимого всех зон входящих в линии проверки на четность.
Недостатками прототипа являются:
- предложенное техническое решение позволяет обнаруживать линии проверки на четность, содержащую некорректируемую ошибку, не обнаруживаемую средствами устройств хранения данных, но не позволяет определить зону содержащую эту ошибку для дальнейшего ее исправления;
- в случае утраты одного из устройств хранения данных и осуществлении процедуры восстановления его содержимого, возникает необходимость передачи всего содержимого оставшихся не утраченными устройств хранения данных, что приводит к возрастанию нагрузки на сеть передачи данных, росту времени простоя системы в целом;
- в ходе восстановления данных, проводимого в случае утраты одного из устройств хранения данных, возрастает нагрузка на оставшиеся устройства хранения данных, что снижает их быстродействие и ресурс.
Задачей, на решение которой направлено изобретение, является разработка способа организации хранения данных в массиве устройств хранения данных, базирующемся на применении кодов-произведений с простой проверкой на четность.
Техническим результатом являются:
- снижение общей нагрузки на сеть передачи данных возникающая в ходе восстановления массива данных в случае утраты одного устройства хранения данных из массива устройств хранения данных;
- снижение нагрузки на устройства хранения данных, оставшиеся в массиве, возникающей в процессе восстановления данных;
- повышение надежности хранения данных в системах хранения данных.
Для достижения указанного технического результата предлагается способ восстановления целостности данных в массиве устройств хранения данных, заключающийся в том, что массив из Nl=Kl+1 устройств хранения данных разделяется на множество K1 собственно устройств хранения информационных данных и одно дополнительное устройство хранения избыточных данных, при этом область памяти каждого из N1 устройств хранения данных, делиться на I равных зон хранения таким образом, что K1 одноименных зон разных хранилищ информационных данных формируют в хранилище избыточных данных одноименную зону, что в совокупности по всем N1 одноименным зонам составляет линию проверки на четность с номером i⊂I, при этом в случае утраты одного из хранилищ восстановление данных, хранившихся в нем, осуществляется путем последовательного выделения одноименных зон каждого из K1 оставшихся устройств хранения данных, и за счет системы проверок четности данной линии восстанавливаются утраченные данные этой линии, при этом последовательно используются номера i⊂I линий.
Особенностью является то, что в каждом из N1 устройств хранения данных множество I зон делятся на J=I/(K2+1) групп, где K2 число зон хранения информационных данных в хранилищах d⊂K1 и соответствующих K2 зон избыточных данных в устройстве хранения избыточных данных, совокупность которых в каждом хранилище формирует зону избыточных данных с номером j⊂J, при этом избыточные данные групп для каждого из N1 устройств хранения данных не могут размещаться в устройствах хранения данных для которых они сформированы, а хранятся по принятой в системе схеме хранения избыточных данных групп, например с циклическим сдвигом номеров относительно истинных номеров групп, и при необходимости восстановления содержимого утраченного устройства хранения данных, выбираются любые J-2 линии для каждой из групп, с последующим восстановлением утраченных данных для этих линий, при этом в утраченную группу вводятся избыточные данные группы, находящееся в одном из K1 оставшихся не утраченных устройств хранения данных, жестко закрепленных схемой хранения избыточных данных групп, при этом контроль соответствия содержимого в зонах хранения избыточности и зонах хранения информационных символов позволяет определять зону дислокации скрытых ошибок.
Предлагаемый способ к кодированию данных, размещаемых в памяти массива устройств хранения данных предназначен для повышения надежности функционирования массива, в условиях одиночных отказов отдельных узлов. Новизна этого способа заключается в уменьшении объема трафика передаваемых через сеть обмена данных, генерируемого в случае восстановления содержимого утраченного информационного накопителя, и в возможности обнаруживать и исправлять одиночные некорректируемые ошибки, возникающие в ходе генерации данных, осуществления операций кодирования и передачи данных в память устройств хранения данных.
Предлагаемый способ предполагает формирование и хранение в памяти накопителей двух контрольных сумм. Одна из контрольных сумм размещается в памяти отдельного устройства хранения данных. Вторая контрольная сумма размещается в каждом из устройств хранения данных, как в информационных, так и избыточном. Условием функционирования этого решения является то, что сформированный избыточный символ не должна находиться в том же устройств хранения, для которого оно рассчитан.
Пример организации хранения данных в массиве устройств хранения данных продемонстрирован на Фиг. 1.
Источник и потребитель данных (101), передает исходный массив данных в контроллер (102) массива устройств хранения данных (103).
Для осуществления организации хранения, исходный массив данных разделяется контроллером (102) на k1*k2 фрагментов одинакового размера, размещаемых в зоны (104) устройств хранения информационных данных (105-107), таким образом, что в каждом из них расположено k2 фрагментов, размещенных в зонах, объединенных в группы (108). В случае если информационный массив делится на число фрагментов меньше k1*k2 оставшиеся заполняются значениями ноль. В ином случае, если информационный массив делится на число фрагментов больше k1*k2, он разделяется на несколько слов, обрабатываемых по отдельности. Последовательность зон с одинаковыми номерами, но находящихся на разных устройствах хранения данных образует линию проверки на четность (109).
Формирование избыточности, размещаемом в зонах (110) отдельного устройстве хранения данных (111), производится с использованием выражения:
где i=1, …, k2 - номера зон в каждом из устройств хранения данных, j - номер информационного устройства хранения, di,j - символы содержащиеся в зоне номер i устройства хранения данных j, - сумма элементов по модулю 2.
Формирование избыточности, размещаемом в отдельной линии всех устройств хранения данных (112), производится с использованием выражения:
где i=1, …, k2 - номера фрагментов в каждом из устройств хранения данных, j=2, …, k1 - номер информационного устройства хранения данных, dj,i - символы содержащиеся в зоне номер i устройства хранения данных j, ri - фрагмент номер i устройства хранения избыточных данных.
В случае возникновения события утраты устройства хранения данных, содержимое зоны утраченного устройства хранения данных считается стертым. Массив устройств хранения данных становится безызбыточным до введение в массив устройств хранения данных новоприбывшего устройства хранения данных (113). Операции чтения данных осуществляется с проведением операции декодирования.
Восстановление содержимого утраченного устройства хранения информационных данных производится путем вычисления обратных контрольных сумм d'i,утр для всех кроме одного информационного фрагмента с использованием выражения:
Последний фрагмент утраченного множества восстанавливается с использованием соответствующей контрольной суммы qутр, с использованием выражения:
Полученные символы передаются пользователю или при наличии новоприбывшего устройства хранения данных размещаются в соответствующих зонах этого устройства.
Выявление и коррекция одиночной некорректируемой ошибки, не выявляемой средствами устройства хранения данных, производится путем расчета всех контрольных сумм, как фрагментов, так и хранилищ, с последующим сравнением их с эталонными. Дислокация зоны с поврежденным символом определяется как зона линии с выявленным несоответствием значений вычисленной избыточности с эталонной избыточностью, размещенной в устройстве хранения избыточных данных, расположенная в группе устройства хранения данных для которой вычисленная избыточность не совпадает с эталонной избыточностью, расположенной в зоне хранения избыточности, вычисленной для этой группы зон.
Предлагаемый способ к организации хранения данных, размещаемых в памяти массива устройств хранения данных, позволяет повысить надежность обеспечения операций хранения и восстановления информации, в условиях одиночных отказов отдельных узлов. Применение этого способа позволяет:
- уменьшить объем трафика, передаваемый через сеть обмена данных, генерируемый в случае восстановления содержимого утраченного информационного накопителя;
- снизить эксплуатационную нагрузку, оказываемую на сохранившиеся в составе массива устройства хранения данных в процессе восстановления содержимого утраченного устройства хранения данных;
- повысить надежность обеспечения процедуры хранения, за счет аппарата обнаружения и исправления одиночных некорректируемых ошибок, возникающих в ходе генерации данных, осуществления операций кодирования и передачи данных в память устройств хранения данных по каналам сети передачи данных.
название | год | авторы | номер документа |
---|---|---|---|
СПОСОБ ОБЕСПЕЧЕНИЯ ЦЕЛОСТНОСТИ И ДОСТУПНОСТИ ИНФОРМАЦИИ В РАСПРЕДЕЛЕННЫХ СИСТЕМАХ ХРАНЕНИЯ ДАННЫХ | 2021 |
|
RU2785469C1 |
СПОСОБ ЗАЩИТЫ ДОСТУПНОСТИ И КОНФИДЕНЦИАЛЬНОСТИ ХРАНИМЫХ ДАННЫХ И СИСТЕМА НАСТРАИВАЕМОЙ ЗАЩИТЫ ХРАНИМЫХ ДАННЫХ | 2014 |
|
RU2584755C2 |
СПОСОБ ОБЕСПЕЧЕНИЯ ЦЕЛОСТНОСТИ И ДОСТУПНОСТИ ИНФОРМАЦИИ В РАСПРЕДЕЛЕННЫХ СИСТЕМАХ ХРАНЕНИЯ ДАННЫХ | 2023 |
|
RU2812948C1 |
СПОСОБ И УСТРОЙСТВО МНОГОМЕРНОЙ ИМИТОУСТОЙЧИВОЙ ПЕРЕДАЧИ ИНФОРМАЦИИ ПО КАНАЛАМ СВЯЗИ | 2018 |
|
RU2686024C1 |
Способ хранения данных в избыточном массиве независимых дисков с повышенной отказоустойчивостью | 2020 |
|
RU2750645C1 |
СПОСОБ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ЦИФРОВОЙ ИНФОРМАЦИИ В ВИДЕ УЛЬТРАСЖАТОГО НАНОБАР-КОДА (ВАРИАНТЫ) | 2013 |
|
RU2656734C2 |
СПОСОБ И УСТРОЙСТВО ДЛЯ КАНАЛЬНОГО КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ В СИСТЕМЕ СВЯЗИ С ИСПОЛЬЗОВАНИЕМ КОДОВ ПРОВЕРОК НА ЧЕТНОСТЬ С МАЛОЙ ПЛОТНОСТЬЮ | 2008 |
|
RU2491728C1 |
СПОСОБ И УСТРОЙСТВО ДЛЯ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ КАНАЛА В СИСТЕМЕ СВЯЗИ С ИСПОЛЬЗОВАНИЕМ КОДОВ ПРОВЕРОК НА ЧЕТНОСТЬ С МАЛОЙ ПЛОТНОСТЬЮ | 2008 |
|
RU2446585C2 |
СПОСОБ И УСТРОЙСТВО ДЛЯ КАНАЛЬНОГО КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ В СИСТЕМЕ СВЯЗИ С ИСПОЛЬЗОВАНИЕМ КОДОВ ПРОВЕРОК НА ЧЕТНОСТЬ С МАЛОЙ ПЛОТНОСТЬЮ | 2008 |
|
RU2491727C1 |
СПОСОБ И УСТРОЙСТВО ДЛЯ КАНАЛЬНОГО КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ В СИСТЕМЕ СВЯЗИ, В КОТОРОЙ ИСПОЛЬЗУЮТСЯ КОДЫ КОНТРОЛЯ ЧЕТНОСТИ С НИЗКОЙ ПЛОТНОСТЬЮ | 2012 |
|
RU2490791C1 |
Изобретение относится к способу организации хранения данных в массиве устройств хранения. Технический результат заключается в снижении нагрузки на сеть передачи данных и на устройства хранения данных, возникающей в ходе восстановления содержимого одного утраченного устройства хранения данных из массива, и в повышении надежности хранения данных в системе. Для фрагментов массива данных, расположенных в одноименных зонах хранения, формируют фрагменты избыточности, размещаемые в зонах отдельного устройства хранения данных. В каждом устройстве хранения данных зоны объединяются в множество непересекающихся групп, и для фрагментов, расположенных в них, формируются фрагменты избыточности, размещаемые во всех хранилищах по принятой в системе схеме хранения избыточных данных групп. Процесс восстановления содержимого утраченного устройства хранения данных не требует сбора всего содержимого оставшихся устройств. 1 ил.
Способ восстановления целостности данных в массиве устройств хранения данных, заключающийся в том, что массив из Nl=K1+1 устройств хранения данных разделяется на множество K1 собственно устройств хранения информационных данных и одно дополнительное устройство хранения избыточных данных, при этом область памяти каждого из N1 устройств хранения данных делится на I равных зон хранения таким образом, что K1 одноименных зон разных хранилищ информационных данных формируют в хранилище избыточных данных одноименную зону, что в совокупности по всем N1 одноименным зонам составляет линию проверки на четность с номером i⊂I, при этом в случае утраты одного из хранилищ восстановление данных, хранившихся в нем, осуществляют путем последовательного выделения одноименных зон каждого из K1 оставшихся устройств хранения данных, и за счет системы проверок четности данной линии восстанавливают утраченные данные этой линии, при этом последовательно используют номера i⊂I линий, отличающийся тем, что в каждом из N1 устройств хранения данных множество I зон делят на J=I/(K2+1) групп, где K2 число зон хранения информационных данных в хранилищах d⊂K1 и соответствующих K2 зон избыточных данных в устройстве хранения избыточных данных, совокупность которых в каждом хранилище формирует зону избыточных данных с номером j⊂J, при этом избыточные данные групп для каждого из N1 устройств хранения данных не могут размещаться в устройствах хранения данных, для которых они сформированы, а хранятся по принятой в системе схеме хранения избыточных данных групп, например, с циклическим сдвигом номеров относительно истинных номеров групп, и при необходимости восстановления содержимого утраченного устройства хранения данных выбирают любые J - 2 линии для каждой из групп с последующим восстановлением утраченных данных для этих линий, при этом в утраченную группу вводят избыточные данные группы, находящиеся в одном из K1 оставшихся неутраченных устройств хранения данных, жестко закрепленных схемой хранения избыточных данных групп, при этом контроль соответствия содержимого в зонах хранения избыточности и зонах хранения информационных символов позволяет определять зону дислокации скрытых ошибок.
US 6269453 B1, 31.07.2001 | |||
Автомобиль-сани, движущиеся на полозьях посредством устанавливающихся по высоте колес с шинами | 1924 |
|
SU2017A1 |
Автомобиль-сани, движущиеся на полозьях посредством устанавливающихся по высоте колес с шинами | 1924 |
|
SU2017A1 |
СПОСОБ КОНТРОЛЯ КОРРЕКТНОСТИ ЗАПИСИ ДАННЫХ В ДВУХКОНТРОЛЛЕРНОЙ СИСТЕМЕ ХРАНЕНИЯ ДАННЫХ НА МАССИВЕ ЭНЕРГОНЕЗАВИСИМЫХ НОСИТЕЛЕЙ И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ | 2013 |
|
RU2552151C2 |
Авторы
Даты
2019-09-09—Публикация
2018-01-16—Подача