СПОСОБЫ И УСТРОЙСТВА ДЛЯ УПРЕЖДАЮЩЕГО УПРАВЛЕНИЯ ПАМЯТЬЮ Российский патент 2009 года по МПК G06F12/00 

Ссылки на связанные заявки

Настоящее изобретение заявляет приоритет предварительной патентной заявки США № 60/416,115 от 4 октября 2002, включенной в настоящее описание посредством ссылки.

Область техники

Изобретение относится к управлению компьютерной памятью.

Предшествующий уровень техники

Современные вычислительные системы оснащены оперативной памятью или оперативным запоминающим устройством (ОЗУ) значительного объема, в настоящее время этот объем составляет порядка от 256 мегабайт до единиц гигабайт. Однако современные механизмы и способы управления памятью были спроектированы много лет назад, когда ОЗУ представляло собой относительно дефицитный вычислительный ресурс. Для обеспечения больших объемов виртуальной памяти для программной обработки, подобные механизмы управления памятью основывались на таких методах, как постраничная подкачка по запросу, по существу состоящая в переносе страниц данных из ОЗУ на дисковый накопитель, когда некоторый объем пространства ОЗУ требовался для другой обработки, и считывании этих данных назад с диска в ОЗУ, если перенесенные данные затем вновь требовались в соответствующем им процессе обработки.

При таком традиционном управлении памятью необходимые страницы часто отсутствуют в памяти, даже если общий объем кода и данных, к которому осуществляется обращение в типовых конфигурациях использования, является довольно постоянным во времени и малым относительно современных объемов памяти. Главным образом это является результатом двух факторов, состоящих в том, что система подвергается переходам, которые могут удалить необходимые страницы из памяти и/или быстро изменить набор требуемых страниц, и эрозии, когда страницы, не используемые активно, перезаписываются другими данными.

Примеры таких переходов включают начальную загрузку из состояния выключения питания, переключения с одного пользователя на другого, восстановление из резервного состояния или из режима пониженного энергопотребления, использование приложений, требующих большого объема памяти (например, игр) и затем переход в обычный режим использования системы, и возврат к работе на компьютере спустя длительное время задержки. Более того, в дополнение к операциям с нормальным быстродействием, пользователи очень хотели бы иметь быстродействующую установку системы и программ после таких переходов. Однако при современном управлении памятью в настоящее время это невозможно. Например, испытания показали, что вслед за восстановлением из режима пониженного энергопотребления запуск прикладной программы может потребовать времени от 9 до 11 секунд, несмотря на то, что большие объемы памяти не используются в это время. Это объясняется тем, что большая часть времени запуска тратится на переносы с диска при блокированном центральном процессорном блоке (ЦПБ), ожидая, пока необходимые коды и страницы данных будут считаны с диска, что, являясь результатом постраничной подкачки по запросу, по существу выполняется по одной станице в каждый данный момент времени. Короче говоря, после таких переходов, набор страниц, используемый в наибольшей степени, зачастую отсутствует в памяти, что приводит к осуществлению подкачки страниц по запросу, следствием которой является низкая эффективность работы пользователя ввиду больших значений времени переноса при вводе/выводе.

Хотя одни переходы связаны с преднамеренной откачкой (вытеснением) страниц из памяти, а другие приводят к внезапным запросам памяти, имеются и такие, в результате которых страницы переводятся в неактивное состояние и загружаются на диск. Более конкретно, страницы памяти, которые находятся в рабочих наборах, могут быть вырезаны и помещены в кэш страниц, которые не используются, к ним можно обращаться как к резервному набору страниц (например, резервный список в системах, основанный на Windows®), вместе со страницами файлов, которые закрыты. Для уменьшения числа считываний с диска и записей на диск, система управления памятью отслеживает, к каким страницам памяти в резервном наборе страниц имело место самое последнее обращение, и если требуется память, то выбирает те страницы для переноса на диск, по существу на основе очереди типа «первым пришел, первым вышел» (FIFO).

Хотя этот метод в некоторой степени обеспечивает уменьшение числа переносов на диск, поскольку в соответствии с ним страницы, которые использовались при обработке самыми последними, остаются в памяти, современным приложениям свойственны высокие требования к коду и данным. В результате, кратковременно страницы могут быть вызваны из этого резервного набора страниц, однако на длительное время, при обычном управлении памятью, простая очередь типа FIFO резервного набора страниц приводит к эрозии, когда страницы возможно высокой значимости (но не использовавшиеся в последнее время) перезаписываются менее значимыми (но использовавшимися позже по времени). Следовательно, необходимо значительно количество переносов ввода/вывода на диск и с диска. Даже в высокопроизводительных системах эти переносы ввода/вывода действуют как критический элемент («узкое место») в системе, причем система недоиспользует большой объем доступной памяти, оставляя ЦПБ в состоянии ожидания в течение длительного времени.

В итоге, современные программы требуют больших объемов оперативной памяти и средств высокоскоростной обработки, что обеспечивается современными вычислительными устройствами. Однако современная технология управления памятью не согласует адекватным образом эти ресурсы, поскольку современная система управления памятью была разработана в то время, когда имел место дефицит памяти, и поэтому она была разработана исходя из того, что существенное использование диска является неизбежным, но не обременительным, поскольку прикладные программы были невелики, а многозадачная работа была еще редкостью. Как таковое обычное управление памятью не направлено на ограничение использования диска, помимо сохранения в памяти страниц, обращение к которым было самым последним. В современных вычислениях это приводит к использованию диска в значительной степени, создавая тем самым узкое место в системе, которое снижает как реальные, так и воспринимаемые рабочие характеристики.

Сущность изобретения

Вкратце, настоящее изобретение направлено на усовершенствованную архитектуру управления памятью, включающую в себя системы, способы и механизмы, которые обеспечивают упреждающую, гибкую и самонастраивающуюся систему управления памятью. Система управления памятью функционирует для улучшения реальных и воспринимаемых рабочих характеристик при управлении памятью за счет загрузки и сохранения в памяти данных, которые по всей вероятности потребуются, прежде чем данные действительно потребуются. Страницам данных может быть присвоен приоритет с использованием значения/балла (оценки) в соответствии с различными факторами, включая их полезность, частоту использования, время последнего использования, простоту переноса данных и другую контекстно-основанную информацию. Механизмы действуют для выборки с упреждением и/или сохранения более значимых данных в памяти. Если данные необходимо выгрузить или перезаписать, данные могут быть автоматически переведены назад быстро восстанавливаемым способом, не в результате действительного запроса, а ввиду ожидаемого запроса.

За счет того, что память заполняется необходимыми данными раньше, чем эти страницы потребуются, система управления памятью существенным образом снижает или устраняет операции переноса на диск по запросу и тем самым сокращает или исключает «узкие места», связанные с вводом/выводом, во многих существенных потребительских сценариях. С этой целью, реализации настоящего изобретения включают в себя различные механизмы, направленные на контроль архивного использования памяти, анализ использования памяти, обновления памяти страницами высокой значимости (например, с высокой степенью использования), эффективность упреждающей выборки ввода/вывода и агрессивное управление диском.

Для получения информации, требуемой для присвоения значения странице, методами трассировки и сбора данных (регистрации) отслеживается набор всесторонней информации о каждой странице, предпочтительно за относительно длинный период времени. Эти измеренные данные обрабатываются для получения информации, подлежащей управлению, которая поддерживается и к которой обращаются в процессе принятия решения, который перенастраивает содержимое памяти в ответ на связанные с памятью события и/или на временной основе таким образом, чтобы в памяти сохранялось и/или предварительно отбиралось больше данных высокой значимости по сравнению с менее значимыми данными.

Значение приоритета позволяет присвоить приоритет резервному набору страниц (например, резервному списку в системе на основе Windows®) памяти, чтобы страницы в резервном наборе страниц могли иметь более высокий приоритет в терминах значения по отношению к другим страницам, независимо от того, когда к ним последний раз обращались, и поэтому сохранить в памяти приоритетным образом по отношению к другим страницам. Упреждающая и быстро восстанавливаемая (гибкая) предварительная выборка загружает высокозначимые страницы с диска в резервный набор страниц и в порядке, определенном приоритетом. Загрузка выполняется предпочтительно в низкоприоритетном фоновом переносе ввода/вывода во избежание помех нормальным пользовательским операциям, хотя она может также выполняться в приоритетной операции.

Как результат настоящего изобретения, использование ЦПБ существенно возрастает, не создавая помех нормальному использованию системы. Для многих пользователей компьютеров полный набор страниц памяти, используемый в действительности, достаточно мал, чтобы сохраняться в памяти, что приводит тому, что число безуспешных запросов (считывания необходимых данных с диска) сокращается до нуля или до значения, близкого к нулю.

В одной реализации механизм отслеживания (трассировки) наблюдает действия, связанные с памятью, а регистратор регистрирует результаты этих наблюдений. Интегратор объединяет текущие зарегистрированные результаты с предшествующими записями в базе данных информации страниц. Услуга поиска обращается к данным в базе данных информации страниц для разработки из них планов сценариев, причем планы сценариев анализируются для определения приоритетности страниц в списке. Затем список сортируется в соответствии со значением, вычисленным для каждой страницы, которое основано на наблюдениях использования памяти и, возможно, других факторах.

Средство перенастройки (повторного установления баланса), запускаемое событием (например, системным или генерируемым во времени) взаимодействует со средством планирования ввода/вывода для добавления страниц к упорядоченному по приоритетам резервному списку страниц, в порядке, определенном каждым вычисленным значением страницы. Резервный набор страниц, упорядоченный по приоритетам, включает в себя ряд поднаборов соответственно значениям для каждой страницы. Эти значения могут изменяться во времени и/или на основе действительного использования, и таким образом страницы могут при этом перемещаться логическим образом между поднаборами. В случае потребности в памяти, по запросу или для фоновой предварительной выборки, первыми удаляются страницы наименее приоритетных данных в поднаборе. Таким путем более значимые страницы, как определено наблюдениями действительного использования и измерениями, а также контекстной и другой информацией, автоматически вводятся в память способом, не создающим помех, и сохраняются в ней приоритетным образом по отношению к менее значимым страницам.

Другие преимущества будут очевидны из последующего детального описания, иллюстрируемого чертежами.

Краткое описание чертежей

Фиг.1 - блок-схема, представляющая в общем виде компьютерную систему, в которой может быть воплощено настоящее изобретение.

Фиг.2 и 3 - блок-схемы, представляющие базовое соотношение между компонентами системы в соответствии с одним из аспектов настоящего изобретения.

Фиг.4А и 4В - блок-схема, представляющая обобщенную архитектуру, пригодную для выполнения упреждающего управления памятью в соответствии с одним из аспектов настоящего изобретения.

Фиг.5А - блок-схема, иллюстрирующая возможный способ, которым резервный набор страниц может сохранять данные страниц.

Фиг.5В - блок-схема, представляющая альтернативный способ, которым резервный набор страниц с присвоенными приоритетами может сохранять данные страниц в поднаборах с присвоенными приоритетами, в соответствии с одним из аспектов настоящего изобретения.

Фиг.6 - блок-схема, представляющая ограничивающую систему для ограничения фоновых действий, чтобы ограничить помехи пользовательским прикладным программам, в соответствии с одним из аспектов настоящего изобретения.

Детальное описание

Примерная среда функционирования

Фиг.1 иллюстрирует пример подходящей среды 100 вычислительной системы, в которой может быть реализовано настоящее изобретение. Среда 100 вычислительной системы является лишь одним примером подходящей вычислительной среды и не предусматривает каких-либо ограничений объема использования или функциональных возможностей изобретения. Вычислительная среда 100 не должна также интерпретироваться как имеющая какую-либо зависимость или требование относительно любого компонента или комбинации компонентов, показанных в иллюстративной вычислительной среде 100.

Изобретение может быть реализовано в разнообразных других средах или конфигурациях универсальных или специализированных вычислительных систем. Примеры хорошо известных вычислительных систем, сред и/или конфигураций, которые могут быть пригодны для использования изобретения, включают, без каких-либо ограничений, персональные компьютеры, компьютеры серверов, портативные или компактные переносные компьютеры, графические планшеты, мультипроцессорные системы, системы на основе микропроцессоров, телеприставки, программируемые приборы бытовой электроники, распределенные вычислительные среды, которые могут включать в себя любые из вышеуказанных систем или устройств и другое.

Изобретение может быть описано в обобщенном контексте выполняемых компьютером инструкций, таких как программные модули, выполняемые компьютером. В общем случае программные модули включают в себя стандартные подпрограммы, программы, объекты, компоненты, структуры данных и так далее, которые выполняют конкретные задачи или реализуют определенные абстрактные типы данных. Изобретение также может быть реализовано в распределенных вычислительных средах, где задачи выполняются удаленными устройствами обработки, которые связаны посредством коммуникационной сети. В распределенной вычислительной среде программные модули могут находиться в локальных и/или удаленных компьютерных средах для хранения информации, включая устройства хранения в памяти.

Как показано на фиг.1, приведенная для примера система для реализации изобретения содержит универсальное вычислительное устройство в форме компьютера 110. Компоненты компьютера 110 могут включать в себя, но не ограничиваться указанным, блок 120 обработки, системную память 130 и системную шину 121, которая связывает различные компоненты системы, включая системную память с блоком 120 обработки. Системная шина 121 может представлять собой любую из различных типов шинных структур, включая шину памяти или контроллер памяти, периферийную шину и локальную шину, использующую любую из множества шинных архитектур. В качестве примера, но не ограничения, такие архитектуры включают шину ISA (архитектура промышленного стандарта), шину MCA (микроканальная архитектура), расширенную шину ISA (EISA), локальную шину VESA (ассоциации стандартов по видеоэлектронике), шину PCI (межсоединений периферийных компонентов), также известная как шина Mezzanine.

Компьютер 110 в типовом случае содержит множество носителей для хранения информации, считываемых компьютером. Такие носители могут представлять собой любую доступную среду, к которой осуществляется локальный и/или удаленный доступ компьютером 110, и могут включать энергозависимые и энергонезависимые носители, съемные и несъемные носители. В качестве примера, но не ограничения, считываемые компьютером носители для хранения информации могут включать в себя компьютерные носители для хранения данных и среды передачи данных. Компьютерные носители для хранения данных включают в себя энергозависимые и энергонезависимые съемные и несъемные носители, реализованные любым методом или технологией хранения информации такой, как считываемые компьютером инструкции, структуры данных, программные модули или иные данные. Компьютерные носители для хранения данных включают в себя, но не ограничиваются указанным, оперативную память (ОЗУ), постоянную память (ПЗУ), электронно-стираемую программируемую постоянную память (ЭСППЗУ), флэш-память или иную технологию памяти, ПЗУ на компакт-дисках (CD-ROM), цифровые многоцелевые диски (DVD) или иные средства памяти на оптических дисках, память на магнитных кассетах, магнитных лентах, магнитных дисках или иные магнитные устройства памяти, или любой другой носитель, который может быть использован для хранения желательной информации и к которому может быть обеспечен доступ компьютером 110. Среда передачи информации в типовом случае воплощает считываемые компьютером инструкции, структуры данных, программные модули или иные данные в модулированном сигнале данных, таком как несущее колебание или иной транспортный механизм, и включает любую среду доставки информации. Термин «модулированный сигнал данных» означает сигнал, в котором одна или более его характеристик установлены или изменяются таким образом, чтобы кодировать информацию в сигнале. В качестве примера, но не ограничения, среда передачи включает проводные среды такие, как проводная сеть или прямое проводное соединение, и беспроводные среды такие, как акустическая, радиочастотная, инфракрасная и другие беспроводные среды.

Системная память 130 включает компьютерные носители информации в форме энергозависимой памяти и/или энергонезависимой памяти ПЗУ (ROM) 131, ОЗУ (RAM) 132. Базовая система ввода/вывода (BIOS) 133, содержащая базовые стандартные подпрограммы для обеспечения переноса информации между элементами в компьютере 110, например, в процессе запуска, в типовом случае сохранена в ПЗУ 131. ОЗУ 132 в типовом случае содержит данные и/или программные модули, которые являются непосредственно доступными для процессорного блока 120 и/или в текущее время обрабатываемыми им. В качестве примера, но не для ограничения, фиг.1 иллюстрирует операционную систему 134, прикладные программы 135, другие программные модули 136 и программные данные 137.

Компьютер 110 может также включать в себя другие съемные/несъемные, энергозависимые/энергонезависимые компьютерные носители информации. В качестве примера, фиг.1 иллюстрирует накопитель 141 на жестких дисках, который считывает или записывает на несъемные энергонезависимые магнитные носители информации, накопитель 151 на магнитных дисках, который считывает или записывает на съемный, энергонезависимый магнитный диск 152, и накопитель 155 на оптических дисках, который считывает или записывает на съемный энергонезависимый оптический диск 156, такой как CD-ROM или иные оптические носители информации. Другие съемные/несъемные, энергозависимые/ энергонезависимые компьютерные носители информации, которые могут быть использованы в приведенной для примера среде функционирования, включают, но не ограничиваются указанным, кассеты на магнитных лентах, платы флэш-памяти, цифровые многоцелевые диски, цифровые видеомагнитные ленты, твердотельные ОЗУ, твердотельные ОЗУ и другое. Накопитель 141 на жестких дисках в типовом случае соединен с системной шиной 121 через интерфейс энергонезависимой памяти, такой как интерфейс 140, накопитель 151 на магнитных дисках и накопитель 155 на оптических дисках в типовом случае соединены с системной шиной 121 интерфейсом съемной памяти, таким как интерфейс 150.

Накопители и связанные с ними считываемые компьютером носители, описанные выше и показанные на фиг.1, обеспечивают энергонезависимую память для считываемых компьютером инструкций, структур данных, программных модулей и других данных для компьютера 110. На фиг.1, например, дисковод 141 для жестких дисков показан как предназначенный для хранения операционной системы 144, прикладных программ 145, других программных модулей 146 и программных данных 147. Заметим, что эти компоненты могут быть либо теми же самыми или отличаться от операционной системы 134, прикладных программ 135, других программных модулей 135 и программных данных 137. Операционная система 144, прикладные программы 145, другие программные модули 146 и программные данные 147 обозначены здесь другими ссылочными позициями, чтобы показать, что, как минимум, они являются отличающимися копиями. Пользователь может ввести команды и информацию в компьютер 110 через входные устройства, такие как графический планшет или цифровой преобразователь (дигитайзер) 146, микрофон 163, клавиатуру 162 и координатно-указательное устройство 161, на которое обычно ссылаются как на мышь, шаровой манипулятор (трекбол) или сенсорный планшет. Другие устройства ввода, не показанные на фиг.1, могут включать в себя джойстик, игровую панель, антенну спутниковой связи, сканер и т.п. Эти и другие устройства ввода часто подсоединяются к блоку 120 обработки через интерфейс 160 пользовательского ввода, который связан с системной шиной, но может быть подсоединен посредством других структур интерфейсов и шин, таких как параллельный порт, игровой порт или универсальная последовательная шина (USB). Монитор 191 или устройство отображения другого типа также соединено с системной шиной 121 через интерфейс, такой как видеоинтерфейс 190. Монитор 191 может также выполняться с панелью сенсорного экрана или с другим подобным средством. Заметим, что монитор и/или панель сенсорного экрана может быть физически связана с корпусом, в котором располагается вычислительное устройство 110, как в персональном компьютере типа графического планшета. Кроме того, компьютеры, такие как вычислительное устройство 110, могут также включать в себя другие периферийные устройства вывода, такие как громкоговорители 195 и принтер 196, которые могут быть подключены через интерфейс 194 периферийных устройств вывода или иное подобное средство.

Компьютер 110 может работать в сетевой среде с использованием логических соединений с одним или более удаленных компьютеров, таких как удаленный компьютер 180. Удаленный компьютер 180 может представлять собой персональный компьютер, сервер, маршрутизатор, сетевой персональный компьютер, одноранговый узел или другой обычный узел сети и в типовом случае может включать в себя многие или все из элементов, описанных выше в связи с компьютером 110, хотя на фиг.1 показано только устройство 181 памяти для хранения данных. Логические соединения, показанные на фиг.1, включают локальную сеть (LAN) 171 и глобальную сеть (WAN) 173, но могут включать и другие сети. Такие сетевые среды широко используются в офисах, компьютерных сетях предприятий, интранетах и в Интернете. Например, в настоящем изобретении компьютерная система 110 может содержать машину-источник, от которой перемещаются данные, и удаленный компьютер 180 может представлять машину-адресат. Заметим, однако, что машины, являющиеся источником и адресатом, не должны обязательно связываться сетью или какими-либо иными средствами; напротив, данные могут перемещаться посредством любой среды, запись на которую может осуществляться платформой-источником, и считывание с которой может производиться платформой или платформами-адресатами.

При использовании в сетевой среде LAN компьютер 110 подключен к локальной сети LAN 171 через соответствующий сетевой интерфейс или адаптер 170. При использовании в среде глобальной сети WAN компьютер 110 обычно включает в себя модем 172 или иное средство для установления связи в глобальной сети WAN 173 такой, как Интернет. Модем 172, который может быть внутренним или внешним, может соединяться с системной шиной 121 через интерфейс 160 пользовательского ввода или иной подходящий механизм. В сетевой среде программные модули, изображенные по отношению к компьютеру 110, или их части могут храниться в удаленных устройствах памяти для хранения данных. В качестве примера, но не для ограничения, фиг.1 иллюстрирует удаленные прикладные программы 185, хранящиеся в устройстве 181 памяти. Следует иметь в виду, что показанные сетевые соединения приведены лишь для примера и могут быть использованы другие средства для осуществления канала связи между компьютерами.

Упреждающее управление памятью

Один из аспектов настоящего изобретения, в частности, направлен в основном на усовершенствованную архитектуру управления памятью, содержащую системы, способы и механизмы, которые приводят к реальному и воспринимаемому повышению эффективности по отношению к основным аспектам пользовательского интерфейса, прикладных программ и программного обеспечения операционной системы. С этой целью, как показано на фиг.2, настоящее изобретение предусматривает упреждающую, гибкую, самонастраивающуюся систему 200 управления памятью, которая контролирует связанные с памятью действия и работу пользователя, чтобы обеспечить, по меньшей мере с относительно высокой вероятностью успеха, присутствие необходимых данных в оперативной памяти 202 (или просто «памяти», как будет использоваться далее), прежде чем данные потребуются, вместо считывания в память 202 по запросу с диска 204 (или другого эквивалентного вторичного механизма хранения, такого как флэш-память, сетевой источник данных, накопитель на магнитной ленте и/или виртуально любой тип памяти данных). Иными словами, упреждающее и гибкое управление памятью переносит потенциально полезные данные в память и пытается сохранить эти данные в памяти. Если полезные данные необходимо выгрузить или перезаписать, эти данные могут быть автоматически перенесены назад восстанавливаемым способом, не по причине действительного запроса, а просто ввиду ожидаемого запроса.

С этой целью настоящее изобретение по-новому использует большие объемы доступной в настоящее время памяти для поддержания в памяти рабочих наборов потенциально активных процессов обработки, и поддержания ведения записей (регистрации), структур данных и алгоритмов, которые система использует для выполнения упреждающего и гибкого управления памятью. Ожидается, что такое ведение записей, такие структуры данных и другие алгоритмы будут становиться более оптимальными с течением времени, однако современные реализации продемонстрировали существенное сокращение переносов ввода/вывода по требованию.

Как можно легко понять, имея память 202, заполненную подходящими данными (например, упорядоченными в страницы), прежде чем эти страницы потребуются, система 200 управления памятью, соответствующая настоящему изобретению, существенно сокращает или исключает операции переноса данных по требованию и тем самым сокращает или исключает узкие места ввода/вывода во многих важных пользовательских сценариях. Заметим, что, как использовано в настоящем описании, термин «страница» может относиться к наименьшим объемам данных, которые система 200 управления памятью обрабатывает как блок (например, 4096 байтов), однако здесь не предусматривается ограничение настоящего изобретения какими-либо фиксированными объемами данных, и поэтому «страница» данных может иметь некоторый другой фиксированный объем, или даже иметь переменный объем данных (например, один байт или несколько байтов), или даже представлять собой потоковый перенос данных. Таким образом, система управления памятью, которая может считывать/записывать/переносить потоком произвольные объемы данных, а не фиксированные объемы данных или, например, кратные им значения, продолжает оставаться эквивалентной системе, позволяющей считывать и записывать одну или более страниц.

Как описано ниже, реализации настоящего изобретения включают в себя различные механизмы, в том числе направленные на контроль архивного использования памяти, анализ использования памяти, обновления памяти страницами высокой значимости (например, с высокой степенью использования), эффективную упреждающую выборку ввода/вывода и агрессивное управление диском. В принципе, эти механизмы работают вместе как упреждающая система 200 управления памятью, чтобы гарантировать, что необходимые данные будут находиться в памяти, прежде чем они потребуются. С этой целью алгоритмы, поддерживающие структуры данных и методы, расширяют управление памятью для упреждающего функционирования за счет использования различных типов данных использования памяти и другой информации, которая может собираться непрерывно и/или в течение относительно длительного промежутка времени. Отметим, однако, что настоящее изобретение не требует какой-либо конкретной комбинации таких механизмов, а может обеспечить многочисленные и лучшим образом связанные с памятью преимущества при меньшем числе механизмов и/или с использованием альтернативных механизмов. Например, за счет определения значения, указывающего, какие страницы должны использоваться с большей вероятностью, чем другие, и за счет сохранения этих более значимых страниц в памяти, может быть обеспечено сокращение переносов ввода/вывода без какой-либо фоновой предварительной выборки страниц в память, и даже если информация, использованная для определения этого значения для тех страниц, собиралась прерывистым образом и/или только в течение относительно короткого периода времени.

Кроме того, методы и механизмы управления памятью, соответствующие настоящему изобретению, могут улучшить использование памяти, действуя не только в моменты, когда память заполнена, и необходимо принимать решения о перестановке данных (свопинге), но и на других уровнях использования памяти, включая то, когда память является относительно незаполненной. Например, частота, с которой осуществляется обращение к загруженным страницам, может измеряться независимо от того, находится ли система в условиях дефицита свободной памяти. Более того, вместо того, чтобы осуществлять управление тем, что в текущий момент находится в памяти, настоящее изобретение предусматривает глобальное управление памятью, включая то, что в текущий момент находится в памяти, и то (предпочтительно), что должно находиться в памяти, но в текущий момент находится на диске, и наоборот.

Настоящее изобретение представляет состояние памяти несколькими способами, включая добавление к информации, которая в текущий момент поддерживается для каждой страницы памяти. Такая новая информация может включать частотность использования каждой страницы во времени, а не просто косвенную или явную информацию о времени последнего использования. Примеры реализации также предусматривают поддержку информации о страницах, которые в текущий момент не находятся в памяти. Как описано ниже, структуры данных используются для организации свободной памяти, которая хранит или может сохранять потенциально полезные данные, и используются для контроля того, когда эта память становится доступной для альтернативных использований.

Для получения этой информации, обширное множество информации о каждой странице отслеживается методами трассировки и регистрации, предпочтительно на протяжении относительно длительного периода времени. Путем наблюдения различных страниц, используемых процессами, действующими на протяжении относительно длительных периодов, регистрируются код, к которому производится обращение, и файлы данных, которые считываются и записываются, обеспечивая важное измерение значения страницы, чтобы тем самым установить потенциальные рабочие наборы. В отношении этих измеренных данных осуществляется поддержка и обращение как часть процесса принятия решения, перенастраивающего содержимое памяти в ответ на события, связанные с памятью, и/или иным образом (например, периодически). Иными словами, обширное отслеживание данных приводит в результате к получению информации, анализ которой позволяет сохранять в памяти и/или выбирать с упреждением в память более значимые страницы по сравнению с менее значимыми страницами, независимо от того, определяется ли значимость по наибольшей вероятности оказаться требуемыми данными, простоте переноса, по контексту и/или иным критериям.

В принципе, настоящее изобретение предусматривает нетрадиционно более обширную информацию на каждую страницу памяти, чтобы получить относительную значимость страницы, для идентификации страниц как высокой значимости, так и низкой значимости, независимо от того, находится ли страница в текущий момент в памяти, или в другом хранилище. Эта обширная информация (включая данные структуры/частоты/группирования/контекста) поддерживается в памяти (и, таким образом, находится на постоянном хранении) для страниц в памяти, а также для страниц, которые больше не находятся в памяти (например, находятся в настоящее время на жестком или гибком диске, на CD-носителе, DVD-носителе, в сети, во флэш-памяти и так далее) или нигде больше в памяти. Эта информация используется, чтобы предварительно загрузить (или выбрать с упреждением) в память значимые страницы, которые не находятся в памяти, и/или поддерживать более значимые страницы по сравнению с менее значимыми страницами. Это может выполняться посредством механизма дополнения набора страниц, который сохраняет записи рабочих множеств, содержащие обширную информацию использования для страниц, которые больше не находятся в памяти, но действительны в адресном пространстве для рабочего набора. Другой путь - через расширенный резервный набор страниц (например, кэш страниц, которые не используются, например, резервный список в системе, основанной на Windows®), который формируется на основе механизма архива страниц файлов, где располагается больше физических дескрипторов и записей страниц, чем в физической памяти, и они используются для поддержания информации конфигурации, частоты, группирования и/или контекстной информации для страниц, которые выгружаются из памяти.

Отслеживаются различные статистические данные для получения опорных конфигураций и/или частоты использования, которые определяют вероятность того, что страница потребуется, такие как счет периода использования, время создания, время последнего обращения, как описано ниже. Эти типы статистических данных могут сохраняться в памяти по записям страниц или по группам/диапазонам, которые могут быть использованы для получения опорных конфигураций, частоты использования и т.д. Такими статистическими данными могут быть поддерживаемые записи и/или объекты для файлов, объекты отображения памяти или иные группирования страниц. Кроме того, конечные автоматы могут быть конфигурированы постранично или для группы страниц, которые имеют состояния за пределами битов срока выдержки, чтобы охватывать состояния, когда страница удалена из памяти и возвращена назад. Эта разнообразная информация может быть использована для присвоения приоритетов страницам в памяти в поднаборах и для защиты значимых страниц от переназначения таким образом, как в случае, когда программы обращаются к большим количествам страниц сразу или дважды. Присвоение приоритета может быть явным и не выведенным логически из местоположения в списке. Приоритет может периодически или случайным образом пересчитываться исходя из зафиксированных конфигураций использования, частоты, контекста, группирования и т.д.

Далее, затраты на перемещение конкретной страницы в память, могут представлять собой фактор, определяющий ее значимость, например, то, является ли страница файлом страничного обмена, в файле малого объема, или находится в числе других страниц для последовательного обращения/потокового ввода/вывода, может быть использовано для установления этого фактора значимости. Такая оценка может производиться на постраничной основе, но может быть и более компактной, например, за счет поддержания некоторой или всей обширной информации только по поднабору страниц, получения и/или ведения статистики и счета групп страниц, для файловых объектов, для разделов/отображений и т.д. Кроме того, могут быть получены данные состояния, и они могут быть использованы как часть расширенной информации страниц.

Например, путем наблюдения контекста, могут приниматься во внимание факторы, которые не учитываются обычно при принятии решений по управлению памяти, включая состояние питания и состояние диска. Также во внимание принимаются наблюдаемые события, чтобы предпринять действия, способствующие быстрому восстановлению из состояний резерва/возобновления, пониженного энергопотребления/возобновления и выполнения/завершения программ, которые, как известно, оказывают заметное влияние на память.

В дополнение к регистрации такой информации состояний, имеются и другие механизмы для обеспечения упреждающего управления памятью согласно настоящему изобретению. Например, прикладные программы могут определять некоторые данные как менее (или более) полезные, чем другие данные, например, данные, необходимые для исправления редких ошибок, могут определяться как маловероятные для повторного использования, при этом подобные данные являются верными кандидатами на присвоение или взвешивание с низкой значимостью. Пользователь может также указать некоторые низко- или высокоприоритетные данные, например, пользователь, который редко использует файл помощи прикладной программы, может вручную обеспечить установку, указывающую на его низкий приоритет для прикладной программы и/или операционной системы, или, наоборот, например, всегда сохранять данные помощи в памяти, если это возможно. С этой целью интерфейсы программирования прикладных программ (или другие подобные функции) для прикладных программ могут быть предусмотрены для обеспечения того, чтобы программы вносили вклад в управление системной памятью, например, путем определения, что страницы (например, область страниц) больше не являются значимыми или что другой набор страниц является значимым. Прикладные программы также могут определять контекст и операции, которые программа-менеджер памяти может использовать для отслеживания и группирования значимости страниц, на которые ссылаются в этих операциях. Таким путем прикладные программы могут маркировать операции, которые прикладная программа считает важными с точки зрения использования памяти, такие как отображение диалога «открыть/сохранить файл» или показ подокон задачи.

Значимость страниц также может быть использована для улучшения управления памятью другими путями. Например, если программа проходит через большие количества страниц файлов, которые используются однократно или двукратно, только подобные страницы допускаются к переназначению, а страницы более высокой значимости защищаются. Кроме того, также возможно сжатие некоторых страниц, например, таким образом, что страницы низкой и/или промежуточной значимости сжимаются в памяти, а не выгружаются на диск. Например, некоторая прикладная программа или механизм анализа может указать, что может быть желательным сжать некоторый большой блок (например, промежуточной или низкой значимости) данных, вместо того чтобы записывать их на диск в свободное пространство. Используемые методы отслеживания и регистрации обеспечивают новые возможности для записи данных использования памяти, которые выходят за пределы того, что известно в настоящее время. Новые алгоритмы могут обнаруживать эти данные и генерировать инструкции или планы сценариев для упреждающей выборки данных с диска эффективным способом и для поддержания данных в памяти на основе присвоения приоритета согласно значимости. Например, на основе имеющейся обширной информации резервному набору страниц памяти может быть присвоен приоритет вместо простого упорядочивания в очередь типа FIFO, где отсутствует количественно определенный приоритет. В соответствии с настоящим изобретением, страницы в резервном наборе страниц могут быть более высокого приоритета с точки зрения их значимости по отношению к другим страницам, независимо от времени последнего обращения к ним, и поэтому будут сохраняться в памяти с предпочтением перед другими страницами, включая страницы в памяти рабочего набора. Например, страницы определенного действующего процесса обработки, по всей вероятности, не будут использованы вновь, даже если эти страницы были использованы недавно, причем такие страницы имеют меньшую значимость, чем страницы, не использовавшиеся в течение весьма длительного времени, но потенциально являющиеся повторно используемыми.

Кроме того, помимо данных наблюдаемых состояний и результатов измерений, таких как реальная частота использования, время последнего использования и другие измеренные результаты, другие критерии могут быть использованы для определения значимости страниц. Например, концепция потери от замещения может быть использована для определения значимости страниц в памяти, например, перенос случайным образом рассредоточенных данных (прерывистым образом на диске) на диск и с диска является более дорогостоящим, чем соответствующий перенос последовательно непрерывных данных, и поэтому было бы более ценным сохранять случайным образом рассредоточенные данные в памяти, а переносить последовательные данные, если внезапно потребуется большой объем памяти. Таким образом, полезность данных может быть определена по стоимости переноса их ввода/вывода, вместе с трассировкой их предыстории использования, а также в машинном и ином контексте, включая соображения, связанные с питанием и с состоянием диска. Могут быть использованы и другие данные, такие как весовой фактор, который может быть присвоен определенным данным использующим их объектом (например, прикладной программой или пользователем).

В одной реализации использование памяти программ отслеживается на машине, например, по каждому пользователю, и устанавливается категория потенциальной полезности страниц как на диске, так и в памяти. Из этого отслеживания и категоризации может быть определен бюджет памяти, и на основе этого бюджета фоновый механизм ввода/вывода пытается заполнить память имеющимися страницами наивысшей полезности, как определено количественной оценкой значимости каждой страницы. Страницы памяти тем самым могут быть быстро восстановлены, например удалены, если необходимо, но автоматически восстановлены, когда пространство памяти вновь станет доступным. Заметим, что этот подход противоположен обычному подходу к управлению памятью, который основывается на страничном обмене в ответ на запрос (с ограниченной кластеризацией или упреждающей выборкой) для переноса страниц с диска только в момент использования в первый раз и сохранения их способом FIFO. В соответствии с настоящим изобретением, когда страницы находятся в памяти, структуры памяти сохраняют страницы в памяти на приоритетной основе, что может меняться во времени по мере их использования, так что страницы более высокой степени использования сохраняются в памяти, если только и до тех пор, пока память не потребуется для других текущих действий.

Для идентификации страниц высокой (а также низкой) значимости, значимость страниц и/или данные характера доступа переносятся и сохраняются в нерезидентной постоянной памяти, причем эта информация (например, включая данные структуры, частотности использования, контекста и/или группирования) продолжает сохраняться на протяжении загрузок. Заметим, что в дополнение к записи данных страниц в файлы, они также поддерживаются, включая интерпретирование данных, формирование новых оценок значимости и/или отыскание данных для отмены избыточных или ненужных данных, так что то, что сохраняется в постоянной памяти, содержит не просто данные использования страниц, но и различимые данные конфигураций. Как описано ниже, данные значимости страниц и данные конфигураций доступа, которые поддерживаются и используются при управлении памятью, регистрируются путем трассировки и/или опроса (сэмплирования) ссылок на страницы, вместе с другими контекстами и событиями (как описано ниже). В соответствии с настоящим изобретением, операция трассировки и опроса выходит за пределы простого сохранения счета и малого объема данных состояния на страницу в памяти. С этой целью механизмы трассировки и опроса включают трассировку битов обращения к записям таблицы страниц (РТЕ), которая регистрирует то, когда происходит сброс битов обращения. Заметим, что путем измерения и поддержания скорости, с которой данные обращения перемещаются и сбрасываются, ограничивается регистрируемый объем данных, например, для страниц, на которые ссылаются более часто, информация не регистрируется при каждом обращении, а вместо этого может поддерживаться скорость, с которой сбрасываются биты обращения PTE. Кроме того, могут регистрироваться сбои страниц (сбои аппаратного и программного обеспечения и сбои переходов) и запросы считывания и записи файлов. Механизмы для моментального фиксирования процесса рабочих наборов могут также получать данные значимости страниц, как и механизмы для трассировки страниц, когда они удаляются из памяти или когда они вырезаются из рабочих наборов.

С использованием этой информации страницы могут группироваться и может разыскиваться информация, как относящаяся к страницам в постоянном запоминающем устройстве и в памяти, по их временам последнего обращения, конфигурациям использования, частотности использования, виртуальному или физическому местоположению, по времени, когда страницы вырезались и т.д. Такое группирование может затем использоваться для эффективной выгрузки областей страниц одновременно, и может использоваться при компоновке в месте назначения, например, в страничном файле. Например, если используется мало страниц, то вся группа может быть перенесена эффективным образом. Механизмы также могут производить интеллектуальную кластеризацию путем использования постоянно хранящегося архива файлов/страниц, чтобы перенести весь файл одновременно и т.д. Кроме того, файлы могут также группироваться по тому, какие процессы их используют, в течение какой части времени существования процесса (например, запуск, отключение) используются страницы, при каких процессах страницы обнаруживали устойчивую неисправность в течение интервала времени (например, операции на границах диска). Другие способы группирования страниц включают страницы, ссылки на которые делались при включении задачи, щелчке мыши, зависании, активизации и других пользовательских вводах, использование на основе определенного времени, например в конкретное время суток и/или дней недели, процессами конкретного пользователя и другие контексты, включая контексты, определяемые прикладными программами.

В принципе, управление памятью в соответствии с настоящим изобретением может отслеживать и предпринимать действия на основе обширных наборов событий и контекстов, включая переключение задач, создание окон, диалог, смену активизации, неопределенные состояния и щелчки мыши и другие события пользовательского ввода. Другие события и контексты включают запуск и выключение прикладных программ, начальную загрузку системы, введение пароля, выключение, резервный режим/режим пониженного энергопотребления и восстановления, переключение между пользователями, события воспроизведения видео-, аудио- и/или иных носителей (например, начало и конец), смещение по времени видеовоспроизведения, дистанционное соединение с системой (включая удаленный рабочий стол (экранная интерактивная среда), сетевой теледоступ и т.д.) и определенные прикладными программами контексты.

В соответствии с одним из аспектов настоящего изобретения, не только более значимые страницы могут сохраняться в памяти по сравнению с менее значимыми страницами, но и более значимые страницы могут быть загружены в память (путем упреждающей выборки) по сравнению с менее значимыми данными или неиспользуемыми страницами (память автоматически заполняется), даже если нет действительного запроса на эти страницы. Такое заполнение и/или перенастройка могут быть сделаны в различные моменты времени и различными путями, включая после начальной загрузки, после того как большой объем памяти был освобожден, или даже в некоторой степени регулярно или по меньшей степени регулярно, предпочтительно как фоновая операция. Предпочтительно, механизм заполнения, используемый программой-менеджером, не создает препятствий и основывается на приоритетных вводах/выводах во время простоя и механизмах обнаружения состояния незанятости (простоя). Как описано ниже, это не является именно алгоритмом планирования, а может действовать методом дросселирования путем отслеживания входящих структур нормального ввода/вывода и планирования фонового ввода/вывода, когда маловероятно перекрытие или ожидание нормального ввода/вывода. Механизмы обнаружения незанятости (например, постановка в очередь в качестве холостой задачи) определяют, когда система находится в состоянии простоя, путем отслеживания пользовательского ввода, ЦПБ и диска, чтобы выполнить настройку (балансировку) памяти способом, не создающим препятствий нормальной работе. Тем не менее, приоритетное заполнение памяти также важно в некоторых случаях, и, тем самым, некоторая или вся предварительная загрузка памяти может быть высокоприоритетной.

В процессе упреждающей выборки операции ввода/вывода могут управляться таким образом, чтобы обеспечить эффективность за счет механизмов, которые ограничивают взаимные помехи между активными прикладными программами и программами, выполняющими фоновую работу. Например, переносы ввода/вывода могут сортироваться для сокращения времен поиска, и переносам ввода/вывода могут присваиваться приоритеты, чтобы фоновые операции (например, упреждающая выборка) не задерживали приоритетные операции и не создавали помех нормальному использованию системы пользователем. Кроме того, могут быть предусмотрены механизмы для присвоения категорий запросов ввода/вывода и передачи этой информации через стек драйверов, чтобы механизмы низкого уровня могли планировать ввод/вывод с надлежащим приоритетом. Это обеспечивает то, что категории ввода/вывода с низким приоритетом не создают помех категориям с высоким приоритетом, что может потребовать предотвращения возможных инверсий приоритетов, когда данная операция запрашивается много раз при различных категориях. Вводы/выводы из различных категорий могут диспетчеризоваться с использованием алгоритмов, которые пытаются распознать преобладающие конфигурации использования и минимизировать взаимные помехи. Одним из аспектов операции ввода/вывода является уравновешивание использования недоиспользованных ресурсов без ухудшения эффективности других действий пользователя и системы, однако могут возникнуть проблемы в считывании страниц файлов с высокой степенью использования с диска без взаимодействия с пользовательскими приоритетными прикладными программами. Одной такой проблемой является упреждающая выборка из файлов, которые пользователь открыл монопольным образом, таких как файлы регистрации и индекс кэша временных интернетовских файлов. В такой ситуации, когда файл уже открыт монопольным образом, данный файл не может быть открыт обычным образом для выполнения упреждающей выборки из него. Аналогичным образом, когда механизм управления памятью успешно открывает файл для упреждающей выборки и прикладная программа, которая требует монопольного доступа к файлу, пытается открыть его, то прикладная программа даст сбой, что может быть воспринято как случайные ошибки прикладной программы. Эта проблема может быть снята путем вызова специального API (интерфейса программирования прикладных программ) для открытия файла нетипичным способом, когда файловая система не обновляет совместно используемую информацию для данного файла.

Другая проблема, связанная с вводом/выводом, направлена на выдачу запросов ввода/вывода таким путем, чтобы не создавать взаимных помех с более высокоприоритетными запросами ввода/вывода в системе. Это может быть выполнено частично тем, что низкоприоритетный ввод/вывод не запускается, если диск не находится в состоянии простоя в течение достаточно продолжительного времени (например, 75 мс) с момента последнего нормального ввода/вывода. Однако это приводит к проблеме инверсии приоритета, которая может быть решена путем посылки фиктивного считывания со специальным флагом в стек ввода/вывода. Заметим, что посылка фиктивного пакета считывания является возможным способом информационного обмена со стеком ввода/вывода для уведомления его об инверсии приоритета, что работает, даже если действующий запрос разделяется на несколько подзапросов, которые рассредоточиваются в стеке таким образом, что их все невозможно достичь посредством обработки исходного запроса. Когда драйвер фильтра просматривает соответствующий IRP (пакет запроса ввода/вывода), он повышает приоритет всех своих ожидающих вводов/выводов, которые перекрываются с этим диапазоном, и IPR фиктивного считывания затем завершается без выполнения какой-либо реальной работы. Однако даже при таком исправлении, выдача большого списка вводы/выводы низкоприоритетного страничного обмена могут блокировать высокоприоритетный поток. Таким образом, это может быть предотвращено путем выдачи только малого числа вводов/выводов низкоприоритетного упреждающего выбора страниц, для одного файла в каждый данный момент времени, что значительно сокращает потенциал для инверсии приоритета и сокращает ее длительность. При таком усовершенствовании, как только идентифицированы файловые страницы с высокой степенью использования на диске и страницы с низкой степенью использования в памяти, запросы сразу же могут быть поставлены в очередь, не заботясь о возможных взаимных помехах текущим действиям пользователя. В результате данного аспекта настоящего изобретения, использование ЦПБ существенно увеличивается без взаимных помех нормальному использованию системы. Для большинства типовых пользователей весь набор действительно используемых резервированных файлов достаточно мал для поддержания их в памяти. Эти требуемые страницы могут быть предварительно загружены после начальной загрузки, а также восстановлены, если возникает высокая потребность в памяти и эти страницы потребовалось выгрузить на диск. Заметим, что если весь рабочий набор требуемой памяти слишком велик для заданного приложения и системы, то в памяти могут поддерживаться поднаборы рабочего набора, хотя настоящее изобретение направлено на обеспечение эффективности ввода/вывода для уравновешивания страниц.

Однако в процессе тестирования многих традиционных потребительских сценариев было показано, что полное число страниц, к которым обращаются в случае даже относительно сложных рабочих нагрузок, соответствует используемым в настоящее время объемам памяти. Например, как определено в множестве экспериментов, страницы, требуемые для некоторых очень значительных рабочих нагрузок, имели возможность размещения в памяти машин с оперативной памятью объемом 384 мегабайта, а многие соответствовали оперативной памяти объемом 256 мегабайт. Поскольку объем памяти больше, чем требуется, настоящее изобретение обеспечивает возможность предварительной загрузки соответствующих страниц и исключения сбоев страниц и тем самым обеспечивает возможность исполнения пользовательских приложений при полном использовании ЦПБ в ответ на пользовательский ввод. Как результат исключения (или состояния близкого к исключению) сбоев страниц, настоящее изобретение создает возможность более агрессивного управления дисковой памятью, чем это имеет место в настоящее время. Например, во многих случаях можно исключить ситуацию, когда восстановление из состояния резервирования задерживается на время раскручивания диска. Таким образом, значительное преимущество упреждающего и расширенного управления памятью в соответствии с настоящим изобретением состоит в том, что портативные устройства, такие как планшетные вычислительные устройства, компактные портативные компьютеры и другие подобные устройства могут работать в течение продолжительных периодов времени, не требуя считывания с диска. Поддержание диска в состоянии, не требующем раскручивания, при батарейном питании характеризует собой преимущество значительной экономии мощности питания для мобильных пользователей, так как диск, не раскручиваемый в течение увеличенных периодов времени, повышает срок службы батареи питания и в целом увеличивает срок службы диска.

В отсутствие считываний с диска, единственной причиной поддержания вращения диска является выполнение записей. Однако типовое действие записи включает повторные записи в одни и те же сектора диска, и число отдельных секторов, записываемых в течение длительных периодов времени в типовом случае является умеренным. В результате, простой кэш дискового сектора, при использовании памяти с батарейной поддержкой или другой энергонезависимой оперативной памяти, может в принципе обеспечить записи, как представлено на фиг.3, причем относительно малый объем дополнительной (как показано пунктирным блоком) энергонезависимой оперативной памяти 302 может являться частью полной энергонезависимой системы 300 хранения данных, которая позволяет диску оставаться остановленным, когда невозможно избежать некоторых записей или желательно их осуществить, например, когда пользователь сохраняет документ. В одной реализации энергонезависимая оперативная память объемом 32 мегабайта позволяла тестируемым системам избегать таких связанных с диском записей в течение относительно продолжительных периодов времени, в течение которых диск мог оставаться остановленным при выполнении обычных задач, таких как считывание электронной почты, просмотр web-страниц, редактирование и сохранение документов и т.д. Заметим, что энергонезависимая оперативная память 302 может управляться упреждающим способом дополнительной системой 304 упреждающего управления хранением данных (которая в некоторой степени подобна описанной здесь системе 200 упреждающего управления памятью) так, чтобы выгружать меньшее количество сохраненных страниц из энергонезависимой оперативной памяти 302 на диск 204, когда диск вращается, чтобы освободить пространство для использования, когда затем диск останавливается.

Хотя остановка диска вызывает серьезную проблему при первом требуемом обращении к диску, тщательное управление памятью и секторным кэшем позволит избежать синхронных задержек в большинстве ситуаций. Однако это будет не всегда возможно, и операционная система должна принимать стратегические решения о том, когда наиболее выгодно остановить и повторно запустить диск, и в некоторых случаях в будущем приложения будут содействовать переносам повторных запусков диска.

Таким образом, в принципе, настоящее изобретение направлено на методы управления памятью, которые существенным образом снижают потребность в использовании самого медленно действующего компонента, которым является диск, как фактора нормального использования системы. Настоящее изобретение, за счет нового упреждающего и гибкого подхода к управлению памятью, обеспечивает адекватное реагирование на важные операции, связанные с памятью, даже после загрузки, быстрое переключение пользователем или выход из больших приложений, таких как игровые программы. Надежные быстрые восстановления из резервного состояния, которые не испытывают задержки на раскручивание диска, также являются следствием настоящего изобретения, как и уменьшенные времена отклика в случае больших и дорогостоящих операций, которые в настоящее время связаны с диском, ввиду потребности в страничном обмене. Другие преимущества вытекают из самонастраивающегося кэширования памяти и автоматического структурирования файлов на диске, который адаптируется к конфигурациям использования системы и обеспечивает улучшенные рабочие характеристики в целом. Дополнительные преимущества включают значительное снижение медийных сбоев за счет защиты памяти и полосы диска, используемой в медийных приложениях, защиты от фоновых действий, таких как антивирусный анализ, индексирование файлов, запуски скриптов регистрации, что может нарушать целостность интерактивного отклика; а также увеличенный срок службы батарей питания, низкие шумы, низкие вибрации для мобильных устройств, что является следствием поддержания диска в остановленном состоянии в течение длительных периодов времени. Улучшенные возможности потокового режима для медийных приложений, а также приложений, подобных домашним (eHome) электронным приложениям, с множеством фоновых потоков, также являются результатом настоящего изобретения.

В нижеследующем разделе описаны различные реализации, приведенные в качестве примеров, которые являются лишь некоторыми из путей использования информации, которая может быть получена для управления памятью.

Примеры реализаций

По меньшей мере один пример реализации настоящего изобретения, описанный ниже, был осуществлен на базе модифицированной системы, исполняющей операционную систему Windows® XP SP1 компании Microsoft Corporation и файловую систему Windows® NTFS. Тем не менее, не предусматривается какое-либо ограничение настоящего изобретения конкретной операционной системой или типом управления памятью; напротив, предусматривается, что настоящее изобретение будет функционировать и обеспечивать преимущества при использовании с любым компьютером, имеющим память, управляемую системой управления памяти, так как настоящее изобретение спекулятивную («по предположению») и интеллектуальную схему управления кэшем. Более того, хотя был осуществлен пример реализации с накопителем на дисках в качестве вспомогательного запоминающего устройства, из которого производиться загрузка памяти, очевидно, что такое вспомогательное запоминающее устройство не обязательно должно представлять собой накопитель на дисках, а в качестве альтернативы включает использование флэш-памяти, сетевого источника данных, накопителя на магнитной ленте, и реально компьютерная система, которая полностью является бездисковой, может обеспечить значительную выгоду от применения настоящего изобретения.

В соответствии с одним из аспектов настоящего изобретения и по существу, как представлено в примере реализации 400 по фиг.4А и 4В, были разработаны различные механизмы, которые реализуют лежащий в основе настоящего изобретения метод упреждающего, гибкого и самонастраивающегося управления памятью. Такие механизмы предусматривают отслеживание и регистрацию страниц, к которым осуществлялось обращение, защиту более ценных страниц от эрозии и выборку и сохранение этих страниц в памяти после переносов. Эти механизмы исполняются как часть ядра (части исполняющей системы, управляющей процессором), но могут также включать в себя сервисы пользовательского (непривилегированного) режима.

Как описано выше, для отслеживания и регистрации использования памяти и других контекстных данных, настоящее изобретение предусматривает сбор информации для получения обширных данных, включая то, к каким страницам осуществляется обращение для текущих частых пользовательских действий. Например, может регистрироваться каждый доступ к страницам в отдельном процессе или во всей системе за определенный период времени. С этой целью, как представлено на фиг.4А на приведенном примере реализации 400, механизм 402 отслеживания (трассирования) или трассировщик отслеживает обращения к странницам путем контроля связанной со страницами операции 404, включая контроль битов доступа, которые соответствуют странице, к которой осуществляется доступ, и наблюдение того, когда страницы переносятся в память при сбое.

Также как показано на фиг.4А, информация трассировки сохраняется регистратором 406 в структурах данных (например, включая одну или более предыдущих регистраций 408 и исходных записей (регистраций) 410, как описано ниже), которые идентифицируют каждую страницу как пару «файл-офсет» (смещение) или, для конкретных страниц, таких как неупорядоченные массивы, как пару «рабочий набор-виртуальный адрес». Более конкретно, в одной реализации, механизм 402 отслеживания записывает связанные с процессом события виртуальной памяти в буферы ядра (не показаны), из которых затем осуществляется сборка исходных записей (регистраций) 410. Другая полезная часть информации, которая может быть получена механизмом 402, отслеживает, находилась ли страница (при обращении к ней) в памяти или при проявлении сбоя должна была быть записана с диска. События виртуальной памяти включают в себя начальные обращения к конкретным страницам адресного пространства и доступ к счетчикам, которые регистрируют частоту повторного обращения к странице. Также включается информация о состоянии машины и распознанных контекстах, действующих в момент трассировки. Для каждой страницы может поддерживаться дополнительная информация, например, о том, в каком из последних запусков сценария осуществлялось обращение к такой странице, и подобная информация о состоянии системы.

Таким образом, важной основой метода управления памятью согласно настоящему изобретению является регистрация событий управления памятью, наблюдаемых в системе, то есть представления обращений к частям виртуальных адресных пространств конкретными процессами. Может оказаться нереализуемой регистрация каждого обращения, и поэтому в описываемой реализации операция осуществляется с определенной гранулярностью страниц, чтобы зарегистрировать первые обращения и информацию о частоте последующих обращений.

Регистратор 406 работает путем использования трасс ядра и форматирования их как исходных записей 410. Функции регистратора включают обеспечение отслеживания пределов ресурсов таким образом, чтобы исходные записи не заполняли пользовательский диск. Трассы, зарегистрированные таким образом в исходных записях 410, представляют схемы (конфигурации) обращений для конкретной реализации процесса за некоторый приемлемо короткий интервал. Например, записи могут быть собраны за отдельную начальную загрузку или восстановление из режима пониженного энергопотребления, за период, следующий за некоторым пользовательским событием, таким как загрузка панели управления, за период, когда приложение является приоритетным приложением, за некоторый интервал времени, не поддерживаемый для конкретного события, и так далее.

В описываемой реализации записи включают в себя заголовок, который может содержать контекст, состояние памяти, временную информацию, а также могут включать в себя таблицу записей <источник, смещение, устойчивый отказ>, где источник представляет собой адресное пространство файла или процесса, к которому осуществляется обращение при заданном офсете (смещении), и устойчивый отказ указывает на то, были ли данные считаны с диска, что обеспечивает приближенную меру стоимости.

В дополнение к отслеживанию использования страниц для различных контекстов, также может поддерживаться информация о схемах (конфигурациях) обращения и времени существования отдельных страниц, которые находятся в памяти, обеспечивая возможность принятия лучших решений относительно использования страниц в рабочих наборах. Например, современные операционные системы поддерживают только два бита информации о времени существования на страницу, причем для программы-менеджера памяти все страницы, к которым недавно не было обращения (например, в последние несколько минут), будут представляться одинаковыми. В настоящем изобретении информация, к которой имеет доступ система управления памятью, может включать в себя ряд периодов (например, минут), в которые использовалась каждая страница, а также периодов, в которые каждая страница была создана и когда к ней имел место последний доступ. В соответствии с настоящим изобретением механизмы поддерживают эту информацию о страницах, даже когда эти страницы перемещаются на диск. Иными словами, страница отслеживается не только, когда она находится в памяти, но эта информация поддерживается и когда страница находится на диске. Эта дополнительная информация обеспечивает существенно более точную картину того, каким образом осуществлялось обращение к странице за время ее существования.

Механизм 402 отслеживания (трассировки) может работать одновременно по множеству действующих трасс. Эти трассы могут включать в себя непрерывные трассы, данные по которым, например, могут накапливаться одна за другой до тех пор, пока они не достигнут определенного объема (например, 100 000 записей), или до тех пор, пока они не составят конкретную длительность (например, интервал длительностью пять минут). Отметим, что один реализованный механизм трассировки имеет относительно низкие непроизводительные затраты (например, 0,1% ЦПБ с процессором на 450 МГц, плюс несколько мегабайт памяти для регистрации дня использования страницы), обеспечивая непрерывное отслеживание того, к каким страницам осуществлялось обращение, без нагружения системы. Трассировка может также выполняться как прерывистая операция типа взятия выборок, например, запускаемая автоматически или в ответ на запросы через инструментальные средства графического пользовательского интерфейса (ГПИ) для целей тестирования или обучения, что позволяет связать собранную информацию о страницах с конкретными операциями и переходами, такими как запуск приложения, быстрое переключение пользователем или восстановление из резервного состояния.

Заметим, что вместо запуска трассировки/регистрации из рабочей (временной) памяти для пользователя/системы, может быть выполнен некоторый объем предварительной тренировки (например, для других пользователей и систем). Это позволяет копировать некоторый предварительно сформированный файл и значение страницы и информационную базу данных в момент времени установки или другие подходящие моменты времени, например, когда инсталлируется прикладная программа. Такое статическое решение помогает ускорить кривую обучения (эффект обучения), которая в противном случае могла бы потребоваться всякий раз при добавлении нового пользователя, новой системы, новой версии операционной системы и/или новой программы. Таким образом, настоящее изобретение обеспечивает преимущества за счет основанной на значимости селективной или полной загрузки памяти, причем значимость определяется, по меньшей мере частично, на основе предварительного наблюдения, или отслеживанием предыстории использования, и/или обучением (включая моделирование, анализ кода, прогоны на другой машине и так далее). Для поддержания данных строится, используется и сохраняется постоянный репозиторий (система хранения) информации, который может находиться в любом файле, включая исполняемые файлы, документы и специализированные файлы данных и базы данных. Кроме того, отметим, что предварительно полученные знания также обеспечивают существенное сокращение в переносах ввода/вывода по запросу, даже без выполнения динамического сбора информации посредством регистрации и трассировки. Например, переносы ввода/вывода по запросу могут быть сокращены просто за счет обеспечения предварительно сформированных файлов группирования страниц, например, при неуспехе отображения панели управления пользователем на первой странице другие связанные страницы эффективно перемещаются в память с диска.

За счет механизма 402 трассировки и другой описываемой здесь обработки система управления памятью строит и поддерживает планы сценария (например, файлы) 422 (фиг.4В), которые содержат данные, которые могут использоваться для установления одной или более измеримых значимостей для страниц файлов, например, частоты использования. С этой целью различные компоненты могут обрабатывать данные с преобразованием их в подходящую форму для принятия решений по управлению памятью, включая интегратор 412, который по существу объединяет предыдущие записи 408 и исходные (необработанные) записи 410 в базу 414 данных информации страниц.

Интегратор 412, представленный на фиг.4А, представляет собой сервисную программу, которая может выполняться в процессе пользовательского уровня (когда доступ к ядру не требуется), который считывает исходные записи 410, обрабатывает их и объединяет информацию, которую они содержат, с информацией страниц для сходных контекстов, уже сохраненной в системе (например, в предыдущих записях 408). Первоначально не будет иметься предыдущей информации, но система быстро достигнет состояния, когда исходные трассы служат главным образом для обновления и уточнения информации, уже известной из предыдущих появлений конкретного контекста. Один простой интегратор 412, который был реализован, поддерживает вектор битов предыстории для каждой упомянутой страницы в трассах для заданного класса контекстов. Для интегрирования нового события, вектор битов предыстории получает смещение, и добавляется новый бит, представляющий наиболее поздний период времени. Страницы, которые появляются в новой записи, имеют «1» в качестве нового бита, в то время как остальные имеют «0». Страницы, которые появляются в первый раз, добавляются к базе 414 данных информации страниц, в то время как страницы, которые не были использованы в последнее время, могут быть удалены из базы 414 данных.

Таким образом, посредством интегратора 412, исходные записи 410, охватывающие конкретные события или интервалы, объединяются с предыдущими записями 408, содержащими известную информацию о предыдущих экземплярах сходных событий, таких как предыдущие прогоны той же самой программы, для создания базы 414 данных информации страниц. База 414 данных информации страниц по существу сжимает информацию, содержащуюся в записях, чтобы сократить объем памяти, требуемой для отслеживания этих данных, при реорганизации информации таким образом, чтобы сходные события группировались соответствующим образом, и выявлялась общность в файлах и страницах между исходной записью 410 и предыдущими записями 408.

Как показано на фиг.4А и 4В, информация в базе 414 данных информации страниц может быть извлечена (например, сервисной программой 420 извлечения) для формирования планов 422 сценария, которые показывают вероятную композицию будущих виртуальных адресных пространств и вероятность обращения к страницам в виртуальном пространстве в конкретных контекстах. Как описано ниже, эти планы 422 сценариев используются средством 424 перенастройки для прогнозирования будущих обращений для системы, и позволяют средству 424 перенастройки создавать новые планы управления памятью в ответ на события, наблюдаемые системой. Например, планы сценария могут быть сформированы из фиксированного набора файлов информации страниц, содержащих информацию, относящуюся к сценариям, известным как важные для системы, таким как начальная загрузка и завершение работы системы и восстановление из режима пониженного энергопотребления. Конкретные сообщения используются для установления контекстов. К этим данным может быть добавлена информация из сценариев, выбранных пользователем, например, через интерактивные графические инструментальные средства, и различным сценариям могут быть присвоены приоритеты по умолчанию, которые могут быть модифицированы за счет использования интерактивных инструментальных средств.

Когда планы 422 сценария изменяются, средство 426 присвоения приоритета страниц сценария (например, сервисная программа пользовательского режима, включенная или иным образом связанная c сервисной программой 420 извлечения) обрабатывает планы 422 сценариев для генерации списка страниц, которые должны быть загружены в память и защищены. Эта регенерация также может быть запущена на основе максимального прошедшего времени с момента последнего выполнения, чтобы гарантировать регенерацию планов по меньшей мере однократно каждые пятнадцать минут. В одной реализации, для выполнения присваивания приоритетов, каждой странице присваивается вычисленный отсчет приоритета. Когда эти отсчеты определены, страницы затем сортируются по вычисленным отсчетам для построения приоритетного списка 428 страниц.

Один фактор вычисления отсчета (скоринга), характеризующий частоту использования, определяется путем подсчета того, сколько раз эта страница была использована в течение последних интервалов времени, например, за последний час, последние восемь часов, последний день, последнюю неделю и так далее, в соответствии с файлами сценария данных. С этой целью средство 426 присвоения приоритета страниц отслеживает частоту использования страниц для различных временных интервалов, например, сегментов памяти для интервалов в один час, восемь часов, один день, три дня, одну неделю и три недели. На основе числа раз использования страницы в каждом из этих сегментов памяти, странице может быть присвоен отсчет в пределах от 0 до 127.

Каждый план сценария также может отслеживать то, в каком из последнего числа прогонов (например, тридцати двух) страница была использована, с временными метками для каждого запуска. Больший вес придается последним использованиям страницы. Кроме того, отсчеты для страниц, которые находятся в известных планах сценария, таких как план сценария, поддерживаемый для меню запуска, могут быть повышены для придания им более высокого приоритета.

Скоринг страниц может также принимать во внимание контекст, в котором наблюдалось использование страницы. Таким образом, отсчеты могут зависеть в совокупности от состояния машины, исполняемых приложений и последних операций пользователя. Такие усложненные подходы в присвоении приоритета страницам по всей вероятности будут уточняться с течением времени. Заметим, что поскольку каждый план сценария поддерживает информацию о времени и предыстории в отношении последнего числа прогонов (например, тридцати двух), в которых имело место обращение к страницам, то можно определить, как часто происходило обращение к конкретной странице файла в течение сценария по отношению к другим страницам, для которых зарегистрирована информация.

Для генерации событий, как показано на фиг.В, предусмотрено средство наблюдения или наблюдатель 430. Наблюдатель 430 предпочтительно содержит поток в ядре операционной системы, который контролирует состояние системы, включая явно выраженные изменения в физическом использовании памяти. Кроме того, вызовы в явном виде могут осуществляться для запуска оценки состояния, когда выполняются определенные действия, такие как начало завершения работы или режима пониженного энергопотребления. Кроме того, приложения могут осуществлять обращения в ядро для уведомления системы о потенциально интересующих изменениях состояния, к которым может быть применена выбранная приложением метка.

В одной реализации трассируемые события включают запуски приложений и прохождение распознанных сообщений управления окнами в ядро. Отслеживание сообщений управления окнами позволяет системе обнаруживать подсказки о том, что приложения или компоненты системы могут выполнять важные связанные с памятью операции, такие как запуск «меню запуска» или создание диалогов или окон для опций «открытие файла», «печать» или «панель управления». Во избежание избыточной трассировки частотных или тесно упакованных событий может быть использована эвристика. В ответ на эти события ядро отслеживает использование страниц для индивидуального процесса путем использования обращений к табличным записям битов на странице для страниц. Эти биты очищаются при начале трассировки и проверяются в конце трассы. Любые удаления или сбросы при трассировке битов, к которым осуществлено обращение, также регистрируется. Регистрируются страницы, к которым обращение было осуществлено через «считать файл» или «устойчивые отказы» при выполнении считывания с диска.

Когда наблюдается изменение в состоянии системы или вызов указывает на важное событие, генерируется событие 432, и состояние системы может быть обновлено с помощью сервисной программы 434 оценки состояния и обновления данных. Трассировка может быть вызвана или завершена, и/или в нее могут быть переданы данные 436 состояния (или другая информация памяти системы), и может быть запущена перенастройка, как представлено на фиг.4В. Состояние включает активные контексты, а также текущее распределение памяти между рабочими наборами, пустым списком, списком ожидания записи и резервным набором страниц. Информация о памяти системы включает размеры виртуальных адресов, размеры рабочих наборов, данные моментальных копий процесса, устойчивые отказы и нерегулярные сбои, биты аппаратно поддерживаемых обращений к памяти, информацию постраничного использования, полученную операционной системой, и любые другие измеренные данные или данные наблюдений, контексты и состояние, которые могут быть использованы для определения значимости страниц, как описано выше.

Как в общем описано выше, либо непрерывно, либо в конце трассировки, ядро формирует трассовый буфер, который включает в себя списки конкретных страниц, необходимых для различных файлов, а также множество счетчиков внутреннего управления памятью, таких как количество пустых/свободных страниц в системе и состав резервного набора страниц. Также как описано выше, трассовые буферы заполняются сервисами пользовательского уровня и используются для обновления файлов сценария, например, поддерживаются в каталоге упреждающей выборки. Имена файлов сценария могут основываться на трассируемом контексте, например, AppLaunch.WMPlayer.exe-...pfx или Shell.StartMenuCreate...pfx.

Таким способом системные события вызывают переоценку состояния системы и могут запускать перенастройку содержимого памяти. Контексты указываются маркерами, которые активизируются при выполнении конкретного системного кода, а также определяются приложениями через интерфейсы прикладного программирования или иные подобные средства. Приложения могут обеспечивать пользовательские интерфейсы, через которые пользователь может определить и маркировать свои персонализированные контексты. Другие системные события, которые могут вызвать переоценку, включают распределения и отмену распределений большой памяти, запуск процессов или обнаружение того, что пользователь перешел в состояние бездействия или возобновил работу. Таким образом, средство 424 управления памятью и перенастройки может воздействовать на запуски/события/контексты, так чтобы устанавливать приоритеты страниц, которые с большей вероятностью потребуются в текущем контексте, и оценивать их более высоко по отношению к другим, и предварительно загружать память на основе данного нового присваивания приоритетов. Эти контексты могут быть использованы процессором трассировки для категоризации и группирования данных использования трассируемых страниц. После идентификации страницы и группы страниц переупорядочиваются в памяти, так чтобы выгружать их, загружать все связанные страницы одновременно, когда в одной из них произошел сбой, и так далее.

Средство 424 перенастройки является промежуточным элементом между элементами пользовательского режима и режима ядра при выполнении метода упреждающей выборки в системе управления памятью. Как описано ниже, средство 424 перенастройки главным образом основывается на ядре для идентификации и упорядочивания страниц в резервном наборе страниц, для идентификации страниц низкой значимости и для защиты страниц высокой значимости. В дополнение к поддержке страниц высокой значимости, основным назначением средства 424 перенастройки является заполнение памяти страницами, которые выбрало средство 426 присвоения приоритета страница сценария, путем замены страниц низкой значимости страницами высокой значимости, как это определено отсчетами приоритета. С этой целью средство 424 перенастройки памяти отслеживает содержимое счетчиков средства 425 присвоения приоритета страницам сценария и памяти ядра для определения того, если потребуется предпринять какие-либо действия. Заметим, что счетчики содержимого памяти из ядра дают информацию о том, какое количество свободных/пустых страниц доступно, а также статистику для каждого резервного поднабора страниц (описаны ниже), и какое количество страниц переназначено ввиду слишком интенсивного использования памяти.

Таким образом, средство 424 перенастройки наблюдает текущее положение дел с памятью и может вызвать стандартные подпрограммы для правильной настройки памяти. Из этой информации средство 424 перенастройки затем определяет ресурс памяти, предназначающийся для использования в целях хранения данных упрежденной выборки. Пул (динамически распределяемая область) страниц, которая подлежит спекулятивному управлению, определяется путем идентификации страниц, которые обеспечивают низкую степень полезности, подобно страницам с пустым содержимым вне определенных границ, установленных для системы. Страницы низкой полезности могут также включать в себя страницы, имеющие действительное содержимое, которые не находятся в рабочих наборах, и которые не использовались в течение относительно длительного времени. Посредством средства 426 присвоения приоритета, средство 424 перенастройки таким образом использует информацию в планах 422 сценария для установки более идеального набора содержимого для памяти, в пределах ее ресурса. Оно может запрашивать (например, через интерфейсы прикладного программирования) для определения того, какое количество содержимого находится в памяти, и затем может модифицировать планы 422.

Если имеются свободные страницы или страницы низкой значимости, средство 424 перенастройки запрашивает ядро системы о заполнении их страницами более высокой значимости с использованием низкоприоритетной упреждающей выборки ввода/вывода до тех пор, пока страницы более высокой значимости не будут перенесены в память. С этой целью, как только средство 424 перенастройки установило список страниц согласно ресурсу, список желательных для загрузки страниц (и страниц для выгрузки) посылается в средство 440 планирования ввода/вывода. Эти инструкции ввода/вывода предпочтительно сортируются в очереди диска для минимизации поисков, результатом чего является намного более высокая пропускная способность диска. Если средство 424 перенастройки не в состоянии переместить в память столько страниц, сколько было бы необходимо, то средство 424 перенастройки запоминает свое местоположение в своем списке, и когда становится доступным большее количество страниц, то продолжает выполнять упреждающую выборку с этого места.

Всякий раз, когда средство 426 присвоения приоритета страницам сценария формирует новый перечень страниц или когда какая-либо из загруженных с упреждением (по гибкой процедуре) страниц, которые были введены в память, переназначается ввиду слишком интенсивного использования памяти, средство 424 перенастройки запускает упреждающую выборку с начала страницы. Перед тем как средство 424 перенастройки осуществит упреждающую выборку новой партии страниц, оно устанавливает в исходное состояние привилегии ранее выбранных с упреждением страниц, чтобы сделать их доступными.

Заметим, что средство 424 перенастройки может программироваться так, чтобы быть относительно консервативным по отношению к тому, какие страницы ему желательно ввести в память, чтобы избежать мешающего воздействия на пользовательские операции. С этой целью средство перенастройки устанавливается для выполнения низкоприоритетных операций ввода/вывода с помощью средства 440 планирования и может избегать выполнения действий, когда система находится в состоянии слишком интенсивного использования памяти. Например, средство 424 перенастройки может быть установлено так, чтобы только заменять страницы, которые не были использованы в течение относительно длительного времени и которые не были использованы довольно часто, и может не предпринимать никаких действий, если не имеется некоторого порогового объема доступной памяти в системе (например, 16 мегабайт), из которого определенная меньшая часть (например, 6 мегабайт) свободна или занята пустыми или другими страницами низкой степени полезности.

Средство 440 планирования ввода/вывода действует для загрузки желательного содержимого памяти путем выполнения вводов/выводов, но ограничено необходимостью избегать мешающего воздействия на другой ввод/вывод, осуществляемый в системе. Одним из способов выполнения этого является ожидание моментов времени относительно неинтенсивных действий ввода/вывода и разбиение задачи на относительно малые объемы переносов. Однако система может обеспечивать этот тип предотвращения мешающего воздействия путем реализации схемы приоритета. При этом средство 424 перенастройки, например, на периодической основе и/или при запуске принимает решение, какие страницы должны находиться в памяти, на основе ожидаемого использования, эффективности и так далее, как описано выше, а средство 440 планирования управляет переносами ввода/вывода для настройки содержимого памяти в соответствии с необходимостью, таким образом, чтобы попытаться минимизировать создание помех другим операциям ввода/вывода.

Как представлено на фиг.5А, при традиционном управлении памятью страницы, которые должны быть выгружены, сначала добавляются к резервному списку 500 страниц, который представляет собой просто список типа FIFO. Будучи списком типа FIFO, все страницы, добавленные к этому списку 500, обрабатываются одинаковым образом, без учета их важности. Это приводит в результате к ситуации, когда страница, которая была значимой страницей, переставляется перед другой страницей, использование которой когда-либо является маловероятным, но которая попала в список 500 позднее.

В соответствии с одним из аспектов настоящего изобретения и как представлено на фиг.5В, для улучшения данной схемы таким образом, чтобы защитить более значимые страницы, предусматривается резервный набор страниц с присвоенными приоритетами или кэш 502, который учитывает относительную значимость страниц, как это определено скорингом приоритета на основе трассировки. Как показано на фиг.5В, такой резервный набор страниц с присвоенным приоритетом включает в себя поднаборы 502₀ - 502₁₅, каждый из которых содержит одну или более страниц с назначенным конкретным приоритетом. Заметим, что на фиг.5В показано только малое количество таких поднаборов, однако легко понять, что возможно любое практически необходимое число таких поднаборов и что поднаборы могут быть различных размеров. Поднабор 502₀ является незащищенным поднабором, который действует подобно существующему резервному набору 500 страниц по фиг.5А; страницы, которые не трассировались адекватным образом, могут попасть в этот список. Когда необходимо переназначить страницу из резервного набора 502 страниц с присвоенным приоритетом, страница берется из непустого поднабора с самым низким приоритетом.

Таким образом, когда файл закрывается или рабочий набор правильно настраивается, его страницы переходят в резервный набор 502 страниц, с определением того, в какой поднабор эти страницы должны быть введены, на основе дополнительной расширенной информации об использовании, например, сохраненной в записи базы данных с номером страничного блока системы управления памятью для данной страницы. Помимо полей времени существования страницы и частоты обращения, имеются поля, которые позволяют настраивать приоритет страниц на основе информации из баз данных сценария и текущего контекста системы.

Поток стратегии управления памятью системы перенастраивает (например, путем вызова средства 424 перенастройки по фиг.4В) время от времени резервный набор 502 страниц с присвоенными приоритетами, например, один раз в каждую секунду. Страницы, которые были введены в высокоприоритетные поднаборы, которые затем не использовались в течение продолжительных периодов, мигрируют в более низкоприоритетные поднаборы.

В одном варианте некоторые страницы помещаются в поднабор 502₁₅ с наивысшим приоритетом, причем эти страницы никогда не переназначаются. Это обеспечивает механизм для удержания этих страниц в памяти даже при условиях высокоинтенсивного использования памяти. Заметим, что этот механизм является более действенным, чем VirtualLock (виртуальное блокирование), поскольку процессы, которые могут использовать его, имеют возможность перемещения вовне и возврата назад (и может быть, в действительности, еще должны быть созданы). Таким образом, в соответствии с настоящим изобретением эти механизмы обеспечивают возможность выбора страниц, которые желательно сохранить в памяти. Путем присвоения относительных приоритетов сценариям более важные страницы не просто переназначаются перед менее важными. Кроме того, может определяться набор малозначимых или не имеющих значимости страниц, которые могут быть заменены более значимыми страницами с диска.

В одной реализации система управления памятью делит резервный набор страниц на шестнадцать поднаборов, которые она использует для отсортировывания различных классов страниц и, путем упорядочивания поднаборов, придания большей степени защиты некоторым классам страниц. Как описано выше, страница, содержащая полезные данные (такая как файловая страница или динамически распределяемая область памяти для выполняемого процесса), но такая, которая не находится больше в каком-либо рабочем наборе 450 (фиг.4В), помещается в конкретный поднабор в резервном наборе 502 страниц с присвоенными приоритетами на основе предпочтения, установленного для него средством 424 перенастройки памяти, и/или на основе схемы (конфигурации) его использования, когда он находился в памяти. Как описано выше, для отслеживания использования страниц могут быть использованы выделенные сегменты памяти, например по десятисекундным блокам, вместе с отсчетом количества периодов, когда к странице имело место обращение с момента ее создания, и последним периодом, когда к странице имело место обращение, чтобы оценить время ее существования. ≤Периодически, например, один раз в секунду, средство 424 перенастройки проходит через часть резервного набора 502 страниц и осуществляет повторную оценку того, в каком поднаборе должна находиться конкретная страница. В принципе, страница, которая не использовалась в течение продолжительного периода времени, перемещается в соответствующий более низкоприоритетный поднабор.

В таблице 1 показано, каким образом в одной из реализаций определяется соответствующий поднабор для конкретной страницы. Если приложению требуется память, а свободных или пустых страниц не имеется, то резервный набор страниц будет переназначаться, начиная с низшего проиндексированного поднабора.

Таблица 1
Присвоение приоритетов резервным поднаборамИндекс поднабораОписание15Для страниц, блокируемых в памяти (необязательно)14Страницы с обращением в 40+ периодах13Страницы с обращением в 40+ периодах, но не использованные в течение 4+ часов12Страницы упреждающей выборки, осуществленной при упреждающем управлении памятью11Страницы с обращением в 20-40 периодах10Страницы с обращением в 10-20 периодах9Страниц нового резервного поднабора данных с недостаточным количеством данных8Страницы с обращением в ≤4 периодах, но не использованные в течение последних 5 минут7Страницы с обращением в ≤8 периодах, но не использованные в течение последних 10 минут6Страницы с обращением в ≤16 периодах, но не использованные в течение последних 20 минут5Сгруппированные страницы упреждающей выборки, осуществленной при упреждающем управлении памятью4Страницы с обращением в ≤2 периодах, но не использованные в течение последнего 1 часа3Страницы с обращением в ≤2 периодах, но не использованные в течение последних 4 часов2Страницы с обращением в ≤16 периодах, но не использованные в течение последнего дня1Страницы с обращением в ≤2 периодах, но не использованные в течение последнего дня0Страницы, к которым не было обращения в течение последних 3 дней

Кроме того, страницы рабочего набора, которые не использовались в течение 20 минут, удаляются из памяти 450 рабочего набора в резервный набор 502 страниц, чтобы обеспечить для него возможность управления с приоритизацией. Как показано на фиг.4В, программа-менеджер (система управления) 452 рабочего набора имеет возможность управления страницами, которые были использованы последними, как в традиционных системах с разделением по времени, в то время как управление резервным набором страниц через средство 424 перенастройки памяти управляет страницами в течение более продолжительных периодов времени.

Концептуально, как показано в таблице 1, в этом примере реализации система управления поднаборами использует категории «на основе последнего времени использования» и «на основе частоты использования» для управления резервным набором страниц, определяемого как временное отсеивание и цепное (многозвенное) повторное использование соответственно. Принцип временного отсеивания (как оно реализовано в поднаборах 502₀-502₈) и цепного повторного использования (как оно реализовано в поднаборах 502₁₀ - 502₁₄) состоит в том, что страницы, которые не использованы в последнее время, должны быть переназначены из резервного набора 502 страниц перед другими страницами, но что дополнительная защита должна быть предоставлена страницам, которые использовались весьма часто, хотя и не обязательно в самое последнее время. Страницы в резервном наборе 502 страниц организованы, таким образом, как последовательность поднаборов, и эти страницы будут периодически перемещаться из более защищенных поднаборов в менее защищенные поднаборы или, наоборот, на основе их недостаточного использования или действительного использования во времени. Таким образом, в предположении последней потребности в неиспользованной странице, неиспользованная страница будет перемещаться из поднабора «не использованные в течение 5 минут» в поднабор «не использованные в течение 10 минут», в поднабор «не использованные в течение 30 минут» и так далее, пока она не попадет в поднабор «не использованные в течение 3 дней» (или в какой-либо еще более низкий). Страницы, которые использовались несколько более часто в течение некоторого целесообразно выбранного интервала, будут, однако, проскакивать начальную часть каскада или могут удерживаться в некотором поднаборе в течение более продолжительного времени.

Категории временного отсеивания и многозвенной схемы повторного использования выполняют отделение страниц, которые были использованы только в течение краткого времени, от страниц, которые были использованы более часто, и затем присвоение приоритетов этим страницам в поднаборах соответствующих их категорий. Временное отсеивание действует по градиенту самого последнего использования, в то время как многозвенная схема повторного использования действует по градиенту на основе частоты использования. Разумеется, нет необходимости ограничивать градиенты какими-либо конкретными временами или частотами, на самом деле они могут изменяться на основе реальных условий, так что страницы перемещаются между поднаборами и удаляются из резервного набора страниц таким образом, как это подходит для конкретной системы.

Заметим, что страницы, которые считаны с диска в первый раз, должны быть помещены в поднаборы резервного поднабора 502 страниц. Классы страниц включают страницы упреждающей выборки (поднабор 502₁₂), сгруппированные страницы с ординарными сбоями (поднабор 502₉) и страницы, интерполированные в упреждающую выборку путем кластеризации (поднабор 502₅). Эти классы страниц приоритизированы в таком порядке, что страницы упреждающей выборки помещены среди страниц многозвенной схемы повторного использования, интерполированные страницы упреждающей выборки помещены среди страниц временного отсеивания, и страницы ординарных сбоев помещены между страницами многозвенной схемы повторного использования и страницами временного отсеивания.

В итоге, страницы с более высокой степенью полезности, необходимые в памяти, помещаются в резервные поднаборы для защиты их от нормального высокоинтенсивного использования памяти, что приводит в результате к значительным выигрышам в рабочих характеристиках с принятием соответствующих решений в ключевых сценариях идентификации и присвоения приоритетов. Например, в системе с 256 МБ согласованная реакционная способность была обеспечена во многих обычных операциях в оболочке (пользовательском интерфейсе), компонентах и приложениях, даже после таких переходов, как начальная загрузка, скоростное переключение пользователем и высокоинтенсивное использование памяти со стороны большого приложения. Быстрое возвращение из резервного состояния (например, скорее двух секунд), без значительных задержек на ввод/вывод с диска, обеспечивается на постоянной основе. Кроме того, при использовании этих механизмов стратегия самонастройки и набор правил, которые могут непрерывно обрабатывать получаемую информацию сценария, могут быть реализованы для определения того, какие страницы должны находиться в памяти.

Как можно понять из приведенного выше описания, выигрыш в эффективности за счет упреждающей выборки и своевременности не может обеспечить практически мгновенный пользовательский опыт, ввиду абсолютного размера требуемых данных и большого числа местоположений на диске, которые необходимы для доступа. Вместо этого, для обеспечения значительно улучшенного опыта, настоящее изобретение основывается на том, что страницы для пользовательских самых полезных и наиболее частых сценариев должны быть перенесены в память заранее. Таким образом, как только система управления стратегией выявила набор страниц, которые должны быть помещены в память, должна быть осуществлена упреждающая выборка этих страниц с использованием неактивных периодов диска. Однако в высшей степени интенсивным использованием ресурсов является помещение в очередь большого числа (например, сотен) спекулятивных асинхронных вводов/выводов для страничного обмена; например, если приоритетное приложение требует чего-либо с диска в данный момент времени, запрос приложения будет блокирован в очереди диска, что потенциально проявится в очень больших временах (например, порядка секунд) отсутствия реакции. Одно только обнаружение ожидания (простоя) не является надежным средством избежать таких ситуаций, поскольку пользовательское приложение может принять сбой, произошедший точно в момент, когда оно приняло решение о постановке в очередь спекулятивных вводов/выводов, за проявление состояния ожидания диска.

Как описано выше, настоящее изобретение позволяет избежать этой проблемы путем обеспечения поддержки для высокоприоритетных вводов/выводов, причем если спекулятивная упреждающая выборка поставлена в низкоприоритетную очередь диска, она не будет вызывать значительных задержек для запроса страничного обмена из приоритетного приложения, которые поставлены в очередь с высоким приоритетом.

Более того, если высокоприоритетные вводы/выводы выводятся по одному в каждый данный момент времени, они могут перемежаться с низкоприоритетными вводами/выводами упреждающей выборки. Результирующая схема поисков будет значительно влиять на полосу диска и оказывать отрицательное воздействие на времена отклика. В результате, для правильного ограничения непроизводительных затрат на спекулятивный ввод/вывод упреждающей выборки, может потребоваться объединить поддержку приоритетного ввода/вывода с быстрым и самонастраивающимся обнаружением состояния ожидания, обучающимся из своих отказов и конфигураций изменений. Когда поддержка приоритетного ввода/вывода объединяется с механизмами идентификации и присвоения приоритетов обращения к памяти, система получает возможность защитить операцию процесса от помехового влияния со стороны других процессов в системе. Традиционно это пытались сделать изменением приоритета процессов ЦПБ, но такая приоритизация не выполнялась по очередям диска или управлению памятью, по меньшей мере не в универсальных операционных системах.

Система ограничений в основном показана на фиг.6, где блок 602 ограничений ограничивает фоновые операции, такие как антивирусный анализ, индексирование файлов и запуски скриптов регистрации, чтобы ограничить взаимные помехи пользовательским приложениям. Блок 602 ограничений может также защищать медийные приложения от взаимных помех со стороны диска и памяти, что является одной из причин сбоев в аудио- и видеопотоках, а также обеспечить интерактивный отклик на приоритетные приложения даже в условиях интенсивной системной нагрузки.

Интеграция усовершенствований в управлении памятью с поддержкой приоритетных вводов/выводов обеспечивает основу для высокочувствительной и предсказуемой системы. Заметим, что блок 602 ограничений сам не обеспечивает высокоточных (например, на суб-100 миллисекундном уровне) ресурсных гарантий, которые могла бы обеспечить более сложная система управления ресурсами, но ограничивает отрицательные воздействия помех временами реакции, так что система всегда будет представляться как обеспечивающая адекватный отклик.

Как описано выше, упреждающая выборка является механизмом, с помощью которого набор страниц может быть эффективным образом считан с диска в память и помещен в конкретный резервный поднабор. Упреждающая выборка действует путем постановки в очередь асинхронных вводов/выводов страничного обмена для набора страниц, которые отсутствуют в памяти. В настоящем изобретении поддерживается упреждающая выборка страниц каталогов и других метаданных файлов, а также страниц страничных файлов. За счет усовершенствованного механизма упреждающей выборки настоящее изобретение может эффективным образом помещать в память любую страницу, идентифицированную в трассах, включая страницу файла, приватную страницу (динамическую область памяти процесса, пул ядра) в страничном файле, страницу системного реестра или метаданные системного файла, такие как MFT (таблица главного файла) или каталог.

Как можно видеть из вышеизложенного, различные механизмы упреждающего управления памятью обеспечивают намного более улучшенный пользовательский опыт для новых машин с большими объемами памяти, включая мобильные устройства, такие как планшетные устройства, настольные и компактные компьютеры, за счет обеспечения того, что данные по существу всегда будут находиться в памяти заранее. Эти методы и механизмы являются упреждающими, связаны с глобальным управлением памятью (как в памяти, так и на диске) за счет получения обширной информации и управления памятью на всех уровнях использования. Также обеспечивается эффективность ввода/вывода, вместе с категориями ввода/вывода, для попыток оптимизации переносов ввода/вывода при минимизации взаимных помех. Более интеллектуальным образом управляемый резервный набор страниц с присвоенными приоритетами облегчает поддержание более значимых страниц приоритетным образом по отношению к менее значимым, а также действует в концепции оценки полезности. Трассировка определяет использование памяти более оптимальным образом, вместе с контекстами, включая определенные пользователем, определяемые приложением и определяемые системой контексты. Системы и способы всеобъемлющего управления памятью, соответствующие настоящему изобретению, обеспечивают, таким образом, значительные преимущества и выгоды, требуемые в современных вычислительных системах.

Хотя изобретение допускает различные модификации и альтернативные конфигурации, некоторые иллюстративные варианты осуществления показаны на чертежах и описаны выше детальным образом. Однако следует иметь в виду, что при этом не предполагается, что изобретение должно ограничиваться конкретными раскрытыми формами выполнения. Напротив, изобретение охватывает также все модификации, альтернативные конфигурации и эквиваленты, соответствующие сущности и объему изобретения.

Изобретение относится к системам и способам упреждающего, гибкого и самонастраивающегося управления памятью. Техническим результатом является повышение эффективности управления памятью за счет загрузки и поддержания данных, которые, вероятно, потребуются в памяти, прежде чем эти данные действительно потребуются. Система содержит механизмы, направленные на контроль предшествующего использования памяти, анализ использования памяти, обновление памяти страницами высокой значимости, эффективность упреждающей выборки ввода/вывода и агрессивное управление диском. На основе информации об использовании памяти страницам присваиваются приоритеты согласно относительной значимости, и механизмы действуют для осуществления упреждающей выборки и/или поддержания в памяти более значимых страниц. Страницы выбираются с упреждением и поддерживаются в резервном наборе страниц с присвоенными приоритетами, включающем ряд поднаборов, причем более значимые страницы сохраняются в памяти с приоритетом перед менее значимыми. Значимые данные, которые постранично выгружены, могут быть автоматически гибким образом загружены назад. 6 н. и 36 з.п. ф-лы, 1 табл., 6 ил.

1. Материальный машиночитаемый носитель информации, содержащий исполняемые компьютером инструкции, сохраненные на нем, которые при исполнении выполняют этапы для выборки данных из ячейки хранения в память на основе ранжирования оцененной полезности для данных, содержащий наблюдение потребности для данных страниц, подлежащих сохранению в памяти;

определение значимости для упомянутых данных страниц на основе наблюдаемой потребности для данных страниц, причем каждая значимость представляет наблюдаемую потребность для этих данных страниц и независима от любой физической ячейки памяти; и

загрузку, по меньшей мере, некоторых данных страниц в память приоритизированным образом на основе определенных значимостей для данных страниц.

ассоциирование определенных значимостей с данными страниц и

определение, какой из одного или более наборов данных страниц загружать из ячейки хранения в ячейку памяти, на основе определенных значимостей, ассоциированных с одним или более наборами данных страниц.

замену данных страниц более низкой значимости в одной или более страницах памяти данными страниц более высокой значимости.