ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ ДЛЯ УСТАНОВЛЕНИЯ ИНТЕРНЕТ-ПОДКЛЮЧЕНИЯ Российский патент 2024 года по МПК G06T19/00 

Перекрестные ссылки на родственные заявки

[0001] Эта заявка на патент притязает на приоритет предварительной заявки на патент (США) номер 62/900403, озаглавленной "AUGMENTED REALITY FOR INTERNET CONNECTIVITY INSTALLATION", поданной 13 сентября 2019 года и полностью содержащейся в данном документе по ссылке.

[0002] Все публикации и заявки на патент, упомянутые в этом подробном описании, полностью содержатся в данном документе по ссылке в той мере, как если каждая отдельная публикация или заявка на патент конкретно и отдельно указана как включенная по ссылке.

Область техники, к которой относится изобретение

[0003] Это раскрытие сущности, в общем, относится к вариантам применения дополненной реальности, в частности, к тому, как они относятся к визуализации объектов дополненной реальности с изображениями сетевых устройств и имеющих к ним отношение компонентов, включающих в себя серверы, коммутаторы, точки доступа, маршрутизаторы и любые из ряда других сетевых устройств.

Уровень техники

[0004] Оборудование компьютерных сетей, в общем, включает в себя аппаратные устройства, которые обеспечивают связь и взаимодействие между устройствами в компьютерной сети. Примеры сетевых устройств, в общем, включают в себя коммутаторы, маршрутизаторы, шлюзы и точки беспроводного доступа, которые опосредуют передачу данных в компьютерной сети. При использовании в бизнес-окружении, сетевые устройства типично используются для того, чтобы соединять компьютеры и офисное оборудование различных пользователей, к примеру, принтеры, с локальной компьютерной сетью и Интернетом. Сетевое устройство обычно монтируется в стойке и организуется в стеллаже с другими различными сетевыми устройствами. Иногда стойка размещается в отдельном терморегулируемом помещении с другими стойками сетевых устройств. IT-специалист или технический специалист должен соединять кабели с портами сетевых устройств с различными другими устройствами в стойке. Время от времени, сетевой администратор должен осуществлять доступ к одному или более из сетевых устройств, чтобы обслуживать или выполнять поиск и устранение проблем. Типично, порты и кабели выглядят одинаково или аналогично друг другу. Таким образом, может быть затруднительным идентифицировать то, какие порты используются для того, чтобы соединяться с какими сетевыми устройствами, при просмотре различных кабелей и портов сетевых устройств в стойке.

[0005] При использовании в домашнем окружении, сетевые устройства типично используются для того, чтобы в беспроводном режиме соединять различные персональные компьютеры и другие электронные устройства с Интернетом. Потребители зачастую устанавливают собственное Интернет-подключение посредством соединения различных кабелей с сетевыми устройствами либо, в более сложных случаях, нанимают специалистов, чтобы корректно соединять сетевые устройства. Хотя руководства пользователя могут быть полезными, этот процесс может быть запутанным, особенно для неспециалиста. Если Интернет-подключение является нерабочим, для пользователя может быть затруднительным определять то, какие устройства надлежащим образом соединяются и работают, без времязатратного поиска и устранения неисправностей. Дополнительно, сегодняшние усовершенствования и тренды в домашней автоматизации приводят к расширению взаимной соединяемости в домашнем окружении. Например, аналитика в реальном времени, машинное обучение, технологии на основе датчиков и встроенные системы сходятся, чтобы обеспечивать больший мониторинг и управление различными бытовыми приборами и системами, с тем чтобы предоставлять высокий уровень домашней автоматизации. Например, освещение, ОВКВ (обогрев, вентиляция и кондиционирование воздуха), приборы, системы безопасности и другие системы могут соединяться и централизованно управляться, в силу этого предоставляя улучшенное удобство, комфорт, энергоэффективность и безопасность (например, в интеллектуальных домах). По мере того, как сеть соединительно увеличивается и становится более сложной, установление и поддерживание этих сетей с большой вероятностью должно усложняться.

[0006] В общем, должно быть преимущественным предоставлять программное обеспечение, системы и/или устройства, которые обеспечивают возможность пользователю проще устанавливать, поддерживать и выполнять поиск и устранение неисправностей сетевых устройств и имеющих к ним отношение компонентов, будь то в бизнес-окружении или в домашнем окружении.

Сущность изобретения

[0007] В данном документе описываются системы и способы в стиле дополненной реальности (AR), включающие в себя программное обеспечение, которое может использоваться для того, чтобы визуализировать сетевое подключение и другие скрытые аспекты электронных устройств. Системы и способы используют виртуальные объекты в качестве средств помощи при установлении, техобслуживании, управлении и/или ремонте различных компонентов сети. Системы и способы могут использоваться персоналом службы технической поддержки или администраторами отдела информационных технологий (IT) при поддержании беспроводной и/или проводной сетевой системы организации. В некоторых случаях, системы и способы используются персональным потребителем сетевого устройства в ходе установления или поиска и устранения неисправностей домашнего или домашне-офисного сетевого окружения.

[0008] Любые из способов, систем и устройств, описанных в данном документе, могут использоваться в сочетании с мобильным устройством, таким как мобильный телефон, планшетный компьютер, переносной компьютер или гарнитура (например, гарнитура виртуальной реальности). Например, пользователь может использовать камеру мобильного устройства для того, чтобы захватывать изображение или несколько изображений (например, при формировании изображений реального времени) одного или более сетевых устройств, с тем чтобы просматривать изображения сетевого устройства на дисплее мобильного устройства. В некоторых случаях, способы кодируются в программном AR-приложении, установленном на и/или иным способом доступном посредством (например, через Интернет) мобильного устройства. В некоторых случаях, программное обеспечение может быть выполнено с возможностью работать в сочетании с другим программным обеспечением (например, приложениями), доступными посредством мобильного устройства, к примеру, с предлагаемыми на рынке программными инструментальными AR-средствами. Любое программное инструментальное AR-средство на основе любой операционной системы может использоваться. В некоторых вариантах осуществления, используются инструментальные AR-средства и признаки платформы разработки ARKit, разработанной компанией Apple Inc., базирующейся в Купертино, Калифорния, США.

[0009] Хотя известны технологии дополненной реальности, способы и системы, описанные в данном документе, включают в себя признаки, которые обеспечивают возможность пользователю быстро и визуально определять состояние подключения сетевого устройства в реальном времени и, в некоторых случаях, различных других компонентов сети. Сетевое устройство может включать в себя идентификационный код или коды, такие как оптический код, RF-код и т.д. Оптический код может включать в себя видимую маркировку, которая может обнаруживаться и коррелироваться с сетевым устройством (например, коммутатором); примеры оптических кодов включают в себя, но не только, QR-коды, буквенно-цифровые коды, символы и т.д. Оптический код может соответствовать двумерному коду шаблона (например, матричному штрих-коду), который содержит кодированную информацию, ассоциированную с сетевым устройством. Оптический код может отображаться на сетевом устройстве, к примеру, на внешней поверхности сетевого устройства либо быть иным способом легко доступным для пользователя. В некоторых вариантах осуществления, оптический код находится на сменном дисплее, таком как сенсорный дисплей, который пользователь может сменять для того, чтобы осуществлять доступ к различным оптическим кодам или другой информации.

[0010] Альтернативно или дополнительно, идентификационный код сетевого устройства может представлять собой код радиоидентификации, соответствующий сетевому устройству. В некоторых примерах, сетевое устройство может передавать радиосигнал, к примеру, Bluetooth-сигнал, либо может взаимодействовать с мобильным устройством посредством кода (тега) радиочастотной идентификации (RFID) или кода (тега) по стандарту связи ближнего радиуса действия (NFC). Радиоидентификация может использоваться в сочетании или вместо оптического кода для идентификации сетевого устройства. Специалисты в данной области техники могут принимать во внимание, что Bluetooth-сигнал может иметь частоту в диапазоне от 2,402 Гигагерц до 2480 Гигагерц; и радиочастотный сигнал может иметь частоту в диапазоне от 20 Килогерц до 300 Гигагерц.

[0011] Идентификационный код может уникально быть ассоциирован с конкретным сетевым устройством. Тем не менее, в некоторых варьированиях, идентификационный код вместо этого может быть ассоциирован с конкретной подгруппой сетевых устройств, и уникальные идентификационные данные устройства могут определяться на основе вторичного индикатора, такого как идентификационные данные сканирующего устройства (например, смартфона, планшетного компьютера и т.д.), который может быть ассоциирован с конкретным пользователем. Например, идентификационный код может идентифицировать конкретную категорию, класс или поднабор сетевых устройств, и уникальные идентификационные данные конкретного устройства в этой категории, классе или поднаборе сетевых устройств могут уникально идентифицироваться посредством ассоциированной вторичной информации, такой как пользовательские идентификационные данные пользователя, выполняющего сканирование, сканирующего устройства (например, смартфона), одного или более устройств, определенных как связанные или соединенные с сетевым устройством, и т.д.

[0012] Идентификационный код (например, оптический код и/или код радиоидентификации) может использоваться для того, чтобы извлекать информацию в реальном времени, ассоциированную с состоянием подключения каждого из портов сетевого устройства. Идентификационный код (например, оптический код и/или код радиоидентификации) также может использоваться для того, чтобы осуществлять доступ к библиотеке виртуальных объектов на основе состояния подключения порта и типов устройств, которые соединяются с сетью. Один или более виртуальных объектов затем могут комбинироваться (например, накладываться) с захваченными снятыми камерой изображениями сетевого устройства для того, чтобы предоставлять визуальное представление портов, различных устройств, соединенных с сетью, и другую информацию, имеющую отношение к различным устройствам, соединенным с сетью.

[0013] В некоторых вариантах осуществления, виртуальные объекты включают в себя иллюстрации портов связи (виртуальных портов), которые совмещаются с соответствующими захваченными изображениями портов. Например, пользователь может просматривать порт сетевого устройства с использованием камеры мобильного устройства, и виртуальный порт может отображаться, по меньшей мере, поверх части изображения порта. Позиция виртуального порта может автоматически и динамически регулироваться на основе перемещения мобильного устройства. Например, когда пользователь перемещает мобильное устройство, чтобы захватывать изображение сетевого устройства с другой перспективы, позиция виртуального порта может автоматически регулироваться, чтобы сохранять его позицию поверх изображения порта таким образом, что пользователь подвергается плавным переходам при перемещении и просмотре различных частей сетевого устройства. В некоторых вариантах осуществления, позиция виртуального объекта стабилизируется посредством отфильтровывания одной или более степеней свободы, используемых для того, чтобы определять пространственную взаимосвязь мобильного устройства относительно порта(ов).

[0014] Виртуальные объекты могут включать в себя одну или более виртуальных меток с текстом, числами и/или символами, которые передают информацию, имеющую отношение к портам. Например, виртуальная метка на или рядом с изображениями порта может включать в себя идентификационные данные порта (например, номер порта) и/или идентификационные данные устройства, соединенного с портом. Виртуальная метка может включать в себя линию, которая протягивается между текстом, числами или символами и изображением порта, указывающую взаимосвязь между виртуальной меткой и портом.

[0015] Виртуальные объекты могут включать в себя иллюстрации одного или более устройств, соединенных либо которые ранее соединены с портами. Иллюстрации (значки) могут предоставлять пользователю быстрый визуальный ориентир в отношении того, с какими устройствами ассоциированы какие порты. Например, значок может представлять собой иллюстрацию с достаточной подробностью для пользователя, с тем чтобы определять то, представляет значок собой персональный компьютер, принтер, маршрутизатор, точку доступа, маршрутизатор или другое устройство. В некоторых случаях, информация относительно соединенного устройства используется для того, чтобы иллюстрировать конкретную модель или бренд устройства. Например, значок может представлять собой иллюстрацию конкретного бренда или модели телефона, телевизионного приемника, переносного компьютера, гарнитуры, настольного компьютера, точки доступа, мультимедийного проигрывателя или планшетного компьютера.

[0016] В некоторых случаях, виртуальный объект имеет различный внешний вид в зависимости от состояния соединения портов. Например, виртуальный порт может иметь другой цвет или непрозрачное качество, когда устройство соединяется с портом, по сравнению с тем, когда устройство не соединяется с портом. В некоторых случаях, значок имеет другой цвет или непрозрачность, когда устройство соединяется с портом, по сравнению с тем, когда устройство не соединяется с портом. Например, значок может иметь отображаемый серым или затененный внешний вид, когда устройство в данный момент не соединяется, но ранее было соединено с портом в течение указанного времени.

[0017] Согласно некоторым вариантам осуществления, виртуальные объекты могут передавать информацию в отношении того, имеет или нет устройство, соединенное с портом сетевого устройства, другие устройства, соединенные с ним. Например, если сетевое устройство соединяется с точкой беспроводного доступа, виртуальная метка и/или иллюстрация могут указывать то, соединяется или нет устройство-точка доступа с одним или более других устройств, таких как телефон, переносной компьютер, планшетный компьютер или гарнитура. Виртуальные объекты также могут передавать информацию производительности различных устройств, соединенных с сетевым устройством, такую как пропускная способность или время пребывания в рабочем состоянии. Виртуальные объекты могут передавать такие данные в форме виртуального графа или диаграммы.

[0018] Например, информация подключения также или альтернативно может включать в себя статистику по портам относительно соединенных и/или несоединенных портов на сетевом устройстве. Например, виртуальный дисплей может включать в себя информацию относительно статистики по портам для всех или некоторых соединенных портов; пользователь может переключать отображение/скрытие любой (всей или поднабора) статистической информации по портам. Статистическая информация по портам может включать в себя, например, информацию пропускной способности (например, текущую пропускную способность, среднюю пропускную способность в течение часа, дня, недели и т.д., MAC-адреса, IP-адреса и т.д.). В некоторых варьированиях, статистическая информация по портам может включать в себя архивную информацию (например, показывающую одно или более соединений, установленных в прошлом, при соединении/отсоединении и т.д.). В некоторых варьированиях, статистическая информация по портам может отображаться для текущих несоединенных портов. Статистическая информация по портам может отображаться в качестве текста, значков либо некоторой комбинации означенного. Эта информация может отображаться посредством пользовательского выбора (например, выбора на сенсорном экране необходимости развертывать или свертывать дополнительную информацию). Таким образом, информация подключения портов может отображаться в качестве части виртуального объекта, в дополнение к виртуальному объекту или отдельно от виртуального объекта.

[0019] Эти и другие признаки и преимущества AR-способов, систем и устройств описываются подробно в данном документе.

[0020] Любые из способов, описанных в данном документе, могут осуществляться посредством оборудования (например, системы, устройства и т.д.), выполненного с возможностью осуществлять способ, включающий в себя необязательные этапы, описанные в данном документе. Например, в данном документе описываются системы для отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства. Эта система может включать в себя: прием идентификационного кода из сетевого устройства посредством мобильного устройства; отображение захваченных снятых камерой изображений сетевого устройства на дисплее мобильного устройства, причем изображения включают в себя множество портов сетевого устройства; извлечение информации, ассоциированной с состоянием подключения каждого из множества портов, с использованием идентификационного кода; определение пространственной взаимосвязи мобильного устройства относительно одного или более портов с использованием идентификационного кода; и наложение одного или более виртуальных портов поверх сетевого устройства на изображения, при этом виртуальные порты включают в себя информацию относительно подключения сетевого устройства в одном или более виртуальных портов.

[0021] Идентификационный код может представлять собой оптический код (например, штрих-код, QR-коды и т.д.) или RF-код (например, Bluetooth-код, NFC и т.д.). Любые из этих способов могут включать в себя осуществление доступа к библиотеке виртуальных объектов на основе информации, ассоциированной с состоянием подключения порта, виртуальные объекты могут включать в себя один или более значков, соответствующих типу устройства, соединенного с одним или более портов сетевого устройства (например, камеры, телефона, компьютера, точки доступа и т.д.). Виртуальные порты могут включать в себя один или более значков. При отображении, эти значки могут использоваться для того, чтобы указывать информацию относительно соединенных(ого) устройств(а).

[0022] Например, способ отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства может включать в себя: отображение захваченных снятых камерой изображений сетевого устройства на дисплее мобильного устройства, причем изображения включают в себя: один или более портов сетевого устройства и оптический код на сетевом устройстве, которые включают в себя информацию сетевого подключения, ассоциированную с сетевым устройством; извлечение информации, ассоциированной с состоянием подключения одного или более портов, с использованием оптического кода; осуществление доступа к библиотеке виртуальных объектов на основе информации, ассоциированной с состоянием подключения одного или более портов, причем виртуальные объекты включают в себя значок, соответствующий типу устройства, соединенного с каждым из одного или более портов сетевого устройства; определение пространственной взаимосвязи мобильного устройства относительно одного или более портов с использованием оптического кода; и наложение одного или более виртуальных портов, при этом виртуальные порты включают в себя значок, соответствующий типу устройства, соединенного с одним или более портов, поверх изображения сетевого устройства, при этом качество виртуального порта указывает состояние подключения порта на основе извлечения информации.

[0023] Система для отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства может включать в себя один или более процессоров; запоминающее устройство, связанное с одним или более процессоров, причем запоминающее устройство выполнено с возможностью сохранять компьютерные программные инструкции, которые, при выполнении посредством одного или более процессоров, осуществляют машинореализованный способ, содержащий: прием идентификационного кода из сетевого устройства посредством мобильного устройства; отображение захваченных снятых камерой изображений сетевого устройства на дисплее мобильного устройства, причем изображения включают в себя множество портов сетевого устройства; извлечение информации, ассоциированной с состоянием подключения каждого из множества портов, с использованием идентификационного кода; определение пространственной взаимосвязи мобильного устройства относительно одного или более портов с использованием идентификационного кода; и наложение одного или более виртуальных портов поверх сетевого устройства на изображения, при этом виртуальные порты включают в себя информацию относительно подключения сетевого устройства в одном или более виртуальных портов.

[0024] Один или более процессоров могут представлять собой часть мобильного устройства (например, смартфона, планшетного компьютера и т.д.).

[0025] Любые из этих способов и устройств для их осуществления могут быть выполнены с возможностью работать в реальном времени или почти в реальном времени.

[0026] Например, способ отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства, при этом способ содержит: захват видеоизображения сетевого устройства с использованием устройства мобильной связи, при этом видеоизображение включает в себя множество портов; прием, в устройстве мобильной связи, идентификационного кода, конкретного для сетевого устройства, из сетевого устройства; определение, из идентификационного кода, информации относительно подключения множества портов сетевого устройства; отображение на видеоизображении, в реальном времени, наложения на множество портов сетевого устройства, причем наложение включает в себя индикатор сетевого подключения, конкретного для каждого порта, при этом индикатор сетевого подключения содержит одно или более из следующего: состояние соединения, скорость соединения, трафик данных, идентификационные данные соединения, длительность соединения и использование технологии подачи мощности по Ethernet (POE).

[0027] Способ отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства может включать в себя: захват видеоизображения сетевого устройства с использованием устройства мобильной связи, при этом видеоизображение включает в себя код, конкретный для сетевого устройства; определение, из кода, информации относительно подключения одного или более портов сетевого устройства; отображение на видеоизображении, в реальном времени, наложения на один или более портов сетевого устройства, включающего в себя индикатор сетевого подключения, конкретного для каждого порта, при этом индикатор сетевого подключения содержит одно или более из следующего: состояние соединения, скорость соединения, трафик данных, идентификационные данные соединения, длительность соединения и использование технологии подачи мощности по Ethernet (POE).

[0028] Сетевое устройство может представлять собой любое соответствующее сетевое устройство, имеющее один или более портов, такое как, например, коммутатор, маршрутизатор, точка доступа и т.д. Устройство мобильной связи может содержать смартфон или планшетный компьютер. Код может содержать QR-код, такой как цифровой QR-код. Цифровой QR-код может обновляться или модифицироваться, чтобы оптически передавать информацию в карманное устройство (например, смартфон, планшетный компьютер и т.д.).

[0029] Любые из этих способов могут включать в себя определение местоположений каждого из одного или более портов сетевого устройства из кода и изображения. Например, любые из этих способов могут включать в себя определение местоположений каждого из одного или более портов сетевого устройства из кода и изображения и ориентации устройства мобильной связи.

[0030] Определение может содержать определение информации относительно подключения одного или более портов сетевого устройства посредством осуществления доступа к удаленной базе данных с использованием устройства мобильной связи и использования кода для того, чтобы идентифицировать информацию относительно одного или более портов. В любом из этих способов, один или более портов могут уникально идентифицироваться.

[0031] Способ отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства может включать в себя: захват видеоизображения множества сетевых устройств с использованием устройства мобильной связи, при этом каждое из сетевых устройств содержит множество портов и уникальный идентификационный код; прием, в устройстве мобильной связи, уникального идентификационного кода, конкретного для каждого из сетевых устройств, из сетевых устройств из множества сетевых устройств; определение, из уникального идентификационного кода, конкретного для каждого из сетевых устройств, информации относительно подключения одного или более портов каждого из сетевых устройств; отображение на видеоизображении, в реальном времени, наложения на каждый из одного или более портов сетевых устройств, включающего в себя индикатор сетевого подключения, конкретного для каждого порта, при этом индикатор сетевого подключения содержит одно или более из следующего: состояние соединения, скорость соединения, трафик данных, идентификационные данные соединения, длительность соединения и использование технологии подачи мощности по Ethernet (POE); и обновление дисплея в реальном времени по мере того, как индикатор сетевого подключения изменяется.

[0032] Например, способ отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства может включать в себя: захват видеоизображения множества сетевых устройств с использованием устройства мобильной связи, при этом видеоизображение включает в себя цифровой QR-код, конкретный для каждого из сетевых устройств, во множестве сетевых устройств; определение, из цифровых QR-кодов, информации относительно подключения одного или более портов каждого из сетевых устройств; отображение на видеоизображении, в реальном времени, наложения на каждый из одного или более портов сетевых устройств, включающего в себя индикатор сетевого подключения, конкретного для каждого порта, при этом индикатор сетевого подключения содержит одно или более из следующего: состояние соединения, скорость соединения, трафик данных, идентификационные данные соединения, длительность соединения и использование технологии подачи мощности по Ethernet (POE); и обновление дисплея в реальном времени по мере того, как индикатор сетевого подключения изменяется.

[0033] Также в данном документе описываются системы для отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства. Например, система может включать в себя: один или более процессоров; запоминающее устройство, связанное с одним или более процессоров, причем запоминающее устройство выполнено с возможностью сохранять компьютерные программные инструкции, которые, при выполнении посредством одного или более процессоров, осуществляют машинореализованный способ, содержащий: захват видеоизображения сетевого устройства с использованием устройства мобильной связи, при этом видеоизображение включает в себя множество портов; прием, в устройстве мобильной связи, идентификационного кода, конкретного для сетевого устройства, из сетевого устройства; определение, из идентификационного кода, информации относительно подключения множества портов сетевого устройства; отображение на видеоизображении, в реальном времени, наложения на множество портов сетевого устройства, причем наложение включает в себя индикатор сетевого подключения, конкретного для каждого порта, при этом индикатор сетевого подключения содержит одно или более из следующего: состояние соединения, скорость соединения, трафик данных, идентификационные данные соединения, длительность соединения и использование технологии подачи мощности по Ethernet (POE).

[0034] Система для отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства может включать в себя: один или более процессоров; запоминающее устройство, связанное с одним или более процессоров, причем запоминающее устройство выполнено с возможностью сохранять компьютерные программные инструкции, которые, при выполнении посредством одного или более процессоров, осуществляют машинореализованный способ, содержащий: захват видеоизображения множества сетевых устройств с использованием устройства мобильной связи, при этом каждое из сетевых устройств содержит множество портов и уникальный идентификационный код; прием, в устройстве мобильной связи, уникального идентификационного кода, конкретного для каждого из сетевых устройств, из сетевых устройств из множества сетевых устройств; определение, из уникального идентификационного кода, конкретного для каждого из сетевых устройств, информации относительно подключения одного или более портов каждого из сетевых устройств; отображение на видеоизображении, в реальном времени, наложения на каждый из одного или более портов сетевых устройств, включающего в себя индикатор сетевого подключения, конкретного для каждого порта, при этом индикатор сетевого подключения содержит одно или более из следующего: состояние соединения, скорость соединения, трафик данных, идентификационные данные соединения, длительность соединения и использование технологии подачи мощности по Ethernet (POE); и обновление дисплея в реальном времени по мере того, как индикатор сетевого подключения изменяется.

[0035] Способы и оборудование, описанные в данном документе, могут быть выполнены с возможностью использоваться с несколькими сетевыми устройствами (например, с несколькими коммутаторами, маршрутизаторами и т.д.), которые включают в себя множество портов. Например, в некоторых варьированиях, способ может включать в себя прием идентификационного кода (например, уникального идентификационного кода) для каждого из множества сетевых устройств, таких как стеллаж устройств. Идентификационные коды могут быть оптическими, RF- либо комбинацией оптических и RF-кодов. Эти способы и оборудование могут обеспечивать возможность пользователю переключаться между дисплеями виртуальных портов для каждого из множества устройств. Например, пользователь может перемещать устройство мобильной связи вверх/вниз по стеллажу сетевых устройств, чтобы изменять вид, показывающий виртуальные порты, соответствующие каждому; альтернативно или дополнительно, пользователь может выбирать управление для устройства мобильной связи, чтобы коммутировать представление в стиле дополненной реальности между различными сетевыми устройствами. В некоторых варьированиях, несколько различных сетевых устройств могут одновременно показываться вместе.

Краткое описание чертежей

[0036] Новые признаки изобретения подробно излагаются в нижеприведенной формуле изобретения. Лучшее понимание признаков и преимуществ настоящего изобретения должно получаться посредством ссылки на дальнейшее подробное описание, которое задает иллюстративные варианты осуществления, в которых используются принципы изобретения, и на прилагаемые чертежи, из которых:

[0037] Фиг. 1A и 1B иллюстрируют пример пользователя с использованием устройств и способов, описанных в данном документе.

[0038] Фиг. 2A иллюстрирует пример стеллажа сетевых устройств, имеющих оптические коды.

[0039] Фиг. 2B иллюстрирует примерный экран отображения для отображения одного или более оптических кодов.

[0040] Фиг. 3A-3C иллюстрируют примеры оптических кодов, сформированных с использованием генератора кода.

[0041] Фиг. 4A-4F иллюстрируют примерные пользовательские интерфейсы для настройки и использования мобильного устройства в AR-режиме.

[0042] Фиг. 5A-5C иллюстрируют другие примерные пользовательские интерфейсы для настройки мобильного устройства в AR-режиме.

[0043] Фиг. 6 иллюстрирует пример AR-наложения для использования в сочетании с захваченными изображениями для просмотра сетевого устройства.

[0044] Фиг. 7A и 7B иллюстрируют другой пример пользовательских интерфейсов с использованием мобильного устройства в AR-режиме.

[0045] Фиг. 8 иллюстрирует примерный пользовательский интерфейс, который включает в себя различные виртуальные объекты, имеющие отношение к производительности одного или более сетевых устройств.

[0046] Фиг. 9A-9E иллюстрируют аспекты примерных трехмерных систем координат, используемых для того, чтобы визуализировать AR-объекты.

[0047] Фиг. 10A-10D иллюстрируют блок-схему последовательности операций способа и архитектурную карту, представляющую примерный процесс для настройки и использования AR-приложения.

Подробное описание изобретения

[0048] В общем, в данном документе описываются системы, устройства и способы в стиле дополненной реальности (AR) для просмотра скрытых признаков электронных устройств. В конкретных вариантах применения AR-системы, устройства и способы используются для того, чтобы визуализировать виртуальные объекты, которые передают информацию, имеющую отношение к сетевому подключению электронных устройств. Виртуальные объекты могут предоставлять визуальное представление пользователю относительно состояния сетевого подключения сетевого устройства, за счет этого упрощая установление и управление компьютерной сетью. Пользователь может использовать камеру мобильного устройства, такого как мобильный телефон или планшетный компьютер, чтобы захватывать поток изображений сетевого устройства в реальном времени. Виртуальные объекты могут быть визуализированы на дисплее мобильного устройства наряду с захваченными изображениями, чтобы предоставлять восприятие в стиле дополненной реальности для пользователя.

[0049] Фиг. 1A и 1B иллюстрируют один пример пользователя 101 с использованием AR-устройств и способов, описанных в данном документе. Пользователь 101 может представлять собой любого пользователя, такого как персонал службы технической поддержки или IT-администратор, который устанавливает или управляет внутренней рабочей сетью, либо персонального потребителя, который устанавливает или управляет домашней сетью. Пользователь 101 может использовать мобильное устройство 100 для того, чтобы визуально наблюдать скрытые аспекты, имеющие отношение к сетевому устройству 102, и которые должны использоваться для того, чтобы устанавливать, выполнять поиск и устранение неисправностей и/или проверять состояние сетевого устройства 102.

[0050] В общем, сетевое устройство 102 может представлять собой любое электронное устройство, которое допускает соединение, проводное и/или беспроводное, с одной или более компьютерных сетей. Компьютерная сеть может включать в себя одну или более сетей, варьирующихся по размеру в любом диапазоне от глобальных компьютерных сетей до наномасштабной компьютерной сети. Компьютерная сеть может представлять собой локальную сеть, глобальную вычислительную сеть, к примеру, облачную сеть (например, Интернет) либо комбинацию локальных и глобальных вычислительных сетей. Например, компьютерная сеть может представлять собой локальную компьютерную сеть, которая взаимно соединяет компьютеры организации, квартиры или школы, которая также может соединяться с Интернетом. В некоторых случаях, сетевое устройство 102 выполнено с возможностью опосредовать передачу данных в одной или более компьютерных сетей. Сетевое устройство 102 может представлять собой сетевой коммутатор (также называемый "коммутируемым концентратором"), который соединяет устройства в компьютерной сети с использованием коммутации пакетов, чтобы принимать, обрабатывать и перенаправлять данные в целевое устройство. Сетевое устройство 102 может представлять собой шлюзовое устройство, которое обеспечивает поток данных между различными сетями. Сетевое устройство 102 может представлять собой маршрутизатор, который перенаправляет пакеты данных между компьютерами. Сетевое устройство 102 может представлять собой цифровой концентратор, который принимает информацию из различных датчиков и контроллеров (узлов), которые могут формировать "интеллектуальную" соединенную беспроводным способом сеть для обитаемого пространства (например, домашнюю, офисную, рабочую и т.д.). Сетевое устройство 102 может представлять собой сетевой мост, который создает агрегированную сеть из нескольких сетей связи или сегментов сети. Сетевое устройство 102 может представлять собой повторитель, который принимает и повторно передает сигналы. Сетевое устройство 102 может представлять собой Ethernet-концентратор для соединения нескольких Ethernet-устройств между собой. Сетевое устройство 102 может представлять собой гибридное сетевое устройство, такое как многоуровневый коммутатор, преобразователь протоколов и/или мостовой маршрутизатор (мост-маршрутизатор). В некоторых вариантах осуществления, сетевое устройство представляет собой устройство в формате UniFi Dream Machine Pro (UDMP) или другое сетевое устройство, изготовленное компанией Ubiquiti Networks, базирующейся в Нью-Йорке, Нью-Йорке, США. Сетевое устройство 102 может представлять собой граничное сетевое устройство, которое постоянно размещается в точке соединения различных сетей, такое как прокси-сервер, брандмауэр или транслятор сетевых адресов (NAT). Сетевое устройство 102 может представлять собой конечное станционное устройство, используемое для того, чтобы создавать сети или коммутируемые соединения, такое как сетевой интерфейсный контроллер (NIC), беспроводной сетевой интерфейсный контроллер, модем, терминальный ISDN-адаптер или линейный формирователь сигналов управления. Сетевое устройство 102 может представлять собой сервер, который предоставляет функциональность для одного или более клиентов. Сетевое устройство 102 может представлять собой одно из нескольких сетевых устройств, размещаемых на стеллаже 110 сетевых устройств, в этом случае в стойке.

[0051] Устройства и способы, описанные в данном документе, используют виртуальные объекты таким образом, что пользователь 101 может видеть скрытые аспекты сетевого устройства 102 или для ряда сетевых устройств на стеллаже 110. Чтобы инициировать инструментальные AR-средства, пользователь 101 может использовать сканирующее устройство, такое как мобильное устройство 100 для того, чтобы сканировать оптический код 104 на сетевом устройстве 102, как показано на фиг. 1A. Например, пользователь может использовать камеру мобильного устройства 100 для того, чтобы захватывать одно или более изображений оптического кода 104. Оптический код 104 может представлять собой любой машиночитаемый код, который содержит информацию относительно сетевого устройства 102. Оптический код 104 может представлять собой двумерный шаблон, который кодирует информацию, ассоциированную с сетевым устройством 102. Например, оптический код 104 может представлять собой код быстрого отклика (QR), ARTag-код, штрих-код (например, линейный штрих-код), буквенно-цифровой код, числовой код, написанные буквы либо любую комбинацию вышеозначенного. Оптический код 104 может находиться на поверхности сетевого устройства 102, к примеру, на внешней поверхности, которая является легкодоступной для пользователя 101. Оптический код 104 может присоединяться к поверхности с использованием любого средства. Например, оптический код 104 может быть нарисован на поверхности сетевого устройства или на этикетке, приклеенной к поверхности сетевого устройства. В некоторых случаях, оптический код 104 формируется посредством дисплея на сетевом устройстве 102.

[0052] Оптический код 104 может включать в себя один или более идентификаторов (например, уникальный идентификатор), ассоциированных с сетевым устройством 102, так что к информации, ассоциированной с сетевым устройством 102, может осуществляться доступ. Например, когда пользователь захватывает одно или более изображений оптического кода 104, мобильное устройство 100 может отправлять идентификатор(ы) в систему управления сетью (например, на один или более удаленных серверов). При приеме идентификатора из мобильного устройства 100, система управления сетью может отправлять в мобильное устройство 100 и/или в сетевое устройство 102 информацию относительно сетевого устройства 102. Например, мобильное устройство 100 может иметь доступ к базе данных информации, имеющей отношение к сетевому устройству 102. База данных может включать в себя библиотеку виртуальных объектов на основе идентификационных данных сетевого устройства 102, состояния подключения сетевого устройства 102 и идентификационных данных любых устройств, соединенных с сетевым устройством 102. Информация может включать в себя тип (например, марку и модель) сетевого устройства 102, а также информацию относительно одного или более интерфейсов связи, к примеру, аппаратных или программных интерфейсов. Информация может включать в себя информацию, имеющую отношение к одному или более портов 108 связи сетевого устройства 102. Порт 108 может представлять собой любой тип интерфейса между устройством и другими компьютерами или периферийными устройствами. Порт 108 может представлять собой интерфейс ввода или вывода для устройства. Порт 108 может включать в себя аппаратный интерфейс, в том числе, но не только, порт по стандарту универсальной последовательной шины (USB), последовательный порт, видеопорт, аудиопорт, порт по стандарту мультимедийного интерфейса высокой четкости (HDMI) или параллельный порт. В некоторых случаях, интерфейс связи представляет собой беспроводной интерфейс, который в беспроводном режиме соединяется с одним или более компьютерами.

[0053] После того как мобильное устройство 100 принимает информацию, ассоциированную с сетевым устройством 102, эта информация может использоваться для того, чтобы визуализировать виртуальные объекты на дисплее мобильного устройства 100 наряду с захваченными снятыми камерой изображениями в реальном времени. В некоторых вариантах осуществления, виртуальные объекты накладывают захваченные снятые камерой изображения. Виртуальные объекты могут включать в себя иллюстрации и/или текст, которые передают информацию, которая нормально не является очевидной для пользователя 101. Виртуальные объекты могут включать в себя виртуальные порты 108, кабели 106 или другие иллюстрации частей сетевого устройства 102. Виртуальные объекты могут включать в себя текст, числа и метки, которые передают информацию в отношении идентификационных данных и/или состояния любых устройств, соединенных с сетевым устройством 102, через порты 108 и/или через беспроводную связь.

[0054] Виртуальные объекты могут включать в себя значки, соответствующие иллюстрациям различных устройств, соединенных с сетевым устройством 102. В некоторых случаях, значки могут отображаться рядом с захваченными изображениями портов 108 таким образом, что пользователь 101 может быстро идентифицировать тип и подключение различных устройств. Значки могут иллюстрировать любой тип устройства, соединенного с сетью, такого как компьютер или другое устройство (например, датчик). Например, компьютер может представлять собой персональный компьютер, к примеру, настольный компьютер или мобильное устройство (например, переносной компьютер, планшетный компьютер, телефон или гарнитура). Компьютер может представлять собой серверный компьютер, выполненный с возможностью совместно использоваться одним или более пользователями сети. Компьютер может представлять собой сервер или клиент. Компьютер может представлять собой маршрутизатор, такой как беспроводной маршрутизатор. Компьютер может представлять собой модем. Компьютер может представлять собой принтер или другое компьютерное устройство для настройки работы офиса. Компьютер может представлять собой устройство-точку доступа, выполненное с возможностью позволять Wi-Fi-устройствам соединяться с сетью. Компьютер может представлять собой интеллектуальное бытовое устройство, такое как термостат, детектор дыма или угарного газа, система безопасности, дверной звонок, умный замок, кухонный прибор. Компьютер может представлять собой камеру, динамик или микрофонное устройство. Компьютер может представлять собой Bluetooth-устройство.

[0055] В некоторых вариантах осуществления, мобильное устройство 100 может динамически отображать виртуальные объекты в реальном времени. Таким образом, виртуальные объекты могут быть визуализированы на дисплее мобильного устройства 100 в течение или достаточно близко ко времени, в которое изображения, захваченные посредством камеры мобильного устройства, визуализируются на дисплее таким образом, что пользователь может испытывать практически непрерывные изменения изображений, во многом аналогично видео с виртуальными объектами, включенными в него. По мере того, как камера мобильного устройства 100 захватывает поток изображений во времени, виртуальные объекты могут быть визуализированы на дисплее наряду с потоком изображений. Таким образом, когда пользователь 101 перемещает мобильное устройство 100 относительно сетевого устройства 102, к примеру, при сканировании различных портов 108 сетевого устройства 102, виртуальные объекты могут динамически обновлять себя на основе хода изменений захваченных изображений. Например, виртуальные объекты могут сохранять свои позиции на дисплее относительно соответствующих портов 108 по мере того, как мобильное устройство 100 перемещается. Эта пространственная способность может обеспечиваться с использованием пространственной системы координат, которая может зависеть от одного или более датчиков движения мобильного устройства 100 для обнаружения перемещения мобильного устройства 100. Например, мобильное устройство 100 может включать в себя сенсорную систему движения, которая может включать в себя акселерометр и/или гироскоп.

[0056] Виртуальный объект(ы) может обновлять информацию в отношении состояния подключения различных портов 108 в реальном времени. Таким образом, пользователь 101 может использовать информацию, предоставляемую посредством виртуальных объектов, чтобы выполнять поиск и устранение неисправностей сетевого устройства 102, например, посредством соединения и отсоединения одного или более кабелей 106 от портов 108, либо посредством включения и выключения различных устройств, соединенных с сетевым устройством 102. В некоторых вариантах осуществления, в которых данные передаются в сетевых пакетах (например, с коммутацией пакетов), виртуальные объекты могут обеспечивать возможность пользователю 101 выполнять проверку подаваемых пакетов для средств управления безопасностью. Пользователь 101 также может проверять состояние подключения каждого из портов 108 в реальном времени, чтобы определять, например, то, соединяется надлежащим образом или нет сетевое устройство 102 с различными устройствами в сети. Виртуальные объекты могут передавать информацию относительно состояния различных устройств в сети, включающих в себя вторичные, третичные и т.д. устройства, которые соединяются с этими устройствами. Другие сетевые устройства 102 на стеллаже 110 аналогично могут быть просматриваемыми с помощью AR таким образом, что пользователь 101 может сканировать все сетевые устройства на стеллаже 110. Таким образом, инструментальные AR-средства, описанные в данном документе, могут обеспечивать возможность пользователю 101 быстро и легко определять состояние всей сетевой системы, включающей в себя подсистемы сети.

[0057] Фиг. 2A показывает пример сетевых устройств 202a-202f, имеющих различные оптические коды 204a-204f, которые кодируют информацию, имеющую отношение к соответствующим сетевым устройствам 202a-202f. Как показано, оптические коды 204a-204f могут иметь любого ряда различных шаблонов. Например, оптические коды 204a-204f могут представлять собой код быстрого отклика (QR), ARTag-код, штрих-код (например, линейный штрих-код), буквенно-цифровой код, числовой код, написанные буквы либо любую комбинацию вышеозначенного. Различные шаблоны могут кодировать различные типы информации на основе идентификационных данных и состояния соответствующего сетевого устройства. В некоторых случаях, оптические коды 204a-204f отображаются на дисплеях (например, на плоскопанельных дисплеях) сетевых устройств 202a-202f. Фиг. 2B иллюстрирует пример компонента отображения, который может быть выполнен с возможностью отображать один или более оптических кодов. Дисплеи могут иметь любой тип, к примеру, представлять собой жидкокристаллические дисплеи (LCD) и/или дисплеи на светоизлучающих диодах (светодиодах) (например, дисплеи на органических светодиодах (OLED)). В некоторых вариантах осуществления, дисплеи представляют собой сенсорные дисплеи, которые допускают отображение различных изображений на основе сенсорного ввода. Например, сенсорные дисплеи могут быть выполнены с возможностью изменять то, что отображается в ответ на проведение пальцем, пользователем, по сенсорному экрану.

[0058] В некоторых случаях, сетевое устройство(а) может не иметь ЖК-дисплея или другого типа визуально активного экрана, но вместо этого может использовать статический оптический код (например, такой как этикетка или другой напечатанный идентификатор), ассоциированный с сетевым устройством.

[0059] Как упомянуто выше, идентификационный код может представлять собой код радиочастотной идентификации (например, RF-), к примеру, код радиоидентификации (например, Bluetooth-, NFC-, RFID-), который может использоваться посредством карманного устройства для того, чтобы идентифицировать (например, уникально идентифицировать) сетевое устройство. Идентификационный код РФ может быть динамическим (аналогично оптическому коду на экране), либо он может быть статическим (например, в качестве напечатанного оптического кода, присоединенного к наружной части сетевого устройства).

[0060] Фиг. 3A-3C показывают примеры трех различных оптических кодов, которые включают в себя различные шаблоны кодов. Эти примеры иллюстрируют то, как различные шаблоны могут кодировать уникальную информацию на основе сетевого устройства, включающую в себя состояние подключения сетевого устройства. Информация из оптических кодов затем может отправляться, например, в облачную систему управления, которая отправляет в мобильное устройство и/или в сетевое устройство информацию, ассоциированную с сетевым устройством, и которая используется для того, чтобы формировать виртуальные объекты. В некоторых примерах, оптические коды формируются с использованием программы формирователя шаблонов, которая (например, случайно) формирует шаблоны, чтобы предоставлять уникальные оптические коды.

[0061] Фиг. 4A-4F иллюстрируют примеры пользовательских интерфейсов для настройки и использования мобильного устройства 400 в AR-режиме, согласно некоторым вариантам осуществления. Фиг. 4A показывает пользователя с использованием камеры мобильного устройства 400 для того, чтобы просматривать несколько сетевых устройств 402, каждое из которых имеет соответствующий оптический код (например, 404). Мобильное устройство 400 может считаться примером мобильного устройства 100. Пользовательский интерфейс 420 может отображаться на экране отображения мобильного устройства и направлять пользователя через ряд интерфейсных экранов для начальной настройки для мобильного устройства 400 для того, чтобы переходить в AR-режим. Пользовательский интерфейс 420 может включать в себя географическое местоположение сетевых устройств, типы (например, марку и модель) сетевых устройств и/или иллюстрации сетевых устройств. Пользовательский интерфейс 420 может видеоизображения сетевых устройств 402, захваченных на камере мобильного устройства 400. Пользовательский интерфейс 420 может включать в себя кнопку для перехода в AR-режим.

[0062] Фиг. 4B1 и фиг. 4B2 иллюстрируют два вида примерного пользовательского интерфейса 421 до сканирования оптического кода сетевого устройства. Пользовательский интерфейс 421 может указывать пользователю сканировать каждое из сетевых устройств таким образом, что информация относительно каждого из сетевых устройств может быть доступной и загружаться для использования в AR-режиме. Пользовательский интерфейс 421 может включать в себя рамку 422 совмещения оптических кодов для совмещения захваченных изображений рамки 422 совмещения оптических кодов каждого сетевого устройства.

[0063] Фиг. 4C1-4C4 иллюстрируют четыре вида примерного пользовательского интерфейса 422 во время сканирования оптических кодов нескольких сетевых устройств стеллажа ("стойки"). После сканирования первого оптического кода первого сетевого устройства, пользовательский интерфейс может указывать пользователю сканировать второй оптический код второго сетевого устройства. Визуальный индикатор, такой как представление рамки 422 совмещения оптических кодов с различным цветом или оттенком, может использоваться для того, чтобы указывать захватывание оптического кода в рамке совмещения оптических кодов. Альтернативно или дополнительно, другой визуальный индикатор, такой как символ 427 галочки, может становиться видимым, чтобы показывать то, что оптический код успешно сканирован. В некоторых вариантах осуществления, тактильный и/или звуковой индикатор, такой как вибрация и/или звук, сформированный посредством мобильного устройства, может использоваться для того, чтобы указывать успешное захватывание и/или сканирование оптического кода. Пользовательский интерфейс может включать в себя список 424 или таблицу сетевых устройств, которая постепенно обновляется по мере того, как каждый из оптических кодов сетевых устройств успешно сканируется. Например, значок 425, иллюстрирующий соответствующее сетевое устройство, может заполнять список 424 после того, как оптический код для сетевого устройства успешно сканируется и/или распознается (например, посредством системы управления сетью). Список 424 затем может заполняться дополнительным значком 426 после того, как оптический код для дополнительного сетевого устройства успешно сканируется и/или распознается (например, посредством системы управления сетью). Это сканирование различных оптических кодов для различных сетевых устройств может продолжаться, например, до тех пор, пока все сетевые устройства на стеллаже не сканируются.

[0064] Фиг. 4D1-4D4 иллюстрирует четыре вида примерного пользовательского интерфейса 430, показывающего то, как AR-настройки могут применяться после того, как оптические коды сетевых устройств успешно сканированы. В одном виде, пользовательский интерфейс 430 может показывать список 432 сканированных сетевых устройств, которые добавлены, с указанием 433 (например, кнопкой) для пользователя, с тем чтобы отвечать то, должны или нет сканироваться дополнительные сетевые устройства. Пользовательский интерфейс 430 может предоставлять указание 434 (например, кнопку) для пользователя, с тем чтобы переходить к следующему виду пользовательского интерфейса. После того, как все требуемые сетевые устройства сканированы, пользовательский интерфейс может предоставлять указание 435 (например, кнопку) для пользователя, с тем чтобы необязательно вводить имя для стеллажа (например, "стойки") сетевых устройств, и предоставлять указание 436 (например, кнопку) для пользователя, с тем чтобы переходить к следующему виду пользовательского интерфейса. Любой из видов пользовательского интерфейса 430 может включать в себя указание 438 возврата для возврата к доступному виду. AR-настройки для сетевых устройств затем могут применяться к сетевому стеллажу на основе информации, принимаемой посредством оптических кодов, и информации, предоставляемой пользователем. После того, как настройки применяются и завершаются, полное AR-восприятие может загружаться в этот момент таким образом, что мобильное устройство может использовать камеру в AR-режиме для нового созданного стеллажа сетевых устройств.

[0065] Фиг. 4E показывает пример мобильного устройства после перехода в AR-режим. Как показано, дисплей мобильного устройства 400 может отображать пользовательский интерфейс 450, который может включать в себя один или более виртуальных объектов 401, которые накладывают захваченные изображения сетевых устройств и которые могут передавать информацию, имеющую отношение к сетевому устройству, которое нормально скрывается от пользователя.

[0066] Фиг. 4F показывает подробный вид пользовательского интерфейса 450 в AR-режиме согласно некоторым вариантам осуществления. Виртуальные объекты могут включать в себя текст (например, числа, буквы и/или символы) и/или иллюстрации. Например, виртуальный идентифицирующий текст 452 сетевого устройства, такой как название и/или адрес по Интернет-протоколу (IP) сетевого устройства, может позиционироваться рядом/поверх (например, частично поверх) изображения сетевого устройства. Виртуальные объекты могут включать в себя область 454 портов, которая, по меньшей мере, частично помещает в рамку различные виртуальные объекты, имеющие отношение к конкретному сетевому устройству. Виртуальные объекты могут включать в себя рамку 456 совмещения оптических кодов для совмещения захваченных изображений оптического кода. Рамка 456 совмещения оптических кодов может использоваться для того, чтобы помогать пользователю совмещать оптический код в области A захватывания рамки 456 совмещения оптических кодов для захватывания оптического кода. Область A захватывания может находиться в центральной области рамки 456 совмещения оптических кодов. В некоторых вариантах осуществления, область 454 портов и/или рамка 456 совмещения оптических кодов могут иметь прозрачное или полупрозрачное качество, которое обеспечивает возможность видимости базового изображения сетевого устройства. В некоторых случаях, виртуальные порты B накладывают соответствующие порты сетевого устройства. Виртуальные порты B могут иметь форму и размер соответствующих физических портов. Виртуальные порты B могут включать в себя числа, которые соответствуют номерам портов, идентифицированным, например, посредством изготовителя сетевого устройства. Виртуальные порты B могут заполняться цветом C и/или быть, по меньшей мере, частично прозрачными, чтобы обеспечивать возможность видимости базового изображения сетевого устройства. В некоторых случаях, цвет и/или полупрозрачное качество могут варьироваться в зависимости от состояния соответствующего порта. Например, виртуальные порты B, которые активно соединяются с компьютером, могут заполняться первым (например, более темным) цветом и/или полупрозрачным качеством, в то время как виртуальные порты B, которые не соединяются активно с компьютером, могут быть полыми (т.е. прозрачными) или заполняться вторым (например, более светлым) цветом и/или полупрозрачным качеством.

[0067] Виртуальные объекты могут включать в себя значки F (также называемые "виртуальными устройствами" или "виртуальными компьютерами"), совпадающие с устройствами, которые соединяются с соответствующими портами. Значки F могут представлять собой иллюстрации, имеющие достаточную подробность, так что пользователь может идентифицировать тип устройства (например, телефон, планшетный компьютер, переносной компьютер, настольный компьютер, телевизионный приемник, точка доступа, устройство-виртуальный помощник, бытовой прибор или устройство системы безопасности), и так что пользователь может просто и быстро отличать различные типы компьютеров друг от друга. Значки F могут выбираться из базы данных (также называемой "библиотеками") иллюстраций виртуальных объектов, которые либо автоматически назначаются, либо выбираются пользователем. Относительная позиция значков F компьютера может содержаться в области E значков.

[0068] Виртуальные объекты могут включать в себя идентификационный текст H виртуального устройства, который описывает идентификационные данные компьютера. Идентификационный текст H виртуального устройства может включать в себя информацию, чтобы помогать дополнительно идентифицировать устройство, которое соединяется или ранее соединено с соответствующим портом. Например, имя пользователя и/или марка и модель устройства могут идентифицироваться в идентификационном тексте H виртуального устройства. Идентификационный текст H виртуального устройства может автоматически заполняться на основе информации, предоставляемой, например, посредством системы управления облачной сети, или выбираться пользователем. Относительная позиция идентификационного текста H виртуального устройства может содержаться в области G идентификационного текста устройства.

[0069] В некоторых вариантах осуществления, значок F и/или идентификационный текст H виртуального устройства могут иметь различное качество на основе того, соединяется активно устройство или нет с соответствующим портом. Например, значок F и/или идентификационный текст H виртуального устройства могут иметь полностью цветной или непрозрачный внешний вид, когда устройство активно соединяется с портом, иметь затененный или отображаемый серым внешний вид, когда устройство в данный момент не соединяется, но ранее соединено с портом в течение предписанного периода времени, и отсутствовать (т.е. области E и G не имеют иллюстрации или текста), когда устройство не должно соединяться с портом в течение предписанного периода времени. Предписанный период времени может варьироваться. Например, предписанный период времени может не превышать приблизительно 30 минут, 1 час, 2 часа, 3 часа, 6 часов, 12 часов, 24 часа, 3 дня или 1 неделю. В некоторых вариантах осуществления, предписанный период времени может выбираться пользователем. В некоторых случаях, значок F и/или идентификационный текст H виртуального устройства включают в себя информацию в отношении рабочего состояния устройства. Рабочее состояние может включать в себя характеристики производительности (например, в реальном времени или статистические) устройства.

[0070] В некоторых случаях, значок F и/или идентификационный текст H виртуального устройства могут включать в себя индикатор в отношении того, соединяется или нет устройство с другим устройством (например, со вторичным, третичным и т.д. устройством). Например, устройство-точка доступа может функционально соединяться с одним или более телефонов, планшетных компьютеров, переносных компьютеров и/или гарнитур. Значок F может иметь различный внешний вид, к примеру, представляться в различном цвете, окружаться посредством ореола или тени либо снабжаться некоторым другим атрибутом, который указывает подключение к одному или более дополнительных устройств. Альтернативно или дополнительно, идентификационный текст H виртуального устройства может включать в себя текст, который указывает подключение к одному или более дополнительных устройств. В некоторых случаях, значок F и/или идентификационный текст H виртуального устройства включают в себя информацию в отношении рабочего состояния одного или более дополнительных устройств.

[0071] Аспекты пользовательского интерфейса могут варьироваться, например, в зависимости от размеров дисплея, форм-фактора и/или операционной системы мобильного устройства. Например, мобильные телефоны могут иметь меньшую высоту или ширину по сравнению с планшетными компьютерами. Пользовательский интерфейс может быть выполнен с возможностью приспосабливаться к этим отличиям.

[0072] Фиг. 5A-5C иллюстрируют другие примерные пользовательские интерфейсы для настройки мобильного устройства в AR-режиме. Фиг. 5A иллюстрирует пользовательский интерфейс 521 до сканирования оптического кода, аналогично пользовательскому интерфейсу 421 (фиг. 4B1-4B2), за исключением того, что пользовательский интерфейс 521 включает в себя список 523, который может заполняться сетевыми устройствами и который поперечно позиционируется относительно рамки 522 совмещения оптических кодов. Фиг. 5B иллюстрирует пользовательский интерфейс 523 во время сканирования оптического кода, аналогично пользовательскому интерфейсу 423 (фиг. 4C1-4C4), за исключением того, что пользовательский интерфейс 523 включает в себя список 526, который может заполняться сетевыми устройствами и который поперечно позиционируется относительно рамки 522 совмещения оптических кодов. Фиг. 5C иллюстрирует пользовательский интерфейс 530 для применения AR-настроек, аналогично пользовательскому интерфейсу 430 (фиг. 4D1-4D4), за исключением того, что указание 535 (например, кнопка) для пользователя, с тем чтобы выбирать завершать AR-настройки, представляется в нижней стороне (например, в правой стороне) пользовательского интерфейса 530.

[0073] Как описано в данном документе, оптические коды могут включать в себя кодированную информацию, которая предоставляет доступ к библиотеке виртуальных объектов. Оптические коды могут выступать в качестве фидуциарных маркеров, чтобы информировать в отношении внешнего вида и размещения виртуальных объектов. Относительные позиции виртуальных объектов могут размещаться в наложении, которое накладывает захваченные изображения, например, посредством камеры мобильного устройства. Фиг. 6 иллюстрирует пример наложения 600 согласно некоторым вариантам осуществления. По меньшей мере, часть наложения 600 может быть практически прозрачной таким образом, что базовые изображения могут просматриваться, когда визуализированы на дисплее мобильного устройства. Рамка 630 совмещения оптических кодов может задавать область наложения 600, которое выполнено с возможностью сканировать и принимать изображение оптического кода. В некоторых случаях, рамка 630 совмещения оптических кодов может оконтуриваться с помощью границы или рамки и/или иметь центральный маркер (например, окружность). В других случаях, рамка 630 совмещения оптических кодов не может иметь границы или рамки.

[0074] После того как оптический код сканируется и верифицируется посредством системы управления сетью (например, локальной или облачной) как ассоциированный с конкретным сетевым устройством, библиотека виртуальных объектов, ассоциированных с сетевым устройством, может быть доступной и просматриваться на дисплее мобильного устройства. Например, оптический код может информировать управление виртуальным объектом в отношении марки и модели сетевого устройства и всех ассоциированных физических характеристик, таких как типы, местоположения и размеры портов. Эта информация может использоваться для того, чтобы формировать один или более виртуальных портов 634, соответствующих реальному порту(ам) сетевого устройства, доступных из базы данных различных типов виртуальных портов. Дополнительно, система управления сетью может осуществлять доступ к информации, имеющей отношение к состоянию подключения портов. Эта информация может использоваться для того, чтобы определять различные аспекты виртуальных объектов, которые передают информацию, имеющую отношение к состоянию подключения одного или более портов 634.

[0075] Наложение 600 может включать в себя область 632 портов, которая задает область наложения 600, включающего в себя виртуальные порты 634. Область 632 портов может включать или не включать в себя видимый контур или рамку. В некоторых случаях, область 632 портов имеет различный цвет и/или прозрачность по сравнению с другими частями наложения 600. Виртуальные порты 634 могут включать в себя текст, такой как номера, чтобы идентифицировать номера портов. В некоторых случаях, виртуальные порты 634 включают в себя один или более индикаторов состояния (например, 638 и 639), которые указывают состояние подключения порта. Индикаторы состояния могут иметь различный внешний вид (например, иметь различные цвета или формы) на основе того, порт активно соединяется с компьютером, ранее соединен с компьютером в течение предписанного периода времени либо не соединен с компьютером в течение предписанного периода времени. Такие индикаторы состояния (например, 638 и 639) могут использоваться в качестве дополнения или в качестве альтернативы качеству заполнения, описанному выше со ссылкой на фиг. 4E.

[0076] AR может предоставлять возможность характеристик отслеживания видео, которые вычисляют позицию и ориентацию камеры относительно физических маркеров, таких как оптический код на сетевом устройстве, в реальном времени. Например, после того как позиция камеры известна, виртуальная камера может позиционироваться в идентичной точке, раскрывая виртуальный объект (например, рамку 630 совмещения оптических кодов) в местоположении оптического кода. Информация из системы управления сетью относительно конкретного сетевого устройства может использоваться для того, чтобы предоставлять точное размещение и совмещение виртуальных портов 634 относительно оптического кода. Эта информация также может использоваться для того, чтобы определять относительные расстояния между виртуальными портами 634, а также формы и размеры виртуальных портов 634. Информация из системы управления сетью дополнительно может использоваться для того, чтобы изменять аспекты виртуальных объектов в реальном времени на основе состояния подключения различных портов, как описано в данном документе.

[0077] Пространственная взаимосвязь между мобильным устройством и сетевым устройством может изменяться в реальном времени, поскольку пользователь может перемещать мобильное устройство относительно сетевого устройства, за счет этого проецируя изображения сетевого устройства с различными перспективами. Чтобы приспосабливаться к изменениям перспективы, формирование виртуальных объектов типично основывается на отслеживании перемещения на основе вращательных степеней свободы вокруг фиксированных ортогональных осей (осей X, Y, Z), аналогично системе карданова подвеса. Перемещения могут отслеживаться с использованием традиционных трехмерных вращательных перемещений, таких как перемещение с наклоном в поперечном направлении (вращение вокруг оси X), перемещение с наклоном в продольном направлении (вращение вокруг оси Y) и перемещение с наклоном относительно вертикальной оси (вращение вокруг оси Z), чтобы задавать шесть степеней свободы. Хотя эта модель является полезной, данные, ассоциированные с непрерывным мониторингом и считыванием перемещений в реальном времени, могут быть существенными, что может приводить к запаздыванию до того, как виртуальные объекты формируются на дисплее.

[0078] В любом из вариантов осуществления, описанных в данном документе, пространственная взаимосвязь может упрощаться посредством исключения одной или более степеней свободы. Например, позиция сетевого устройства является практически стабильной, и порты на сетевом устройстве, в общем, ориентируются вдоль плоскости (например, на тыльной части сетевого устройства, перпендикулярно полу). Таким образом, одна из трехмерных степеней свободы может предполагаться фиксированной и исключаться из вычислений для определения пространственной взаимосвязи между мобильным устройством и сетевым устройством. В некоторых вариантах осуществления, это достигается посредством отфильтровывания (например, игнорирования) некоторых необработанных данных, ассоциированных с трехмерным перемещением мобильного устройства, которые не являются обязательными для вычисления относительного перемещения мобильного устройства относительно портов. Например, в некоторых вариантах осуществления, перемещения, ассоциированные с перемещением с наклоном в поперечном направлении (вращением вокруг оси X), могут исключаться из вычисления, за счет этого уменьшая степени свободы и информацию, требуемую для вычислений, на одну треть. Фильтрация данных таким способом позволяет ускорять вычисления таким образом, что виртуальные объекты (например, виртуальные порты) на захваченных изображениях могут обновляться более быстро. Дополнительно, это может уменьшать величину коррекции, необходимой для обновления каждого кадра с изображением, в силу этого приводя к виртуальному объекту, имеющему более стабильное (например, менее колеблющееся) местоположение и внешний вид в реальном времени.

[0079] Дополнительно, AR-возможности могут использовать оптическое распознавание признаков, чтобы определять местоположения для виртуальных портов 634. В некоторых примерах, оптическое распознавание признаков может использоваться наряду или вместо пространственной взаимосвязи между мобильным устройством и сетевым устройством. В некоторых примерах, оптическое распознавание признаков может включать в себя оптическое распознавание символов (OCR).

[0080] Более конкретно, с помощью OCR, любой релевантный текст на аппаратных средствах (например, номера портов, фактические порты и т.д.) может идентифицироваться посредством камеры, чтобы помогать в размещении AR-признаков в наложении. Это может уменьшать некоторый дрейф датчика или другие проблемы совмещения, которые могут происходить через счисление пути или другие наложения признаков на основе перемещения. Кроме того, с использованием OCR, конкретная идентификационная информация сетевого устройства может отображаться и верифицироваться, и после этого может выполняться поиск виртуальных портов.

[0081] Например, кратко ссылаясь снова к фиг. 1, если сетевое устройство 102 представляет собой 24-точечный сетевой коммутатор, то текст на метке сетевого устройства 102 может захватываться через OCR и может идентифицироваться в качестве 24-точечного коммутатора. Мобильное устройство 100 затем может отображать идентификационную информацию, а именно, "Это 24-точечный коммутатор", и после этого можно выполнять поиск в виртуальных портах сетевого устройства на предмет AR-наложений, как упомянуто выше.

[0082] В некоторых вариантах осуществления, после того, как OCR выполняется, мобильное устройство 100 может отображать подробности ожидаемой конфигурации сетевого устройства. Например, мобильное устройство 100 может отображать список того, какие порты сетевого устройства предположительно должны соединяться, и то, как они должны соединяться, посредством высвечивания сообщения (заголовка) "Ожидается" или "Ожидаемая конфигурация", до начала поиска портов. В различных вариантах осуществления, вышеуказанные этапы могут осуществляться последовательно или параллельно.

[0083] Фиг. 7A и 7B иллюстрируют другой пример пользовательского интерфейса 720 мобильного устройства 700 в AR-режиме, согласно некоторым вариантам осуществления. Фиг. 7A и 7B показывают изображения сетевого устройства 720, визуализированного на дисплее мобильного устройства 700 в реальном времени, в двух различных видах в перспективе. Пользовательский интерфейс 720 может включать в себя один или более виртуальных объектов, которые накладывают части отображаемых изображений сетевого устройства 702. Виртуальные объекты могут включать в себя виртуальные порты 740 и 741, виртуальные кабели 742, значки 750 и виртуальные метки 752 (например, текст). В некоторых случаях, область 732 портов, окружающая виртуальные порты, оконтуривается виртуальной линией 745. Позиции виртуальных объектов могут быть выполнены с возможностью изменяться в соответствии с изменением перспективы посредством мобильного устройства с использованием модели пространственной координаты, описанной в данном документе. Таким образом, виртуальные объекты могут фактически поддерживать свое совмещение с соответствующими объектами в захваченных изображениях. Таким образом, виртуальные порты 740 и 741, виртуальные кабели 742, значки 750 и виртуальные метки 752, может казаться перемещающимися по мере того, как мобильное устройство 700 перемещается относительно сетевого устройства. Один или более виртуальных объектов могут изменяться на основе состояния подключения соответствующих одного или более портов. Например, виртуальный порт 740 может иметь контур первого цвета (например, белого цвета), указывающего то, что соответствующий порт соединяется с устройством, и виртуальный порт 741 может иметь контур второго цвета (например, синего цвета), указывающего то, что соответствующий порт не соединяется с устройством.

[0084] Любые из AR-устройств и способов, описанных в данном документе, могут включать в себя виртуальные объекты, которые указывают производительность сетевого устройства и/или устройств, соединенных с сетевым устройством. Фиг. 8 иллюстрирует подробный вид пользовательского интерфейса дисплея мобильного устройства в AR-режиме, показывающего примеры виртуальных объектов, передающих данные по производительности. Виртуальные объекты могут включать в себя различные выбираемые показатели производительности, такие как пропускная способность 862 и время 864 пребывания в рабочем состоянии сетевого устройства. Когда выбираемый показатель производительности выбирается, одна или более виртуальных диаграмм или графов 860 могут отображаться. На фиг. 8, графы 860 указывают значения пропускной способности, имеющие отношение к устройствам, соединенным с сетевым устройством. Показатели пропускной способности могут включать в себя данные, имеющие отношение к пропускной способности устройств, такие как пропускная способность передачи по протоколу управления передачей (TCP) или время передачи файлов. Показатели времени пребывания в рабочем состоянии могут включать в себя процентную долю времени, когда устройства являются работающими. Другие показатели могут включать в себя использование Интернет-трафика и/или потребление мощности сетевого устройства и/или устройств, соединенных с сетевым устройством. В некоторых случаях, показатели могут включать в себя продолжительность, в течение которой одно или более устройств соединяются с сетевым устройством. В некоторых вариантах осуществления, древовидный граф, иллюстрирующий различные (например, первичные, вторичные, третичные и т.д.) устройства, которые соединяются или в какой-то момент соединены с сетевым устройством. В некоторых случаях, показатели могут включать в себя данные по использованию, имеющие отношение к конкретному пользователю устройства. Например, может отображаться граф или диаграмма, указывающая количество времени, в течение которого пользователь использует соцсети или веб-узлы.

[0085] Пользовательский интерфейс может включать в себя выбираемые виртуальные значки, которые пользователь может выбирать посредством касания (например, с использованием сенсорного дисплея мобильного устройства) и/или посредством других выбираемых способов, таких как электронный карандаш. Виртуальные значки могут включать в себя значок 870 портов, значок 872 мощности, значок 874 производительности и значок 876 настроек. Когда значок 870 портов выбирается, различные виртуальные порты и метки виртуальных портов могут становиться видимыми, как описано в данном документе. Когда значок 872 мощности выбирается, виртуальные объекты, имеющие отношение к источнику мощности и состоянию и использованию аккумулятора, могут становиться видимыми. Когда значок 874 производительности выбирается, виртуальные объекты, имеющие отношение к производительности, такие как пропускная способность 862 и время 864 пребывания в рабочем состоянии, могут становиться видимыми. Когда значок 876 настроек выбирается, виртуальные объекты, имеющие отношение к настройке сети и настройкам, могут становиться видимыми.

[0086] Как описано в данном документе, AR-технологии могут быть основаны на использовании трехмерной системы координат (трехмерной XYZ). Фиг. 9A-9E иллюстрируют аспекты трехмерной системы осей XYZ, используемой в качестве основы для AR-способов, описанных в данном документе согласно некоторым вариантам осуществления, причем X представляет ширину, Y представляет высоту, и Z представляет глубину. Трехмерная XYZ-система может гарантировать то, что пространственные данные, используемые для того, чтобы формировать AR-объекты, являются доступными для понимания (например, согласованными). В некоторых вариантах осуществления, межплатформенный программный механизм используется для того, чтобы устанавливать трехмерную XYZ-систему. Например, может использоваться игровой Unity3D-движок, разработанный посредством Unity Technologies, базируемой в Сан-Франциско, Калифорния, США. Точка, позиционированная в трехмерном пространстве, имеющая ширину в 1 (на оси X), высоту в 4 (на оси Y) и глубину в 3 (на оси Z), может представляться в качестве Vector3 {x:1, y:4, z:3} с использованием Unity3D-системы.

[0087] Трехмерная пространственная запись может захватываться во время сканирования оптического кода (например, см. фиг. 4C1-4C4 или 5B). Например, AR-приложение на мобильном устройстве (например, телефоне, планшетном компьютере или гарнитуре) может использовать камеру и/или систему определения ориентации (например, акселерометр, гироскоп и/или компас) мобильного устройства для того, чтобы "захватывать" трехмерную пространственную запись сетевого устройства и "запоминать" конфигурацию стойки пользователя. Этот трехмерный пространственный захват может представлять собой одноразовую компоновку. Фиг. 9B иллюстрирует пример трехмерной пространственной записи для стойки 910 сетевых устройств 902. Пространственная запись каждого из сетевых устройств 902 может устанавливаться в качестве наборов 909 векторов в трехмерной системе координат XYZ. Трехмерная пространственная запись соответствует группе нормализованных позиций (например, Vector3) на основе прослеживателей, которые сохраняют свою локальную позицию. Трехмерная пространственная запись может фильтроваться, как описано в данном документе. В одной реализации фильтрации, локальная позиция может считаться находящейся на "панели" (например, на двумерной поверхности), поскольку ориентация сетевого устройства типично является фиксированной (например, с наличием нижней поверхности, которая является параллельной земле), так что практически отсутствует вращение вокруг оси X. Один из прослеживателей может обозначаться как точка начала координат для пространственной записи, и относительные местоположения других прослеживателей могут записываться относительно этой точки начала координат. Например, первый оптический код 904a (например, сканированный первым) может обозначаться как имеющий точку начала координат, и относительные местоположения остальных оптических кодов 904 (например, сканированных после этого) могут записываться относительно первого оптического кода 904a. В некоторых случаях, начальный оптический код 904a обозначается как точка начала координат. Система координат может быть основана на любой единице измерения. В некоторых вариантах осуществления, система координат основана на метрической системе (например, на метрах). Следует отметить, что в некоторых вариантах осуществления, Vector1- или Vector2-структура может использоваться вместо Vector3. Тем не менее, в некоторых случаях, Vector3 может предоставлять большую способность поддерживать более сложные схемы размещения сетевых устройств.

[0088] Данные могут протекать между трехмерной XYZ-платформой и собственным кодом мобильного устройства, таким как Swift или Java. Фиг. 9C показывает пример кода в системе обозначений JavaScript-объектов (JSON) для устройства установления сети. Фиг. 9D иллюстрирует пример использования запроса по протоколу передачи гипертекста (HTTP), осуществленного в собственном коде, и использования дополнительных данных (rack_name для стоек и названия и номера моделей для сетевых устройств) для пользовательского интерфейса во время процесса захвата пространственных записей. Фиг. 9E иллюстрирует и примерный JSON-код для настройки нескольких сетевых устройств.

[0089] Фиг. 10A-10D иллюстрируют блок-схему 1000 последовательности операций способа и соответствующую архитектурную карту 1100, представляющую примерный процесс для настройки и использования AR-приложения, в соответствии с некоторыми вариантами осуществления. Каждый из этапов на блок-схеме 1000 последовательности операций способа включает в себя индикатор соответствующего архитектурного компонента (например, Swift, Unity AR, сетевой контроллера или USW/LCM) в соответствующей карте 1100. Карта 1100 указывает взаимодействие компонентов сетевого контроллера, Swift, Unity AR, USW и LCM.

[0090] Фиг. 10A иллюстрирует часть блок-схемы 1000 последовательности операций способа и карты 1100, соответствующей инициализации приложения с информацией сети. Со ссылкой на блок-схему последовательности операций способа 1000, на 1002 пользователь может использовать мобильное устройство для того, чтобы извлекать сетевой интерфейс прикладного программирования (API) для AR-приложения, из сетевого контроллера в компонент Swift. На 1004, сетевая JSON фильтруется, например, согласно одному или более способов фильтрации, описанных в данном документе. На 1006, сетевые JSON-данные синтаксически анализируются в компоненте Unity AR. На 1008, пространственная запись извлекается посредством компонента Swift. На 1010, если пространственная запись успешно извлекается ("Да"), процесс продолжается на фиг. 10D, и если пространственная запись успешно не извлекается ("Нет"), процесс продолжается на фиг. 10B.

[0091] Фиг. 10B иллюстрирует часть блок-схемы 1000 последовательности операций способа и карты 1100, соответствующую распределению порождающих чисел прослеживателя. Ссылаясь на блок-схему 1000 последовательности операций способа, если определяется то, что пространственная запись успешно не извлекается ("Нет") на фиг. 10A, на 1012, пары MAC/прослеживателя составляются посредством компонента Unity AR и отправляются в компонент Swift. На 1014, пары MAC/прослеживателя публикуются по сетевому контроллеру посредством компонента Swift. На 1016, пары MAC/прослеживателя распределяются в LCM и USW, и на 1018, прослеживатель формируется из порождающих чисел (например, чтобы формировать QR-коды).

[0092] Фиг. 10C иллюстрирует часть блок-схемы 1000 последовательности операций способа и карты 1100, соответствующей компоновке (например, одноразовой компоновке) для сохранения пространственной записи. Ссылаясь на блок-схему 1000 последовательности операций способа, на 1020, прослеживатели сканируются и используются для того, чтобы записывать пространственную запись и отправленный в компонент Swift. На 1022, пространственная запись помещается в сетевой контроллер, и на 1024, пространственная запись принимается и сохраняется посредством сетевого контроллера.

[0093] Фиг. 10D иллюстрирует часть блок-схемы 1000 последовательности операций способа и карты 1100, соответствующей возобновлению регулярного использования мобильного устройства и использованию AR-приложения на основе пространственной записи. Ссылаясь на блок-схему 1000 последовательности операций способа, на 1026, пространственная запись извлекается посредством компонента Swift таким образом, что прослеживатели в LCM из пространственной записи (USW/LCM) могут возобновляться. Дополнительно, сетевой контроллер отвечает на пространственную запись на 1030. На 1032, пространственная запись синтаксически анализируется в компоненте Unity AR, и на 1034, любые из отображаемых прослеживателей могут сканироваться. На 1036, AR-наложение для стойки может возобновляться в компоненте Unity AR, чтобы компоновать пользовательский AR-интерфейс (1038), со взаимодействием на основе автопереключения (1040), и визуализировать подробные сведения по портам (1042).

[0094] Хотя многие примеры, описанные в данном документе, имеют отношение к сетевым устройствам, таким как коммутаторы, маршрутизаторы и точки беспроводного доступа, AR-технологии, описанные в данном документе, не ограничены этими типами устройств. Например, AR-технологии, описанные в данном документе, могут использоваться для того, чтобы просматривать любой тип компьютера или другого устройства, допускающего соединение с одной или более компьютерных сетей. В некоторых случаях, AR-технологии, описанные в данном документе, используются для того, чтобы визуализировать скрытые аспекты подключения мобильных устройств, таких как мобильные телефоны, планшетные компьютеры, переносные компьютеры или гарнитуры. AR-технологии, описанные в данном документе, могут использоваться для того, чтобы визуализировать скрытые аспекты подключения признаков беспроводной связи (т.е. не ограничены аппаратными портами). Например, аспекты подключения, имеющие отношение к одной или более антеннам (например, радиочастотных или Bluetooth-микросхем), могут быть визуализированы с помощью AR-объектов.

[0095] Когда признак или элемент в данном документе упоминается как находящийся "в" другом признаке или элементе, он может непосредственно находиться в другом признаке или элементе, либо также могут присутствовать промежуточные признаки и/или элементы. Напротив, когда признак или элемент упоминается как находящийся "непосредственно в" другом признаке или элементе, промежуточные признаки или элементы не присутствуют. Также следует понимать, что когда признак или элемент упоминается как "соединенный)", "присоединенный" или "связанный" с другим признаком или элементом, он может непосредственно соединяться, присоединяться или связываться с другим признаком или элементом, либо могут присутствовать промежуточные признаки или элементы. Напротив, когда признак или элемент упоминается как "непосредственно соединенный ", "непосредственно присоединенный" или "непосредственно связанный" с другим признаком или элементом, промежуточные признаки или элементы не присутствуют. Хотя описываются или показаны относительно одного варианта осуществления, признаки и элементы, описанные или показанные таким способом, могут применяться к другим вариантам осуществления. Специалисты в данной области техники также должны принимать во внимание, что ссылки на структуру или признак, который располагается "рядом" с другим признаком, могут иметь части, которые перекрывают или лежат в основе смежного признака.

[0096] Терминология, используемая в данном документе, служит только для цели описания конкретных вариантов осуществления и не имеет намерение ограничивать изобретение. Например, при использовании в данном документе, формы единственного числа "a", "an" и "the" служат для того, чтобы включать в себя также формы множественного числа, если контекст явно не указывает иное. Следует дополнительно понимать, что термины "содержит" и/или "содержащий" при использовании в данном подробном описании задают наличие изложенных признаков, этапов, операций, элементов или компонентов, однако не препятствуют наличию или добавлению одного или более других признаков, этапов, операций, элементов, компонентов или их групп. При использовании в данном документе, термин "и/или" включает в себя все без исключения комбинации одного или более ассоциированных перечисленных элементов и может сокращаться как "/".

[0097] Пространственно относительные термины, такие как "под", "ниже", "нижний", "над", "верхний" и т.п., могут использоваться в данном документе для простоты описания, чтобы описывать взаимосвязь одного элемента или признака с другим элементом(ами) или признаком(ами), как проиллюстрировано на чертежах. Следует понимать, что пространственно относительные термины имеют намерение охватывать различные ориентации используемого или работающего устройства, в дополнение к ориентации, проиллюстрированной на чертежах. Например, если устройство на чертежах переворачивается, элементы, описанные как "под" или "ниже" других элементов или признаков, в таком случае должны быть ориентированы "над" другими элементами или признаками. Таким образом, примерный термин "под" может охватывать ориентацию как над, так и под. Устройство может ориентироваться иным способом (поворачиваться на 90 градусов или в других ориентациях), и пространственно относительные дескрипторы, используемые в данном документе, интерпретируются соответствующим образом. Аналогично, термины "вверх", "вниз", "вертикальный", "горизонтальный" и т.п. используются в данном документе только для целей пояснения, если прямо не указано иное.

[0098] Хотя термины "первый" и "второй" могут использоваться в данном документе, чтобы описывать различные признаки/элементы (включающие в себя этапы), эти признаки/элементы не должны быть ограничены посредством этих терминов, если контекст не указывает иное. Эти термины могут использоваться для того, чтобы отличать один признак/элемент от другого признака/элемента. Таким образом, первый признак/элемент, поясненный ниже, может называться "вторым признаком/элементом", и аналогично, второй признак/элемент, поясненный ниже, может называться "первым признаком/элементом", без отступления от идей настоящего изобретения.

[0099] При использовании в данном документе в подробном описании и формуле изобретения, в том числе при использовании в примерах, и если иное явно не указывается, все числа могут читаться, как если предваряются посредством слова "примерно" или "приблизительно", даже если термин явно не показывается. Фраза "примерно" или "приблизительно" может использоваться при описании абсолютной величины и/или позиции для того, чтобы указывать то, что значение и/или описанная позиция находятся в пределах обоснованного ожидаемого диапазона значений и/или позиций. Например, числовое значение может иметь значение, которое составляет +/-0,1% от установленного значения (или диапазона значений), +/-1% от установленного значения (или диапазона значений), +/-2% от установленного значения (или диапазона значений), +/-5% от установленного значения (или диапазона значений), +/-10% от установленного значения (или диапазона значений) и т.д. Любой диапазон числовых значений, изложенный в данном документе, имеет намерение включать в себя все поддиапазоны, включенные в него.

[0100] Хотя различные иллюстративные варианты осуществления описываются выше, любой ряд изменений может вноситься в различные варианты осуществления без отступления от объема изобретения, как описано посредством формулы изобретения. Например, порядок, в котором выполняются различные описанные этапы способа, зачастую может изменяться в альтернативных вариантах осуществления, и в других альтернативных вариантах осуществления, один или более этапов способа могут вообще пропускаться. Необязательные признаки различных вариантов осуществления устройства и системы могут быть включены в некоторых вариантах осуществления, а не в других. Следовательно, вышеприведенное описание предоставляется главным образом в примерных целях и не должно интерпретироваться как ограничивающее объем изобретения, изложенный в формуле изобретения.

[0101] Примеры и иллюстрации, включенные в данном документе, показывают, в качестве иллюстрации, а не ограничения, конкретные варианты осуществления, в которых может осуществляться на практике предмет изобретения. Как упомянуто выше, другие варианты осуществления могут использоваться и извлекаться из них таким образом, что структурные и логические подстановки и изменения могут вноситься без отступления от объема данного раскрытия сущности. Такие варианты осуществления изобретаемого предмета изобретения могут упоминаться в данном документе отдельно или совместно посредством термина "изобретение" просто для удобства и без намерения умышленно ограничивать объем этой заявки любым одним изобретением или идеей изобретения, если фактически раскрыто более одной. Таким образом, хотя конкретные варианты осуществления проиллюстрированы и описаны в данном документе, любая компоновка, вычисленная с возможностью достигать идентичной цели, может подставляться для показанных конкретных вариантов осуществления. Это раскрытие сущности имеет намерение охватывать все без исключения адаптации или варьирования различных вариантов осуществления. Комбинации вышеописанных вариантов осуществления и других вариантов осуществления, не описанных конкретно в данном документе, должны становиться очевидными для специалистов в данной области техники после изучения вышеприведенного описания.

Изобретение относится к способам и системам отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства. Технический результат заключается в генерации релевантной информации о состояния подключения сетевого устройства и подключенных к нему устройствах с помощью механизма дополненной реальности. В способе принимают идентификационный код из сетевого устройства посредством мобильного устройства; отображают захваченные снятые камерой изображения сетевого устройства на дисплее мобильного устройства, причем изображения включают в себя множество портов сетевого устройства; извлекают информацию, ассоциированную с состоянием подключения каждого из множества портов, с использованием идентификационного кода, при этом извлечение информации содержит осуществление доступа к удаленной базе данных идентификационных данных устройств, соединенных с каждым из множества портов и библиотеке виртуальных объектов, соответствующих соединенным устройствам; определяют, основываясь на удаленной базе данных, идентификационные данные устройств, соединенных с каждым из множества портов; определяют пространственную взаимосвязь мобильного устройства относительно одного или более портов с использованием идентификационного кода; накладывают один или более виртуальных портов поверх сетевого устройства на изображения, при этом виртуальные порты включают в себя информацию относительно состояния подключения сетевого устройства в одном или более виртуальных портов; и отображают значки соединенных устройств, смежных с виртуальными портами, при этом значки отображаются на основе определенных идентификационных данных устройств, соединенных с каждым из множества портов. 7 н. и 28 з.п. ф-лы, 36 ил.

1. Способ отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства, при этом способ содержит этапы, на которых:

- принимают идентификационный код из сетевого устройства посредством мобильного устройства;

- отображают захваченные снятые камерой изображения сетевого устройства на дисплее мобильного устройства, причем изображения включают в себя множество портов сетевого устройства;

- извлекают информацию, ассоциированную с состоянием подключения каждого из множества портов, с использованием идентификационного кода, при этом извлечение информации содержит осуществление доступа к удаленной базе данных идентификационных данных устройств, соединенных с каждым из множества портов и библиотеке виртуальных объектов, соответствующих соединенным устройствам;

- определяют, основываясь на удаленной базе данных, идентификационные данные устройств, соединенных с каждым из множества портов;

- определяют пространственную взаимосвязь мобильного устройства относительно одного или более портов с использованием идентификационного кода;

- накладывают один или более виртуальных портов поверх сетевого устройства на изображения, при этом виртуальные порты включают в себя информацию относительно состояния подключения сетевого устройства в одном или более виртуальных портов; и

- отображают значки соединенных устройств, смежных с виртуальными портами, при этом значки отображаются на основе определенных идентификационных данных устройств, соединенных с каждым из множества портов.

2. Способ по п. 1, в котором совмещение одного или более виртуальных портов относительно снятых камерой изображений динамически регулируется на основе определенной пространственной взаимосвязи.

3. Способ по п. 1, в котором дополнительно каждый из виртуальных портов указывает состояние подключения порта на основе извлеченной информации.

4. Способ по п. 1, дополнительно содержащий этап, на котором накладывают виртуальную метку на изображение, рядом с каждым из виртуальных портов, причем виртуальная метка включает в себя текст, указывающий одну или более характеристик устройства, соединенного с каждым из портов, соответствующих каждому из виртуальных портов.

5. Способ по п. 1, в котором каждый из виртуальных портов имеет размер и форму, которые практически совпадают с размером и формой изображения одного или более портов.

6. Способ по п. 1, в котором позиция виртуального порта динамически изменяется в соответствии с изменениями перспективы камеры мобильного устройства относительно сетевого устройства.

7. Способ по п. 1, в котором каждый из виртуальных портов имеет различный внешний вид, когда соответствующий порт в сетевом устройстве соединяется, по сравнению со случаем, когда соответствующий порт не соединяется с устройством.

8. Способ по п. 1, дополнительно содержащий этап, на котором осуществляют доступ к библиотеке виртуальных объектов на основе информации, ассоциированной с состоянием подключения порта, причем виртуальные объекты включают в себя один или более значков, соответствующих типу устройства, соединенного с одним или более портов сетевого устройства.

9. Способ по п. 8, в котором тип устройства представляет собой мобильный телефон, планшетный компьютер, переносной компьютер, настольный компьютер, устройство-точку беспроводного доступа, устройство-виртуальный помощник, телевизионный приемник, бытовой прибор или устройство системы безопасности.

10. Способ по п. 8, в котором один или более значков имеют другой внешний вид, когда порт соединяется с устройством, по сравнению со случаем, когда порт ранее соединен и более не соединяется с устройством.

11. Способ по п. 1, в котором определение пространственной взаимосвязи мобильного устройства относительно сетевого устройства содержит отфильтровывание данных перемещения из вычисления для определения пространственной взаимосвязи.

12. Способ по п. 11, в котором отфильтровывание данных перемещения содержит этап, на котором исключают данные перемещения, ассоциированные с вращением вокруг оси в координатном пространстве.

13. Способ по п. 1, в котором идентификационный код представляет собой оптический код, который находится на сенсорном дисплее сетевого устройства.

14. Способ по п. 1, в котором идентификационный код представляет собой RF-код.

15. Способ по п. 1, в котором состояние подключения порта включает в себя то, соединяется или нет порт с устройством.

16. Способ по п. 1, в котором состояние подключения порта включает в себя информацию, ассоциированную с рабочим состоянием компьютера, соединенного с портом, или который соединен с портом.

17. Способ по п. 1, в котором состояние подключения порта включает в себя информацию в отношении того, соединяется или нет устройство, которое соединяется или соединено с портом, со вторым устройством.

18. Способ по п. 17, в котором состояние подключения порта включает в себя рабочее состояние устройства и рабочее состояние второго устройства.

19. Способ по п. 1, в котором мобильное устройство представляет собой мобильный телефон, планшетный компьютер, переносной компьютер или гарнитуру.

20. Способ по п. 1, в котором сетевое устройство представляет собой сетевой коммутатор, маршрутизатор или точку доступа.

21. Способ по п. 1, дополнительно содержащий этап, на котором динамически регулируют наложение одного или более виртуальных портов.

22. Способ отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства, при этом способ содержит этапы, на которых:

- отображают захваченные снятые камеры изображений сетевого устройства на дисплее мобильного устройства, причем изображения включают в себя: один или более портов сетевого устройства и оптический код на сетевом устройстве, которые включают в себя информацию сетевого подключения, ассоциированную с сетевым устройством;

- извлекают информацию, ассоциированную с состоянием подключения одного или более портов, с использованием оптического кода, при этом извлеченная информация включает в себя базу данных идентификационных данных устройств, соединенных с каждым из одного или более портов и библиотеку виртуальных объектов, соответствующих соединенным устройствам;

- определяют, основываясь на извлеченной базе данных, идентификационные данные устройств, соединенных с каждым из одного или более портов;

- осуществляют доступ к библиотеке виртуальных объектов на основе информации, ассоциированной с состоянием подключения одного или более портов, причем виртуальные объекты включают в себя значок, соответствующий типу устройства, соединенного с каждым из одного или более портов сетевого устройства;

- определяют пространственную взаимосвязь мобильного устройства относительно одного или более портов с использованием оптического кода;

- накладывают один или более виртуальных портов, при этом виртуальные порты включают в себя значок, соответствующий типу устройства, соединенного с одним или более портов, поверх изображения сетевого устройства, при этом цвет и/или непрозрачность виртуального порта указывает состояние подключения порта на основе извлечения информации; и

одновременно отображают значки соединенных устройств, смежных с виртуальными портами, при этом значки отображаются на основе определенных идентификационных данных устройств, соединенных с каждым из множества портов.

23. Система для отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства, при этом система содержит:

- один или более процессоров;

- запоминающее устройство, связанное с одним или более процессоров, причем запоминающее устройство выполнено с возможностью сохранять компьютерные программные инструкции, которые, при выполнении посредством одного или более процессоров, осуществляют машинореализованный способ, содержащий:

- прием идентификационного кода из сетевого устройства посредством мобильного устройства;

- отображение захваченных снятых камерой изображений сетевого устройства на дисплее мобильного устройства, причем изображения включают в себя множество портов сетевого устройства;

- извлечение информации, ассоциированной с состоянием подключения каждого из множества портов, с использованием идентификационного кода, при этом извлеченная информация включает в себя базу данных идентификационных данных устройств, соединенных с каждым из множества портов и библиотеку виртуальных объектов, соответствующих соединенным устройствам;

- определение пространственной взаимосвязи мобильного устройства относительно одного или более портов с использованием идентификационного кода;

- наложение одного или более виртуальных портов поверх сетевого устройства на изображения, при этом виртуальные порты включают в себя информацию относительно подключения сетевого устройства в одном или более виртуальных портах; и

одновременно отображают значки соединенных устройств, смежных с виртуальными портами, при этом значки отображаются на основе определенных идентификационных данных устройств, соединенных с каждым из множества портов.

24. Способ отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства, при этом способ содержит этапы, на которых:

- захватывают видеоизображение сетевого устройства с использованием устройства мобильной связи, при этом видеоизображение включает в себя множество портов;

- принимают, в устройстве мобильной связи, идентификационный код, конкретный для сетевого устройства, из сетевого устройства;

- определяют, из идентификационного кода, информацию подключения множества портов сетевого устройства, при этом информация подключения включает в себя базу данных идентификационных данных устройств, соединенных с каждым из множества портов и библиотеку виртуальных объектов, соответствующих соединенным устройствам; и

- отображают на видеоизображении, в реальном времени, наложение на множество портов сетевого устройства, причем наложение включает в себя индикатор сетевого подключения, конкретного для каждого порта, при этом индикатор сетевого подключения содержит одно или более из следующего: состояние соединения, скорость соединения, трафик данных, идентификационные данные соединения, длительность соединения, значки соединенных устройств и использование технологии подачи мощности по Ethernet (POE),

при этом значки определяют из информации подключения.

25. Способ по п. 24, в котором сетевое устройство содержит коммутатор.

26. Способ по п. 24, в котором устройство мобильной связи содержит смартфон или планшетный компьютер.

27. Способ по п. 24, в котором идентификационный код содержит оптический код.

28. Способ по п. 24, в котором идентификационный код содержит цифровой QR-код.

29. Способ по п. 24, в котором идентификационный код содержит RF-код.

30. Способ по п. 24, дополнительно содержащий этап, на котором определяют местоположения каждого из одного или более портов сетевого устройства из идентификационного кода и изображения.

31. Способ по пп. 24, дополнительно содержащий этап, на котором определяют местоположения каждого из портов множества портов из идентификационного кода и изображения и ориентации устройства мобильной связи.

32. Способ по п. 24, в котором определение содержит этап, на котором определяют информацию относительно подключения множества портов сетевого устройства посредством осуществления доступа к удаленной базе данных с использованием устройства мобильной связи.

33. Способ отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства, при этом способ содержит этапы, на которых:

- захватывают видеоизображение множества сетевых устройств с использованием устройства мобильной связи, при этом каждое из сетевых устройств содержит множество портов и уникальный идентификационный код;

- принимают, в устройстве мобильной связи, уникальный идентификационный код, конкретный для каждого из сетевых устройств, из сетевых устройств из множества сетевых устройств;

- определяют, из уникального идентификационного кода, конкретного для каждого из сетевых устройств, информацию подключения одного или более портов каждого из сетевых устройств, при этом информация подключения включает в себя базу данных идентификационных данных устройств, соединенных с каждым из множества портов и библиотеку виртуальных объектов, соответствующих соединенным устройствам;

- отображают на видеоизображении, в реальном времени, наложение на каждый из одного или более портов сетевых устройств, включающее в себя индикатор сетевого подключения, конкретного для каждого порта, при этом индикатор сетевого подключения содержит одно или более из следующего: состояние соединения, скорость соединения, трафик данных, идентификационные данные соединения, длительность соединения, значки соединенных устройств и использование технологии подачи мощности по Ethernet (POE), при этом значки определяют из информации подключения; и

- обновляют дисплей в реальном времени по мере того, как индикатор сетевого подключения изменяется.

34. Система для отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства, при этом система содержит:

- один или более процессоров;

- запоминающее устройство, связанное с одним или более процессорами, причем запоминающее устройство выполнено с возможностью сохранять компьютерные программные инструкции, которые, при выполнении посредством одного или более процессоров, осуществляют машинореализованный способ, содержащий:

- захват видеоизображения сетевого устройства с использованием устройства мобильной связи, при этом видеоизображение включает в себя множество портов;

- прием, в устройстве мобильной связи, идентификационного кода, конкретного для сетевого устройства, из сетевого устройства;

- определение, из идентификационного кода, информации подключения множества портов сетевого устройства, при этом информация подключения включает в себя базу данных идентификационных данных устройств, соединенных с каждым из множества портов и библиотеку виртуальных объектов, соответствующих соединенным устройствам;

- отображение на видеоизображении, в реальном времени, наложения на множество портов сетевого устройства, причем наложение включает в себя индикатор сетевого подключения, конкретного для каждого порта, при этом индикатор сетевого подключения содержит одно или более из следующего: состояние соединения, скорость соединения, трафик данных, идентификационные данные соединения, длительность соединения, значки соединенных устройств и использование технологии подачи мощности по Ethernet (POE), при этом значки определяют из информации подключения.

35. Система для отображения сетевого устройства с дополненной реальностью с использованием мобильного устройства, при этом система содержит:

- один или более процессоров;

- запоминающее устройство, связанное с одним или более процессоров, причем запоминающее устройство выполнено с возможностью сохранять компьютерные программные инструкции, которые, при выполнении посредством одного или более процессоров, осуществляют машинореализованный способ, содержащий:

- захват видеоизображения множества сетевых устройств с использованием устройства мобильной связи, при этом каждое из сетевых устройств содержит множество портов и уникальный идентификационный код;

- прием, в устройстве мобильной связи, уникального идентификационного кода, конкретного для каждого из сетевых устройств, из сетевых устройств из множества сетевых устройств;

- определение, из уникального идентификационного кода, конкретного для каждого из сетевых устройств, информации подключения одного или более портов каждого из сетевых устройств, при этом информация подключения включает в себя базу данных идентификационных данных устройств, соединенных с каждым из множества портов и библиотеку виртуальных объектов, соответствующих соединенным устройствам;

- отображение на видеоизображении, в реальном времени, наложения на каждый из одного или более портов сетевых устройств, включающего в себя индикатор сетевого подключения, конкретного для каждого порта, при этом индикатор сетевого подключения содержит одно или более из следующего: состояние соединения, скорость соединения, трафик данных, идентификационные данные соединения, длительность соединения, значки соединенных устройств и использование технологии подачи мощности по Ethernet (POE), при этом значки определяют из информации подключения; и

- обновление дисплея в реальном времени по мере того, как индикатор сетевого подключения изменяется.