СИСТЕМА РАСПРОСТРАНЕНИЯ ИЗОБРАЖЕНИЙ, КЛИЕНТСКИЙ ТЕРМИНАЛ И СПОСОБ УПРАВЛЕНИЯ Российский патент 2009 года по МПК H04N7/173 G06K9/36 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к системе распространения изображений, которая распространяет данные изображения из сервера через сеть, клиентскому терминалу и способу управления этим.

Уровень техники

В последние годы получила признание система распространения изображений, которая выдает клиентскому терминалу захваченные из сервера данные изображения. В такой системе сервер содержит, например, сетевую камеру, а клиентский терминал содержит компьютер. Такая система распространения изображений используется главным образом для наблюдения за определенными местами с использованием отображения изображений из камер, установленных во множестве удаленных мест.

Во время наблюдения, основанного на изображениях, изображения из большого количества серверов должны одновременно отображаться на дисплее клиентского терминала. Следовательно, изображения из серверов отображаются на дисплее в окнах уменьшенного размера. При выборе конкретного изображения окно этого изображения может быть отображено с увеличенным размером. Размер окна меняется путем увеличения или уменьшения размера окна приложения, которое отображает изображение. Более точно, пользователь часто увеличивает или уменьшает размер окна до желаемого размера путем перетаскивания мышью рамки окна, отображаемого приложением.

С другой стороны, каждый сервер передает захваченные данные изображения с заранее установленным для клиентского терминала разрешением. Коммерчески доступным является сервер, который может менять такое разрешение в ответ на запрос из клиентского терминала. Например, наблюдатель может выбрать и установить на сервере одно из разрешений 640 × 480 (пикселей) или 320 × 240 (пикселей) и может принимать и отображать данные изображения, которые передаются с установленным разрешением. Разрешение на сервере может легко меняться путем деления пополам количества пикселей, предназначенных для выборки, если такое разрешение равно 1/2 максимального разрешения данных изображения (смотри выложенный патент Японии No. 11-196379).

Таким образом, поскольку разрешение предоставляется сервером, в качестве максимального разрешения устанавливается стандартное разрешение компьютера или носителя изображения, например размер VGA (640 × 480 (пикселей)). Сервер обычно обеспечивает размер QVGA (320 × 240 (пикселей)), 1/2 размера VGA и размер QQVGA (160 × 120 (пикселей)), 1/2 размера QVGA. Однако также могут быть выбраны нижеследующие конфигурации. То есть изображение заранее захватывается при помощи CCD с высоким разрешением, и передается область изображения в соответствии с произвольным разрешением или, если происходит преобразование разрешения с использованием высокоскоростной LSI для обработки изображения, разрешение изображения, предназначенного для передачи из сервера, может быть изменено на произвольное разрешение, отличное от заданных значений.

При отображении данных изображения, распространяемых из сервера на клиентский терминал, когда клиентский терминал меняет окно изображения на произвольный размер, он выполняет обработку по изменению размера для изменения размера рендеринга. Например, при отображении изображения, которое распространяется из сервера и имеет разрешение 640 × 480 (пикселей), на клиентском терминале уменьшается размер окна, которое отображает изображение. При этом клиентский терминал выполняет обработку по изменению размера с разрешения 640 × 480 пикселей на разрешение, например, 500 × 300 (пикселей), согласно размеру уменьшенного окна.

При такой обработке по изменению размера, выполняемой на клиентском терминале, поскольку при отображении изображений выполняется обработка по выполнению интерполяции и обработка по выполнению повторной выборки между соседними пикселями, нагрузка клиентского терминала повышается. Загрузка клиентского терминала значительно возрастает, в частности, когда клиентский терминал соединен с большим количеством серверов и отображает большое число изображений из этих серверов и когда он одновременно выполняет обработку по изменению размера этих изображений. Такое увеличение загрузки приводит к снижению частоты кадров при отображении изображений и понижению скорости обработки компьютера. То есть загрузка при обработке по изменению размера согласно различным типам качества изображения, требуемым наблюдателем или рабочим состоянием различных приборов наблюдения, используемых наблюдателем, не может быть уменьшена.

Отображение на клиентском терминале с увеличенным масштабом посредством обработки по выполнению интерполяции на основании соседних пикселей не может дать изображение оптимального качества в соответствии с размером окна. Например, при увеличении окна изображений, отображающего данные изображения, с 160 × 120 (пикселей) до 640 × 480 (пикселей) качество изображения ухудшается, так как данные, которые были до изменения размера, увеличиваются в четыре раза в вертикальном и в горизонтальном направлениях.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Целью настоящего изобретения является решение указанных проблем.

Отличительной особенностью настоящего изобретения является предоставление системы распространения изображений, которая может уменьшать загрузку клиентского терминала при обработке по изменению размера изображения, клиентского терминала и соответствующего способа управления.

Отличительной особенностью настоящего изобретения является предоставление системы распространения изображений, которая может предотвращать ухудшение качества изображения, в результате его увеличения на клиентском терминале, клиентского терминала и соответствующего способа управления.

Отличительной особенностью настоящего изобретения является предоставление системы распространения изображений, которая позволяет пользователю выбирать способ изменения размера в соответствии с рабочими состояниями клиентского терминала и сервера и рабочую среду системы, клиентского терминала и способа управления этим.

Согласно настоящему изобретению предоставляется система распространения изображений для передачи в клиентский терминал захваченных из сервера с заданным разрешением данных изображения и отображения данных изображения на клиентском терминале, причем

клиентский терминал содержит:

средство извещения для передачи на сервер информации о размере окна, которое отображает данные изображения и размер которого меняется согласно инструкции изменения размера; и

средство управления отображением для управления отображением в окне данных изображения, принятых из сервера,

сервер содержит:

средство изменения размера для изменения разрешения при захвате данных изображения, исходя из размера информации,

причем средство управления отображением клиентского терминала принимает данные изображения с измененным размером при помощи средства изменения размера и отображает в окне принятые данные изображения.

Кроме того, согласно настоящему изобретению предоставляется клиентский терминал для приема из сервера захваченных с заданным разрешением данных изображения и отображения принятых данных изображения в окне, содержащий:

средство извещения для передачи на сервер информации о размере окна, которое отображает данные изображения, и размере, который был изменен согласно инструкции изменения размера; и

средство управления отображением для приема сервером данных изображения с измененным размером и отображения с измененным размером в окне данных изображения.

Помимо этого, согласно настоящему изобретению предоставляется способ управления системой распространения изображений для передачи в клиентский терминал захваченных из сервера с заданным разрешением данных изображения и отображения данных изображения на клиентском терминале, содержащий:

этап ввода для ввода инструкции изменения размера окна, которое отображает данные изображения;

этап передачи серверу информации о размере окна, размер которого был изменен согласно инструкции изменения размера;

этап изменения размера для изменения разрешения при захвате данных изображения, исходя из информации о размере; и

этап управления отображением для приема данных изображения с измененным размером на этапе изменения размера и отображения в окне данных изображения с измененным размером.

Более того, особенности настоящего изобретения станут очевидными из нижеследующего описания иллюстративных вариантов осуществления со ссылкой на прилагаемые чертежи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Прилагаемые чертежи, которые объединены и составляют часть спецификации, иллюстрируют варианты осуществления настоящего изобретения и вместе с описанием служат для объяснения принципов изобретения.

Фиг.1 представляет собой блок-схему, объясняющую строение системы распространения изображений в целом согласно первому варианту осуществления настоящего изобретения;

Фиг. 2А и 2В изображают виды, иллюстрирующие окна, отображенные на дисплее клиентского терминала, согласно первому варианту осуществления;

Фиг.3 представляет собой блок-схему последовательности операций, объясняющую обработку, выполняемую на клиентском терминале, согласно первому варианту осуществления настоящего изобретения;

Фиг.4А и 4В изображают виды, иллюстрирующие окна, отображенные на дисплее клиентского терминала, согласно второму варианту осуществления;

Фиг.5 представляет собой блок-схему последовательности операций, показывающую обработку, выполняемую на клиентском терминале, при выполнении обработки по изменению размера в соответствии с правами на управление камерой согласно второму варианту осуществления настоящего изобретения;

Фиг.6А и 6В иллюстрируют окна, отображенные на дисплее клиентского терминала, согласно третьему варианту осуществления;

Фиг.7 представляет собой блок-схему последовательности операций, показывающую обработку, выполняемую на клиентском терминале, при выполнении обработки по изменению размера изображения согласно третьему варианту осуществления;

Фиг.8 представляет собой блок-схему последовательности операций, показывающую обработку по выполнению проверки загрузки клиентского терминала на основании величины L загрузки, вычисленной при помощи таблицы загрузки;

На Фиг.9 показан пример таблицы, полученной с помощью цифрового преобразования величины загрузки клиентского терминала согласно третьему варианту осуществления настоящего изобретения;

Фиг.10 представляет собой блок-схему последовательности операций, показывающую обработку по определению загрузки клиентского терминала при помощи частоты кадров изображения как критерия проверки при модификации третьего варианта осуществления;

Фиг.11 представляет собой блок-схему последовательности операций, объясняющую обработку по изменению размера в системе распространения изображений согласно четвертому варианту осуществления настоящего изобретения;

Фиг.12 представляет собой изображение примера таблицы для объяснения взаимосвязи между рабочим режимом, состоянием изменения размера окна и обработкой по изменению размера согласно четвертому варианту осуществления;

Фиг.13 представляет собой блок-схему последовательности операций, объясняющую обработку по изменению размера при увеличении изображения окна в системе распространения изображений согласно пятому варианту осуществления;

На Фиг.14 показан пример таблицы для объяснения взаимосвязи между элементами установки клиентского терминала и обработки по изменению размера согласно пятому варианту осуществления.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Ниже подробно описаны предпочтительные варианты осуществления настоящего изобретения со ссылками на прилагаемые чертежи. Следует отметить, что приведенные ниже варианты осуществления не ограничивают настоящее изобретение, изложенное в формуле изобретения, и что не все описанные в вариантах осуществления комбинации особенностей обязательно необходимы в качестве средств достижения цели настоящего изобретения.

Первый вариант осуществления

Ниже со ссылками на Фиг.1-3 подробно описан первый вариант осуществления настоящего изобретения.

Фиг.1 представляет собой блок-схему, объясняющую в целом строение системы распространения изображений согласно первому варианту осуществления настоящего изобретения. Сначала описывается строение компонентов системы.

Сервер 101 выполнен в виде сетевой камеры, используемой для захвата изображения объекта, он распространяет изображение, захваченное этой камерой, через сеть 121. Клиентский терминал 111 представляет собой компьютер, который принимает и отображает данные изображения, переданные из сервера 101. Указанный сервер 101 и клиентский терминал 111 соединены с сетью 121, такой как LAN, интернет или т.п. Благодаря соединению множества серверов 122 в сеть 121 клиентский терминал 111 может одновременно отображать множество элементов данных изображения из множества удаленно расположенных серверов 122 во множество окон и т.п. Благодаря соединению множества клиентских терминалов 124 с сетью 121 данные изображения могут распространяться неограниченному количеству зрителей. Управляющий клиентский терминал 123 является управляющим для сервера 101, который имеет права на управление камерой, чтобы иметь возможность выполнения панорамирования и установки наклона панорамной головки сетевой камеры и различных установок камеры.

Сервер 101 согласно этому варианту осуществления описан ниже.

Сервер 101 содержит блок 102 формирования изображения, имеющий панорамную головку, блок 103 изменения размера изображения, блок 104 сжатия изображения, ЦП 105 и блок 106 интерфейса (I/F) связи. Блок 102 формирования изображения, имеющий панорамную головку, выполняет операции панорамирования и установки наклона панорамной головки согласно управляющим командам из управляющего клиентского терминала 123. В результате блок 102 формирования изображения, имеющий панорамную головку, может захватывать изображение под желаемым углом наклона. Блок 102 формирования изображения, имеющий панорамную головку, принимает эти команды управления камерой из управляющего клиентского терминала 123 через ЦП 105. Блок 103 изменения размера изображения захватывает данные изображения и преобразует захваченные данные изображения в разрешение, которое заранее установлено на устройстве. То есть изменение размера в этом варианте осуществления включает в себя обработку по изменению разрешения (размера) данных изображения. В этом варианте осуществления разрешение изображения, предоставляемое сервером 101 на клиентский терминал, включает в себя три различных разрешения, т.е. 640 × 480 (пикселей), 320 × 240 (пикселей) и 160 × 120 (пикселей). Разрешение может быть изменено согласно команде из клиентского терминала, и блок 103 изменения размера изображения принимает такую команду изменения через ЦП 105. Блок 104 сжатия изображения сжимает данные изображения трех различных разрешений, захваченные блоком 103 изменения размера изображения в, например, формате JPEG или т.п. ЦП 105 преобразует три типа сжатых данных в поток с множеством компонентов. Блок 106 I/F связи распространяет эти данные изображения на клиентские терминалы 111 и 124, соединенные с сетью 121.

Клиентский терминал 111 согласно этому варианту осуществления описан ниже. Следует отметить, что каждый клиентский терминал 124 имеет одно и то же строение.

Клиентский терминал содержит блок 112 I/F связи, ЦП 113, дисплей 114 и блок 115 ввода. Блок 115 ввода представляет собой устройство ввода, такое как мышь и клавиатура, и используется для управления приложением, для ввода и передачи команд управления на сервер 101 и т.д. Блок 112 I/F связи принимает данные изображения трех различных разрешений, переданные из сервера 101, и посылает их в ЦП 113. ЦП 113 восстанавливает данные изображения на этом клиентском терминале с разрешением отображения и отображает изображение на дисплее 114 с помощью прикладной программы.

На Фиг.2А и 2В показаны окна, отображаемые на дисплее 114 клиентского терминала согласно этому варианту осуществления, и показано состояние, в котором отображаются данные изображения, распространенные из сервера 101. Изменение размера окна описано ниже.

На Фиг.2A показан контент отображения на дисплее 114 до изменения размера, а ссылочная позиция 202 обозначает окно, отображенное при помощи этого приложения. В этом окне 202 ссылочная позиция 203 обозначает окно изображения в виде области отображения изображения. При этом клиентский терминал 111 принимает данные изображения с разрешением 640 × 480 (пикселей). Следовательно, это изображение отображается таким образом, чтобы иметь размер 640 (пикселей) по горизонтали 204 и 480 (пикселей) по вертикали 205. Ссылочная позиция 206 обозначает полосу прокрутки для угла наклона; а ссылочная позиция 207 обозначает полосу прокрутки для управления панорамированием. Путем перемещения этих полос прокрутки можно на расстоянии управлять панорамированием и углами наклона панорамной головки блока 102 формирования изображения, имеющего панорамную головку, сервера 101. Посредством такого управления клиентский терминал 111 может видеть изображение, полученное при захвате изображения объекта, под желаемым углом наклона. Клиентский терминал, который запрашивает права на управление камерой, может использовать эти инструментальные полосы прокрутки для управления камерой путем нажатия на кнопку 208 права на управление.

Кнопка 208 права на управление становится доступной, когда пользователь выбирает эту кнопку в то время, когда другие клиентские терминалы не запрашивают права на управление, и используется с целью ограничения пользователей с тем, чтобы запретить выполнение операции с одной камерой одновременно множеством клиентских терминалов. Ссылочная позиция 209 обозначает область перетаскивания. Перетаскивая область 209 при помощи мыши, пользователь может изменить размер окна 202 отображения и окна 203 изображения до любого размера.

На Фиг.2В показан контент отображения на дисплее 114 после изменения размера окна 202 посредством перетаскивания мышью, используя курсор 220. Окно 203 изображения подвергается изменению размера согласно этому перетаскиванию, как это обозначено ссылочной позицией 212, и отображается с уменьшенным размером 512 (пикселей) в горизонтальном направлении 213 и 384 (пикселей) в вертикальном направлении 214.

В результате опции изменения размера окна изображения на клиентском терминале 111 должно быть отображено изображение с размером, отличающимся от разрешения изображения, переданного из сервера 101. По этой причине при обработке по выполнению повторной выборки или обработке по выполнению интерполяции возрастает загрузка клиентского терминала 111. Для уменьшения загрузки клиентского терминала 111 более эффективным является отображать изображение с таким же размером, что и разрешение изображения, принятого из сервера 101. С этой целью сервер 101 должен предоставлять на клиентский терминал 111 данные изображения с разрешением, соответствующим размеру окна с измененным размером.

В первом варианте осуществления в случае, при котором на клиентском терминале изменяется размер окна, предназначенного для отображения, клиентский терминал посылает на сервер 101 информацию, связанную с измененным размером отображения. На основании этой информации сервер 101 изменяет разрешение захваченного изображения с помощью блока 103 изменения размера изображения для того, чтобы иметь разрешение, соответствующее такому размеру отображения, и передает в клиентский терминал данные изображения, разрешение которого изменено таким образом. Таким образом, может быть уменьшена загрузка клиентского терминала при обработке по изменению размера. Более того, поскольку сторона формирования изображения (сервер) выполняет изменение размера изображения, можно избежать ухудшение изображения после изменения размера.

Фиг.3 представляет собой блок-схему последовательности операций, объясняющую обработку, выполняемую на клиентском терминале, при выполнении обработки по изменению размера согласно первому варианту осуществления. На Фиг.3 показана обработка, выполняемая на клиентском терминале, при выполнении обработки по изменению размера окна, показанного на Фиг.2В. Следует отметить, что программа, которая реализует эту обработку, хранится в памяти 113а ЦП 113 и выполняется под управлением ЦП 113.

На этапе S302 ЦП 113 соединяется с сервером 101 и принимает данные изображения с заданным разрешением. В первом варианте осуществления ЦП 113 принимает данные изображения с разрешением 640 × 480 (пикселей). На этапе S303 ЦП 113 запускает приложение для отображения изображения в окне 203 изображения с оригинальным разрешением (640 × 480 (пикселей) (Фиг.2А). На этапе S304 ЦП 113 определяет, изменил ли пользователь размер окна изображения. Если пользователь изменил размер окна изображения, процесс переходит на этап S305 и ЦП 113 передает на сервер 101 информацию о размере отображения окна 212 изображения после изменения размера через блок 112 I/F связи. В первом варианте осуществления предполагается, что размер окна 212 изображения после изменения размера равен 512 (пикселей) в горизонтальном направлении × 384 (пикселей) в вертикальном направлении, как показано на Фиг.2В.

Таким образом, на этапе S305 клиентский терминал передает на сервер 101 информацию о размере отображения, указывающую на 512 × 384 (пикселей). Основываясь на этой принятой информации о размере отображения, сервер 101 изменяет размер формирования изображения (разрешение) с 640 × 480 (пикселей) на 512 × 384 (пикселей) и передает на клиентский терминал 111 данные изображения, захваченные при таком разрешении. На этапе S306 клиентский терминал 111 отображает принятый поток изображений, переданный сервером 101, в виде данных изображения 512 × 384 (пикселей).

Как описано выше согласно первому варианту осуществления, когда размер отображения окна изображения на клиентском терминале меняется, например, с 640 × 480 (пикселей) на 512 × 384 (пикселей), клиентский терминал передает информацию о размере отображения окна изображения после изменения размера изображения на сервер 101. На основании этой информации сервер 101 может захватить изображение с разрешением 512 × 384 (пикселей) и может передать захваченные данные изображения на клиентский терминал 111. Следовательно, при отображении изображения на клиентском терминале может быть исключена необходимость обработки по выполнению интерполяции и обработки по выполнению повторной выборки для изменения изображения, и может быть снижена загрузка клиентского терминала при обработке по изменению размера.

Поскольку размер окна изображения на клиентском терминале соответствует разрешению данных изображения, переданных из сервера 101, в результате изменения размера окна отображения качество изображения не ухудшается.

Первый вариант осуществления иллюстрирует в качестве примера способ перетаскивания мышью на клиентском терминале как способ изменения размера окна изображения. Однако настоящее изобретение этим не ограничено, и могут быть использованы другие различные способы изменения размера. Например, могут быть использованы изменение размера, исходя из цифрового значения размера окна, назначенного при помощи клавиатуры, изменение размера согласно ранее установленным условиям с тем, чтобы иметь планирующее событие, событие с внешнего датчика, такого как триггер и т.п.

Первый вариант осуществления объясняет случай, в котором уменьшается размер окна изображения. Однако настоящее изобретение этим не ограничивается, и также может быть применено для случая, при котором размер окна изображения увеличивается.

Второй вариант осуществления

Ниже подробно описан второй вариант осуществления настоящего изобретения со ссылками на Фиг.4А и 4В и Фиг.5. Следует отметить, что аппаратные средства системы распространения, сервер (сетевая камера) и клиентский терминал являются такими же, как в первом варианте осуществления, и, следовательно, их описание будет опущено.

На Фиг.4А и 4В показаны окна, отображенные на дисплее 114 клиентского терминала, согласно второму варианту осуществления. Каждая из Фиг.4А и 4В одновременно отображает данные изображения, распространенные из четырех серверов, в четырех местах. Изменение размера окна изображения описано ниже.

Фиг.4А показывает состояние отображения на дисплее 114 до изменения размера. Ссылочная позиция 402 обозначает окно, отображенное приложением. На этом окне 402 ссылочные позиции 405-408 обозначают окна изображения, которые соответственно отображают захваченные изображения из четырех серверов (не показано). Клиентский терминал согласно второму варианту осуществления отображает данные изображения с разрешением 320 × 240 (пикселей), распространенные из соответствующих серверов. Следовательно, размер в горизонтальном направлении 403 каждого изображения равен 320 (пикселей), а в вертикальном направлении 404 равен 240 (пикселей). Предполагается, что клиентский терминал получил права на управление камерой, например, третьего сервера (окно 407 изображения).

Ссылочная позиция 409 обозначает область перетаскивания. Когда пользователь перетаскивает край этой области 409, используя мышь, пользователь может изменить размеры этого окна 402 и окон 405-408 изображения на произвольные размеры.

На Фиг.4В показан контент отображения на дисплее 114 после уменьшения размера окна 402 при помощи перетаскивания мышью. Согласно этой операции окна 405-408 меняют размеры (уменьшаются), и каждое окно отображается с размером 200 (пикселей) в горизонтальном направлении 412 × 120 (пикселей) в вертикальном направлении 413.

Как описано выше, для уменьшения загрузки клиентского терминала при обработке по изменению размера окна изображения более эффективным является генерирование и распространение при помощи сервера 101 данных изображения с разрешением, соответствующим размеру окна изображения. Однако когда множество клиентских терминалов принимает изображение из сервера 101 и только один клиентский терминал имеет возможность изменить разрешение формирования изображения сервера 101, то возникают следующие проблемы. А именно меняется качество изображения на других клиентских терминалах, которые отображают изображение из сервера 101, причем размер окна изображения других клиентских терминалов меняется не зависящим от них образом.

Для решения этих проблем второй вариант осуществления отличается тем, что обработка по изменению размера на сервере при изменении размера окна изображения происходит только в ответ на запрос с клиентского терминала, который получает права на управление камерой этого сервера. То есть при изменении размера окна изображения, показанного на Фиг.4А, клиентский терминал передает команду изменения размера только на третий сервер, права на управление которым он получил, и клиентский терминал сам выполняет обработку по изменению размера изображений из других серверов.

Необходимо отметить, что окно, которое отображает изображение из сервера, используя обработку по изменению размера (т.е. изображение из сервера, правами на управление которым владеет этот клиентский терминал), может быть четко указано в клиентском терминале при помощи жирной рамки, как обозначено ссылочной позицией 414 на Фиг.4В. В этом случае окно, которое позволяет обработку по изменению размера на сервере из множества окон отображения, может быть четко обозначено, обеспечивая, таким образом, удобство с точки зрения системного управления, например управления загрузкой клиентского терминала и т.п.

Фиг.5 представляет собой блок-схему последовательности операций, показывающую обработку, выполняемую в клиентском терминале, при выполнении обработки по изменению размера в соответствии с правами на управление камерой согласно второму варианту осуществления настоящего изобретения. На Фиг.5 показана обработка, выполняемая в клиентском терминале, при выполнении изменения размера, показанного на Фиг.4В. Следует отметить, что программа, которая реализует эту обработку, хранится в памяти 113а ЦП 113 и выполняется под управлением ЦП 113.

На этапе S502 ЦП 113 соединяется с четырьмя серверами и принимает данные изображения с заданным разрешением. Во втором варианте осуществления ЦП 113 принимает данные изображения с разрешением 320 × 240 (пикселей), распространяемые из соответствующих серверов. ЦП 113 отображает изображения из соответствующих серверов в окне изображения, имеющем четыре области, каждая из которых имеет размер, который может отображать изображение с разрешением 320 × 240 (пикселей) (Фиг.4A). На этапе S503 ЦП 113 определяет, изменил или нет пользователь окно изображения. Если пользователь изменил окно изображения, соответствующее окну изображения с измененным размером, процесс переходит на этап S504 для подтверждения, запросил ли клиентский терминал права на управление сервером (сетевой камерой). Если клиентский терминал запросил права на управление этим сервером, процесс переходит на этап S505 и ЦП 113 передает информацию о размере изображения окна изображения после изменения размера на сервере (сетевой камере), права на управление которым запросил клиентский терминал, т.е. в этом варианте осуществления третий сервер (не показан).

На Фиг.4В размер окна изображения после изменения размера равен 200 (пикселей) в горизонтальном направлении × 120 (пикселей) в вертикальном направлении. Следовательно, ЦП 113 передает на третий сервер информацию о размере отображения, указывающую 200 × 120 (пикселей). Третий сервер изменяет размер формирования изображения в блоке 103 изменения размера с 320 × 240 (пикселей) на 200 × 120 (пикселей), основываясь на этой информации о размере отображения, и передает эти данные изображения на клиентский терминал 111. На этапе S506, клиентский терминал 111 отображает принятый поток изображений, переданный из сервера 101, в виде данных изображения 200 × 120 (пикселей).

С другой стороны, для изображения из серверов (сетевых камер), права на управление которыми клиентский терминал не получил на этапе S504, клиентский терминал сам выполняет обработку по изменению размера изображения из серверов и отображает его. Во втором варианте осуществления клиентский терминал 111 использует обработку по выполнению рендеринга, такую как выполнение выборки и т.п., к изображениям из серверов, отличных от третьего сервера, и отображает их в уменьшенном масштабе.

Как описано выше согласно второму варианту осуществления, при изменении размера отображения окна изображения на клиентском терминале только тот клиентский терминал, который получил права на управление сервером, может запрашивать обработку по изменению размера изображения на сервере. Таким образом, исключается ситуация, при которой множество клиентских терминалов одновременно запрашивают обработку по изменению размера у одного сервера. При запросе обработки по изменению размера из клиентского терминала на сервере приоритет может быть отдан определенному клиентскому терминалу, т.е. клиенту, обладающему правами на управление сервером.

На клиентском терминале, поскольку может быть устранена необходимость обработки по изменению размера изображения из сервера, права на управление которым получил клиентский терминал, даже когда клиентский терминал отображает множество окон изображения, загрузка клиентского терминала при обработке по изменению размера изображения может быть уменьшена.

Третий вариант осуществления

Ниже со ссылкой на Фиг.6А-10 описан третий вариант осуществления настоящего изобретения. Необходимо отметить, что аппаратные средства системы распространения, сервер (сетевая камера), и клиентский терминал являются такими же, как и в первом варианте осуществления, и их описание будет опущено.

На Фиг.6А и 6В показано окно, отображенное на дисплее 114 клиентского терминала, согласно третьему варианту осуществления. На Фиг.6А и 6В клиентский терминал одновременно отображает данные изображения с тремя различными разрешениями, распространенными из трех серверов (не показано). Ниже описано изменение размера окна изображения.

На Фиг. 6А показано состояние отображения на дисплее 114 до изменения размера. Ссылочная позиция 602 обозначает окно изображения, которое отображает переданные из первого сервера данные изображения с разрешением 320 × 240 (пикселей). Ссылочная позиция 603 обозначает окно изображения, которое отображает переданные из второго сервера данные изображения с разрешением 640 × 480 (пикселей). Ссылочная позиция 604 обозначает окно изображения, которое отображает переданные из третьего сервера данные изображения с разрешением 160 × 120 (пикселей). Как описано выше, размеры этих окон изображения могут меняться на произвольные размеры, например, перетаскиванием мышью.

На Фиг.6В показан контент отображения на дисплее 114 после изменения размера каждого окна изображения при помощи перетаскивания мышью. Ссылочная позиция 605 обозначает окно изображения, которое отображает данные изображения после того, как клиентский терминал выполнил обработку по изменению размера переданного из первого сервера изображения с разрешения 320 × 240 (пикселей) на размер 280 × 180 (пикселей). Аналогично, ссылочная позиция 606 обозначает окно изображения, которое отображает данные изображения после того, как клиентский терминал выполнил обработку по изменению размера переданного из второго сервера изображения с разрешения 640 × 480 (пикселей) на размер 600 × 300 (пикселей). Более того, ссылочная позиция 607 обозначает окно изображения, которое отображает данные изображения после того, как клиентский терминал выполнил обработку по изменению размера переданного из третьего сервера изображения с разрешения 160 × 120 (пикселей) на размер 220 × 160 (пикселей).

Целью третьего варианта осуществления является уменьшение загрузки клиентского терминала, получаемой при такой обработке по изменению размера. Однако нет необходимости рассматривать уменьшение загрузки клиентского терминала, который имеет высокие характеристики обработки с достаточным запасом по загрузке при обработке по изменению размера. Следовательно, так или иначе, выполняемая сервером обработка по изменению размера определяется на основании состояния загрузки клиентского терминала при обработке по изменению размера так, чтобы выполнение обработки соответствовало характеристикам клиентского терминала.

Фиг.7 представляет собой блок-схему последовательности операций, показывающую обработку, выполняемую в клиентском терминале, при обработке по изменению размера изображения согласно третьему варианту осуществления. На Фиг.7 независимо от того, выполняет или нет сервер обработку по изменению размера, определяется величина загрузки клиентского терминала при обработке. На Фиг.7 показана обработка, выполняемая на клиентском терминале, по изменению размера окон изображения, показанных на Фиг.6В. Следует отметить, что программа, которая осуществляет эту обработку хранится в памяти 113а ЦП 113 и выполняется под управлением ЦП 113.

На этапе S702 ЦП 113 соединяется с тремя серверами и принимает данные изображения с заданным разрешением. В третьем варианте осуществления ЦП 113 принимает из первого сервера данные изображения 320 × 240 (пикселей), из второго сервера данные изображения 640 × 480 (пикселей) и из третьего сервера 160 × 120 (пикселей). Затем ЦП 113 отображает изображения из соответствующих серверов в окнах изображения так, чтобы иметь размеры, соответствующие размерам изображений из соответствующих серверов (Фиг.6А). На этапе S703 ЦП 113 определяет, изменил или нет пользователь размер окна изображения. Если пользователь изменил размер окна, процесс переходит на этап S704 для подтверждения, имеет ли загрузка клиентского терминала при обработке по изменению размера достаточный запас. Если загрузка не имеет достаточного запаса, процесс переходит на этап S705 и ЦП 113 передает информацию о размере отображения окна изображения на сервер, который передает данные изображения, размер которого должен быть изменен. Затем ЦП 113 принимает данные изображения, которые были подвергнуты сервером обработке по изменению размера и на этапе S706 отображает их в окне изображения с измененным размером. В этом случае, поскольку клиентский терминал передает информацию о размере только на сервер, права на управление которым получил клиентский терминал, чтобы заставить этот сервер выполнять обработку по изменению размера, воздействие на другие клиентские терминалы может быть минимизировано.

С другой стороны, если на этапе S704 определено, что загрузка клиентского терминала при обработке по изменению размера имеет достаточный запас, процесс переходит на этап S707, и клиентский терминал выполняет обработку по изменению размера изображения и отображает изображение с измененным размером, поскольку нет необходимости учитывать уменьшение загрузки клиентского терминала.

Ниже со ссылкой на Фиг.8-10 описан способ определения загрузки клиентского терминала при обработке по изменению размера (S704).

Способ определения загрузки клиентского терминала на этапе S704 может быть выполнен с использованием величины загрузки клиентского терминала, которая определяется на основании размера окна изображения, и исходя из того, выполнил или нет клиентский терминал обработку по изменению размера. То есть критерий определения устанавливается на основании следующих отношений: загрузка увеличивается с увеличением размера отображения окна изображения, и загрузка становится высокой при размере отображения, при котором требуется обработка по изменению размера в клиентском терминале.

На Фиг.9 показан пример таблицы, которая хранит величину загрузки на клиентском терминале согласно размеру отображения. Необходимо отметить, что эта таблица хранится в вышеупомянутой памяти 113а.

Ссылочная позиция 901 обозначает размер отображения D окна изображения на клиентском терминале. Ссылочная позиция 902 обозначает, есть необходимость/нет необходимости в обработке по изменению размера в клиентском терминале. Поскольку размеры отображения (разрешение) на серверах равны 640 × 480 (пикселей), 320 × 240 (пикселей) и 160 × 120 (пикселей) и если размер отображения D равен одному из этих размеров отображения, то отсутствует необходимость в обработке по изменению размера на клиентском терминале (как показано "НЕТ НЕОБХОДИМОСТИ"). Ссылочная позиция 903 обозначает величину L загрузки клиентского терминала. В примере на Фиг.9, когда размер отображения больше чем 640 × 480 (пикселей), поскольку это не является стандартным размером, "необходима" обработка по изменению размера, и величина L загрузки принимает максимальное значение "64". Если размер отображения равен 640 × 480 (пикселей), поскольку это является стандартным размером, в обработке по изменению размера "нет необходимости", и величина L загрузки принимает значение "32", равное половине вышеупомянутой величины загрузки. Если размер отображения меньше чем 640 × 480 (пикселей) и больше чем 320 × 240 (пикселей), поскольку это является нестандартным размером, обработка по изменению размера "необходима", и величина L загрузки принимает высокое значение "48". Также, "необходимость/нет необходимости" в обработке по изменению размера определяется согласно размеру отображения и устанавливается соответственно величине L загрузки.

Фиг.8 представляет собой блок-схему последовательности операций, показывающую обработку по выполнению определения величины загрузки клиентского терминала на основании величины L загрузки, установленной при помощи таблицы, согласно третьему варианту осуществления. Например, на Фиг.8 показан способ определения во время выполнения изменения размера по Фиг.6В. Необходимо отметить, что программа, которая реализует эту обработку, хранится в памяти 113а ЦП 113 и выполняется под управлением ЦП 113.

На этапе S802 ЦП 113 определяет пороговое значение X, используемое при определении наличия/отсутствия запаса для величины L загрузки, полученной со ссылкой на таблицу, приведенную на Фиг.9. Это пороговое значение X определяется на основании, например, характеристик клиентского терминала в отношении обработки. Например, если клиентский терминал, который содержит высокоскоростной ЦП, графический адаптер и т.п., имеет высокие характеристики в отношении обработки по изменению размера, то может быть установлено высокое пороговое значение X. В третьем варианте осуществления, например, установлено пороговое значение X=50.

На этапе S803 ЦП 113 вычисляет величину L1 загрузки до изменения размера. На Фиг.6А третьего варианта осуществления клиентский терминал отображает окна изображения, имеющие три размера, т.е. 320 × 240 (пикселей), 640 × 480 (пикселей) и 160 × 120 (пикселей). Поскольку эти размеры задаются размерами отображения серверов, то обработка по изменению размера на клиентском терминале не требуется. Следовательно, величина L1 загрузки вычисляется на основании таблицы, показанной на Фиг.9, и равна 8+32+2=42. На этапе S804 ЦП 113 сравнивает эту величину загрузки L1 с пороговым значением X, установленным на этапе S802. Поскольку X (=50) > L1 (=42), обработка, выполняемая на клиентском терминале, имеет достаточный запас, и процесс переходит на этап S805 для выполнения обработки по изменению размера на клиентском терминале.

На этапе S805 ЦП 113 вычисляет величину L2 загрузки после обработки по изменению размера. На Фиг.6В третьего варианта осуществления клиентский терминал отображает окна изображений 280 × 180 (пикселей), 600 × 300 (пикселей) и 220 × 160 (пикселей) после обработки по изменению размера. Ни один из этих размеров не соответствует заданным разрешениям серверов. В связи с этим в клиентском терминале требуется обработка по изменению размера. В этом случае величина L2 загрузки определяется на основании таблицы по Фиг.9 и равна 12+48+12=72. На этапе S806 ЦП 113 сравнивает эту величину L2(72) загрузки с пороговым значением X, установленным на этапе S802. При этом, поскольку X (=50) < L2 (=72), клиентский терминал не имеет достаточного запаса для обработки по изменению размера. В таком случае ЦП 113 сообщает серверу информацию о размере отображения окон с тем, чтобы выдать запрос серверу на изменение размера.

С другой стороны, если на этапе S806 величина L2 загрузки меньше порогового значения X, такой клиентский терминал имеет достаточный запас для обработки по изменению размера для выполнения обработки по изменению размера на этом клиентском терминале.

На блок-схеме последовательности операций, показанной на Фиг.8, объяснен случай, при котором в качестве способа определения загрузки клиентского терминала вычисляется величина L загрузки. Однако в качестве другого простого способа определения может быть применен способ, в котором используется частота кадров изображения.

Фиг.10 представляет собой блок-схему последовательности операций, объясняющую обработку по выполнению определения загрузки клиентского терминала с тем, чтобы иметь частоту кадров изображения, как определено критерием согласно модификации третьего варианта осуществления настоящего изобретения. Необходимо отметить, что программа, которая осуществляет эту обработку, хранится в памяти 113а ЦП 113 и выполняется под управлением ЦП 113.

Ссылаясь на Фиг.10, на этапе S102 ЦП 113 детектирует значение частоты кадров (F1) до изменения размера. Например, когда клиентский терминал с высокими характеристиками в отношении обработки принимает изображение в формате NTSC, F1=30 [кадров/с]. На этапе S103 ЦП 113 детектирует значение частоты кадров (F2) после изменения размера окна изображения. На этапе S104 ЦП 113 сравнивает значения частоты кадров до изменения размера окна изображения и после него. Если F1=F2, определяется, что клиентский терминал имеет достаточный запас для обработки.

С другой стороны, если на этапе S104 F1>F2, поскольку загрузка клиентского терминала при обработке по изменению размера становится выше, и характеристики в отношении декодирования и в отношении рендеринга данных изображения достигает предела, может произойти уменьшение частоты кадров. Следовательно, в этом случае ЦП 113 определяет, что клиентский терминал не имеет достаточного запаса для обработки, и сообщает серверу информацию о размере отображения с тем, чтобы выдать запрос серверу на изменение размера.

Как описано выше согласно третьему варианту осуществления, при увеличении загрузки клиентского терминала при обработке по изменению размера отображения окна изображения на клиентском терминале обработка по изменению размера выполняется на сервере 101. В этом случае может быть выполнена соответствующая обработка по изменению размера согласно характеристикам в отношении обработки, выполняемой на клиентском терминале.

В третьем варианте осуществления величина L и значение F частоты кадров на основании размера окна изображения приводятся в качестве примеров критериев, определяющих загрузку клиентского терминала. Однако настоящее изобретение этим не ограничивается. Например, в качестве условия определения может быть использовано условие, достигает или нет процент использования ЦП 113 клиентского терминала значения, близкого к 100%. Следовательно, настоящее изобретение может быть применено к различным другим способам определения загрузки клиентского терминала.

Четвертый вариант осуществления

Фиг.11 представляет собой блок-схему последовательности операций, объясняющую обработку для выполнения обработки по изменению размера в системе распространения изображений согласно четвертому варианту осуществления настоящего изобретения. Этот вариант осуществления раскрывает обработку, выполняемую на клиентском терминале, при изменении размера окна, как показано на Фиг.2В, в системе, которая может выбирать два режима, т.е. режим, ориентированный на качество изображения, и режим, ориентированный на движение относительно качества изображения. Необходимо отметить, что программа, которая реализует эту обработку и устанавливает состояние рабочего режима, хранится в памяти 113а ЦП 113 и выполняется под управлением ЦП 113. Также поскольку состав системы и устройств согласно четвертому варианту осуществления является таким же, как и в первом вышеописанном варианте осуществления, то это описание будет опущено.

На этапе S110 ЦП 113 предлагает пользователю выбрать одно из следующего: режим, ориентированный на качество изображения, и режим, ориентированный на движение, и устанавливает выбранный режим. Процесс переходит на этап S111, и ЦП 113 соединяется с сервером 101 через сеть 121 для приема и отображения данных изображения с заданным разрешением. В четвертом варианте осуществления предполагается, что клиентский терминал принимает и отображает данные изображения с разрешением, например, 640 × 480 (пикселей) (Фиг.2А). Затем процесс переходит на этап S112 для определения, изменил или нет пользователь размер окна изображения, как описано выше по Фиг.2В. Если определено, что пользователь изменил размер окна, процесс переходит на этап S113 для определения, уменьшил или увеличил пользователь окно изображения.

Если определено, что пользователь уменьшил окно изображения, процесс переходит на этап S114 для идентификации рабочего режима, установленного на этапе S110. Если установлен режим, ориентированный на движение, процесс переходит на этап S116, и ЦП 113 передает на сервер 101 через блок 112 I/F связи информацию о размере отображения окна 212 изображения после изменения размера. В четвертом варианте осуществления предполагается, что размер окна после изменения размера равен 512 (пикселей) в горизонтальном направлении × 384 (пикселей) в вертикальном направлении, как показано выше на Фиг.2В. В этом случае на этапе S116 ЦП 113 передает на сервер 101 информацию о размере отображения, указывающую 512 × 384 (пикселей). Таким образом, сервер 101 меняет размер формирования изображения (разрешение) с 640 × 480 (пикселей) на 512 × 384 (пикселей) на основании принятой информации о размере и передает эти данные изображения на клиентский терминал 111. На этапе S117 клиентский терминал 111 отображает принятый поток изображений, переданный из сервера 101, в виде данных изображения 512 × 384 (пикселей).

С другой стороны, если на этапе S114 определено, что рабочим режимом является режим, ориентированный на качество изображения, процесс переходит на этап S118. На этапе S118 клиентский терминал 111 изменяет данные с размера 640 × 480 (пикселей) на данные с размером 512 × 384 (пикселей) с помощью обработки по выполнению повторной выборки и отображает данные с измененным размером.

Если на этапе S113 пользователь увеличил окно изображения с 640 × 480 (пикселей), например, на 700 × 500 (пикселей), процесс переходит на этап S115 для определения установленного рабочего режима. Если рабочим режимом является режим, ориентированный на движение, процесс переходит на этап S118. На этапе S118 клиентский терминал 111 изменяет размер данных с 640 × 480 (пикселей) на данные с размером 700 × 500 (пикселей) с помощью обработки по выполнению интерполяции и отображает данные с измененным размером. С другой стороны, если на этапе S115 рабочим режимом является режим, ориентированный на качество изображения, процесс переходит на этап S116, как и в вышеприведенном случае, и ЦП 113 передает на сервер 101 информацию о размере отображения, указывающую 700 × 500 (пикселей). Таким образом, на этапе S117 клиентский терминал 111 принимает и отображает на сервере 101 данные изображения 700 × 500 (пикселей), которые были подвергнуты обработке по изменению размера.

Как описано выше согласно четвертому варианту осуществления, и сервер, и клиентский терминал выполняют обработку по изменению размера и могут быть выбраны и определены согласно рабочему режиму клиентского терминала и опции по изменению размера окна.

На Фиг.12 показан пример отношения между рабочим режимом, состоянием по изменению размера окна и обработкой по изменению размера согласно четвертому варианту осуществления.

В этом случае, согласно четырем различным состояниям рабочего режима 1201 клиентского терминала и состоянию 1202 изменения размера окна изображения может быть выбрано, серверу или клиентскому терминалу выполнять обработку по изменению размера, обозначенную ссылочной позицией 1203. Для четырех различных условий, показанных на Фиг.12, обработка по изменению размера выполняется согласно описанным ниже причинам. Ниже описаны соответствующие случаи 1210-1213, показанные на Фиг.12.

(1) Случай 1210: При увеличении окна в режиме, ориентированном на качество изображения, разрешение данных изображения должно быть увеличено согласно увеличенным размерам окна для гарантии высокого качества изображения. Следовательно, сервер выполняет обработку по изменению размера.

(2) Случай 1211: При уменьшении окна в режиме, ориентированном на качество изображения, поскольку разрешение данных изображения равно или больше размера уменьшенного окна, качество изображения может быть гарантировано только выполнением повторной выборки клиентским терминалом. Следовательно, клиентский терминал выполняет обработку по изменению размера.

(3) Случай 1212: При увеличении окна в режиме, ориентированном на движение, размер данных не должен увеличиваться для того, чтобы предотвратить снижение частоты кадров, возникающее в результате ограничения пропускной способности линии связи. Следовательно, клиентский терминал выполняет обработку по изменению размера.

(4) Случай 1213: При уменьшении окна в режиме, ориентированном на движение, размер данных уменьшается посредством установки такого же разрешения, как и размер уменьшенного окна. Следовательно, сервер выполняет обработку по изменению размера.

Необходимо отметить, что четвертый вариант осуществления является примером комбинаций режима, ориентированного на качество изображения, и режима, ориентированного на движение, в виде условий рабочих режимов, и увеличения и уменьшения окна. Однако настоящее изобретение этим не ограничивается. Например, может быть определено, выполняет клиентский терминал или сервер обработку по изменению размера, с тем, чтобы иметь, например, планирующее событие или событие из внешнего датчика, такого как триггер.

Пятый вариант осуществления

Ниже со ссылкой на Фиг.13 и 14 описан пятый вариант осуществления настоящего изобретения. Поскольку состав системы и устройств согласно пятому варианту осуществления такое же, как и в вышеизложенных вариантах осуществления, их описание будет опущено.

Как уже было описано в вышеуказанных вариантах осуществления, при изменении размера окна, предназначенного для отображения на клиентском терминале 111 при заданных условиях, клиентский терминал 111 передает на сервер 101 информацию, связанную с измененным размером отображения. Основываясь на этой информации, сервер 101 изменяет разрешение изображения, предназначенного для захвата блоком 103 изменения размера с тем, чтобы иметь разрешение согласно размеру отображения, и передает на клиентский терминал 111 данные изображения, разрешение которого было изменено. Таким образом, загрузка клиентского терминала 111 при обработке по изменению размера может быть уменьшена.

С другой стороны, объем данных изображения изменяется после обработки по изменению размера на сервере 101 согласно размеру окна. Если объем данных изображения увеличивается, он может превысить допустимый объем данных такой линии связи, зависящей от используемой сети, или он может занять большую часть доступного объема данных для этой линии связи. Для решения такой задачи при изменении размера окна на клиентском терминале 111 согласно используемой пропускной способности линии связи и качеству линии выбирают, либо клиентский терминал 111, либо сервер 101 будет выполнять обработку по изменению размера, таким образом, позволяя обработку по изменению размера, соответствующую системной среде.

Фиг.13 представляет собой блок-схему последовательности операций, объясняющую обработку по изменению размера при увеличении окна изображения в системе распространения изображений согласно пятому варианту осуществления. Необходимо отметить, что программа, которая реализует эту обработку и установку состояния рабочего режима, хранится в памяти 113а ЦП 113 и выполняется под управлением ЦП 113. Также поскольку строение системы и устройств согласно пятому варианту осуществления является таким же, как и в первом вышеописанном варианте осуществления, их описание опущено. Нижеследующее описание дано для системы, которая в качестве типов линий связи может выбрать две линии связи, включая соединение FTTH, т.е. линию связи с высокой пропускной способностью, и соединение PPP, т.е. линию связи с малой пропускной способностью.

На этапе S130 пользователь выбирает и устанавливает соединение FTTH или соединение PPP. На этапе S131 ЦП 113 соединяется с сервером 101 через сеть 121, принимает и отображает данные изображения с заданным разрешением. В пятом варианте осуществления предполагается, что клиентский терминал принимает и отображает данные изображения с разрешением, например, 640 × 480 (пикселей) (Фиг.2А). Затем процесс переходит на этап S132 для определения, увеличил ли пользователь окно изображения на клиентском терминале 111. Если пользователь увеличил окно, процесс переходит на этап S133 для определения установленного типа линии связи. При соединении FTTH, т.е. если установлена линия связи с высокой пропускной способностью, процесс переходит на этап S134 и ЦП 113 через блок 102 I/F связи передает на сервер 101 информацию о размере отображения увеличенного окна изображения.

В пятом варианте осуществления предполагается, что размер окна после изменения размера равен, например, 1920 (пикселей) в горизонтальном направлении × 1080 (пикселей) в вертикальном направлении.

Таким образом, на этапе S134 ЦП 113 передает на сервер 101 информацию о размере отображения, указывающую 1920 × 1080 (пикселей). Основываясь на принятой информации о размере отображения, сервер 101 изменяет размер формирования изображения (разрешение) с 640 × 480 (пикселей) на указанный 1920 × 1080 (пикселей) и передает на клиентский терминал 111 захваченные данные изображения, используя измененный размер. Затем процесс переходит на этап S135, и клиентский терминал 111 отображает принятый поток изображений, переданный из сервера 101, в виде данных изображения 1920 × 1080 (пикселей).

С другой стороны, если на этапе S133 типом линии связи является соединение PPP, т.е. линии связи с малой пропускной способностью, процесс переходит на этап S136. На этапе S136 клиентский терминал 111 изменяет размер данных с 640 × 480 (пикселей) на размер данных с 1920 × 1080 (пикселей) с помощью обработки по выполнению интерполяции и отображает данные с измененным размером.

Как описано выше согласно пятому варианту осуществления, при увеличении окна в случае линии связи с малой пропускной способностью клиентский терминал выполняет обработку по изменению размера для того, чтобы предотвратить увеличение объема данных изображения, передаваемых по линии связи. Таким образом, может быть выполнена соответствующая обработка по изменению размера согласно пропускной способности линии связи.

Необходимо отметить, что пятый вариант осуществления приведен в качестве примера типов линий связи в виде элементов установок клиентского терминала. Однако настоящее изобретение этим не ограничивается.

На Фиг.14 показан пример отношений между элементами установок клиентского терминала и обработкой по изменению размера.

В вышеупомянутом пятом варианте осуществления согласно условию 1401 линии связи определяют, клиентский терминал 111 или сервер 101 выполняет обработку по изменению размера. Как и при условии 1401 линии связи согласно следующим условиям может быть определено, клиентский терминал 111 или сервер 101 выполняет обработку по изменению размера.

(1) "Характеристика" 1402 представляет собой пример элемента, связанного с рабочими характеристиками клиентского терминала 111. Если клиентский терминал 111 находится в режиме экономии энергии, сервер 101 выполняет обработку по изменению размера для уменьшения загрузки клиентского терминала 111 при обработке по изменению размера.

(2) "Модель" 1403 представляет собой пример элемента, связанного с моделью клиентского терминала 111. Если клиентский терминал 111 представляет собой мобильный телефон, поскольку он имеет низкие характеристики в отношении обработки, обработку по изменению размера выполняет сервер 101.

(3) "Функция" 1404 представляет собой пример элемента, связанного с прикладной функцией клиентского терминала 111. Если клиентский терминал 111 записывает изображение, поскольку загрузка клиентского терминала 111 повышается, обработку по изменению изображения выполняет сервер 101.

(4) "Качество" 1405 представляет собой пример элемента, связанного с качеством изображения, которое должно быть отображено на клиентском терминале 111. Если клиентский терминал 111 запрашивает изображение с высоким качеством, то обработку по изменению размера выполняет сервер 101, поскольку запрашивается изображение с таким же разрешением, что и разрешение окна изображения.

Условия, которые могут быть установлены наблюдателем, и внешние условия системы наблюдения не ограничены этими определенными условиями. С тем, чтобы иметь планирующее событие или событие с внешнего датчика, например триггера, может быть определено, клиентский терминал или сервер выполняет обработку по изменению размера. Таким образом, пример настоящего изобретения может быть применен к различным условиям. Система наблюдения имеет различные внешние условия, и согласно этим условиям может быть определено, где выполняется обработка по изменению размера.

Другие варианты осуществления

Объяснены предпочтительные варианты осуществления настоящего изобретения, и настоящее изобретение может применяться в любой системе распространения изображений, составленной из множества устройств или в устройстве распространения изображений, представляющем собой одиночное устройство.

Необходимо отметить, что настоящее изобретение может быть осуществлено путем прямой или удаленной поставки программы, которая реализует функции описанных выше вариантов осуществления в системе или устройстве, считывает и исполняет программные коды при помощи компьютера этой системы или устройства. В вышеуказанных вариантах осуществления такие программы соответствуют блок-схемам последовательностей операций, показанным на Фиг.3, 5, 7-8, 10-11 и 13. При этом форма программы не ограничивается особым образом при условии, что она имеют функции программы. Следовательно, программный код, установленный на компьютере для осуществления функциональной реализации настоящего изобретения, при помощи компьютера успешно осуществляет настоящее изобретение. В этом случае форма программы не ограничена, и могут быть использованы объектный код, программа, предназначенная для выполнения с помощью интерпретатора, данные скрипта, предназначенные для применения в ОС, и т.д. при условии, что они имеют функции программы.

Для предоставления программы могут быть использованы различные носители информации. Например, могут быть использованы гибкий (floppy^(R)) диск, жесткий диск, магнитооптический диск, MO, CD-ROM, CD-RW, магнитная лента, энергонезависимая карта памяти, ПЗУ, DVD (DVD-ROM, DVD-R) и другие носители.

В качестве другого способа предоставления программы программа может быть доставлена путем установки связи с домашней страницей в Интернете с использованием браузера на клиентском компьютере и путем загрузки программы из домашней страницы на носитель информации, такой как жесткий диск или т.п. В этом случае программа, предназначенная для загрузки, включает в себя саму компьютерную программу настоящего изобретения или сжатый файл, включающий в себя функцию автоматической инсталляции. Также программный код, который формирует программу настоящего изобретения, может быть сегментирован во множество файлов, которые могут быть загружены из разных домашних страниц. То есть в формулу настоящего изобретения включен WWW сервер, который создает множество файлов загруженной пользователем программы, требуемой для реализации функциональной обработки настоящего изобретения с помощью компьютера.

Также пользователю может быть доставлен носитель данных, такой как CD-ROM или т.п., который хранит зашифрованную программу настоящего изобретения. В этом случае пользователь, который выяснил заданное условие, может быть допущен к загрузке ключевой информации из домашней страницы через Интернет, которая используется для дешифровки зашифрованной программы, и, используя такую ключевую информацию, может инсталлировать расшифрованную программу на компьютере в исполняемой форме.

Настоящее изобретение может быть реализовано в режиме, отличном от режима, осуществляющего функции вышеописанных вариантов осуществления, путем считывания компьютером программного кода. Например, функции вышеописанных вариантов осуществления также могут быть реализованы некоторыми или всеми существующими опциями обработки, выполняемыми ОС или т.п., путем запуска на компьютере на основании инструкции программы.

Более того, программа, считанная с носителя данных, может быть записана в памяти платы расширения или в функциональном блоке расширения, который встроен или соединен с компьютером. В этом случае функции вышеописанных вариантов осуществления реализуются некоторыми или всеми существующими процессами, выполняемыми при помощи ЦП или т.п., встроенными в функциональную плату или блок расширения.

Как описано выше согласно вышеописанным вариантам осуществления, загрузка клиентского терминала при обработке по изменению размера может быть уменьшена.

Также может быть предотвращено ухудшение качества изображения вследствие инструкции изменения размера на клиентском терминале.

С помощью ограничения клиентских терминалов, которым разрешен запрос на обработку по изменению размера на сервере, можно избежать одновременных посылаемых на сервер запросов из множества клиентских терминалов.

Поскольку необходимость/отсутствие необходимости в обработке по изменению размера на сервере определяется согласно величине загрузки клиентского терминала при обработке по изменению размера, загрузка сервера при обработке по изменению размера может быть уменьшена и системная загрузка может быть распределена соответствующим образом.

Хотя настоящее изобретение описано со ссылками на иллюстративные варианты осуществления, следует принять во внимание, что изобретение не ограничено изложенными иллюстративными вариантами осуществления. Объем приведенной формулы изобретения следует интерпретировать в самом широком смысле, чтобы охватить все такие модификации и эквивалентные структуры и функции.

Изобретение относится к системе распространения изображений, распространяющей данные изображения из сервера через сеть, клиентскому терминалу и способу управления указанным распространением. Техническим результатом является возможность перераспределения вычислительной нагрузки между клиентским терминалом и сервером. В случае изменения клиентом размера окна изображения во время отображения данных изображения, распространяемых из сервера в окно изображения клиентского терминала, клиентский терминал оповещает сервер о новом размере окна изображения. Сервер изменяет размер данных изображения таким образом, чтобы изображение имело такой же размер, что и окно на клиентском терминале, и передает в клиентский терминал данные изображения с измененным размером. При этом может быть исключена необходимость обработки по изменению размера на клиентском терминале. 3 н. и 19 з.п. ф-лы, 17 ил.

1. Система распространения изображений для передачи в клиентский терминал из сервера данных изображения, захваченных с заданным разрешением, и отображения данных изображения на указанном клиентском терминале, причем

указанный клиентский терминал содержит:

средство извещения для передачи на сервер информации о размере окна, которое отображает данные изображения, и размер которого был изменен согласно инструкции изменения размера;

средство управления отображением для управления в окне отображением данных изображения, принятых с указанного сервера,

первое средство изменения размера для изменения размера отображения данных изображения в клиентском терминале на основании размера окна, которое отображает данные изображения, и размер которого был изменен согласно инструкции изменения размера;

средство определения для определения на основании состояния загрузки клиентского терминала при обработке, запрашивать или нет сервер о выполнении обработки по изменению размера данных изображения согласно инструкции изменения размера; и

средство управления указанным вторым средством изменения размера для изменения размера данных изображения, в случае если указанное средство определения определило, что не следует запрашивать сервер о выполнении обработки по изменению размера;

указанный сервер содержит:

второе средство изменения размера для изменения разрешения при захвате данных изображения, исходя из информации о размере окна, в ответ на указанную передачу, выполненную указанным средством извещения,

причем в случае, если указанное средство определения определяет, что следует запрашивать сервер о выполнении обработки по изменению размера, указанное средство управления отображением на клиентском терминале принимает данные изображения с размером, измененным при помощи указанного второго средства изменения размера, и отображает в окне принятые данные изображения, и

в случае если указанное средство определения определяет, что не следует запрашивать сервер выполнение обработки по изменению размера, указанное средство управления отображением отображает в окне данные изображения с размером, измененным указанным первым средством изменения размера.

средство установки для установки, по меньшей мере, одного из следующего: рабочее условие клиентского терминала, который принимает данные изображения, или условие среды, специфичной для системы; причем условие среды относится к клиентскому терминалу, средству связи, включающему в себя сервер, и линии связи системы,

при этом указанное средство определения определяет на основании условия, установленного указанным средством установки, запрашивать или нет сервер выполнение обработки по изменению размера данных изображения соответственно инструкции изменения размера.

третье средство изменения размера для изменения размера данных изображения на основании размера окна, которое было изменено согласно инструкции изменения размера;

средство определения для определения, следует или нет серверу выполнять обработку по изменению размера данных изображения согласно инструкции изменения размера на основании того, увеличен или уменьшен размер окна; и

средство, заставляющее третье средство изменения размера выполнять изменение размера данных изображения в случае, если указанное средство определения определило, что сервер выполняет обработку по изменению размера,

причем указанное средство извещения передает серверу информацию о размере окна, которое было изменено согласно инструкции изменения размера, в случае, если средство определения определило, что сервер выполняет обработку по изменению размера, и

указанное средство управления отображением управляет отображением в окне принятых из сервера данных изображения или данных изображения с размером, измененным указанным третьим средством изменения размера.

средство извещения для передачи серверу информации о размере окна, которое отображает данные изображения, и о размере, который был изменен согласно инструкции изменения размера;

средство управления отображением для приема данных изображения с измененным сервером размером и отображения в окне данных изображения с измененным размером;

средство изменения размера для изменения размера отображения данных изображения, на основании размера окна, которое было изменено согласно инструкции изменения размера;

средство определения для определения согласно состоянию загрузки клиентского терминала при обработке, запрашивать или нет сервер о выполнении обработки по изменению размера данных изображения соответственно инструкции изменения размера; и

средство управления указанным средством изменения размера для изменения размера данных изображения, в случае если указанное средство определения определило, что не следует запрашивать сервер о выполнении обработки по изменению размера,

причем указанное средство извещения передает серверу информацию о размере отображения окна, которое было изменено согласно инструкции изменения размера в случае, если указанное средство определения определяет, что следует запрашивать сервер о выполнении обработки по изменению размера, и

указанное средство управления отображением отображает в окне данные изображения с размером, измененным указанным средством изменения размера в случае, если указанное средство определения определяет, что не следует запрашивать сервер о выполнении обработки по изменению размера.

этап ввода для ввода инструкции изменения размера окна, которое отображает данные изображения;

этап передачи для передачи серверу информации о размере окна, размер которого был изменен согласно инструкции изменения размера;

первый этап изменения размера на котором указанный сервер изменяет разрешение при захвате данных изображения на основании информации о размере; и

этап управления отображением на котором клиентский терминал принимает данные изображения с измененным размером на указанном первом этапе изменения размера и отображает данные изображения с измененным размером в окне

второй этап изменения размера, на котором клиентский терминал изменяет размер отображения данных изображения на основании размера окна, которое было изменено согласно инструкции изменения размера;

этап определения для определения согласно состоянию загрузки клиентского терминала при обработке, запрашивать или нет сервер о выполнении обработки по изменению размера данных изображения согласно инструкции изменения размера; и

этап управления на котором, в случае если на указанном этапе определения определено, что не следует запрашивать сервер о выполнении обработки по изменению размера, выполняют указанный второй этап изменения размера данных изображения, на котором клиентский терминал изменяет размер отображения данных изображения,

причем, в случае, если на указанном этапе определения определено, что следует запрашивать сервер о выполнении обработки по изменению размера, выполняют указанный этап передачи для передачи серверу информации о размере окна, размер которого был изменен согласно инструкции изменения размера и на указанном этапе управления отображением на клиентском терминале отображаются данные изображения с измененным сервером размером.

третий этап изменения размера для изменения размера отображения данных изображения в клиентском терминале на основании размера окна, которое было изменено согласно инструкции изменения размера;

этап установки для установки, по меньшей мере, одного из следующего: рабочее условие клиентского терминала, который принимает данные изображения, и условие среды, специфичное для системы; причем условие среды относится к клиентскому терминалу, устройству связи, включающему в себя сервер, и линии связи системы,

причем на этапе определения на основании условия, установленного на указанном этапе установки, определяют, запрашивать ли сервер выполнение обработки по изменению размера данных изображения согласно инструкции изменения размера, или на указанном третьем этапе изменения размера обработку по изменению размера следует выполнять клиентскому терминалу.

третий этап изменения размера для изменения разрешения данных изображения в клиентском терминале на основании размера окна, которое было изменено согласно инструкции изменения размера;

этап определения для определения, запрашивать или нет сервер выполнение обработки по изменению размера данных изображения согласно инструкции изменения размера, в зависимости от того увеличен или уменьшен размер окна на этапе ввода; и

этап управления указанным третьим этапом изменения размера для изменения размера данных изображения, в случае если на указанном этапе определения определено, что не следует запрашивать сервер выполнение обработки по изменению размера,

причем, в случае, если на указанном этапе определения определено, что следует запрашивать сервер выполнение обработки по изменению размера, указанный этап передачи передает серверу информацию о размере окна, которое было изменено согласно инструкции изменения размера, и

на указанном этапе управления отображением в окне отображаются данные изображения с измененным сервером размером или данные изображения с размером, измененным на третьем этапе изменения размера.