СИСТЕМА ШИРОКОВЕЩАНИЯ, УСТРОЙСТВО ПЕРЕДАЧИ И СПОСОБ ПЕРЕДАЧИ, УСТРОЙСТВО ПРИЕМА И СПОСОБ ПРИЕМА И ПРОГРАММА Российский патент 2012 года по МПК H04N7/173 

Область техники, к которой относится изобретение

Настоящее изобретение относится к системе широковещания, устройству передачи и способу передачи, устройству приема и способу приема, и программе, и, более конкретно, оно относится, например, к системе широковещания, устройству передачи и способу передачи, устройству приема и способу приема, и программе, которые позволяют выполнять соответствующую обработку на стороне приема системы широковещания.

Уровень техники

Например, в современной системе широковещания для аналоговой широковещательной передачи или цифровой широковещательной передачи изображения и звуки редактируют как данные материала в станции широковещания на стороне передачи. Отредактированные изображения и звуки передают как программы широковещания.

С другой стороны, например, в каждом доме на стороне приема, вывод программ, передаваемых в режиме широковещания из станции широковещания, то есть отображение изображений и вывод звуков в качестве программы выполняют с помощью ТВ (телевизионный приемник) или тому подобное.

Следует отметить, что, когда внимание фокусируют на одной программе, один тип изображения и звука, получаемый в результате редактирования, выполняемого в станции широковещания, передают в режиме широковещательной передачи как одну программу в современной системе широковещания. В соответствии с этим пользователи, находящиеся на стороне приема, могут наслаждаться только одним типом изображения и звука.

Однако потенциально могут возникать запросы на участие пользователя, например, в отношении одной программы, такой как драматическая программа, и эти запросы состоят в том, что пользователь желает посмотреть развитие драматической программы с точки зрения любимого персонажа пользователя, и запросы могут быть направлены на то, что пользователь желает изменить развитие истории в зависимости от точки зрения.

Следовательно, таким образом, автор настоящей заявки ранее предложил устройство приема цифровой широковещательной передачи, позволяющее пользователю произвольно выбирать и отслеживать множество материалов, заранее подготовленных с разных точек зрения (например, см. Патентный документ 1).

[Патентный документ 1] Публикация №2006-217662 находящейся на экспертизе заявки на японский патент

Сущность изобретения

Техническая задача

В то же время, в станции широковещания, например, изображения и звуки редактируют, как описано выше. Однако, на экране отображения телевизора, предусмотренном на стороне приема, на котором должны быть отображены изображения, не выполняют редактирование.

В соответствии с этим, когда экран отображения телевизора, предусмотренного на стороне приема, большой, лицо человека отображают в ТВ, с размером, который больше, чем размер лица в реальном мире, вследствие чего может быть ухудшено ощущение реальности.

Кроме того, на экране ТВ, который предусмотрен на стороне приема, например, как описано выше, отображают редактируемые изображения и звуки, которые были отредактированы в станции широковещания.

В соответствии с этим, например, когда в станции широковещания выполняют редактирование, при котором большое количество telop (применяемая в Японии система передачи текста с телевизионным сигналом, текст, наложенный на изображение) скомбинированы с изображением, даже пользователь (зрители), которые ощущают, что эффекты, выделенные с использованием telop, являются ненужными, должен смотреть на изображение, с которым скомбинировано большое количество telop.

Настоящее изобретение было разработано с учетом таких обстоятельств и позволяет выполнять соответствующую обработку на стороне приема системы широковещательной передачи, позволяя, таким образом, например, обеспечивать для пользователя ощущение реальности или отображения изображения, соответствующего предпочтениям пользователя.

Техническое решение

Система широковещания в соответствии с первым аспектом настоящего изобретения представляет собой систему широковещания, включающую в себя устройство передачи, которое передает данные, и устройство приема, которое принимает эти данные. Устройство передачи включает в себя средство передачи, предназначенное для передачи данных материала, которые получают с помощью датчика, и дополнительной информации, которую используют для обработки данных материала в устройстве приема. Устройство приема включает в себя средство приема, предназначенное для приема данных материала и дополнительной информации; средство генерирования, предназначенное для генерирования выходных данных на основе данных материала и дополнительной информации; и средство вывода, предназначенное для формирования выхода на основе выходных данных.

В первом аспекте, как описано выше, устройство передачи передает данные материала, которые получают с помощью датчика, и дополнительную информацию, которую используют для обработки данных материала в устройстве приема. Устройство приема принимает данные материала и дополнительную информацию и генерирует выходные данные на основе данных материала и дополнительной информации. Затем формируют выход на основе выходных данных.

Устройство передачи или программа в соответствии со вторым аспектом настоящего изобретения представляет собой устройство передачи, которое, вместе с устройством приема, которое принимает данные, образует систему широковещания и затем передает данные или программу для обеспечения выполнения компьютером функции устройства передачи. Устройство передачи включает в себя средство передачи, предназначенное для передачи данных материала, который был получен с помощью датчика, и дополнительной информации, которую используют для обработки данных материала с устройством приема.

Способ передачи в соответствии со вторым аспектом настоящего изобретения представляет собой способ передачи для устройства передачи, которое, вместе с устройством приема, которое принимает данные, образует систему радиовещания, и которая передает данные. Способ передачи включает в себя этап передачи устройством передачи данных материала, получаемых с помощью датчика, и дополнительной информации, которую используют для обработки данных материала, в устройство приема.

Во втором аспекте, как описано выше, передают данные материала, полученные датчиком, и дополнительную информацию, которую используют для обработки данных материала в устройстве приема.

Устройство приема или программа в соответствии с третьим аспектом настоящего изобретения представляет собой устройство приема, которое, вместе с устройством передачи, которое передает данные, образует систему широковещания, и которая принимает данные или программу для обеспечения выполнения компьютером функции устройства приема. Устройство приема включает в себя, в случае, когда устройство передачи передает данные материала, которые получают с помощью датчика, и дополнительную информацию, которую используют для обработки данных материала в устройстве приема, средство приема, предназначенное для приема данных материала и дополнительной информации; средство генерирования, предназначенное для генерирования данных выхода на основе данных материала и дополнительной информации; и средство вывода, предназначенное для формирования выхода на данных выхода.

Способ приема в соответствии с третьим аспектом настоящего изобретения представляет собой способ приема для устройства приема, которое, вместе с устройством передачи, которое передает данные, образует систему широковещания, и которое принимает данные. Способ приема включает в себя следующие этапы: в случае, когда устройство передачи передает данные материала, которые получают с помощью датчика, и дополнительную информацию, используемую для обработки данных материала, в устройство приема, с помощью устройства приема принимают данные материала и дополнительную информацию; генерируют данные выхода на основе данных материала и дополнительной информации и формируют выход на основе данных выхода со средством выхода, для формирования выхода.

В третьем аспекте, как описано выше, принимают данные материала и дополнительную информацию и выходные данные генерируют на основе данных материала и дополнительной информации. Затем формируют выход на основе выходных данных с помощью средства выхода для формирования выхода.

Следует отметить, что программы могут быть предоставлены путем их передачи через среду передачи или путем их записи на носителе записи.

Кроме того, устройство передачи или устройство приема могут представлять собой независимые устройства, или могут составлять внутренний блок, составляющий одно устройство.

Кроме того, передача (широковещательная) (передача) данных также может быть выполнена через кабельную или беспроводную среду передачи и также может быть выполнена через смешанную кабельную и беспроводную среду передачи.

Предпочтительные эффекты

В соответствии с первым-третьим аспектами настоящего изобретения соответствующий процесс может быть выполнен на стороне приема системы широковещания.

Краткое описание чертежей

На фиг.1 показана блок-схема, иллюстрирующая пример конфигурации варианта выполнения системы широковещания, в которой используется настоящее изобретение.

На фиг.2 показана блок-схема, иллюстрирующая пример конфигурации устройства 11 передачи.

На фиг.3 показаны схемы для пояснения частей данных материала и информации эффекта.

На фиг.4 показана схема для пояснения информации переключения.

На фиг.5 показана схема, предназначенная для пояснения информации угла просмотра отображения.

На фиг.6 показана схема, предназначенная для пояснения данных, используемых для комбинирования.

На фиг.7 показана схема, предназначенная для пояснения информации реального мира.

На фиг.8 показана блок-схема последовательности операций для пояснения процесса передачи.

На фиг.9 показана блок-схема, иллюстрирующая пример конфигурации устройства 12 приема.

На фиг.10 показана блок-схема последовательности операций, предназначенная для пояснения устройства приема.

На фиг.11 показана схема, предназначенная для пояснения данных, которые подают в блок 54 генерирования при обработке в реальном режиме.

На фиг.12 показана блок-схема, иллюстрирующая пример конфигурации блока 54 генерирования, который выполняет обработку в реальном режиме.

На фиг.13 показаны схемы, схематично иллюстрирующие состояние, в котором изображение объекта съемки изображения снимают с помощью камеры, и состояние отображения в выходном блоке 55, который представляет собой устройство дисплея.

На фиг.14 представлены схемы, схематично иллюстрирующие состояние, в котором изображение объекта съемки изображения снимают с помощью камеры, используя оптическое изменение масштаба изображения, и состояние отображения в выходном блоке 55, который представляет собой устройство дисплея.

На фиг.15 представлены схемы, схематично иллюстрирующие состояние, в котором изображение объекта съемки изображения снимают с помощью камеры, используя цифровое изменение масштаба изображения, и состояние отображения в выходном блоке 55, который представляет собой устройство дисплея.

На фиг.16 представлены схемы, иллюстрирующие изображения, отображаемые в выходном блоке 55, который представляет собой устройство дисплея.

На фиг.17 показана блок-схема последовательности операций, предназначенная для пояснения процесса реального режима.

На фиг.18 показана схема, поясняющая данные, которые подают в блок 54 генерирования в процессе режима развлечений.

На фиг.19 показана блок-схема, иллюстрирующая пример конфигурации блока 54 генерирования, который выполняет процесс в режиме развлечений.

На фиг.20 показана блок-схема, иллюстрирующая пример конфигурации модуля 84 обработки изображения.

На фиг.21 показана блок-схема, иллюстрирующая пример другой конфигурации устройства 12 приема.

На фиг.22 показана блок-схема, иллюстрирующая пример конфигурации варианта выполнения компьютерной системы, в которой применяют настоящее изобретение.

Пояснение номеров ссылочных позиций

11 устройство передачи, 12 устройство приема, 13 среда передачи, 31 блок датчика, 32 устройство редактирования, 33 блок кодирования, 34 блок передачи, 51 блок приема, 52 блок декодирования, 53 блок разделения, 54 блок генерирования, 55 выходной блок, 56 входной блок, 71 буфер, 72 модуль анализа дополнительной информации, 73 модуль обработки изображения, 81 буфер данных изображения, 82 модуль анализа дополнительной информации, 83 буфер данных, предназначенных для комбинирования, 84 блок обработки изображения, 91 часть выбора изображения, 92 часть выбора инструкции, 93 часть установки области отображения, 94 часть логического вентиля, 95 часть обработки наложения, 101 блок генерирования, 102 выходной блок, 103 входной блок, 111 блок генерирования, 112 выходной блок, 113 входной блок, 201 шина, 202 ЦПУ, 203 ПЗУ, 204 ОЗУ, 205 жесткий диск, 206 выходной модуль, 207 входной модуль, 208 модуль передачи данных, 209 привод, 210 интерфейс входа/выхода, 211 съемный носитель записи

Подробное описание изобретения

На фиг.1 иллюстрируется пример конфигурации варианта выполнения системы широковещания (термин "система" относится к логическому набору множества устройств, независимо от того, находятся ли эти устройства, имеющие индивидуальные конфигурации, в одном и том же корпусе), к которой относится настоящее изобретение.

На фиг.1 система широковещания включает в себя устройство 11 передачи и устройство 12 приема.

Устройство 11 передачи размещено, например, в станции широковещания и передает различные типы данных как программы через носитель 13 передачи, такой как наземная волна, спутниковая схема, Интернет или CATV (кабельное телевидение).

Устройство 12 приема помещают, например, дома, и оно принимает данные, переданные из устройства 11 передачи через среду 13 передачи.

Следует отметить, что устройство 12 приема выполнено с возможностью функционирования, например, в качестве ТВ.

Кроме того, в системе широковещания количество устройств 11 передачи не ограничено одним и может быть предусмотрено множество устройств 11 передачи. Аналогичную конфигурацию также применяют для устройства 12 приема.

На фиг.2 показан пример конфигурации устройства 11 передачи, показанного на фиг.1.

На фиг.2 устройство передачи 11 включает в себя блок 31 датчика, устройство 32 редактирования, блок 33 кодирования и блок 34 передачи.

Следует отметить, что блок 11 датчика и устройство 32 редактирования могут быть предусмотрены как устройства, отличающиеся от устройства 11 передачи.

Блок 31 датчика получает данные материала, используемые как материал при редактировании в устройстве 32 редактирования, и передает эти данные материала в устройство 32 редактирования и в блок 33 кодирования.

Здесь один тип датчика, один тип датчиков или множество типов датчиков можно использовать как блок 31 датчика.

Кроме того, примеры типов датчиков включают в себя камеру, которая чувствительна к свету и которая выводит изображение (захватывает изображение), микрофон, который чувствителен к звуку и который выводит звук (собирает звук), и датчики, которые индивидуально определяют температуру, влажность, направление потока воздуха, скорость потока воздуха, вибрацию, яркость и т.д.

С помощью камеры выполняют захват изображения, и изображение (данные) выводят как данные материала. Кроме того, с помощью микрофона выполняют сбор звука и звук (данные) выводят как материальные данные. Кроме того, с помощью каждого из датчиков, которые определяют соответствующую одну из температуры, влажности, направления потока воздуха, скорости потока воздуха, вибрации и яркости, данные, обозначающие соответствующую одну из температуры, влажности, направления потока воздуха, скорости потока воздуха, вибрации и яркости, выводят как данные материала.

Устройство 32 редактирования генерирует на основе данных материала, передаваемых из блока 31 датчика, дополнительную информацию, которую следует использовать для обработки данных материала в устройстве 12 приема, и передает дополнительную информацию в блок 33 кодирования.

Здесь дополнительная информация включает в себя информацию реального мира, обозначающую физическое количество в реальном мире, цель, определенную блоком 31 датчика, и информацию эффекта, которая представляет собой информацию, используемую для обработки данных материала.

Информацию эффекта генерируют, например, в соответствии с операцией, выполняемой в результате выполнения операции с устройством 32 редактирования продюсером программы, который формирует программу в станции широковещания.

Информацию реального мира генерируют независимо от операции, выполняемой продюсером программы.

Следует отметить, что в устройстве 32 редактирования дополнительную информацию генерируют для каждого типа данных материала. В соответствии с этим, когда множество типов датчиков используют в блоке 31 датчика и множество типов данных материала подают из блока 31 датчика в блок 33 кодирования, дополнительную информацию, соответствующую каждому из множества типов данных материала, подают из устройства 32 редактирования в блок 33 кодирования.

Блок 33 кодирования кодирует данные материала, переданные из блока 31 датчика, и дополнительную информацию, передаваемую из устройства 32 редактирования. Следует отметить, что блок 33 кодирования выполняет мультиплексирование данных материала и кодированных данных в соответствии с необходимостью. Затем блок 33 кодирования подает кодированные данные, которые получают в результате кодирования, в блок 34 передачи.

Блок 34 передачи передает кодированные данные, переданные из блока 33 кодирования, то есть данные материала, полученные с помощью блока 31 датчика, и дополнительную информацию, сгенерированную устройством 32 редактирования, через среду 13 передачи (фиг.1).

Далее будет описана информация эффекта, включаемая в дополнительную информацию, сгенерированную с помощью устройства 32 редактирования.

На фиг.3 показаны части данных материала и информация эффекта, соответствующая частям данных материала.

Другими словами, в части А на фиг.3 иллюстрируется множество потоков изображений (движущихся изображения), которые предусмотрены как части данных материала.

Например, когда изображение для определенной программы выполнено путем редактирования N, которое представляет собой множество потоков изображений S №1, S №2, … и S № N, N потоков изображений S №1 - S № N используют как части данных материала для изображения программы.

Здесь N потоков изображений S №1 - S № N могут представлять собой изображения, индивидуально получаемые с помощью N камер, которые предусмотрены как N датчиков, или могут представлять собой изображения, получаемые М (<N) камерами, которые предусмотрены как М датчиков, где М меньше N (и равно и больше единицы).

Другими словами, например, N потоков изображений, которые получают путем съемки изображений ландшафтов с разных мест с помощью одной камеры в разное время, можно использовать как N потоков изображений S №1 - S № N.

Кроме того, N потоков изображений, которые используются как N потоков изображений, S №1 - S № N, представляют собой следующие: N потоков изображений, полученных в результате индивидуальной съемки изображений всего оркестра, дирижера, музыканта, играющего на определенном музыкальном инструменте, зала, зрителей и т.д., например, с помощью N камер; N потоков изображений, получаемых путем индивидуальной съемки изображений всего стадиона, табло, представляющего счет, конкретного игрока, зрителей и т.д. при выполнении репортажа спортивных событий, таких как репортаж игры в футбол; и N потоков изображений, получаемых в результате индивидуальной съемки изображений всей студии, каждого актерского состава и т.д. в музыкальной программе или тому подобное.

В части В на фиг.3 иллюстрируется информация эффекта, соответствующая N потокам изображений S №1 - S № N, которые представляют собой части данных материала, иллюстрируемого в части А на фиг.3.

Информация эффекта включает в себя, например, информацию переключения, информацию отображения кадра изображения, данные, используемые для комбинирования, и т.д.

Информация переключения представляет собой, например, информацию, предназначенную для переключения между изображениями, отображаемыми в устройстве дисплея, которое описано ниже, устройства 12 приема, путем выбора одного потока изображений среди N потоков изображений S №1 - S № N, которые представляют собой части данных материала.

Информация кадра отображаемого изображения обозначает, например, область, соответствующую участку, который будет отображаться в устройстве дисплея устройства 12 приема, изображения (на фиг.3 один поток изображений среди изображений S №1 - S № N), которое представляет данные материала.

Данные, используемые для комбинирования, представляют собой, например, данные, которые требуется использовать в комбинации с изображением (на фиг.3 один поток изображений среди изображений S №1 - S № N), которое представляет собой данные материала, и включает в себя данные, предназначенные для комбинирования, которые должны быть скомбинированы с изображением.

Здесь примеры данных для комбинирования включают в себя данные (данные для изображения внутри изображения), относящиеся к изображению, отображаемому на малом экране, используя режим отображения изображения внутри изображения (ниже называется изображением PinP), данные, относящиеся к telop (данные, относящиеся к субтитрам), и т.д.

Далее информация переключения, относящаяся к информации эффекта, показанной на фиг.3, будет описана со ссылкой на фиг.4.

Например, как описано выше, когда изображение для определенной программы А конфигурируют путем редактирования N потоков изображений S №1 - S № N, информация переключения представляет собой информацию для переключения среди изображений, отображаемых в устройстве дисплея устройства 12 приема, путем выбора одного потока изображений среди N потоков изображений S №1 - S № N.

Например, в устройстве 32 редактирования, показанном на фиг.2, операцию выреза и редактирование выполняют путем последовательного соединения изображения S №1, которое представляет собой части данных материала в диапазоне от кода t_s1 времени до кода t_e1 времени изображения S №2, которое представляет собой часть данных материала, в диапазоне от кода t_s2 времени до кода t_e2 времени изображения S №3, которое представляет собой часть данных материала в диапазоне от кода t_s3 времени до кода t_e3 времени изображения S №1, которое представляет собой часть данных материала в диапазоне от кода t_s4 времени до кода t_e4 времени … друг с другом в соответствии с операцией, выполняемой продюсером программы, как показано на фиг.4, формируя, таким образом, (изображение для) определенную программу А. В этом случае, например, информацию, с которой части данных материала, которые составляют изображение для программы А, и коды времени частей данных материала, определенные в отдельные моменты времени в программе А, используют как информацию переключения.

Следует отметить, что в устройстве 32 редактирования, когда специальный эффект, такой как удаление изображения, предусмотрен для соединения (так называемая, точка редактирования) между определенным потоком изображений S №i и другим потоком изображений №i', информация переключения включает в себя информацию, относящуюся к специальному эффекту.

Далее информация кадра отображаемого изображения, включенная в информацию эффекта, показанная на фиг.3, будет описана со ссылкой на фиг.5.

Информация кадра отображаемого изображения обозначает, например, как описано выше, область, соответствующую участку, предназначенному для отображения в устройстве дисплея устройства 12 приема, для изображения, которое представляет собой данные материала.

Другими словами, например, когда данные материала представляют собой изображение, в устройстве 32 редактирования может быть выполнено редактирование, в котором учет прямоугольной области, соответствующей участку изображения, которое представляет собой данные материала, как области (ниже, называется областью отображения), соответствующей участку изображения, который будет отображен в устройстве дисплея устройства 12 приема, участок изображения определяют как изображение для программы в соответствии с операцией, выполняемой продюсером программы, как представлено на фиг.5.

В этом случае, в устройстве 32 редактирования продюсер программы может использовать как максимальную область область изображения, которая представляет данные материала, и может производить программу, как если бы продюсер программы захватывал изображение, используя операции с камерой, используя операцию панорамной съемки, операцию наклона или операцию изменения размеров изображения в области.

Здесь область максимального отображения представляет собой область изображения, которое представляет собой данные материала. В соответствии с этим, угол обзора камеры, которая предусмотрена как блок 31 датчика (фиг.2), устанавливают как максимальный угол обзора (который расположен на стороне самого широкого угла) и захватывают изображение, в результате чего размер области отображения может быть максимальным.

Следует отметить, что любая информация, с помощью которой может быть установлена область отображения, может использоваться как информация угла обзора отображения.

Другими словами, например, система координат определена в отношении области изображения, которая представляет собой данные материала, и в системе координат, причем координаты находятся между одной вершиной области отображения и вершиной, которая диагонально противоположна этой вершине, причем координаты на одной вершине области отображения и длину по горизонтали и вертикали области отображения, или подобное, можно использовать как информацию угла обзора отображения.

Кроме того, например, область отображения, которая расположена в заданном положении и которая имеет определенный размер, может быть определена как принятая по умолчанию область отображения, и предыстория использования операции панорамной съемки, операции наклона и операций изменения масштаба изображения, которые выполняют для принятой по умолчанию области отображения во время редактировании продюсером программы, можно использовать как информацию угла обзора отображения.

Далее, данные, используемые для комбинирования, включенные в информацию эффекта, показанную на фиг.3, будут описаны со ссылкой на фиг.6.

Как описано выше, данные, используемые для комбинирования, представляют собой данные, которые используются для комбинирования с данными материала. Данные, используемые для комбинирования, включают в себя данные, предназначенные для комбинирования, которые должны быть скомбинированы с данными материала и информацией о времени, обозначающей моменты времени, в которые выполняют комбинирование, с использованием данных, предназначенных для комбинирования.

Другими словами, например, данные материала представляют собой изображение, и, в устройстве редактирования 32, показанном на фиг.2, во время редактирования выполняют наложение изображения PinP или telop на (комбинируют с) изображение, которое представляет собой данные материала, в соответствии с операцией, выполняемой продюсером программы, формируя, таким образом, программу. В этом случае, изображение PinP или telop используется как данные, предназначенные для комбинирования.

Кроме того, информация, обозначающая время, в течение которого изображение PinP или telop, которое используется как данные, предназначенные для комбинирования, накладывают (например, в момент времени, в который начинается наложение, и момент времени, в который наложение заканчивается), например коды времени для программы, используются как информацию о временных характеристиках.

Следует отметить, что данные, используемые для комбинирования, включают в себя, кроме того, например, информацию, относящуюся к положению на изображении, на которое наложено изображение PinP или telop, используемое как данные для комбинирования.

Кроме того, например, когда данные материала представляют собой звук, BGM (музыкальный фон) или тому подобное, используются как данные, предназначенные для комбинирования.

Когда определенный тип данных материала представляет собой звук, и звук представляет собой звук, сопровождаемый изображением (движущееся изображение), которое представляет собой другой тип данных материала, информацию, обозначающую время относительно звука, также можно использовать как информацию временных характеристик для BGM, которая должна быть скомбинирована со звуком, и также можно использовать коды времени изображения, сопровождаемого звуком.

Далее будет описана информация реального мира, включенная в дополнительную информацию, которую генерируют с помощью устройства 32 редактирования (фиг.2).

Как описано выше, информация реального мира представляет собой информацию, обозначающую физическую величину в реальном мире цели, которая была определена с помощью блока 31 датчика (фиг.2). Например, когда блок 31 датчика представляет собой камеру, информация о протяженности съемки изображения, обозначающая протяженность съемки изображения в положении цели съемки изображения (ниже также называется объектом съемки изображения), чье изображение снимают с помощью камеры и т.д., включена в информацию реального мира.

Здесь протяженность съемки изображения с помощью камеры будет описана со ссылкой на фиг.7.

На фиг.7 показан вид сверху, схематично иллюстрирующий состояние, в котором изображение снимают с помощью камеры.

Теперь, для простоты описания, предположим, что оптическая система (группа линз) камеры не обладает искажениями. Предположим, что угол обзора (ниже также называется "углом обзоры камеры") для камеры в горизонтальном направлении равен 6. Кроме того, предположим, что расстояние (ниже также называется "расстоянием до объекта") от камеры до объекта съемки изображения составляет X.

Следует отметить, что предполагается, что угол 9 обзора камеры известен.

Кроме того, расстояние Х до объекта можно измерить, используя, например, так называемую, технологию автофокусирования.

Другими словами, расстояние Х до объекта может быть измерено, используя, например, датчик на инфракрасных лучах или сонар. Кроме того, расстояние Х до объекта можно измерить, используя схему детектирования контраста, в которой фокус регулируют таким образом, чтобы контраст изображения, снимаемого камерой, был максимальным, схему детектирования разности фаз, в которой фокус регулируют так, чтобы удалить разность между фазами изображений, снимаемых с помощью камеры, или тому подобное.

Следует отметить, что, в случае, когда расстояние Х объекта известно заранее, когда выполняют захват изображения с помощью камеры, измерение расстояния Х до объекта не требуется проводить.

Теперь, для простоты описания, между горизонтальной и вертикальной длинами реального мира, изображение которого снимают в положении объекта съемки изображения, внимание фокусируют, например, только на горизонтальной длине. Предполагается, что горизонтальная длина представляет собой протяженность D съемки изображения в положении объекта съемки изображения.

Протяженность D съемки изображения может быть определена в соответствии с уравнением D=2×Х×tan(θ//2), используя угол зрения θ камеры и расстояние Х до объекта.

Следовательно, в дополнение к изображению, которое представляет собой данные материала, устройство 32, представленное на фиг.2, также получает угол зрения θ камеры и расстояние Х объекта от камеры, которое предоставлено блоком 31 датчика. Устройство 32 редактирования определяет протяженность D съемки изображения по углу зрения 9 камеры и расстоянию Х до объекта. Затем устройство 32 редактирования обеспечивает включение протяженности D съемки изображения как информации о протяженности съемки изображения, в информацию реального мира, и передает эту информацию реального мира в блок 33 кодирования.

Далее, со ссылкой на фиг.8, будет описана обработка (обработка передачи), выполняемая устройством 11 передачи, показанным на фиг.2.

В устройстве 11 передачи данные материала, которые получают с помощью блока 31 датчика, передают в устройство 32 редактирования и в блок 33 кодирования.

В устройстве 32 редактирования дополнительную информацию, которая включает в себя одну из или обе информации эффекта и информации реального мира, генерируют на основе данных материала, передаваемых из блока 31 датчика и т.п., и дополнительную информацию подают в блок 33 кодирования.

Когда данные материала подают из блока 31 датчика в блок 33 кодирования и дополнительную информацию передают из устройства 32 редактирования в блок 33 кодирования, как описано выше, на этапе S11, блок 33 кодирования кодирует данные материала, передаваемые из блока 31 датчика, и дополнительную информацию, предоставляемую из устройства 32 редактирования. Блок 33 кодирования передает кодированные данные, полученные в результате кодирования, в блок 34 передачи, и обработка переходит на этап S12.

На этапе S12 блок 34 передачи передает кодированные данные, которые были поданы из блока 33 кодирования, через среду 13 передачи (фиг.1).

Затем, на фиг.9 иллюстрируется пример конфигурации устройства 12 приема, показанного на фиг.1.

На фиг.9 устройство приема 12 включает в себя блок 51 приема, блок 52 декодирования, блок 53 разделения, блок 54 генерирования, выходной блок 55 и входной блок 56.

Следует отметить, что выходной блок 55 и входной блок 56 могут быть предусмотрены как устройства, отличающиеся от устройства 12 приема.

Блок 51 приема принимает кодированные данные, передаваемые из устройства 11 передачи через среду 13 передачи, то есть данные материала и дополнительную информацию, и подает эти кодированные данные в блок 52 декодирования.

Блок 52 декодирования декодирует кодированные данные, переданные из блока 51 приема, для получения данных и передает эти данные в блок 53 разделения.

Блок 53 разделения разделяет данные, поданные из блока 52 декодирования, на данные материала и дополнительную информацию и подает эти данные материала и дополнительную информацию в блок 54 генерирования.

Блок 54 генерирования генерирует выходные данные на основе данных материала и дополнительной информации, подаваемой из блока 53 разделения, и подает эти выходные данные в выходной блок 55.

Выходной блок 55 формирует заданный выходной сигнал на основе выходных данных, подаваемых из блока 54 генерирования.

Здесь, в качестве выходного блока 55, можно использовать устройство, которое стимулирует пять чувств человека.

Другими словами, устройство, которое стимулирует чувство зрения, такое как устройство дисплея, которое отображает изображение, или устройство освещения, которое излучает свет, можно использовать как выходной блок 55. Кроме того, устройство, которое стимулирует чувство слуха, такое как громкоговоритель, который излучает звук, можно использовать как выходной блок 55.

Кроме того, устройство, которое стимулирует чувство осязания, такое как кондиционер воздуха, который может выполнять, так называемое, кондиционирование воздуха (регулирование характеристик воздуха) (баланс воздуха) по температуре, влажности и потоку воздуха, или встряхивающее устройство, которое генерирует вибрации, можно использовать в качестве выходного блока 55.

Пользователь выполняет операции с входным блоком 56, используя устройство 12 приема. Когда пользователь выполняет операции с входным блоком 56 для предоставления инструкции, входной блок 56 принимает инструкцию, предоставляемую пользователем, и передает информацию об инструкции, обозначающую эту инструкцию, в блок 54 генерирования.

Здесь, когда информацию инструкции подают из входного блока 56 в блок 54 генерирования, блок 54 генерирования генерирует выходные данные на основе информации инструкции.

Далее, со ссылкой на фиг.10, будет описана обработка (обработка приема), выполняемая устройством 12 приема, показанным на фиг.9.

Блок 51 приема ожидает передачи кодированных данных из устройства 11 передачи через среду 13 передачи. На этапе S31 блок 51 приема принимает кодированные данные и подает эти кодированные данные в блок 52 декодирования. Обработка переходит на этап S32.

На этапе S32 блок 52 декодирования декодирует кодированные данные, подаваемые из блока 51 приема, для получения данных и подает эти данные в блок 53 разделения. Обработка переходит на этап S33.

На этапе S33 блок 53 разделения разделяет данные (декодированные данные), подаваемые из блока 52 декодирования, на данные материала и дополнительную информацию и подает данные материала и дополнительную информацию в блок 54 генерирования. Обработка переходит на этап S34.

На этапе S34 блок 54 генерирования генерирует выходные данные на основе данных материала и дополнительной информации, подаваемых из блока 53 разделения, и подает эти выходные данные в выходной блок 55. Обработка переходит на этап S35.

На этапе S35 выходной блок 55 формирует заданный выход на основе выходных данных, подаваемых из блока 54 генерирования.

Как описано выше, в устройстве 12 приема, показанном на фиг.9, обработку генерирования выходных данных выполняют в блоке 54 генерирования на основе данных материала и дополнительной информации. Обработка включает в себя различного вида обработку, и эти виды обработки классифицируют на обработку в реальном режиме и обработку в режиме развлечений.

Другими словами, информация реального мира и информация эффекта включены в дополнительную информацию. Среди процессов генерирования выходных данных процесс, выполняемый с использованием информации реального мира, представляет собой процесс в реальном режиме, и процесс, выполняемый с использованием информации эффекта, представляет собой процесс в режиме развлечений.

Далее будет описан процесс в реальном режиме и процесс в режиме развлечений.

На фиг.11 иллюстрируются данные (информация), которые подают в блок 54 генерирования, когда устройство 12 приема выполняет процесс в реальном режиме.

В процессе реального режима данные материала и информация реального мира, которая включена в дополнительную информацию, подают из блока 53 разделения в блок 54 генерирования.

Кроме того, в процессе реального режима, когда пользователь выполняет операции с входным блоком 56, для подачи инструкции изменения масштаба изображения, информацию об инструкции, соответствующую этой операции, подают из входного блока 56 в блок 54 генерирования.

Кроме того, в процессе реального режима характеристическую информацию, обозначающую характеристики выходного блока 55, подают в блок 54 генерирования, например, из выходного блока 55.

Затем, в процессе реального режима, блок 54 генерирования генерирует выходные данные на основе данных материала, информации реального мира и характеристической информации, в отношении к выходному блоку 55 таким образом, что физическая величина, распознаваемая на выходе выходного блока 55, будет идентифицирована как физическая величина, обозначаемая информацией реального мира.

Здесь, когда информацию инструкции подают из входного блока 56 в блок 54 генерирования, блок 54 генерирования генерирует выходные данные также на основе информации инструкции.

Следует отметить, что для процесса реального режима устройство 12 приема может быть выполнено без предоставления входного блока 56. Когда устройство 12 приема выполнено без предоставления входного блока 56, информацию инструкции не подают в блок 54 генерирования.

Далее будет описан процесс реального режима для случая, когда, например, выходной блок 55 представляет собой устройство дисплея и выходные данные представляют собой изображение, отображаемое в выходном блоке 55, который представляет собой устройство дисплея.

Здесь предполагается, что информация D протяженности снимаемого изображения, которая описана со ссылкой на фиг.7, включена в информацию реального мира. Кроме того, предполагается, что информация F размера, обозначающая размер экрана дисплея, в котором выходной блок 55, то есть устройство дисплея, отображает изображение, включена в характеристическую информацию.

Следует отметить, что здесь, для простоты описания, предполагается, что информация F размера обозначает, между горизонтальной и вертикальной длинами экрана дисплея выходного блока 55, который представляет собой устройство дисплея, например, горизонтальную длину, как в случае информации D протяженности снимаемого изображения (протяженность D снимаемого изображения).

На фиг.12 иллюстрируется пример конфигурации блока 54 генерирования в случае, когда устройство 12 приема выполняет процесс в реальном режиме.

На фиг.12 блок 54 генерирования включает в себя BF (буфер) 71, блок 72 анализа дополнительной информации и модуль 73 обработки изображения.

Изображение, которое представляет собой данные материала, подают из блока 53 разделения (фиг.11) в буфер 71. Буфер 71 сохраняет изображение, которое представляет собой данные материала, передаваемые из блока 53 разделения.

Информацию реального мира, включенную в дополнительную информацию, подают из блока 53 разделения в блок 72 анализа дополнительной информации. Блок 72 анализа дополнительной информации анализирует информацию реального мира, подаваемую из блока 53 разделения. Модуль 72 анализа дополнительной информации выделяет, например, информацию D протяженности снимаемого изображения (фиг.7), включенную в информацию реального мира, и подает информацию D протяженности снятого изображения в модуль 73 обработки изображения.

Как описано выше, информацию D о протяженности съемки изображения подают из модуля 72 анализа дополнительной информации в модуль 73 обработки изображения. Кроме того, изображение, которое представляет собой данные материала, сохраненные в буфере 71, передают в модуль 73 обработки изображения. Кроме того, информацию F размера, которая представляет собой характеристическую информацию, относящуюся к устройству дисплея, подают из выходного блока 55 (фиг.11), который представляет собой устройство дисплея, в модуль 73 обработки изображения.

Кроме того, когда пользователь выполняет операции с входным блоком 56 (фиг.11) для предоставления инструкции на изменение масштаба изображения, информацию инструкции, соответствующую операции, передают из входного блока 56 в модуль 73 обработки изображения.

Модуль 73 обработки изображения обрабатывает изображение, которое представляет собой данные материала, на основе изображения, которое представляет собой данные материала, переданные из буфера 71, информации D протяженности съемки изображения, которая была передана из модуля 72 анализа дополнительной информации, и информации F размера, которая представляет собой характеристическую информацию, подаваемую из выходного блока 55, генерируя, таким образом, изображение, которое представляет собой выходные данные, таким образом, что размер объекта (объекта съемки изображения), распознанного среди изображения, отображаемого в выходном блоке 55, который представляет собой устройство дисплея, будет идентифицирован как размер объекта съемки изображения в реальном мире. Модуль 73 обработки изображения передает выходные данные в выходной блок 55 (фиг.11), который представляет собой устройство дисплея.

Кроме того, модуль 73 обработки изображения обрабатывает изображение, которое представляет собой данные материала, на основе изображения, которое представляет собой данные материала, переданного из буфер 71, информации D протяженности снятого изображения, которая была передана из модуля 72 анализа дополнительной информации, и информации F размера, которая представляет собой характеристическую информацию, переданную из выходного блока 55, генерируя, таким образом, изображение как выходные данные, таким образом, что размер объекта съемки изображения, распознанного из изображения, отображаемого в выходном блоке 55, который представляет собой устройство дисплея, не будет превышать размер объекта съемки изображения в реальном мире. Модуль 73 обработки изображения передает выходные данные в выходной блок 55 (фиг.11), который представляет собой устройство дисплея.

Другими словами, когда информацию инструкции передают из входного блока 56 в модуль 73 обработки изображения, модуль 73 обработки изображения выполняет обработку увеличения изображения, которое представляет собой данные материала, передаваемые из буфера 71, только на степень увеличения в соответствии с увеличением масштаба изображения, которое указано в информации инструкции, поданной из входного блока 56, генерируя, таким образом, выходные данные.

Однако в этом случае модуль 73 обработки изображения ограничивает степень увеличения изображения, которое представляет собой данные материала, таким образом, что размер объекта съемки изображения, распознанного среди изображения, отображаемого в выходном блоке 55, который представляет собой устройство дисплея, не будут превышать размер объекта съемки изображения в реальном мире.

Следует отметить, что, если предположить, что степень увеличения в случае увеличения изображения, которое представляет собой данные материала, представляет собой степень z увеличения масштаба изображения, степень увеличения в случае, когда степень z увеличения масштаба изображения меньше, чем единица (и больше нуля), означает уменьшение.

Кроме того, на фиг.12 предполагается, что информацию F размера передают из выходного блока 55, который представляет собой устройство дисплея, в модуль 73 обработки изображения блока 54 генерирования. Однако, в другом случае, информация F размера может быть заранее сохранена, например, в блоке 54 генерирования.

Далее будет дополнительно описана обработка, выполняемая модулем 73 обработки изображения.

Следует отметить, что здесь, для простоты описания, предполагается, что область отображения (фиг.5), обозначенная информацией угла зрения дисплея, равна всей области изображения, которое представляет собой данные материала.

На фиг.13 схематично иллюстрируется состояние, в котором изображение объекта съемки изображения снимают с помощью камеры, и состояние, в котором изображение, которое представляет собой данные материала, получаемые в результате съемки изображения, отображают в выходном блоке 55, который представляет собой устройство дисплея.

Другими словами, часть А на фиг.13 представляет собой вид сверху, схематично иллюстрирующий состояние, в котором изображение снимают с помощью камеры, и представляет собой тот же чертеж, что и фиг.7.

Как описано выше, информация D о протяженности снимаемого изображения может быть определена в соответствии с уравнением D=2×Х tanθ/2, используя угол зрения θ камеры и расстояние Х до объекта.

В части В на фиг.13 иллюстрируется состояние отображения, в котором изображение, которое представляет собой данные материала, полученные в результате выполнения съемки изображения с помощью камеры, как представлено в части А на фиг.13, отображают в выходном блоке 55, который представляет собой устройство дисплея, без их увеличения.

В выходном блоке 55, который представляет собой устройство дисплея, реальный мир, размер которого обозначен информацией D протяженности съемки изображения, отображают на экране дисплея, размер которого обозначен информацией F размера.

В соответствии с этим объект съемки изображения отображают с размером, который составляет F/D раз размера объекта съемки изображения в реальном мире.

Теперь предположим, если информация D протяженности снимаемого изображения равна или больше, чем информация F размера (F≤D), если степень увеличения z масштаба изображения равна или меньше, чем D/F, размер объекта съемки изображения, отображаемого в выходном блоке 55, который представляет собой устройство дисплея, равен или меньше, чем размер объекта съемки изображения в реальном мире.

В соответствии с этим, в случае, когда информация D протяженности снятого изображения равна или больше, чем информация F размера, если степень z увеличения масштаба изображения равна или меньше, чем D/F, не возникает потеря реальности объекта съемки изображения, отображаемого в выходном блоке 55, который представляет собой устройство дисплея, из-за отображения объекта съемки изображения в выходном блоке 55, который представляет собой устройство дисплея, с размером больше, чем размер объекта съемки изображения в реальном мире.

Следовательно, в модуле 73 обработки изображения (фиг.12), в случае, когда информация D протяженности снятого изображения равна или больше, чем информация F размера, степень z увеличения масштаба изображения, которую используют, когда выполняют увеличение изображения, которое представляет собой данные материала, ограничена так, чтобы она была равна или меньше, чем D/F.

В отличие от этого, в случае, когда информация D протяженности снятого изображения меньше, чем информация F размера (F>D), когда изображение, которое представляет собой данные материала, отображают в выходном блоке 55, который представляет собой устройство дисплея, без выполнения какой-либо обработки изображения, размер объекта съемки изображения, отображаемого в выходном блоке 55, превышает размер объекта съемки изображения в реальном мире.

В соответствии с этим, когда объект съемки изображения отображают в выходном блоке 55, который представляет собой устройство дисплея, с размером, который больше, чем размер объекта съемки изображения в реальном мире, реальность этого объекта съемки изображения, отображаемого в выходном блоке 55, который представляет собой устройство дисплея, теряется, таким образом, что теряется ощущение реальности.

Как описано выше, например, случай, в котором выходной блок 55 представляет собой устройство дисплея, имеющее большой экран, рассматривают как случай, в котором информация D протяженности съемки изображения меньше, чем информация F размера.

Кроме того, например, также в случае, в котором изображение, которое представляет собой данные материала, снимают, используя оптическое изменение масштаба изображения или цифровое изменение масштаба изображения, информация D протяженности съемки изображения может быть меньшей, чем информация F размера.

На фиг.14 схематично представлено состояние, в котором изображение объекта съемки изображения снимают с помощью камеры, используя оптическое изменение масштаба изображения, и состояние, в которым изображение, которое представляет собой данные материала, полученные в результате съемки изображения, отображают в выходном блоке 55, который представляет собой устройство дисплея.

Другими словами, часть А на фиг.14 представляет вид сверху, схематично иллюстрирующий состояние, в котором изображение снимают с помощью камеры, используя оптическое изменение масштаба изображения.

Угол зрения θ камеры уменьшают (делают меньше), используя оптическое изменение масштаба изображения. В результате, информация D протяженности снятого изображения становится, например, меньше, чем в случае, показанном в части А на фиг.13.

В части В на фиг.14 представлено состояние отображения, в котором изображение, которое представляет собой данные материала, полученные в результате съемки изображения, как показано в части А на фиг.14, отображают в выходном блоке 55, который представляет собой устройство дисплея.

В выходном блоке 55, который представляет собой устройство дисплея, реальный мир, размер которого обозначен информацией D протяженности снятого изображения, отображают на экране дисплея, размер которого обозначен информацией F размера.

На фиг.14 информация D протяженности снятого изображения меньше, чем информация F размера. По этой причине объект съемки изображения отображают в выходном блоке 55, который представляет собой устройство дисплея, с размером, который больше, чем (с размером, который составляет F/D раз) размер объекта съемки изображения в реальном мире.

На фиг.15 схематично иллюстрируется состояние, в котором изображение объекта съемки изображения снимают с помощью камеры, используя цифровое изменение увеличения, и состояние, в который изображение, которое представляет собой данные материала, полученные при съемке изображения, отображают в выходном блоке 55, который представляет собой устройство дисплея.

Другими словами, в части А на фиг.15 показан вид сверху, схематично иллюстрирующий состояние, в котором изображение снимают с помощью камеры, используя цифровое изменение размеров.

В случае цифрового изменения размеров изображение, получаемое в результате обрезки, в ходе которой, например, центральный участок изображения, снятого камерой, вырезают и увеличивают путем обработки сигналов, выводят как изображение, которое представляет собой данные материала.

Что касается изображения, которое представляет собой данные материала, полученные, используя цифровое изменение масштаба изображения, угол зрения θ камеры уменьшают, как и в случае оптического изменения размеров (фиг.14). В результате, информацию D протяженности съемки изображения делают, например, такой, чтобы она была меньше, чем в случае, показанном в части А на фиг.13.

В части В на фиг.15 иллюстрируется состояние отображения, при котором изображение, которое представляет собой данные материала, полученные путем съемки изображения, как показано в части А на фиг.15, отображают в выходном блоке 55, который представляет собой устройство дисплея.

В выходном блоке 55, который представляет собой устройство дисплея, реальный мир, размер которого обозначен информацией D протяженности снятого изображения, отображают на экране дисплея, размер которого обозначен информацией F размера.

На фиг.15 информация D протяженности снятого изображения меньше, чем информация F размера. По этой причине объект съемки изображения отображают в выходном блоке 55, который представляет собой устройство дисплея, с размером, который больше, чем (размер, который составляет в F/D раз) размер объекта съемки изображения в реальном мире.

Как описано выше, когда изображение, которое представляет собой данные материала, снимают, используя оптическое изменение масштаба изображения или цифровое изменение масштаба изображения, информация D протяженности снимаемого изображения может быть меньше, чем информация F размера. В таком случае объект съемки изображения отображают с размером, который больше, чем размер объекта снятого изображения в реальном мире, таким образом, что теряется реальность.

Следовательно, в модуле 73 обработки изображения (фиг.12), в случае, когда информация D протяженности снятого изображения меньше, чем информация F размера, степень z увеличения при изменении размеров изображения устанавливают как D/F, и изображение, которое представляет собой данные материала, увеличивают в D/F (здесь изображение уменьшают, поскольку D/F меньше единицы).

В этом случае объект съемки изображения, который отображается в размере, который составляет F/D размера объекта съемки изображения в реальном мире, если увеличение (уменьшение) не выполняют в модуле 73 обработки изображения, отображают с размером, который равен размеру объекта снятого изображения в реальном мире.

На фиг.16 иллюстрируются изображения, отображаемые в выходном блоке 55, который представляет собой устройство дисплея, в случае, когда информация D протяженности снятого изображения меньше, чем информация F размера.

Другими словами, в части А на фиг.16 иллюстрируется состояние отображения, в котором изображение, которое представляет собой данные материала, снятое, используя оптическое изменение масштаба изображения, отображают в выходном блоке 55, который представляет собой устройство дисплея. В части В на фиг.16 иллюстрируется состояние отображения, в котором изображение, которое представляет собой данные материала, снятые используя цифровое изменение масштаба изображения, отображают в выходном блоке 55, который представляет собой устройство дисплея.

В случае когда информация D протяженности снятого изображения меньше, чем информация F размера, модуль 73 обработки изображения устанавливает степень z увеличения, при изменении размеров отображения, как D/F (<1), увеличивает изображение, которое представляет собой данные материала в D/F раз, и подает увеличенное изображение, как выходные данные, в выходной блок 55.

В результате, в выходном блоке 55, который представляет собой устройство дисплея, отображается объект съемки изображения в состоянии, когда он равен по размеру объекту съемки изображения в реальном мире.

Здесь, в модуле 73 обработки изображения, изображение, которое представляет собой данные материала, увеличивают (уменьшают) в D/F (<1) раз, и, в результате, изображение (выходные данные), получаемое в результате увеличения, представляет собой изображение, горизонтальная протяженность которого равна информации D протяженности снятого изображения.

И, в этом случае, поскольку информация D протяженности снятого изображения меньше, чем информация F размера, горизонтальная длина F' (=D) изображения, которая представляет собой выходные данные, будет меньше, чем информация F размера, то есть горизонтальная длина устройства дисплея выходного блока 55, который представляет собой устройство дисплея.

По этой причине в выходном блоке 55, который представляет собой устройство дисплея, отображают черный цвет (так называемая, черная рамка) или тому подобное, на другом участке экрана дисплея, чем участок, в котором отображают изображение, которое представляет собой выходные данные, для экрана дисплея, например, как показано в части А на фиг.16.

Следует отметить, что, когда снимают изображение, которое представляет собой данные материала, используя цифровое изменение масштаба изображения, участок (участок, затушеванный диагональными линиями в части А на фиг.15) (ниже также называется "обрезанным участком") изображения, которое было снято другой камерой, кроме центрального участка, который был увеличен с использованием цифрового изменение масштаба изображения, может быть оставлен.

В этом случае, в выходном блоке 55, который представляет собой устройство дисплея, отображают обрезанный участок на другом участке экрана дисплея, кроме участка, на котором отображают изображение, которое представляет собой выходные данные, на экране дисплея, например, как показано в части В на фиг.16.

Далее, со ссылкой на фиг.17, будет описана обработка, выполняемая в реальном режиме, которую выполняют в модуле 73 обработки изображения, показанном на фиг.12.

На этапе S51 модуль 73 обработки изображения определяет максимальное увеличение масштаба изображения, составляющее D/F, которое представляет собой максимальное значение степени z увеличения масштаба изображения, при котором изображение, которое представляет собой данные материала, сводят к максимуму на основе информации D протяженности снятого изображения, включенной в информацию реального мира, которую поставляют из модуля 72 анализа дополнительной информации, и информации F размера, которая представляет собой характеристическую информацию, относящуюся к выходному блоку 55, который представляет собой устройство дисплея. Кроме того, модуль 73 обработки изображения устанавливает критерий степени z₁ увеличения масштаба изображения, который представляет собой степень z увеличения в случае, в котором информацию инструкции не предоставляют из входного блока 56 (фиг.11). Обработка переходит на этап S52.

Здесь, в случае, когда информация D протяженности снятого изображения равна или больше, чем информация F размера, критерий степени z₁ увеличения масштаба изображения установлен равным единице. В случае когда информация D протяженности снятого изображения меньше, чем информация F размера, критерий степени z₁ увеличения масштаба изображения устанавливают как максимальную степень увеличения масштаба изображения, равную D/F.

На этапе S52 модуль 73 обработки изображения определяет, была ли или нет передана информация инструкции для инструкции об изменении размеров из входного блока 56.

На этапе S52, когда определяют, что информация инструкции не была передана из входного блока 56 в модуль 73 обработки изображения, обработка переходит на этап S53. Модуль 73 обработки изображения устанавливает степень z увеличения масштаба отображаемого изображения так, чтобы это она стало критерием степени увеличения z₁ масштаба изображения. Обработка переходит на этап S57.

Кроме того, на этапе S52, когда определяют, что информация инструкции была передана из входного блока 56 в модуль 73 обработки изображения, обработка переходит на этап S54. Модуль 73 обработки изображения определяет, равна ли или нет степень увеличения масштаба изображения (ниже также называется степенью увеличения А масштаба изображения в соответствии с инструкцией), которая определена в информации инструкции, подаваемой из входного блока 56, максимальной степени увеличения масштаба изображения, составляющей D/F.

На этапе S54, когда определяют, что степень А увеличения при изменении размеров в соответствии с инструкцией равна или меньше, чем максимальная степень увеличения D/F масштаба изображения, обработка переходит на этап S55. Модуль 73 обработки изображения устанавливает степень z увеличения масштаба отображаемого изображения, которая представляет собой степень увеличения А масштаба изображения в соответствии с инструкцией. Обработка переходит на этап S57.

Кроме того, на этапе S54, когда определяют, что степень А увеличения масштаба изображения в соответствии с инструкцией не равна или меньше, чем степень увеличения масштаба изображения D/F, то есть, когда в инструкции указана степень увеличения масштаба изображения, при которой объект съемки изображения отображают с размером, большим, чем размер объекта съемки изображения в реальном мире, и, которая превышает максимальную степень увеличения масштаба изображения, равную D/F, обработка переходит на этап S56. Модуль 73 обработки изображения устанавливает степень z увеличения масштаба изображения как максимальную степень увеличения масштаба изображения, равную D/F. Обработка переходит на этап S57.

На этапе S57 модуль 73 обработки изображения увеличивает изображение, сохраненное как данные материала, в буфере 71, только путем изменения степени z увеличения масштаба изображения, генерируя, таким образом, увеличенное изображение как выходные данные. Модуль 73 обработки изображения подает увеличенное изображение в выходной блок 55 (фиг.11), который представляет собой устройство дисплея.

Затем, в выходном блоке 55, который представляет собой устройство дисплея, отображают увеличенное изображение, которое представляет собой выходные данные, переданные из модуля 73 обработки изображения. Таким образом, как описано со ссылкой на фиг.13, объект съемки изображения отображают с размером, который составляет F/D размера объекта съемки изображения в реальном мире.

В соответствии с этим, когда информация инструкции не была подана из входного блока 56 в модуль 73 обработки изображения, то есть когда пользователь не выполнил операцию предоставления инструкции на изменение масштаба изображения, объект съемки изображения отображают в выходном блоке 55, который представляет собой устройство дисплея, с размером (z(=D/F)×F/D), то есть равным размеру объекта съемки изображения в реальном мире или с размером (z(=1)×F/D), то есть с размером F/D размера объекта съемки изображения в реальном мире.

Другими словами, в случае, когда информация D протяженности съемки изображения меньше, чем информация F размера, как описано выше, критерий степени z₁ увеличения масштаба отображаемого изображения, и, поэтому, степень z увеличения отображаемого изображения установлены как максимальная степень увеличения масштаба изображения, составляющая D/F. Таким образом, объект съемки изображения отображают с размером, который составляет D/F×F/D размера объекта съемки изображения в реальном мире, то есть с размером, который равен размеру объекта съемки изображения в реальном мире.

Кроме того, в случае, когда информация D протяженности съемки изображения равна или больше, чем информация F размера, как описано выше, критерий степени z₁ увеличения масштаба изображения, и, поэтому, степень z увеличения масштаба отображаемого изображения установлены равными единице. Таким образом, объект съемки изображения отображают с размером, который составляет F/D (≤1) размера объекта съемки изображения в реальном мире.

В отличие от этого, когда была подана информация инструкции из входного блока 56 в модуль 73 обработки изображения, то есть когда пользователь выполнил операцию подачи инструкции масштаба изображения для масштаба изображения, используя инструкцию степени А увеличения масштаба изображения, в случае, когда степень А увеличения масштаба изображения в соответствии с инструкцией равна или меньше, чем максимальная степень увеличения масштаба изображения, составляющая D/F, объект съемки изображения отображают с размером (z(=А)×F/D), то есть F/D×А размера объекта съемки изображения в реальном мире. В случае когда степень А увеличения масштаба изображения в соответствии с инструкцией не равна или меньше, чем максимальная степень увеличения масштаба изображения, составляющая D/F, объект съемки изображения отображают с размером (z(=D/F)×F/D), который равен размеру объекта съемки изображения в реальном мире.

Другими словами, в случае, когда степень А увеличения масштаба изображения в соответствии с инструкцией равна или меньше, чем максимальная степень увеличения масштаба изображения, составляющая D/F, как описано выше, степень z увеличения отображаемого масштаба изображения установлена как степень А увеличения масштаба изображения в соответствии с инструкцией. Таким образом, объект съемки изображения отображают с размером, который составляет А (≤D/F)×F/D размера объекта съемки изображения в реальном мире.

Кроме того, в случае когда степень А увеличения масштаба изображения в соответствии с инструкцией не равна или меньше, чем максимальная степень увеличения масштаба изображения, составляющая D/F, как описано выше, степень z масштаба отображаемого изображения установлена как максимальная степень увеличения масштаба изображения, составляющая D/F. Таким образом, объект съемки изображения отображают с размером, который составляет D/F×F/D раз размера объекта съемки изображения в реальном мире, то есть с размером, который равен размеру объекта съемки изображения в реальном мире.

В любом случае, объект съемки изображения отображают с размером, который равен или меньше, чем размер объекта съемки изображения в реальном мире.

Следует отметить, что процесс, выполняемый в реальном режиме, показанный на фиг.17, выполняют, например, для каждого кадра (или поля).

Кроме того, процесс, выполняемый в реальном режиме, показанный на фиг.17, может быть выполнен только для случая, в котором объект съемки изображения отображают с размером, который превышает размер объекта съемки изображения в реальном мире.

Другими словами, процесс в реальном режиме может быть выполнен, например, для случая, в котором пользователь, который выполнил поиск объекта съемки изображения, отображаемого с размером, который превышает размер объекта съемки изображения в реальном мире, выполняет операции с входным блоком 56 для подачи инструкции на улучшение отображения.

На фиг.18 показаны данные (информация), которые подают в блок 54 генерирования, когда устройство 12 приема выполняет процесс в режиме развлечений.

В процессе режима развлечений данные материала и информацию эффекта, которая включена в дополнительную информацию, передают из блока 53 разделения в блок 54 генерирования.

Кроме того, в процессе в режиме развлечений, когда пользователь выполняет операции с входным блоком 56 для подачи инструкции на обработку данных материала, информацию инструкции, соответствующую операции, передают из входного блока 56 в блок 54 генерирования.

Затем, в процессе в режиме развлечений, блок 54 генерирования подвергает данные материала, которые были переданы из блока 53 разделения, обработке на основе информации эффекта, передаваемой из блока 53 разделения, или информации инструкции, передаваемой из входного блока 56, генерируя, таким образом, выходные данные.

Другими словами, когда информацию инструкции не передают из входного блока 56 в блок 54 генерирования, блок 54 генерирования подвергает данные материала, которые были переданы из блока 53 разделения, обработке на основе информации эффекта, подаваемой из блока 53 разделения, генерируя, таким образом, выходные данные.

Кроме того, когда информацию инструкцию подают из входного блока 56 в блок 54 генерирования, блок 54 генерирования подвергает данные материала, которые были переданы из блока 53 разделения, обработке на основе информации инструкции, генерируя, таким образом, выходные данные.

Далее, например, на основе предположения, что выходной блок 55 представляет собой устройство дисплея, и выходные данные представляют собой изображение, предназначенное для отображения в выходном блоке 55, который представляет собой устройство дисплея, будет описан процесс в режиме развлечений.

На фиг.19 иллюстрируется пример конфигурации блока 54 генерирования в случае, когда устройство 12 приема выполняет процесс в режиме развлечений.

Здесь предполагается, что информация переключения, информация отображения кадра изображения и данные, используемые для комбинирования, которые описаны со ссылкой на фиг.3-6, включены в информацию эффекта. Предполагается, что N потоков изображений S №1 - S № N существуют как части данных материала.

На фиг.20 блок 54 генерирования включает в себя BF (буфер) 81 данных изображения, модуль 82 анализа дополнительной информации, буфер 83 данных, предназначенных для комбинирования, и модуль 84 обработки изображения.

N потоков изображений S №1 - S № N, которые представляют собой части данных материала, передают из блока 53 разделения (фиг.18) в буфер 81 данных изображения. Буфер 81 данных изображения сохраняет эти N потоков изображений S №1 - S № N, которые представляют собой части данных материала, переданные из блока 53 разделения.

Информацию эффекта, включенную в дополнительную информацию, передают из блока 53 разделения в модуль 82 анализа дополнительной информации.

Модуль 82 анализа дополнительной информации анализирует информацию эффекта, которая была передана из блока 53 разделения, для выделения, например, информации переключения, информации кадра отображаемого изображения и данных, используемых для комбинирования, которые были включены в информацию эффекта.

Кроме того, модуль 82 анализа дополнительной информации выделяет данные, предназначенные для комбинирования, которые должны быть скомбинированы с частями данных материала, и информацией времени, которая обозначает моменты времени, в которые выполняют комбинирование, из данных, используемых для комбинирования.

Затем модуль 82 анализа дополнительной информации передает данные, предназначенные для комбинирования, в буфер 83 данных, предназначенных для комбинирования. Кроме того, модуль 82 анализа дополнительной информации передает информацию переключения, информацию кадра отображаемого изображения и информацию времени в модуль 84 обработки изображения.

Здесь информация переключения, информация кадра отображаемого изображения и информация времени, которую модуль 82 анализа дополнительной информации передает в модуль 84 обработки изображения, то есть информация переключения, информация кадра отображаемого изображения и информация времени, которые включены в информацию эффекта, совместно называются принятой по умолчанию информацией.

В буфере 83 данных, предназначенных для комбинирования, сохраняют данные, предназначенные для комбинирования, подаваемые из модуля 82 анализа дополнительной информации.

Принятую по умолчанию информацию передают из модуля 82 анализа дополнительной информации в модуль 84 обработки изображения, как описано выше. Кроме того, N потоков изображений S №1 - S № N, которые представляют собой части данных материала, сохраненные в буфере 81 данных изображения, подают в модуль 84 обработки изображения. Кроме того, данные, предназначенные для комбинирования, сохраненные в буфере 83 данных, предназначенных для комбинирования, подают в модуль 84 обработки изображения.

Кроме того, когда пользователь выполняет операции с входным блоком 56 (фиг.18) для предоставления инструкции для обработки частей данных материала и т.д., информацию инструкции, соответствующую операции, подают из входного блока 56 в модуль 84 обработки изображения.

Здесь, пользователь выполняет операции с входным блоком 56, в результате чего пользователь может предоставлять инструкцию (ниже также называется инструкцией PTZ (панорамная съемка, съемка с наклоном и съемка с изменением масштаба изображения)), в соответствии с которой камера, снимающая изображение, отображаемое в выходном блоке 55 (фиг.18), который представляет собой устройство дисплея, работает так, как если бы с камерой выполняли операции панорамной съемки, операции съемки под наклоном или операции съемки с изменением масштаба.

Кроме того, пользователь выполняет операции с входным блоком 56, в результате чего пользователь может предоставлять инструкции (ниже также называется инструкцией переключения), для переключения изображения, отображаемого в выходном блоке 55, который представляет собой устройство дисплея, из одного потока изображений S № i в другой поток изображений S № i' среди N потоков изображений S №1 - S № N, которые представляют собой части данных материала.

Кроме того, пользователь выполняет операции с входным блоком 56, в результате чего пользователь может предоставлять инструкции (ниже также называется инструкцией комбинирования), для комбинирования (наложения) данных, предназначенных для комбинирования с (на) изображением, отображаемым в выходном блоке 55, то есть в устройстве дисплея.

Когда пользователь предоставляет инструкцию PTZ, выполняя операции с входным блоком 56, область отображения (фиг.5) перемещается, или размер области отображения изменяется в соответствии с инструкцией PTZ. Входной блок 56 генерирует информацию кадра отображаемого изображения, в соответствии с которой устанавливают область отображения, и передает информацию инструкции, включающую в себя информацию кадра отображаемого изображения, в модуль 84 обработки изображения.

Кроме того, когда пользователь предоставляет инструкцию переключения, выполняя операцию с входным блоком 56, входной блок 56 генерирует информацию переключения (фиг.4) в соответствии с инструкцией переключения, и подает информацию инструкции, включающую в себя информацию переключения, в модуль 84 обработки изображения.

Кроме того, когда пользователь представляет инструкцию комбинирования, выполняя операцию с входным блоком 56, входной блок 56 генерирует информацию выбора для выбора данных, предназначенных для комбинирования, которые должны быть скомбинированы с частями данных материала, в соответствии с инструкцией комбинирования, и передает информацию инструкции, включающую в себя информацию выбора, в модуль 84 обработки изображения.

Модуль 84 обработки изображения подвергает обработке части данных материала, которые сохранены в буфере 81 данных изображения, используя данные, предназначенные для комбинирования, которые сохраняют в буфере 83 данных, предназначенных для комбинирования, на основе принятой по умолчанию информации, передаваемой из модуля 82 анализа дополнительной информации, или информации инструкции, передаваемой из входного модуля 56, в соответствии с необходимостью, генерируя, таким образом, изображение, которое представляет собой выходные данные. Модуль 84 обработки изображения передает изображение в выходной блок 55 (фиг.18), который представляет собой устройство дисплея.

Другими словами, когда информацию инструкции не передают из входного блока 56 в модуль 84 обработки изображения, модуль 84 обработки изображения подвергает обработке части данных материала, которые сохраняют в буфере 81 данных изображения, на основе принятой по умолчанию информации, передаваемой из модуля 82 анализа дополнительной информации, генерируя, таким образом, изображение, которое представляет собой выходные данные.

В частности, например, модуль 84 обработки изображения выбирает в качестве изображения (ниже также называется изображением, используемым для выхода), которое используют как выходные данные, один поток изображений среди N потоков изображений S №1 - S № N, которые представляют собой части данных материала, сохраненные в буфере 81 данных изображения, на основе информации переключения, включенной в принятую по умолчанию информацию.

Кроме того, например, модуль 84 обработки изображения выделяет изображение, соответствующее области отображения, обозначенной информацией кадра отображаемого изображения среди изображения, используемого для выхода, на основе информации кадра отображаемого изображения, включенной в принятую по умолчанию информацию.

Кроме того, например, модуль 84 обработки изображения комбинирует данные, предназначенные для комбинирования, которые сохраняют в буфере 83 данных, предназначенных для комбинирования, с изображением, соответствующим области отображения, на основе информации времени, включенной в принятую по умолчанию информацию. Следует отметить, что здесь, когда множество частей данных, предназначенных для комбинирования, сохраняют в буфере 83 данных, предназначенных для комбинирования, предполагается, что информация, относящаяся к тому, какая часть данных, предназначенных для комбинирования, среди множества частей данных, предназначенных для комбинирования, будет скомбинирована с изображением, соответствующим области отображения, включена в информацию времени, включенную в принятую по умолчанию информацию.

Как описано выше, когда информацию инструкции не подают из входного блока 56 в модуль 84 обработки изображения, данные материала обрабатывают в модуле 84 обработки изображения на основе принятой по умолчанию информации, передаваемой из модуля 82 анализа дополнительной информации, то есть (информации переключения, информации кадра отображаемого изображения и информации времени, включенной в) информации эффекта, генерируемой устройством 32 редактирования (фиг.2) устройства 11 передачи. Таким образом, отображают изображение, которое получают путем редактирования, выполняемого на основе операции с устройством 32 редактирования продюсером программы, в выходном блоке 55, который представляет собой устройство дисплея.

В отличие от этого, когда информацию инструкции подают из входного блока 56 в модуль 84 обработки изображения, модуль 84 обработки изображения подвергает части данных материала, которые сохраняют в буфере 81 данных изображения, обработке на основе информации инструкции, генерируя, таким образом, изображение, которое представляет собой выходные данные.

В частности, например, когда информация переключения включена в информацию инструкции, модуль 84 обработки изображения выбирает как изображение, используемое для выхода, один поток изображений среди N потоков изображений S №1 - S № N, которые представляют собой части данных материала, сохраненные в буфере 81 данных изображения, на основе информации переключения, включенной в информацию инструкции вместо информации переключения, включенной в принятую по умолчанию информацию.

Кроме того, например, когда информация кадра отображаемого изображения включена в информацию инструкции, модуль 84 обработки изображения выделяет изображение, соответствующее области отображения, обозначенной информацией кадра отображаемого изображения, из изображения, используемого для вывода, на основе информации кадра отображаемого изображения, включенной в информацию инструкции, вместо информации кадра отображаемого изображения, включенной в принятую по умолчанию информацию.

Кроме того, например, когда информация выбора включена в информацию инструкции, модуль 84 обработки изображения выбирает часть данных, предназначенных для комбинирования, которые должны быть скомбинированы с изображением, соответствующим области отображения, среди частей данных, предназначенных для комбинирования, которые сохранены в буфере 83 данных, предназначенных для комбинирования, в соответствии с информацией выбора, включенной в информацию инструкции, вместо информации времени, включенной в принятую по умолчанию информацию. Модуль 84 обработки изображения комбинирует часть данных, предназначенных для комбинирования, с изображением, соответствующим области отображения.

Следует отметить, что, в случае выбора данных, предназначенных для комбинирования, используя информацию времени или информацию выбора, может быть выбрано множество частей данных, предназначенных для комбинирования (таких как множество субтитров, или один субтитр и одно изображение PinP).

Кроме того, информация выбора может обозначать, что не требуется выбирать никакие данные, предназначенные для комбинирования. В случае когда информация выбора обозначает, что данные, предназначенные для комбинирования, не требуется выбирать, даже когда информация времени, включенная в принятую по умолчанию информацию, обозначает, что определенные данные, предназначенные для комбинирования, должны быть скомбинированы с изображением, соответствующим области отображения, комбинирование данных, предназначенных для комбинирования, не выполняют в модуле 84 обработки изображения.

Как описано выше, когда информацию инструкции подают из входного блока 56 в модуль 84 обработки изображения, модуль 84 обработки изображения подвергает части данных материала, которые сохранены в буфере 81 данных изображения, обработке на основе информации инструкции, вместо принятой по умолчанию информации, генерируя таким образом изображение, которое представляет собой выходные данные.

Следует отметить, что, когда выполняют остановку подачи информации инструкции после подачи информации инструкции из входного блока 56 в модуль 84 обработки изображения, модуль 84 обработки изображения подвергает части данных материала, сохраненные в буфер 81 данных изображения, обработке на основе принятой по умолчанию информации, генерируя, таким образом, изображение, которое представляет собой выходные данные.

В соответствии с этим, например, в случае, в котором информация времени обозначает, что субтитры, используемые как определенные данные, предназначенные для комбинирования, должны быть скомбинированы с изображением, соответствующим области отображения, когда пользователь выполняет операции с входным блоком 56 для того, чтобы выключить (не выполнять) комбинирование данных, предназначенных для комбинирования, субтитры не отображают в соответствии с операцией, которую выполняют для входного блока 56.

Затем, после того, когда пользователь выполняет операции с входным блоком 56 для отмены отключения комбинирования данных, предназначенных для комбинирования, субтитры комбинируют с изображением, соответствующим области отображения, в соответствии с информацией времени, включенной в принятую по умолчанию информацию, и отображают.

Следует отметить, что в блоке 54 генерирования, показанном на фиг.19, информация реального времени может быть передана из блока 53 разделения в модуль 84 обработки изображения. Кроме того, характеристическая информация может быть подана из выходного блока 55 в модуль 84 обработки изображения. В модуле 84 обработки изображения может быть дополнительно выполнен процесс в реальном режиме, как в модуле 73 обработки изображения, показанном на фиг.12.

Другими словами, когда информацию инструкции не подают из входного блока 56 в модуль 84 обработки изображения, в модуле 84 обработки изображения может быть выполнена обработка в этапах S51, S53 и S57, включенная в процесс реального режима, показанный на фиг.17. В этом случае в модуле 84 обработки изображения изображение, которое представляет собой выходные данные, генерируют таким образом, что размер (физическое количество) объекта съемки изображения, распознаваемого для отображения на (вывода в) выходном блоке 55, который представляет собой устройство дисплея, будет идентифицирован как имеющий размер (размер объекта съемки изображения реального мира), обозначенный информацией D протяженности съемки изображения, включенной в информацию реального мира.

Затем, на фиг.20 иллюстрируется пример конфигурации модуля 84 обработки изображения, показанного на фиг.19.

На фиг.20 модуль 84 обработки изображения включает в себя часть 91 выбора изображения, часть 92 выбора инструкции, часть 93 выбора области отображения, часть 94 логического вентиля и часть 95 обработки наложения.

N потоков изображений S №1 - S № N, которые представляют собой части данных материала, сохраненные в буфере 81 данных изображения, подают в часть 91 выбора изображения.

Кроме того, принятую по умолчанию информацию подают из модуля 82 анализа дополнительной информации (фиг.19) в часть 92 выбора инструкции. Кроме того, информацию инструкции подают из входного блока 56 (фиг.18) в часть 92 выбора инструкции.

Часть 92 выбора инструкции подает информацию переключения, включенную в принятую по умолчанию информацию, которая была подана из модуля 82 анализа дополнительной информации, в часть 91 выбора изображения. Кроме того, часть 92 выбора инструкции передает информацию кадра отображаемого изображения, включенную в принятую по умолчанию информацию, в часть 93 установки области отображения.

Кроме того, часть 92 выбора инструкции генерирует, на основе информации времени, включенной в принятую по умолчанию информацию, информацию выбора, предназначенную для выбора данных, предназначенных для комбинирования, которые используются для комбинирования, в моменты времени, в которые данные, предназначенные для комбинирования, должны быть скомбинированы. Часть 92 выбора инструкции подает информацию выбора в часть 94 логического вентиля.

Однако когда информацию инструкции подают из входного блока 56 (фиг.18) в часть 92 выбора инструкции, часть 92 выбора инструкции предпочтительно выбирает информацию инструкции.

Другими словами, когда информацию инструкции подают из входного блока 56 в часть 92 выбора инструкции, и информация переключения включена в информацию инструкции, часть 92 выбора инструкции подает информацию переключения, включенную в информацию инструкции, вместо информации переключения, включенной в принятую по умолчанию информацию, в часть 91 выбора изображения.

Кроме того, когда информацию инструкции подают из входного блока 56 в часть 92 выбора инструкции, и информация кадра отображаемого изображения включена в информацию инструкции, часть 92 выбора инструкции подает информацию кадра отображаемого изображения, включенную в информацию инструкции, вместо информации кадра отображаемого изображения, включенного в принятую по умолчанию информацию, в часть 93 установки области отображения.

Кроме того, когда информацию инструкции подают из входного блока 56 в часть 92 выбора инструкции, и информация выбора включена в информацию инструкции, часть 92 выбора инструкции подает информацию выбора, включенную в информацию инструкции вместо информации выбора, генерируемой из информации времени, включенной в принятую по умолчанию информацию, в часть 94 логического вентиля.

Часть 91 выбора изображения выбирает, как изображение, используемое для выхода, на основе информации переключения, переданной из части 92 выбора инструкции, один поток изображений среди N потоков изображений S №1 - S № N, которые представляют собой части данных материала, передаваемые из буфера 81 данных изображения. Часть 91 выбора изображения выводит изображение, используемое для вывода, в часть 93 установки в области отображения.

Часть 93 установки в области отображения выделяет изображение, соответствующее области отображения, обозначенной информацией кадра отображаемого изображения, которая была передана из части 92 выбора инструкции, среди изображений, используемых для выхода, которое было подано из части 91 выбора изображения. Часть 93 установки области отображения подает изображение, соответствующее области отображения, в часть 95 обработки наложения.

В то же время, информацию выбора подают из части 92 выбора инструкции в часть 94 логического вентиля, как описано выше. Кроме того, части данных, предназначенных для комбинирования, сохраненные в буфере 83 данных, предназначенных для комбинирования, подают в часть 94 логического вентиля.

Часть 94 логического вентиля выбирает ноль или больше частей данных, предназначенных для комбинирования, среди частей данных, предназначенных для комбинирования, которые сохранены в буфере 83 данных, предназначенных для комбинирования, в соответствии с информацией выбора, подаваемой из части 92 выбора инструкции. Часть 94 логического вентиля подает выбранные части данных, предназначенных для комбинирования, в часть 95 обработки наложения.

Часть 95 обработки наложения комбинирует (накладывает) ноль или больше частей данных, предназначенных для комбинирования, которые были переданы из части 94 логического вентиля, с (на) изображением, соответствующим области отображения, которая была передана из части 93 установки области отображения. Часть 95 обработки наложения подает комбинированное изображение как выходные данные в выходной блок 55 (фиг.18).

Следует отметить, что, когда подают ноль частей данных, предназначенных для комбинирования, то есть когда не подают данные, предназначенные для комбинирования, из части 94 логического вентиля в часть 95 обработки наложения, часть 95 обработки наложения передает изображение, соответствующее области отображения, которое было передано из части 93 установки области отображения, как выходные данные, в выходной блок 55, без выполнения какой-либо обработки для изображения, соответствующего области отображения.

Затем на фиг.21 иллюстрируется пример другой конфигурации устройства 12 приема, показанного на фиг.1.

Следует отметить, что на чертеже элементы, соответствующие показанным на фиг.9, обозначены теми же номерами ссылочных позиций, и поэтому ниже их описание, соответствующим образом, исключено.

Как показано на фиг.2, в устройстве 11 передачи различные типы датчиков, такие как камера, которая определяет свет и выводит изображение, датчик температуры, который измеряет температуру, датчик влажности, который определяет влажность, датчик скорости потока воздуха, который определяет скорость потока воздуха, датчик вибрации, который определяет вибрацию, и датчик яркости, который определяет яркость, можно использовать как блок 31 датчика.

Когда, например, камера, датчик температуры, датчик влажности и датчик вибрации используют как блок 31 датчика в устройстве 11 передачи, каждая из части данных, соответствующих изображению, полученному камерой, части данных, относящихся к температуре, полученной датчиком температуры, части данных, относящихся к влажности, полученных датчиком влажности, и части данных, относящихся к вибрации, полученных датчиком вибрации, передают вместе с соответствующими одними из частей дополнительной информации.

В этом случае блок 53 разделения устройства 12 приема разделяет данные, которые подают из блока 52 декодирования индивидуально на часть данных, относящихся к изображению, часть данных, относящуюся к температуре, часть данных, относящуюся к влажности, и часть данных, относящуюся к вибрации, которые представляют собой части данных материала, и части дополнительной информации, соответствующей отдельным частям данных материала, как показано на фиг.21.

Затем блок 53 разделения передает часть данных, относящихся к изображению, которая представляет собой часть данных материала, и соответствующую часть дополнительной информации в блок 54 генерирования.

Кроме того, блок 53 разделения подает часть данных, соответствующих температуре, и часть данных, относящуюся к влажности, которые представляют собой части данных материала, и соответствующие части дополнительной информации в блок 101 генерирования. Кроме того, блок 53 разделения подает часть данных, относящихся к вибрации, которые представляют собой часть данных материала, и соответствующую часть дополнительной информации в блок 111 генерирования.

Как описано выше, блок 54 генерирования обрабатывает на основе части данных, соответствующих изображению, которое представляет собой часть данных материала, передаваемых из блока 53 разделения, и части дополнительной информации или части информации инструкции, которая была передана из входного блока 56, часть данных материала, генерируя, таким образом, изображение, которое представляет собой часть выходных данных. Блок 54 генерирования подает часть выходных данных в выходной блок 55.

Выходной блок 55 представляет собой, например, устройство дисплея, как описано выше, и выполняет (формирует) отображение (вывод) изображения на основе части выходных данных, подаваемых из блока 54 генерирования.

В то же время, часть данных, относящаяся к температуре, и часть данных, относящая к влажности, которые представляют собой части данных материала, и соответствующие части дополнительной информации, подают из блока 53 разделения в блок 101 генерирования. Кроме того, часть информации инструкции передают из входного блока 103, которым оперирует пользователь, как и в случае входного блока 56, в блок 101 генерирования.

Блок 101 генерирования обрабатывает на основе части данных, относящихся к температуре, и части данных, относящихся к влажности, которые представляют собой части данных материала, передаваемых из блока 53 разделения, и части дополнительной информации или части информации инструкции, которая была передана из входного блока 103, части данных материала, генерируя, таким образом, часть выходных данных. Блок 101 генерирования передает часть выходных данных в выходной блок 102.

Другими словами, выходной блок 102 представляет собой, например, устройство кондиционирования воздуха, такое как кондиционер воздуха. Блок 101 генерирования обрабатывает часть данных, относящихся к температуре, и часть данных, относящихся к влажности, генерируя, таким образом, часть информации управления кондиционированием воздуха, для управления выходным блоком 102, то есть устройством кондиционирования воздуха. Блок 101 генерирования выводит часть информации управления кондиционированием воздуха как часть выходных данных в выходной блок 102.

Выходной блок 102 выводит поток воздуха (воздух), имеющий направление потока воздуха, температуру, скорость потока воздуха, влажность и т.д., которые регулируют на основе части информации управления кондиционированием воздуха, которая представляет собой часть выходных данных, подаваемых из блока 101 генерирования.

Кроме того, часть данных, относящихся к вибрации, которая представляет собой часть данных материала, и соответствующую часть дополнительной информации подают из блока 53 разделения в блок 111 генерирования. Кроме того, часть информации инструкции подают из входного блока 113, операции с которым выполняет пользователь, как в случае входного блока 56, в блок 111 генерирования.

Блок 111 генерирования обрабатывает, на основе части данных, относящихся к вибрации, которая представляет собой часть данных материала, подаваемых из блока 53 разделения, и части дополнительной информации или части информации инструкции, которая была передана из входного блока 113, часть данных материала, генерируя, таким образом, часть выходных данных. Блок 111 генерирования подает часть выходных данных в выходной блок 112.

Другими словами, выходной блок 112 представляет собой, например, стул или встряхивающее устройство, которое встряхивает (вибрирует) выходной блок 55, который представляет собой устройство дисплея. Блок 111 генерирования обрабатывает часть данных, относящуюся к вибрации, генерируя, таким образом, часть информации вибрации для управления выходным блоком 112, который представляет собой встряхивающее устройство. Блок 111 генерирования выводит часть информации вибрации как часть выходных данных в выходной блок 112.

Выходной блок 112 встряхивает стул или тому подобное на основе части информации вибрации, которая представляет собой часть выходных данных, подаваемых из блока 111 генерирования.

Кроме того, например, устройство 11 передачи может передавать как часть данных материала часть данных, относящуюся к яркости, получаемой датчиком яркости, который определяет яркость, вместе с соответствующей частью дополнительной информации. В этом случае, устройство 12 приема может регулировать, на основе части выходных данных, которые генерируют из части данных материала, и части дополнительной информации, например, освещение, обеспечиваемое устройством освещения, предусмотренным в помещении, в котором размещено устройство 12 приема.

Кроме того, например, устройство 11 передачи может передавать как часть данных материала часть данных, относящуюся к скорости потока воздуха, полученной датчиком скорости потока воздуха, который определяет скорость потока воздуха, вместе с соответствующей частью дополнительной информации. В этом случае, устройство 12 приема может регулировать, на основе части выходных данных, которые генерируют из части данных материала, и части дополнительной информации, скорость потока воздуха для потока воздуха, выводимого выходным блоком 102, который представляет собой устройство кондиционирования воздуха.

Как описано выше, устройство 11 передачи передает части данных материала, относящихся к изображению, температуре, влажности, скорости потока воздуха, вибрации, яркости и т.д., получаемые блоком 31 датчика, вместе с соответствующими частями дополнительной информации. Устройство 12 приема генерирует части выходных данных на основе частей данных материала и частей дополнительной информации. Устройство дисплея, устройство кондиционирования воздуха, устройство встряхивания, устройство освещения и т.д., которые формируют выход, получают этот выход на основе частей выходных данных, в результате чего реалистично воспроизводится ландшафт в окружающей среде, где части данных материала были получены с помощью блока 31 датчика, температура, скорость потока воздуха, влажность, вибрация, яркость и т.д., таким образом, что у пользователя может появиться чувство реальности.

Затем последовательность описанной выше обработки также может быть выполнена с использованием аппаратных средств и также может быть выполнена с помощью программных средств. В случае когда последовательность обработки выполняют с помощью программных средств, программа, конфигурирующая программное обеспечение, установлена в компьютере общего назначения или тому подобное.

Таким образом, на фиг.22 иллюстрируется пример конфигурации варианта выполнения компьютера, в котором установлена программа, которая выполняет описанную выше последовательность обработки.

Программа может быть записана заранее на жесткий диск 205 или в ПЗУ 203, используемые как носитель записи, установленный в компьютер.

В качестве альтернативы, программа может быть временно или постоянно сохранена (записана) на съемный носитель 211 записи, такой как гибкий диск, CD-ROM (постоянное запоминающее устройство на компакт-диске), МО (магнитооптический) диск, DVD (цифровой универсальный диск), магнитный диск или полупроводниковое запоминающее устройство. Съемный носитель 211 записи такого типа может быть предусмотрен как, так называемое, пакетное программное обеспечение.

Следует отметить, что программу устанавливают в компьютер со съемного носителя 211 записи, как описано выше. В других случаях, программа может быть передана в компьютер с сайта загрузки, через искусственный спутник для цифрового спутникового широковещания, по беспроводному каналу или может быть передана в компьютер через сеть, такую как LAN (ЛВС, локальная вычислительная сеть) или Интернет, по кабелю. В компьютере программа, переданная таким образом, может быть принята модулем 208 передачи данных и установлена на жесткий диск 205, встроенный в него.

В компьютер встроено ЦПУ (центральное процессорное устройство) 202. ЦПУ 202 соединено с интерфейсом 210 ввода/вывода через шину 201. Когда пользователь вводит инструкцию в ЦПУ 202 через интерфейс 210 ввода/вывода, выполняя операции со входным модулем 207, который выполнен на основе клавиатуры, мыши, микрофона или тому подобное, ЦПУ 202 выполняет программу, сохраненную в ПЗУ (постоянное запоминающее устройство) 203 в соответствии с инструкцией. В качестве альтернативы, ЦПУ 202 загружает в ОЗУ (оперативное запоминающее устройство) 204 программу, сохраненную на жестком диске 205, программу, переданную через спутник или сеть, которую принимает модуль 208 передачи данных и которая установлена на жесткий диск 205, или программу, которую считывают со съемного носителя 211 записи, установленного в привод 209, и которая установлена на жесткий диск 205. ЦПУ 202 выполняет эту программу. Таким образом, ЦПУ 202 выполняет обработку в соответствии с блок-схемами последовательности операций, описанными выше, или обработку, выполняемую с использованием конфигураций, представленных на описанных выше блок-схемах. Затем, в соответствии с необходимостью, например, через интерфейс 210 ввода/вывода, ЦПУ 202 выводит результат обработки из выходного модуля 206, который выполнен с использованием LCD (ЖКД, жидкокристаллического дисплея), громкоговорителя или тому подобное, или передает результат из модуля 208 передачи данных, и т.п., дополнительно, обеспечивая запись результата на жесткий диск 205.

Здесь, в настоящем описании, этапы обработки, описывающие программу, обеспечивающую выполнение компьютером различной обработки, не обязательно могут обрабатываться в хронологическом порядке, описанном как блок-схемы последовательности операций, и включают в себя обработку, выполняемую параллельно или по отдельности (например, параллельную обработку или объектно-ориентированную обработку).

Кроме того, программа может быть обработана с использованием одного компьютера или может быть подвергнута распределенной обработке с использованием множества компьютеров. Кроме того, программа может быть передана в удаленный компьютер и выполнена на нем.

Как описано выше, в системе широковещания, показанной на фиг.1, устройство 11 передачи передает данные материала, получаемые блоком 31 датчика, и соответствующую дополнительную информацию. Поскольку устройство 12 приема генерирует выходные данные на основе данных материала и дополнительной информации и формирует выход на основе выходных данных, соответствующая обработка может быть выполнена на стороне устройства 12 приема, что делает возможным, например, обеспечение ощущения пользователем чувства реальности или отображения изображения, пригодного для предпочтений пользователя.

Другими словами, в устройстве 12 приема может быть выполнен процесс в реальном режиме, как соответствующий процесс. Используя процесс в реальном режиме, например, объект съемки изображения отображают с размером, который больше, чем размер объекта съемки изображения в реальном мире, в результате чего можно предотвратить потерю реальности.

В частности, например, если можно так выразиться, несоответствие, такое как отображение лица человека с размером, который больше, чем фактический размер лица, устраняют таким образом, что для пользователя обеспечивается ощущение чувства реальности.

Следует отметить, что, когда устройство дисплея, имеющее большой экран дисплея (например, 100 дюймов или больше), используется как выходной блок 55 при обработке в реальном режиме, изображение может отображаться таким образом, что изображение выглядит, если можно так выразиться, как заимствованные декорации.

Кроме того, процесс в реальном режиме, в частности, полезен, например, в случае, когда изображение ландшафта или части музыкального воспроизведения, которое играет оркестр, предусмотрены как данные материала.

Другими словами, например, данные, относящиеся к изображению фактического ландшафта, выводят с помощью камеры, используя датчик, и процесс в реальном режиме выполняют для этих данных, относящихся к изображению, используя данные, относящиеся к изображению, как данные материала, в результате чего изображение деревьев, горы и т.д., которые составляют ландшафт, можно отображать с размером, который обеспечивает для пользователя ощущение просмотра ландшафта в том месте, где пользователь мог бы видеть фактический ландшафт.

Кроме того, например, данные, относящиеся к части музыкального воспроизведения, которое фактически играет оркестр, получают с помощью микрофона, используемого как датчик, и обработку в реальном режиме выполняют для данных, относящихся к музыкальной пьесе, используя данные, относящиеся к музыкальной пьесе, как данные материала, в результате чего музыкальная пьеса (звук) может быть выведена с громкостью звука, которая обеспечивает ощущение пользователем прослушивания этой музыкальной пьесы, которую исполняет оркестр, на месте совершения действия, в котором фактически исполняют данную музыкальную пьесу.

Кроме того, в устройстве 12 приема, обработка в режиме развлечений может быть выполнена как соответствующая обработка. При обработке в режиме развлечений, например, может быть отображено изображение, пригодное для предпочтений пользователя.

Другими словами, при обработке в режиме развлечений, устранение эффекта выделения, который был применен продюсером программы при редактировании и который не нужен для пользователя, может быть реализовано добавление эффекта выделения, соответствующего предпочтениям пользователя, выбор информации, деформированное отображение, и т.д.

В частности, например, при обработке в режиме развлечений, когда пользователь выполняет операции с входным блоком 56, предоставляя, таким образом, инструкции комбинирования, информацию выбора для выбора данных, предназначенных для комбинирования, которые должны быть скомбинированы с данными материала, генерируют во входном блоке 56, в соответствии с инструкцией комбинирования. В модуле 84 обработки изображения (фиг.19), выбор (или невыбор) данных, предназначенных для комбинирования, таких как субтитры (telop) или изображение PinP, которое должно быть скомбинировано с изображением, выполняют в соответствии с информацией выбора.

В соответствии с этим, пользователь, который ощущает, что количество telop или изображений PinP велико, например, что эффекты выделения с использованием telop и изображений PinP не нужны в новостной программе, выполняет операции с входным блоком 56, в результате чего пользователь может просматривать программу новостей в состоянии, в котором отсутствует telop или изображение PinP.

Кроме того, например, при обработке в режиме развлечений, когда пользователь выполняет операции с входным блоком 56, предоставляя, таким образом, инструкции PTZ, информацию кадра отображаемого изображения, для указания области отображения (фиг.5) генерируют во входном блоке 56, в соответствии с инструкцией PTZ. В модуле 84 обработки изображения (фиг.19), изображение, соответствующее области отображения, обозначенной информацией кадра отображаемого изображения, выделяют из данных материала.

В соответствии с этим, в спортивной программе или музыкальной программе, пользователь, который является поклонником определенного игрока или знаменитого человека, выполняет операции с входным блоком 56, в результате чего пользователь может просматривать изображение, которое получают, следуя за определенным игроком или знаменитым человеком.

Следует отметить, что, как описано выше, когда информацию инструкции передают из входного блока 56 в модуль 84 обработки изображения (фиг.19), модуль 84 обработки изображения предпочтительно выбирает информацию инструкции. Модуль 84 обработки изображения обрабатывает данные материала на основе информации инструкции, отображая, таким образом, изображение, соответствующее предпочтениям пользователя. Однако когда информацию инструкции не подают из входного блока 56 в модуль 84 обработки изображения, данные материала обрабатывают на основе принятой по умолчанию информации, то есть информации переключения, информации кадра отображаемого изображения и информации времени, включенной в информацию эффекта, которую генерируют с помощью устройства 32 редактирования устройства 11 передачи.

В соответствии с этим, пользователь выполняет операции с входным блоком 56, в результате чего пользователь может обеспечить отображение выходным блоком 55, который представляет собой устройство дисплея, изображения, соответствующего предпочтениям пользователя. Пользователь не выполняет операции с входным блоком 56 (пользователь выполняет операции с входным блоком 56 так, что инструкция PTZ, инструкция переключения или инструкция комбинирования, которые были предусмотрены путем ввода операций во входной блок 56, отменяются), в результате чего пользователь может обеспечивать отображение в выходном блоке 55, который представляет собой устройство дисплея, изображения, полученного в результате редактирования, которое было выполнено путем выполнений операций с устройством 32 редактирования продюсером программы.

Следует отметить, что варианты выполнения настоящего изобретения не ограничиваются описанными выше вариантами выполнения. Различные модификации могут быть выполнены без выхода за пределы сущности настоящего изобретения.

Изобретение относится к системам широковещания. Техническим результатом является возможность обеспечить отображение изображения, соответствующего предпочтениям пользователя, и дополнительных эффектов, или подобного при выполнении соответствующей обработки на стороне приема системы широковещания. Результат достигается тем, что устройство 11 передачи передает данные материала, которые получают с помощью датчика, и дополнительную информацию, которую используют для обработки данных материала в устройстве 12 приема. Устройство 12 приема принимает данные материала и дополнительную информацию и генерирует данные выхода на основе данных материала и дополнительной информации. Кроме того, устройство 12 приема формирует выход на основе данных выхода, например формирует выход, который выводится на средство выхода, такое как устройство дисплея или кондиционер воздуха. 5 н. и 16 з.п. ф-лы, 22 ил.

1. Система широковещания, содержащая устройство передачи, которое передает данные, и устройство приема, которое принимает данные, устройство передачи, включающее в себя средство передачи, предназначенное для передачи данных материала, которые получают с помощью датчика, и дополнительной информации, которую используют для обработки данных материала в устройстве приема,
устройство приема, включающее в себя
средство приема, предназначенное для приема данных материала и дополнительной информации,
средство генерирования, предназначенное для генерирования выходных данных на основе данных материала и дополнительной информации, и
средство вывода, предназначенное для формирования выхода на основе выходных данных.

2. Система широковещания по п.1,
в которой дополнительная информация включает в себя информацию реального мира, обозначающую физическую величину в реальном мире, и в которой средство генерирования генерирует выход на основе данных материала, информации реального мира и характеристической информации, обозначающей характеристики средства выхода так, что физическую величину, распознанную по выходу, полученному средством вывода, идентифицируют как физическую величину, обозначенную информацией реального мира.

3. Система широковещания по п.2,
в которой датчик представляет собой средство съемки изображения, предназначенное для съемки изображения,
в котором данные материала представляют собой изображение, снятое средством съемки изображения,
в котором средство выхода представляет собой устройство дисплея, которое отображает изображение,
в котором данные выхода представляют собой изображение, отображаемое устройством дисплея,
в котором информация реального мира включает в себя информацию протяженности снимаемого изображения, обозначающую протяженность съемки изображения в средстве съемки изображения, и
в котором характеристическая информация включает в себя информацию размера, обозначающую размер экрана отображения, на котором устройство дисплея отображает изображение.

4. Система широковещания по п.3,
в которой средство генерирования генерирует изображение как выходные данные на основе изображения, которое представляет собой данные материала, информацию протяженности снимаемого изображения, которая представляет собой информацию реального мира, и информацию размера, которая представляет собой характеристическую информацию, таким образом, что размер объекта, распознанного по изображению, отображаемому устройством дисплея, не превышает размер объекта в реальном мире.

5. Система широковещания по п.3,
в которой средство генерирования генерирует изображение, которое представляет собой выходные данные, на основе изображения, которое представляет собой данные материала, информацию о протяженности снимаемого изображения, которая представляет собой информацию реального мира, и информацию размера, которая представляет собой характеристическую информацию таким образом, что размер объекта, распознанного по изображению, отображаемому устройством дисплея, идентифицируют как размер объекта в реальном мире.

6. Система широковещания по п.2,
в которой средство передачи передает множество типов данных материала, которые получают с помощью множества типов датчиков и частей дополнительной информации, соответствующей множеству отдельных типов данных материала, и
в которой устройство приема включает в себя
средство приема,
множество типов средств генерирования для индивидуального генерирования множества типов данных выхода на основе множества типов данных материала и частей дополнительной информации, соответствующих множеству типов данных материала, и
множество типов средств выхода для получения выхода на основе множества типов данных выхода.

7. Система широковещания по п.6,
в которой один заданный тип средства выхода среди множества типов средств выхода представляет собой средство кондиционирования воздуха, в котором один заданный тип данных выхода среди множества типов данных выхода представляет собой данные, относящиеся к температуре или скорости потока воздуха, и
в котором средство кондиционирования воздуха формирует на основе данных, относящихся к температуре, или скорости потока воздуха, выход для воспроизведения температуры или скорости потока воздуха в среде, в которой множество типов данных материала были получены с использованием множества типов датчиков.

8. Система широковещания по п.1,
в которой дополнительная информация включает в себя информацию эффекта, которая представляет собой информацию, используемую для обработки данных материала, и
в которой средство генерирования генерирует данные выхода путем выполнения для данных материала обработки на основе информации эффекта.

9. Система широковещания по п.8,
в которой устройство приема дополнительно включает в себя средство ввода инструкции, предназначенное для приема инструкции обработки, предоставляемой пользователем, и
в которой средство генерирования подвергает обработке на основе информации эффекта или информации инструкции в отношении инструкции обработки, предоставляемой пользователем, данные материала, которая требуется для пользователя.

10. Система широковещания по п.9,
в которой датчик представляет собой средство съемки изображения, предназначенное для съемки изображения,
в которой данные материала представляют собой изображение, снимаемое средством съемки изображения,
в котором средство выхода представляет собой устройство дисплея, которое отображает изображение,
в котором данные выхода представляют собой изображение, отображаемое устройством дисплея,
в котором информация инструкции включает в себя информацию кадра отображаемого изображения, обозначающую область, соответствующую области, которую требуется отобразить в устройстве дисплея, изображения, которое представляет собой данные материала, и
в котором средство генерирования генерирует данные выхода путем выделения изображения, соответствующего области, обозначенной информацией кадра отображаемого изображения, из изображения, которое представляет собой данные материала.

11. Система широковещания по п.8,
в которой датчик представляет собой средство съемки изображения, предназначенное для съемки изображения,
в которой данные материала представляют собой изображение, снятое средством съемки изображения,
в котором средство вывода представляет собой устройство дисплея, которое отображает изображение,
в котором данные выхода представляют собой изображение, отображаемое устройством дисплея, и
в котором информация эффекта включает в себя данные, предназначенные для комбинирования, которые требуется скомбинировать с данными изображения, которые представляют собой данные материала, и средство генерирования генерирует данные выхода путем комбинирования на основе информации эффекта, которая должна составлять комбинированные данные, с изображением, которое представляет собой данные материала.

12. Система широковещания по п.11,
в которой данные, предназначенные для комбинирования, представляют собой данные, относящиеся к субтитрам, или данные для представления в изображении изображения других программ.

13. Система широковещания по п.8,
в которой датчик представляет собой средство съемки изображения, предназначенное для съемки изображения,
в которой данные материала представляют собой изображение, снятое средством съемки изображения,
в которой средство вывода представляет собой устройство дисплея, на котором отображается изображение,
в которой данные выхода представляют собой изображение, отображаемое в устройстве дисплея,
в которой информация эффекта включает в себя информацию кадра отображаемого изображения, включающую в себя область, соответствующую участку, который требуется отобразить на устройстве дисплея для изображения, которое представляет собой данные материала, и
в которой средство генерирования генерирует данные выхода путем выделения изображения, соответствующего области, обозначенной информацией кадра отображаемого изображения, по изображению, которое представляет собой данные материала.

14. Система широковещания по п.8,
в которой датчик представляет собой средство съемки изображения, предназначенное для съемки изображения,
в которой данные материала включают в себя части данных материала, и части данных материала представляют собой множество движущихся изображений, снятых средством съемки изображения,
в котором средство вывода представляет собой устройство дисплея, которое отображает изображение,
в котором данные выхода представляют собой изображение, отображаемое устройством дисплея,
в котором информация эффекта включает в себя информацию переключения для переключения между изображениями, отображаемыми в устройстве дисплея, путем выбора одного потока изображений среди множества движущихся изображений, которые представляют собой части данных материала, и
в котором средство генерирования генерирует данные выхода путем выбора на основе информации переключения одного движущегося изображения среди множества движущихся изображений, которые представляют собой части данных материала.

15. Система широковещания по п.9,
в которой дополнительная информация дополнительно включает в себя информацию реального мира, обозначающую физическую величину в реальном мире, и
в которой, когда пользователь не вводит инструкцию для обработки, средство генерирования генерирует выход на основе данных материала, информации о реальном мире и характеристической информации, обозначающей характеристики средства вывода таким образом, чтобы физическая величина, распознанная на выходе, сформированная средством выхода, была идентифицирована как физическая величина, обозначенная информацией реального мира.

16. Система широковещания по п.11,
в которой устройство приема дополнительно включает в себя средство ввода инструкции, предназначенное для приема инструкции обработки, которую предоставляет пользователь, и
в которой средство генерирования подвергает обработке на основе информации эффекта или информации инструкции в отношении инструкции обработки, предоставляемой пользователем, данные материала, которые требуются пользователю.

17. Система широковещания по п.16,
в которой информация эффекта включает в себя информацию моментов времени, обозначающую моменты времени, в которые выполняют комбинирование предварительно скомбинированных данных, и
в которой, когда пользователь не вводит инструкцию на обработку, средство генерирования генерирует данные выхода путем комбинирования на основе информации времени данных, предназначенных для комбинирования, с изображением, которое представляет собой данные материала.

18. Устройство передачи, которое вместе с устройством приема, которое принимает данные, составляет систему широковещания и которое передает данные, устройство передачи, содержащее
средство передачи, предназначенное для передачи данных материала, которые получают с помощью датчика, и дополнительной информации, которую используют для обработки данных материала, в устройство приема.

19. Способ передачи, предназначенный для устройства передачи, которое вместе с устройством приема, которое принимает данные, образует систему широковещания и которое передает данные, способ передачи, содержащий
этап передачи устройством передачи данных материала, получаемых с помощью датчика, и дополнительной информации, которую используют для обработки данных материала, в устройство приема.

20. Устройство приема, которое вместе с устройством передачи, которое передает данные, образует систему широковещания и которое принимает данные, устройство приема, содержащее:
в случае, когда устройство передачи передает данные материала, получаемые с помощью датчика, и дополнительную информацию, используемую для обработки данных материала с устройством приема,
средство приема, предназначенное для приема данных материала и дополнительной информации;
средство генерирования, предназначенное для генерирования данных выхода на основе данных материала и дополнительной информации; и
средство вывода, предназначенное для формирования выхода на основе данных выхода.

21. Способ приема для устройства приема, которое вместе с устройством передачи, которое передает данные, образует систему широковещания и принимает данные, способ приема, содержащий следующие этапы:
в случае, когда устройство передачи передает данные материала, которые получают с помощью датчика, и дополнительную информацию, используемую для обработки данных материала, в устройство приема, в устройстве приема
принимают данные материала и дополнительную информацию;
генерируют данные выхода на основе данных материала и дополнительной информации и
формируют выход на основе данных выхода со средством вывода, для формирования выхода.