УСТРОЙСТВО АВТОМАТИЧЕСКОГО МУЗЫКАЛЬНОГО ИСПОЛНЕНИЯ Российский патент 2015 года по МПК G06T1/00 G10K15/02 G10H1/00 

ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение относится к технологии для реализации автоматического исполнения синхронно с видео.

УРОВЕНЬ ТЕХНИКИ

[0002] Доступна технология, которая воспроизводит инструментальное исполнение, реализуемое в удаленном месте, осуществляя автоматическое исполнение с помощью устройства автоматического исполнения. Патентный документ 1 раскрывает, что в системе для передачи и приема данных исполнения, например MIDI-данных, которые должны быть использованы для автоматического исполнения, и аудио/видео сигнала, указывающего распространяемое видео и распространяемое аудио через отдельные системы передачи, аудио/видео сигнал и данные исполнения воспроизводятся синхронно в системе на принимающей стороне. Более конкретно, в случае, когда генерируется сигнал щелчка, система на передающей стороне передает сигнал щелчка в состоянии, включенном в аудиосигнал, в то время как временная метка добавляется к данным времени щелчка, указывающим время генерирования щелчка на основе внутренних часов системы на передающей стороне. Система на принимающей стороне корректирует свои внутренние часы так, что время, когда сигнал щелчка был принят, становится совпадающим со временем, указанным посредством данных времени щелчка, и осуществляет автоматическое исполнение синхронно с видео на основе скорректированных внутренних часов.

[0003] Патентный документ 1: JP-A-2005-84578

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ПРОБЛЕМА ДЛЯ РЕШЕНИЯ ИЗОБРЕТЕНИЕМ

[0004] В технологии, раскрытой в патентном документе 1, система на передающей стороне почти одновременно передает время генерирования щелчка, определенное на основе внутренних часов, и сигнал щелчка, сгенерированный независимо от внутренних часов, через отдельные системы передачи. Однако относительная задержка между сигналом щелчка и данными времени щелчка во время принятия в системе на принимающей стороне не рассматривается особым образом в технологии, раскрытой в патентном документе 1. В этой технологии сигнал щелчка и данные времени щелчка, при этом временная разница между ними находится в предварительно определенном интервале времени, согласуются друг с другом посредством предположения, что они переданы в одно и то же время; однако в случае, когда задержка связи на одном из маршрутов передачи является чрезмерно большой, например, тогда сигнал щелчка и данные времени щелчка, переданные почти одновременно, не согласуются друг с другом правильным образом, тем самым, внутренние часы в системе на принимающей стороне могут не быть скорректированы правильно в некоторых случаях.

Принимая во внимание вышеупомянутую проблему, целью настоящего изобретения является осуществление автоматического исполнения синхронно с видео, распространяемым сервером распространения движущегося изображения, в то же время подавляя влияние состояния маршрута передачи данных, проходящего через сервер распространения движущегося изображения.

СРЕДСТВО ДЛЯ РЕШЕНИЯ ЗАДАЧИ

[0005] С намерением добиться вышеупомянутой цели настоящее изобретение характеризуется тем, что предоставляется устройство автоматического исполнения из устройства вывода информации исполнения синхронно с видео, распространяемым сервером распространения движущегося изображения, для распространения видео и аудио, устройство автоматического исполнения содержит:

блок приема данных исполнения, который принимает данные исполнения, передаваемые из устройства хранения без прохождения через сервер распространения движущегося изображения, устройство хранения сконфигурировано, чтобы хранить данные исполнения, имеющие комбинацию информации исполнения и информации времени, информация исполнения выводится из информации исполнения, информация времени указывает время, когда исполнение, указанное информацией исполнения, было осуществлено, и это время измерено секцией часов устройства вывода информации исполнения;

блок приема сигнала синхронизации, который принимает сигнал синхронизации, передаваемый от устройства вывода информации исполнения, используя маршрут передачи аудиосигнала для аудио через сервер распространения движущегося изображения, сигнал синхронизации указывает время, измеренное посредством секции часов; и

блок воспроизведения, который воспроизводит информацию исполнения данных исполнения синхронно с видео, распространяемым во время, когда сигнал синхронизации распространяется, в момент времени, соответствующий времени, указанному информацией времени данных исполнения, принимаемых блоком приема данных исполнения, и времени, указанному сигналом синхронизации, принимаемым блоком приема сигнала синхронизации.

С помощью настоящего изобретения автоматическое исполнение, синхронизированное с видео, распространяемым сервером распространения движущегося изображения, может быть осуществлено, в то же время пресекая влияние состояния маршрута передачи данных, проходящего через сервер распространения движущегося изображения.

[0006] Настоящее изобретение может быть сконфигурировано следующим образом: устройство автоматического исполнения дополнительно содержит блок буферизации, сконфигурированный, чтобы буферизовать данные исполнения, принимаемые блоком приема данных исполнения, в области буферизации, и блок воспроизведения считывает информацию исполнения буферизованных данных исполнения из области буферизации и воспроизводит информацию исполнения параллельно с буферизацией посредством блока буферизации.

В настоящем изобретении, в то время как блок воспроизведения воспроизводит информацию исполнения, блок приема сигнала синхронизации принимает сигнал синхронизации в предварительно определенном цикле; если сигнал синхронизации не принят в течение предварительно определенного периода, более длительного, чем цикл, блок воспроизведения непрерывно воспроизводит информацию исполнения, а если сигнал синхронизации не принят после этого периода, воспроизведение информации исполнения может быть остановлено.

[0007] Настоящее изобретение может быть сконфигурировано следующим образом: в дополнение к информации исполнения и информации времени устройство хранения хранит идентификатор для идентификации устройства вывода информации исполнения или группу информации исполнения, выступающую в качестве группы информации исполнения, сигнал синхронизации является сигналом, указывающим идентификатор и время, когда исполнение было осуществлено, и блок воспроизведения воспроизводит информацию исполнения данных исполнения, включающих в себя идентификатор, указанный посредством сигнала синхронизации, и не воспроизводит информацию исполнения данных исполнения, включающих в себя другие идентификаторы.

[0008] Кроме того, устройство хранения может связываться с устройством вывода информации исполнения для вывода информации исполнения и устройством автоматического исполнения для воспроизведения информации исполнения синхронно с видео, распространяемым сервером распространения движущегося изображения для распространения видео и аудио, устройство хранения содержит:

блок приема данных исполнения, который принимает данные исполнения, имеющие комбинацию информации исполнения и информации времени, от устройства вывода информации исполнения каждый раз, когда информация исполнения генерируется устройством вывода информации исполнения, без прохождения через сервер распространения движущегося изображения, информация времени указывает время, когда исполнение, указанное информацией исполнения, было осуществлено,

блок хранения, который хранит данные исполнения, принятые блоком приема данных исполнения; и

блок передачи данных исполнения, который передает данные исполнения, сохраненные в блоке хранения, блоку автоматического исполнения без прохождения через сервер распространения движущегося изображения параллельно с сохранением данных исполнения, принятых блоком хранения.

С помощью настоящего изобретения автоматическое исполнение, синхронизированное с видео, распространяемым сервером распространения движущегося изображения, может быть осуществлено, в то же время пресекая влияние состояния маршрута передачи данных, проходящего через сервер распространения движущегося изображения.

[0009] Более того, устройство вывода информации исполнения может связываться с устройством хранения и устройством автоматического исполнения для воспроизведения информации исполнения синхронно с видео, распространяемым сервером распространения движущегося изображения для распространения видео и аудио, устройство вывода информации исполнения содержит:

блок генерирования информации исполнения, который генерирует информацию исполнения;

блок синхронизации, который измеряет время;

блок передачи данных исполнения, который передает данные исполнения, имеющие комбинацию информации времени и информации исполнения, устройству хранения без прохождения через сервер распространения движущегося изображения каждый раз, когда информация исполнения генерируется блоком генерирования информации исполнения, информация времени указывает время, измеренное блоком синхронизации; и

блок передачи сигнала синхронизации, который передает сигнал синхронизации, указывающий время, измеряемое блоком синхронизации, серверу распространения движущегося изображения по маршруту передачи аудиосигнала для аудио.

[0010] Кроме того, система исполнения согласно настоящему изобретению содержит:

устройство вывода информации исполнения, которое выводит информацию исполнения;

устройство хранения; и

устройство автоматического исполнения, которое воспроизводит информацию исполнения синхронно с видео, распространяемым сервером распространения движущегося изображения для распространения видео и аудио,

при этом устройство вывода информации исполнения включает в себя:

блок генерирования информации исполнения, который генерирует информацию исполнения;

блок синхронизации, который измеряет время;

первый блок передачи данных исполнения, который передает данные исполнения, имеющие комбинацию информации времени и информации исполнения, устройству хранения без прохождения через сервер распространения движущегося изображения каждый раз, когда информация исполнения генерируется блоком генерирования информации исполнения, информация времени указывает время, измеренное блоком синхронизации; и

блок передачи сигнала синхронизации, который передает сигнал синхронизации, указывающий время, измеряемое блоком синхронизации, серверу распространения движущегося изображения, используя маршрут передачи аудиосигнала для аудио;

при этом устройство хранения включает в себя:

первый блок приема данных исполнения, который принимает данные исполнения, передаваемые через первый блок передачи данных исполнения;

блок хранения, который хранит данные исполнения, принятые блоком приема данных исполнения; и

второй блок передачи данных исполнения, который передает данные исполнения, сохраненные в блоке хранения, устройству автоматического исполнения без прохождения через сервер распространения движущегося изображения параллельно с сохранением данных исполнения, принятых блоком хранения; и

при этом устройство автоматического исполнения включает в себя:

второй блок приема данных исполнения, который принимает данные исполнения, передаваемые через второй блок передачи данных исполнения;

блок приема сигнала синхронизации, который принимает сигнал синхронизации, переданный через блок передачи сигнала синхронизации от сервера распространения движущегося изображения, используя маршрут передачи; и

блок воспроизведения, который воспроизводит информацию исполнения данных исполнения синхронно с видео, распространяемым во время, когда сигнал синхронизации распространяется, в момент времени, соответствующий времени, указанному информацией времени данных исполнения, принимаемых вторым блоком приема данных исполнения, и времени, указанному сигналом синхронизации, принимаемым блоком приема сигнала синхронизации.

С помощью настоящего изобретения автоматическое исполнение, синхронизированное с видео, распространяемым сервером распространения движущегося изображения, может быть осуществлено, в то же время пресекая влияние состояния маршрута передачи данных, проходящего через сервер распространения движущегося изображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0011] Фиг. 1 - это вид, показывающий схематичную конфигурацию системы 100 исполнения;

Фиг. 2 - это блок-схема, показывающая конфигурацию системы 1 на передающей стороне;

Фиг. 3 - это блок-схема, показывающая конфигурацию аппаратного обеспечения серверного устройства 20;

Фиг. 4 - это блок-схема, показывающая конфигурацию системы 3 на принимающей стороне;

Фиг. 5 - это вид, показывающий структуру данных сигнала синхронизации;

Фиг. 6 - это вид, показывающий структуру данных группы 241 данных исполнения;

Фиг. 7 - это функциональная блок-схема, показывающая функциональную конфигурацию системы 100 исполнения;

Фиг. 8 - это схема последовательности операций, показывающая процедуру, которая должна быть выполнена системой 100 исполнения;

Фиг. 9 - это схема последовательности операций, показывающая другую процедуру, которая должна быть выполнена системой 100 исполнения;

Фиг. 10 - это функциональная блок-схема, показывающая функциональную конфигурацию системы 100 исполнения;

Фиг. 11 - это вид, показывающий пример формата таблицы исполнения;

Фиг. 12 - это функциональная блок-схема, показывающая другую функциональную конфигурацию системы 100 исполнения;

Фиг. 13 - это вид, показывающий конфигурацию схемы синтезирующей секции 105;

Фиг. 14 - это вид, показывающий конфигурацию схемы секции 302 разделения; и

Фиг. 15 - это вид, показывающий структуру данных сигнала синхронизации.

ПОЯСНЕНИЕ К ССЫЛОЧНЫМ НОМЕРАМ И ОБОЗНАЧЕНИЯМ

[0012] 1 … система на передающей стороне, 10 … терминал инструмента, 100 … система исполнения, 101 … видеокамера, 102 … устройство записи на HDD, 103 … устройство задержки, 104, 301 … PC, 105 … синтезирующая секция, 11 … секция управления, 111, 311 … секция часов, 112 … секция генерирования информации исполнения, 113 … вторая секция передачи данных исполнения, 114 … секция передачи сигнала синхронизации, 12 … секция хранения, 13 … секция генерирования музыкального звука, 14 … динамик, 15 … операционная секция, 16 … секция отображения, 17 … секция связи, 18 … секция исполнения, 19 … секция передачи сигнала, 20 … серверное устройство, 21 … секция управления, 211 … первая секция приема данных исполнения, 212 … вторая секция передачи данных исполнения, 22 … первая секция связи, 23 … вторая секция связи, 24 … секция хранения, 241 … группа данных исполнения, 3 … система на принимающей стороне, 30 … инструмент автоматического исполнения, 302 … секция разделения, 31 … секция управления, 312 … вторая секция приема данных исполнения, 313 … секция буферизации, 314 … секция приема сигнала синхронизации, 315 … секция корректировки часов, 316 … секция корректировки, 32 … секция хранения, 33 … операционная секция, 34 … секция отображения, 35 … секция приема сигнала, 36 … секция связи, 37 … буфер данных, 38 … секция исполнения, 40 … сервер распространения движущегося изображения, 90 … сеть связи

ОПТИМАЛЬНЫЕ РЕЖИМЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0013] (Конфигурация системы 100 исполнения)

Вариант осуществления согласно настоящему изобретению будет описан ниже со ссылкой на чертежи.

Фиг. 1 - это вид, показывающий схематичную конфигурацию системы 100 исполнения согласно этому варианту осуществления. Как показано на фиг. 1, система 100 исполнения включает в себя систему 1 на передающей стороне, серверное устройство 20 и систему 3 на принимающей стороне, и они соединены через сеть 90 связи. Сеть 90 связи - это сеть связи, включающая в себя Интернет в этой конфигурации. В дополнение к соответствующим устройствам системы 100 исполнения сервер 40 распространения движущегося изображения соединен с сетью 90 связи. Сервер 40 распространения движущегося изображения предоставляет так называемую службу совместного использования движущегося изображения для распространения движущихся изображений, включающих в себя видео и аудио, к которым имеют доступ неопределенные пользователи. Сервер 40 распространения движущегося изображения предоставляет платформу для потокового видео, например, таким образом имея возможность распространения движущихся изображений (далее в данном документе называемых "движущимися изображениями в реальном времени"), включающих в себя видео и аудио. В этом варианте осуществления сервер 40 распространения движущегося изображения может связываться как с системой 1 на передающей стороне, так и с системой 3 на принимающей стороне, тем самым реализуя функцию распространения движущихся изображений в реальном времени, предоставляемых системой 1 на передающей стороне системе 3 на принимающей стороне.

Движущиеся изображения в реальном времени согласно этому варианту осуществления включают в себя движущееся изображение, которое распространяется, в то же время будучи задержанным на предварительно определенное время посредством процесса задержки, после того как изображение получено.

[0014] Система 1 на передающей стороне конфигурируется на месте, где исполняется концерт или т.п., в котором играют музыкальные инструменты. Система 1 на передающей стороне оснащена, например, устройствами, требуемыми для распространения видео и аудио, посредством которых сцена инструментального исполнения была сфотографирована и записана на сервер 40 распространения движущегося изображения, и устройствами, требуемыми, чтобы позволять воспроизводить инструментальное исполнение, выполняя автоматическое исполнение в системе 3 на принимающей стороне. Система 3 на принимающей стороне конфигурируется на месте со стороны аудитории инструментального исполнения и оборудована устройствами, требуемыми, чтобы пользователь просматривал видео, в котором сцена инструментального исполнения была сфотографирована, и устройствами, требуемыми для воспроизведения инструментального исполнения посредством осуществления автоматического исполнения. Серверное устройство 20 может связываться как с системой 1 на передающей стороне, так и с системой 3 на принимающей стороне и служит в качестве устройства хранения, выполняющего роль пересылки данных, требуемых для автоматического исполнения, между двумя системами.

[0015] Система 1 на передающей стороне передает данные системе 3 на принимающей стороне через два вида маршрутов передачи данных, отличающихся друг от друга. Во-первых, система 1 на передающей стороне передает данные для воспроизведения по первому маршруту через сеть 90 связи и серверное устройство 20 и без прохождения через сервер 40 распространения движущегося изображения. Данные исполнения будут описаны позже подробно. Во-вторых, система 1 на передающей стороне передает данные, такие как видеосигнал и аудиосигнал, для использования при вещании движущихся изображений в реальном времени по второму маршруту через сеть 90 связи и сервер 40 распространения движущегося изображения без прохождения через серверное устройство 20. Кроме того, данные, которые должны быть переданы по второму маршруту, дополнительно включают в себя сигнал синхронизации, который используется, чтобы синхронизировать видео (и аудио), представляемое посредством видеосигнала на стороне системы 3 с принимающей стороны, с автоматическим исполнением, которое осуществляется на основе данных исполнения. Аудиосигнал и сигнал синхронизации передаются и принимаются по маршруту передачи аудиосигнала с двумя каналами, L и R-каналами.

Первый маршрут и второй маршрут являются общими в некоторых частях, поскольку они проходят через сеть 90 связи, но они сделаны различными в других частях. Поскольку можно сказать, что первый маршрут и второй маршрут являются системами передачи, независимыми друг от друга, как описано выше, их ситуации передачи данных (например, степень задержки связи) могут быть отличными друг от друга.

[0016] (Конфигурация системы 1 на передающей стороне)

Фиг. 2 - это блок-схема, показывающая конфигурацию системы 1 на передающей стороне. Как показано на фиг. 2, система 1 на передающей стороне включает в себя терминал 10 инструмента, видеокамеру 101, устройство 102 записи на HDD (накопитель на жестком диске) и PC (персональный компьютер) 104.

Сначала описывается конфигурация терминала 10 инструмента. Терминал 10 инструмента является электронным пианино в этой конфигурации и включает в себя секцию 11 управления, секцию 12 хранения, секцию 13 генерирования музыкального звука, динамик 14, операционную секцию 15, секцию отображения 16, секцию 17 связи, секцию 18 исполнения и секцию 19 передачи сигнала. Как показано на фиг. 2, соответствующие секции терминала 10 инструмента, кроме динамика 14, взаимно соединены через шину, и передача сигнала осуществляется между соответствующими секциями по шине.

[0017] Секция 11 управления включает в себя CPU (центральный процессор), ROM (постоянное запоминающее устройство), в котором программы для управления соответствующими секциями терминала 10 инструмента хранятся, и RAM (оперативное запоминающее устройство), которое должно использоваться как рабочая область, когда программы исполняются. CPU исполняет программы, сохраненные в ROM, и управляет соответствующими секциями терминала 10 инструмента. Секция 11 управления включает в себя секцию 111 часов и измеряет дату/время (в данном документе, текущую дату/время) с помощью секции 111 часов. Кроме того, секция 11 управления генерирует MIDI (цифровой интерфейс музыкальных инструментов: зарегистрированное торговое название) сообщение в зависимости от операции (далее в данном документе называемой "операцией исполнения"), осуществляемой в секции 18 исполнения, и генерирует данные исполнения, имеющие комбинацию сгенерированного MIDI-сообщения, информации даты/времени, указывающей дату/время, когда исполнение было осуществлено, и идентификатор (далее в данном документе называемый "ID инструмента") для идентификации самого терминала 10 инструмента. MIDI-сообщение является информацией исполнения в MIDI-формате, представляющей содержимое исполнения, осуществляемого посредством терминала 10 инструмента. Информация даты/времени является информацией, включающей в себя как информацию даты, указывающую дату, так и информацию времени, указывающую время.

Дата/время, когда исполнение было осуществлено посредством терминала 10 инструмента, указывается посредством даты/времени, измеренных секцией 111 часов.

[0018] Кроме того, секция 11 управления генерирует сигнал синхронизации, который используется, чтобы осуществлять автоматическое исполнение синхронно с видео, распространяемым сервером 40 распространения движущегося изображения. Фиг. 6 - это вид, показывающий структуру данных сигнала синхронизации. Как показано на фиг. 6, сигнал синхронизации - это сигнал, указывающий "ID инструмента" и "код времени". Код времени является датой/временем, измеренными секцией 111 часов, и может рассматриваться как дата/время (т.е., как включающий в себя абсолютное время), когда видеосигнал, аудиосигнал и сигнал синхронизации передаются из системы 1 на передающей стороне серверу 40 распространения движущегося изображения. Код времени используется, чтобы указывать, какие дата/время исполнения видео, распространяемого с сервера 40 распространения движущегося изображения, соответствуют системе 3 на принимающей стороне, принимающей соответствующие сигналы. Предпочтительно, что сигнал синхронизации должен быть сгенерирован так, чтобы иметь частотные составляющие, аналогичные частотным составляющим белого шума, и не должен быть неприятен ушам, когда человек слушает звук, эквивалентный сигналу синхронизации.

[0019] Секция 12 хранения имеет энергонезависимую память и хранит, например, ID инструмента для идентификации терминала 10 инструмента. Секция 12 хранения здесь хранит "0001" в качестве ID инструмента терминала 10 инструмента. ID инструмента может быть определен заранее на стадии производства, может быть задан пользователем терминала 10 инструмента или может быть задан автоматически секцией 11 управления в момент начала исполнения. Секция 13 генерирования музыкального звука генерирует сигнал музыкального звука, соответствующий MIDI-сообщению, на основе MIDI-сообщения и подает сгенерированный сигнал музыкального звука динамику 14. Динамик 14 выводит звук исполнения терминала 10 инструмента в зависимости от сигнала музыкального звука, сгенерированного секцией 13 генерирования музыкального звука. Операционная секция 15 имеет различные кнопки для управления терминалом 10 инструмента, и различные инструкции для терминала 10 инструмента вводятся пользователем. Секция 16 отображения имеет жидкокристаллическое устройство отображения и отображает различные экраны, требуемые для управления терминалом 10 инструмента.

[0020] Секция 17 связи соединена с сетью 90 связи и имеет интерфейс для осуществления связи по сети 90 связи. Секция 18 исполнения имеет, например, множество клавиш, и когда клавиши задействуются исполнителем терминала 10 инструмента, осуществляется исполнение терминала 10 инструмента. Когда клавиши задействуются исполнителем, секция 18 исполнения выводит сигнал операции, соответствующий операции клавиши, в секцию 11 управления. Секция 19 передачи сигнала имеет терминал, к которому подключен аудиокабель для соединения с устройством 102 записи на HDD, и передает сигнал синхронизации, подаваемый из секции 11 управления, устройству 102 записи на HDD через аудиокабель, подключенный к этому терминалу.

Терминал 10 инструмента, имеющий вышеупомянутую конфигурацию, функционирует как устройство вывода информации исполнения для генерирования и вывода информации исполнения. Конфигурация терминала 10 инструмента описана выше.

[0021] Видеокамера 101 используется, чтобы фотографировать, например, сцену, на которой исполнитель играет на терминале 10 инструмента, и генерировать видеосигнал, указывающий его видеоизображение, и аудиосигнал, полученный посредством захвата звука вокруг терминала 10 инструмента. Видеокамера 101 передает сгенерированный видеосигнал и аудиосигнал устройству 102 записи на HDD. Устройство 102 записи на HDD записывает, на свой HDD, видеосигнал и аудиосигнал, переданные от видеокамеры 101, и сигнал синхронизации, переданный из секции 19 передачи сигнала. В этой записи устройство 102 записи на HDD записывает аудиосигнал с помощью одного из стереоканалов и записывает сигнал синхронизации с помощью другого канала. Другими словами, аудиосигнал, сгенерированный видеокамерой 101, становится монофоническим в это время.

[0022] Кроме того, устройство 102 записи на HDD включает в себя устройство 103 задержки. Устройство 103 задержки осуществляет процесс задержки для видеосигнала, аудиосигнала и сигналов синхронизации, записанных на HDD. Этот процесс задержки выполняется, чтобы задерживать момент передачи каждого сигнала, подаваемого от устройства 102 записи на HDD, приблизительно на 1 минуту, например. Причина того, зачем процесс задержки выполняется, в том, что автоматическое исполнение на пианино 30 автоматического исполнения может осуществляться более надежно, и его действие будет описано позже.

Предположим, что соотношение между видеосигналом, аудиосигналом и сигналом синхронизации на оси времени остается неизменным до и после процесса задержки. Кроме того, может быть возможным, что устройство 103 задержки внешне подключено между устройством 102 записи на HDD и PC 104 вместо встраивания в устройство 102 записи на HDD.

[0023] PC 104 имеет интерфейс для подключения к сети 90 связи, посредством чего видеосигнал, аудиосигнал и сигнал синхронизации, переданные от устройства 102 записи на HDD, передаются серверу 40 распространения движущегося изображения по сети 90 связи. Сервер 40 распространения движущегося изображения распространяет видеосигнал, аудиосигнал и сигнал синхронизации, принятые от PC 104.

Это занимает, например, приблизительно одну минуту от момента времени, когда сервер 40 распространения движущегося изображения принял видеосигнал, аудиосигнал и сигнал синхронизации от PC 104, до момента времени, когда сервер 40 распространения движущегося изображения распространяет эти сигналы системе 3 на принимающей стороне. Задержка обусловлена процессом задержки, выполняемым специально сервером 40 распространения движущегося изображения, и применяется в общей службе совместного использования движущегося изображения в некоторых случаях.

[0024] (Конфигурация серверного устройства 20)

Фиг. 3 - это блок-схема, показывающая конфигурацию аппаратного обеспечения серверного устройства 20. Как показано на фиг. 3, серверное устройство 20 включает в себя секцию 21 управления, первую секцию 22 связи, вторую секцию 23 связи и секцию 24 хранения.

Секция 21 управления имеет CPU, ROM, в котором программы для управления соответствующими секциями серверного устройства 20 хранятся, и RAM, которое должно быть использовано в качестве рабочей области, когда программы исполняются. CPU исполняет программы, сохраненные в ROM, и управляет соответствующими секциями серверного устройства 20. Первая секция 22 связи имеет интерфейс для подключения к сети 90 связи, таким образом, связываясь с терминалом 10 инструмента. Вторая секция 23 связи имеет интерфейс для подключения к сети 90 связи, таким образом, связываясь с пианино 30 автоматического исполнения. Причина того, зачем предусмотрены две секции связи, т.е., первая секция 22 связи и вторая секция 23 связи, заключается в том, что секция 21 управления может осуществлять процесс приема данных исполнения от терминала 10 инструмента и для сохранения данных исполнения в секции 24 хранения и процесс для считывания данных исполнения из секции 24 хранения и для передачи данных исполнения в пианино 30 автоматического исполнения параллельно. Следовательно, предусмотрено, что могут быть реализованы параллельные процессы, соответствующие секции связи могут необязательно быть независимыми друг от друга.

[0025] Секция 24 хранения имеет накопитель на жестком диске, в котором группа 241 данных исполнения, включающая в себя данные исполнения, переданные от терминала 10 инструмента, и серверные программы для реализации функций сервера в системе 100 исполнения, сохранены. CPU секции 21 управления выполняет серверные программы, сохраняет данные исполнения, принятые от терминала 10 инструмента, в секции 24 хранения и передает данные исполнения, сохраненные в секции 24 хранения, в пианино 30 автоматического исполнения.

[0026] Фиг. 5 - это вид, показывающий структуру данных группы 241 данных исполнения. В группе 241 данных исполнения данные исполнения, соответствующие каждому исполнению на терминале 10 инструмента, сгенерированы из группы, состоящей из ID инструмента, информации даты/времени и MIDI-сообщения. Например, в случае, когда выполняется операция клавиши на терминале 10 инструмента, как показано в первой строке на фиг. 5, данные исполнения, имеющие комбинацию из ID “0001” инструмента терминала 10 инструмента, информации даты/времени "28-12-2010 19:00:00:00" (указывающей 19 часов 00 минут 00 секунд 00 миллисекунд 28 декабря 2010 года), указывающей дату/время того, когда операция клавиши была выполнена, и информации исполнения "MIDI-сообщение #1", включены в группу 241 данных исполнения. Данные исполнения, соответствующие каждой из других строк, имеют структуру данных, аналогичную этой структуре.

[0027] (Конфигурация системы 3 на принимающей стороне)

Фиг. 4 - это блок-схема, показывающая конфигурацию системы 3 на принимающей стороне. Как показано на фиг. 4, система 3 на принимающей стороне включает в себя пианино 30 автоматического исполнения и PC 301. PC 301 связывается с сервером 40 распространения движущегося изображения по сети 90 связи и принимает видеосигнал, аудиосигнал и сигнал синхронизации, распространяемые с сервера 40 распространения движущегося изображения. PC 301 воспроизводит видеосигнал и аудиосигнал из принятых сигналов и выводит движущееся изображение в реальном времени с помощью своего монитора или внешнего монитора. Кроме того, PC 301 передает сигнал синхронизации в пианино 30 автоматического исполнения, подключенному к нему через аудиокабель.

[0028] Далее, конфигурация пианино 30 автоматического исполнения будет описана. Пианино 30 автоматического исполнения имеет функцию осуществления автоматического исполнения на основе MIDI-сообщения. Пианино 30 автоматического исполнения включает в себя секцию 31 управления, секцию 32 хранения, операционную секцию 33, секцию 34 отображения, секцию 35 приема сигнала, секцию 36 связи, буфер 37 данных и секцию 38 исполнения. Соответствующие секции пианино 30 автоматического исполнения взаимно соединены через шину, и передача сигнала осуществляется между соответствующими секциями по шине.

[0029] Секция 31 управления имеет CPU, ROM, в котором программы для управления соответствующими секциями пианино 30 автоматического исполнения хранятся, RAM и т.д. CPU секции 31 управления считывает и исполняет программы, сохраненные в ROM, таким образом, управляя соответствующими секциями пианино 30 автоматического исполнения. Кроме того, секция 31 управления имеет секцию 311 часов и измеряет дату/время с помощью секции 311 часов. Кроме того, секция 31 управления декодирует ID инструмента и код времени из сигнала синхронизации, принятого от PC 301 посредством секции 35 приема сигнала, и определяет их. Секция 31 управления корректирует дату/время, измеренные секцией 311 часов, на основе кода времени и указывает данные исполнения, которые должны быть воспроизведены, с помощью ID инструмента. Более того, секция 31 управления буферизует данные исполнения, принятые посредством секции 36 связи, в буфере 37 данных, и параллельно с этим секция 31 управления считывает данные исполнения, буферизованные в буфере 37 данных, воспроизводит MIDI-сообщение, включенное в данные исполнения, и позволяет секции 38 исполнения осуществлять исполнение (другими словами, осуществляется автоматическое исполнение).

Секция 32 хранения имеет накопитель на жестком диске, в котором различные программы и ID инструмента и т.д. хранятся. ID инструмента, который должен быть сохранен в секции 32 хранения, задается заранее в, например, "0002", отличный от ID “0001” инструмента терминала 10 инструмента. ID инструмента является собственным в пианино 30 автоматического исполнения. Операционная секция 33 имеет различные кнопки для управления пианино 30 автоматического исполнения, и различные инструкции для пианино 30 автоматического исполнения вводятся пользователем. Секция 34 отображения имеет жидкокристаллическое устройство отображения и отображает различные экраны, требуемые для управления пианино 30 автоматического исполнения.

[0030] Секция 35 приема сигнала имеет терминал, к которому аудиокабель для подключения к PC 301 подключен, и принимает сигнал синхронизации, передаваемый от PC 301, который подключен к этому терминалу по аудиокабелю. Секция 36 связи имеет интерфейс для подключения к сети 90 связи и связывается с серверным устройством 20. Буфер 37 данных имеет буферную область, в которой данные исполнения буферизуются под управлением секции 31 управления. Секция 31 управления считывает данные исполнения, буферизованные в буфере 37 данных, и доставляет MIDI-сообщение, включенное в данные исполнения, в секцию 38 исполнения в момент времени, соответствующий информации даты/времени, включенной в данные исполнения, и точно определенному коду времени, указанному посредством сигнала синхронизации, принятого от PC 301, таким образом, воспроизводя MIDI-сообщение. Согласно MIDI-сообщению звук исполнения выводится из пианино 30 автоматического исполнения.

[0031] Секция 38 исполнения выводит звук исполнения согласно MIDI-сообщению, извлеченному из данных исполнения, и дополнительно выводит звук исполнения, сгенерированный посредством операции нажатия клавиш, не показано, пользователем. Первое называется "автоматическим исполнением", а второе называется "ручным исполнением".

Секция 38 исполнения имеет приводной механизм 38a, датчик 38b клавиши, датчик 38c педали, электронную схему 38d пианино, источник 38e звука пианино, микшер 38f, усилитель 38g и динамик 38h. Приводной механизм 38a имеет множество клавиш и множество педалей и дополнительно имеет, например, группу приводящих соленоидов, предусмотренных с тем, чтобы соответствовать соответствующим клавишам. Датчик 38b клавиши и датчик 38c педали используются для ручного исполнения и предусмотрены с тем, чтобы соответствовать каждой из множества клавиш и множества педалей. Датчик 38b клавиши и датчик 38c педали обнаруживают интенсивность, глубину и т.д., когда клавиша и педаль нажимаются, и доставляют результаты обнаружения, включающие в себя номер клавиши и номер педали, для определения обнаруженной клавиши и педали, информации скорости и т.д. электронной схеме 38d пианино. В случае, когда осуществляется автоматическое исполнение, электронная схема 38d пианино доставляет MIDI-сообщение источнику 38e звука пианино. Источник 38e звука пианино генерирует аудиосигнал для вывода звука исполнения, указанного посредством MIDI-сообщения. Кроме того, электронная схема 38d пианино управляет группой приводящих соленоидов, предусмотренных в приводном механизме 38a. Более конкретно, при приеме MIDI-сообщения, указывающего включение воспроизведения нот (нажатие клавиши) для некоторого звука исполнения, электронная схема 38d пианино прикладывает ток возбуждения к соленоиду, соответствующему клавише звука исполнения, посредством чего магнитная сила, требуемая для нажатия клавиши, генерируется соленоидом. С другой стороны, при приеме MIDI-сообщения, указывающего выключение воспроизведения нот (отпускание клавиши) для некоторого звука исполнения, электронная схема 38d пианино прикладывает ток возбуждения к соленоиду, соответствующему клавише звука исполнения, посредством чего магнитная сила, требуемая для отпускания клавиши, генерируется соленоидом. Более того, в случае, когда осуществляется ручное исполнение, электронная схема 38d пианино генерирует событие на основе результатов обнаружения, предоставленных из датчика 38b клавиши и датчика 38c педали, и доставляет событие источнику 38e звука пианино. Источник 38e звука пианино генерирует аудиосигнал для вывода назначенного звука исполнения согласно MIDI-сообщению.

Аудиосигнал, сгенерированный источником 38e звука пианино, как описано выше, выводится микшеру 38f. Микшер 38f смешивает аудиосигнал, выведенный из источника 38e звука пианино, с другими аудиосигналами, когда необходимо, и выводит полученный сигнал усилителю 38g. Сигнал усиливается усилителем 38g и выводится из динамика 38h как звук исполнения.

[0032] (Функциональная конфигурация системы 100 исполнения)

Фиг. 7 - это функциональная блок-схема, показывающая функциональную конфигурацию системы 100 исполнения, связанной с автоматическим исполнением.

Терминал 10 инструмента реализует функции, соответствующие секции 111 часов, секции 112 генерирования информации исполнения, первой секции 113 передачи данных исполнения и секции 114 передачи сигнала синхронизации. Серверное устройство 20 реализует функции, соответствующие первой секции 211 приема данных исполнения и второй секции 212 передачи данных исполнения. Пианино 30 автоматического исполнения реализует функции, соответствующие секции 311 часов, второй секции 312 приема данных исполнения, секции 313 буферизации, секции 314 приема сигнала синхронизации, секции 315 корректировки часов и секции 316 воспроизведения.

Секция 311 часов измеряет дату/время, как описано выше. Секция 112 генерирования информации исполнения генерирует MIDI-сообщение, выступающее в качестве информации исполнения терминала 10 инструмента, в зависимости от операции исполнения секции 18 исполнения. Каждый раз, когда информация исполнения (MIDI-сообщение) генерируется секцией 112 генерирования информации исполнения, первая секция 113 передачи данных исполнения передает данные исполнения, имеющие комбинацию информации даты/времени, указывающей дату/время, измеряемые посредством секции 111 часов, информации исполнения и ID инструмента, серверному устройству 20. Когда исполнение, представленное посредством информации исполнения, сгенерированной секцией 112 генерирования информации исполнения, осуществляется на терминале 10 инструмента, секция 114 передачи сигнала синхронизации генерирует сигнал синхронизации, указывающий код времени, выступающий в качестве даты/времени, измеряемых посредством секции 111 часов, и ID инструмента, и передает сгенерированный сигнал синхронизации серверу 40 распространения движущегося изображения.

[0033] Первая секция 211 приема данных исполнения принимает данные исполнения, переданные от первой секции 113 передачи данных исполнения. Данные исполнения, принятые первой секцией 211 приема данных исполнения, включаются в группу 241 данных исполнения. Параллельно с сохранением данных исполнения в секции 24 хранения вторая секция 212 передачи данных исполнения передает данные исполнения, соответствующие сообщению-запросу данных исполнения, принятому от пианино 30 автоматического исполнения и выступающему в качестве сообщения-запроса данных исполнения, включающего в себя ID инструмента и информацию даты/времени, из группы 241 данных исполнения, сохраненной в секции 24 хранения, в пианино 30 автоматического исполнения. Более конкретно, вторая секция 212 передачи данных исполнения передает данные исполнения, включающие в себя ID инструмента, который является общим для сообщения-запроса данных исполнения в хронологическом порядке даты/времени, начинающемся от даты/времени, указанных посредством информации даты/времени, включенной в сообщение-запрос данных исполнения.

[0034] Секция 311 часов измеряет дату/время, как описано выше. Вторая секция 312 приема данных исполнения принимает данные исполнения, переданные посредством второй секции 212 передачи данных исполнения, без прохождения через сервер 40 распространения движущегося изображения. Вторая секция 312 приема данных исполнения запрашивает серверное устройство 20, чтобы передавать данные исполнения, соответствующие дате/времени, измеренным посредством секции 311 часов, и принимает данные исполнения, переданные согласно запросу. Секция 313 буферизации буферизует данные исполнения, принятые посредством второй секции 312 приема данных исполнения, в своей буферной области. Секция 314 приема сигнала синхронизации принимает сигнал синхронизации, переданный посредством секции 114 передачи сигнала синхронизации. Секция 315 корректировки часов корректирует дату/время, измеренные посредством секции 311 часов, на основе кода времени, полученного посредством декодирования сигнала синхронизации. Секция 315 корректировки часов корректирует дату/время, измеренные посредством секции 311 часов, так что дата/время, совпадающие с кодом времени, измеряется, например.

[0035] В момент времени, соответствующий дате/времени, указанным посредством информации даты/времени из данных исполнения, принимаемых второй секцией 312 приема данных исполнения, и дате/времени (другими словами, дате/времени, измеренными посредством секции 311 часов после корректировки), указанным посредством сигнала синхронизации, принятого секцией 314 передачи сигнала синхронизации, и синхронно с видео, распространяемым в момент времени, когда сигнал синхронизации был распространен, секция 316 воспроизведения воспроизводит MIDI-сообщение из принятых данных исполнения. Например, секция 316 воспроизведения изменяет интервал воспроизведения MIDI-сообщения с продолжительностью, обусловленной информацией даты/времени, изменяет темп в момент времени, когда MIDI-сообщение воспроизводится, или изменяет (пропускает) MIDI-сообщение, которое должно быть воспроизведено, чтобы обеспечивать взаимоблокировку, так что предварительно определенное соотношение устанавливается между датой/временем, измеренными посредством секции 311 часов, и датой/временем, указанными посредством информации даты/времени, включенной в данные исполнения, и чтобы синхронизировать распространяемое видео со звуком исполнения. Секция 316 воспроизведения здесь получает, из секции 313 буферизации, MIDI-сообщение из данных исполнения, включающее в себя дату/время, указывающие время перед предварительно определенным временем (здесь, перед 500 мс) от даты/времени, измеренных посредством секции 311 часов, и воспроизводит MIDI-сообщение. Некоторое время требуется, после того как MIDI-сообщение было доставлено секции 38 исполнения, и до тех пор, пока соответствующие секции в секции 38 исполнения задействуются, как описано выше, и звук исполнения, соответствующий воспроизведению MIDI-сообщения, выводится (другими словами, задержка возникает в процессе в секции 38 исполнения). Следовательно, момент воспроизведения каждой части информации исполнения в секции 316 воспроизведения определяется в ожидании этой задержки в процессе, таким образом, движущееся изображение в реальном времени синхронизируется со звуком исполнения, который выводится посредством воспроизведения MIDI-сообщения с помощью секции 316 воспроизведения. Момент воспроизведения может быть определен, принимая во внимание задержку в процессе, в момент времени, когда PC 301 отображает движущееся изображение в реальном времени, например.

[0036] (Функционирование варианта осуществления)

Далее будет описано функционирование варианта осуществления. Фиг. 8 и 9 являются схемами последовательности операций, показывающими процедуры, которые должны быть выполнены терминалом 10 инструмента, серверным устройством 20 и пианино 30 автоматического исполнения во время автоматического исполнения.

Когда пользователь включает питание терминала 10 инструмента, CPU выполняет программы, сохраненные в ROM секции 11 управления. Затем, терминал 10 инструмента может реализовать функции электронного пианино и может осуществлять связь с сетью 90 связи.

Когда исполнитель нажимает клавишу терминала 10 инструмента (на этапе S1), секция 11 управления генерирует MIDI-сообщение, включающее в себя информацию операции исполнения, такую как сообщение включения воспроизведения нот, номер ноты, соответствующий нажатой клавише, и скорость (силу удара), соответствующую операции клавиши. Кроме того, с помощью секции 111 часов, секция 11 управления генерирует информацию даты/времени, указывающую дату/время, когда это MIDI-сообщение включения воспроизведения нот сгенерировано. Секция 11 управления генерирует данные исполнения, включающие в себя сгенерированную информацию исполнения, сгенерированную информацию даты/времени и ID “0001” инструмента, сохраненные в секции 12 хранения, и передает данные исполнения серверному устройству 20 посредством секции 17 связи (на этапе S2). В данном документе предполагается, что дата/время, измеренные секцией 11 управления в течение времени обработки на этапе S1, было "19 часов 00 минут 00 секунд 00 миллисекунд 28 декабря 2010 года".

С другой стороны, секция 11 управления передает MIDI-сообщение в секцию 13 генерирования музыкального звука. Когда MIDI-сообщение доставлено, секция 13 генерирования музыкального звука генерирует сигнал музыкального звука, соответствующий номеру ноты и скорости, назначенным посредством MIDI-сообщения, и подает сгенерированный сигнал динамику 14. Когда сигнал, поданный из секции 13 генерирования музыкального звука, подается динамику 14, музыкальный звук, соответствующий поданному сигналу, издается из динамика 14.

[0037] После приема данных исполнения, переданных от терминала 10 инструмента посредством первой секции 22 связи, секция 21 управления серверного устройства 20 сохраняет принятые данные исполнения в секции 24 хранения (на этапе S3). Секция 21 управления в данном документе сохраняет данные исполнения, имеющие комбинацию информации даты/времени "19:00:00:00 28-12-2010", ID “0001” инструмента и информации исполнения "MIDI-сообщение #1", в секции 24 хранения.

Далее, секция 11 управления терминала 10 инструмента генерирует сигнал синхронизации, кодируя код времени, указывающий дату/время, измеренные посредством секции 111 часов, и ID инструмента, сохраненные в секции 12 хранения, и передает этот сигнал синхронизации устройству 102 записи на HDD посредством секции 19 передачи сигнала (на этапе S4). Сигнал синхронизации передается от устройства 102 записи на HDD серверу 40 распространения движущегося изображения посредством PC 104. В этом варианте осуществления предполагается, что секция 11 управления передает сигнал синхронизации только один раз в одну секунду на основе даты/времени, измеренных посредством секции 111 часов.

Сигнал синхронизации подвергается процессу задержки, выполняемому устройством 103 задержки, и проходит через сервер 40 распространения движущегося изображения. В этом варианте осуществления время, когда сигнал синхронизации, сгенерированный в некоторое время, принимается системой 3 на принимающей стороне, задержано приблизительно на две минуты от времени, когда данные исполнения, включающие в себя информацию исполнения, сгенерированную в то же время, принимаются серверным устройством 20.

[0038] Далее, в ID инструмента, когда пользователь снимает свой палец с нажатой клавиши (на этапе S5), секция 11 управления генерирует MIDI-сообщение, включающее в себя информацию операции исполнения, такую как сообщение выключения воспроизведения нот, номер ноты, соответствующий отпущенной клавише, и скорость, соответствующую действию над клавишей. Кроме того, с помощью секции 111 часов секция 11 управления генерирует информацию даты/времени, указывающую дату/время, когда это MIDI-сообщение для выключения воспроизведения нот сгенерировано. Секция 11 управления генерирует данные исполнения, включающие в себя сгенерированное MIDI-сообщение, сгенерированную информацию даты/времени и ID “0001” инструмента, сохраненные в секции 12 хранения, и передает данные исполнения посредством секции 17 связи (на этапе S6). Кроме того, секция 11 управления передает MIDI-сообщение в секцию 13 генерирования музыкального звука. Когда MIDI-сообщение для выключения воспроизведения нот доставлено, секция 13 генерирования музыкального звука прекращает генерирование сигнала музыкального звука, соответствующего номеру ноты, назначенному посредством MIDI-сообщения. В результате, вывод звука исполнения из динамика 14 музыкального звука прекращается.

[0039] После приема данных исполнения, переданных от терминала 10 инструмента посредством первой секции 22 связи, секция 21 управления сохраняет принятые данные исполнения в секции 24 хранения (на этапе S7).

При этом в случае, когда дата/время, указанные посредством информации даты/времени, являются "19 часами 00 минутами 02 секундами 24 миллисекундами 28 декабря 2010 года", секция 21 управления сохраняет данные исполнения, имеющие комбинацию из информации даты/времени "19:00:02:24 28-12-2010", указывающей дату/время, ID “0001” инструмента и "MIDI-сообщения #2" в секции 24 хранения.

Терминал 10 инструмента затем генерирует информацию исполнения каждый раз, когда операция исполнения выполняется, и передает данные исполнения серверному устройству 20 посредством секции 17 связи. В серверном устройстве 20, после приема данных исполнения от терминала 10 инструмента посредством первой секции 22 связи, секция 21 управления сохраняет принятые данные исполнения в секции 24 хранения. Более того, терминал 10 инструмента повторяет процесс передачи сигнала синхронизации каждую секунду (на этапах S8 и S9).

Параллельно с передачей и сохранением данных исполнения, описанными выше, следующий процесс, относящийся к автоматическому исполнению, выполняется между серверным устройством 20 и пианино 30 автоматического исполнения. В результате, предполагается, что такая группа данных исполнения, как показанная на фиг. 5, сохранена в серверном устройстве 20.

[0040] Когда сигнал синхронизации, передаваемый от терминала 10 инструмента, принимается посредством PC 301, секция 31 управления пианино 30 автоматического исполнения принимает сигнал синхронизации посредством секции 35 приема сигнала. Далее, секция 31 управления декодирует принятый сигнал синхронизации и указывает ID инструмента и код времени (на этапе S10). Согласно ID инструмента и коду времени возможно указывать, какой инструмент используется, и в какую дату/время движущееся изображение в реальном времени, которое должно выводиться на PC 301, получено.

После приема сигнала синхронизации секция 31 управления инструктирует секции 32 хранения сохранять ID инструмента, указанный посредством сигнала синхронизации. В то время как ID "0002" инструмента, сохраненный в секции 32 хранения заранее, удерживается, секция 31 управления при этом инструктирует секции 32 хранения сохранять ID “0001” инструмента, указанный посредством сигнала синхронизации, отличный от вышеупомянутого ID инструмента. Секция 31 управления после этого получает данные исполнения, включающие в себя MIDI-сообщение, которые должны быть воспроизведены, с серверного устройства 20 на основе сигнала синхронизации и согласно ID инструмента, сохраненного в секции 32 хранения.

[0041] Далее, секция 31 управления корректирует дату/время, измеренные посредством секции 31 часов, согласно коду времени, указанному посредством процесса на этапе S10 (на этапе S11). Секция 31 управления при этом корректирует дату/время на дату/время, которые являются свойственными дате/времени, указанным посредством кода времени. В результате, дата/время, измеренные посредством секции 311 часов, становятся совпадающими с датой/временем видео, выводимого в настоящее время на PC 301.

[0042] Далее, на основе ID инструмента и кода времени, определенного посредством процесса на этапе S11, секция 31 управления передает сообщение-запрос данных исполнения, включающее в себя ID инструмента и информацию даты/времени (на этапе S12). Секция 31 управления при этом определяет дату/время, указанные посредством кода времени, и ID инструмента, сохраненных в секции 32 хранения, и затем передает сообщение-запрос данных исполнения.

Как описано выше, устройство 102 записи на HDD имеет устройство 103 задержки, и код времени и ID инструмента принимаются PC 301 со стороны терминала 10 инструмента, будучи задержанными приблизительно на одну минуту. С другой стороны, эта задержка не генерируется намеренно при передаче данных исполнения от терминала 10 инструмента к серверному устройству 20. Предполагается, что данные исполнения, которые запрошены посредством пианино 30 автоматического исполнения с тем, чтобы быть переданными, сохранены надежно в серверном устройстве 20.

[0043] При приеме сообщения-запроса данных исполнения посредством второй секции 23 связи секция 21 управления серверного устройства 20 передает данные исполнения, включающие в себя ID инструмента, который характерен для сообщения-запроса данных исполнения, в хронологическом порядке даты/времени, начиная с данных исполнения, включающих в себя информацию даты/времени, в дату/время, определенные посредством сообщения-запроса передачи на основе группы 241 данных исполнения, сохраненной в секции 24 хранения (на этапе S13). В случае, когда дата/время, определенные посредством сообщения-запроса данных исполнения, равны "19 часов 00 минут 00 секунд 00 миллисекунд 28 декабря 2010 года", секция 21 управления сначала передает данные исполнения, включающие в себя информацию даты "19:00:00:00 28-12-2010", как указано в первой строке на фиг. 5, и затем передает данные исполнения, соответствующие "19:00:02:24 28-12-2010", и данные исполнения, соответствующие "19:00:03:59 28-12-2010", последовательно.

[0044] Как описано выше, после того как пианино 30 автоматического исполнения приняло один сигнал синхронизации, пианино автоматического исполнения принимает множественные части данных исполнения в хронологическом порядке последовательно. С другой стороны, секция 21 управления серверного устройства 20 хранит данные исполнения, переданные к пианино 30 автоматического исполнения, и данные исполнения, включающие в себя информацию даты/времени из прошлого, в секции 24 хранения. Следовательно, даже после того как некоторое время прошло от времени, когда исполнение было осуществлено с помощью терминала 10 инструмента, пианино 30 автоматического исполнения может получать данные исполнения и воспроизводить информацию исполнения. Кроме того, это аккумулирование данных исполнения может уменьшать объем хранения буферной области в буфере 37 данных пианино 30 автоматического исполнения.

[0045] При приеме данных исполнения посредством секции 36 связи секция 31 управления пианино 30 автоматического исполнения буферизует данные исполнения в буфере 37 данных последовательно (на этапе S14). В это время в случае, когда прием и буферизация данных исполнения временно прекращены, например в случае, когда объем буферизации относительно емкости хранилища буфера 37 данных становится равным или больше порогового значения, секция 31 управления может запрашивать серверное устройство 20, чтобы прекращать буферизацию, так что данные исполнения предохраняются от исчезновения.

[0046] Далее, секция 31 управления доставляет MIDI-сообщение в секцию 38 исполнения в момент времени, соответствующий дате/времени, указанным посредством информации даты/времени из данных исполнения, принимаемых посредством секции 36 связи, и дате/времени, измеренным посредством секции 311 часов (другими словами, в дату/время, указанные посредством принятого сигнала синхронизации), и воспроизводит MIDI-сообщение (на этапе S15). Секция 31 управления при этом воспроизводит MIDI-сообщение, которое объединено с информацией даты/времени, полученной на 500 мс раньше даты/времени, измеренных посредством секции 311 часов. Другими словами, когда дата/время, измеренные посредством секции 311 часов, становятся на 500 мс более ранними, чем дата/время, указанные посредством информации даты/времени, которая объединена с MIDI-сообщением, MIDI-сообщение воспроизводится. Таким образом, когда видео во время распространения сигнала синхронизации, используемого для коррекции секции 311 часов, выводится, секция 31 управления регулирует момент воспроизведения MIDI-сообщения с помощью времени, указанного посредством сигнала синхронизации, таким образом, реализуя синхронное воспроизведение (автоматическое исполнение).

Секция 31 управления стирает воспроизведенные данные исполнения из буфера 37 данных, таким образом, обеспечивая емкость его хранилища.

[0047] Секция 31 управления после этого непрерывно считывает MIDI-данные из буфера 37 данных в хронологическом порядке и выполняет воспроизведение. Поскольку секция 31 управления воспроизводит MIDI-сообщение каждой части данных исполнения согласно дате/времени, измеренным посредством секции 311 часов, даже в течение периода, в котором сигнал синхронизации не принимается, движущееся изображение реального времени синхронизируется с автоматическим исполнением в это время.

Затем секция 31 управления пианино 30 автоматического исполнения принимает сигнал синхронизации от сервера 40 распространения движущегося изображения (на этапе S16). Также в этом случае секция 31 управления декодирует принятый сигнал синхронизации и определяет как ID инструмента, так и код времени (на этапе S17). Далее, секция 31 управления корректирует дату/время, измеренные посредством секции 311 часов, согласно коду времени, определенному посредством процесса на этапе S15 (на этапе S18). И затем секция 31 управления воспроизводит MIDI-сообщение в момент времени, синхронизированный с видео и аудио, выводимыми из PC 301, следуя вышеупомянутой процедуре.

Затем, например, в случае, когда емкость хранилища буфера 37 данных становится равной или меньше порогового значения, секция 31 управления передает сообщение-запрос данных исполнения опять серверному устройству 20 (на этапе S19). Затем секция 31 управления буферизует данные исполнения, принятые согласно сообщению-запросу данных исполнения, в буфере 37 данных (на этапе S20) и продолжает автоматическое исполнение на основе MIDI-сообщения, следуя вышеупомянутой процедуре.

Вышеупомянутое функционирование продолжается после того, как исполнение на терминале 10 инструмента было закончено, и до тех пор, пока автоматическое исполнение на пианино 30 автоматического исполнения не закончится.

[0048] В системе 100 исполнения согласно варианту осуществления, описанному выше, автоматическое исполнение может осуществляться синхронно с видео, в то же время пресекая влияние состояния маршрута передачи видео. Более конкретно, сигнал синхронизации проходит через сервер 40 распространения движущегося изображения, но данные исполнения не проходят через него. По этой причине, даже в случае, когда распространение сигнала синхронизации, видеосигнала и аудиосигнала задерживается вследствие чрезмерного количества обращений к серверу 40 распространения движущегося изображения, вследствие возникновения отказа системы по какой-либо причине, или вследствие состояния связи, пианино 30 автоматического исполнения может осуществлять автоматическое исполнение с помощью данных исполнения, принятых по маршруту, отличному от этого маршрута. Более того, даже если движущееся изображение реального времени временно прерывается, пользователь пианино 30 автоматического исполнения не ощущает какого-либо дискомфорта, вызванного вследствие прерывания его звука исполнения по причине того, что автоматическое исполнение пианино 30 автоматического исполнения продолжается. Более того, поскольку дата/время определяются согласно коду времени в пианино 30 автоматического исполнения, даже если распространение каждого сигнала сервера 40 распространения движущегося изображения прерывается и затем восстанавливается, автоматическое исполнение может быть начато с момента времени после восстановления.

Кроме того, в этом варианте осуществления, поскольку соответствующие секции в секции 38 исполнения, такие как клавиши, задействуются синхронно с видео, и работа терминала 10 инструмента воспроизводится, пользователь пианино 30 автоматического исполнения может испытывать реалистичное ощущение концертного зала в удаленном месте.

[0049] Кроме того, даже в случае, когда системы 1 на передающей стороне предусмотрены во множестве залов одновременно, и живые исполнения осуществляются, настоящее изобретение применимо. В этом случае сервер 40 распространения движущегося изображения может быть просто назначен каждой системе 1 на передающей стороне (концертному залу) для каждого канала. Другими словами, сигнал синхронизации, соответствующий каналу, заданному в PC 301, в настоящий момент принимается посредством пианино 30 автоматического исполнения. После переключения канала пианино 30 автоматического исполнения может определять ID-инструмента и информацию даты/времени на основе принятого сигнала синхронизации и может осуществлять автоматическое исполнение.

[0050] [Другие варианты осуществления]

Настоящее изобретение не ограничено вышеописанным вариантом осуществления, а может модифицироваться различными способами. Некоторые примеры модификации будут описаны далее в данном документе. Из следующих примеров модификации два или более из них могут быть использованы в комбинации.

[0051] (Пример 1 модификации)

В вышеупомянутом варианте осуществления, при приеме сигнала синхронизации, пианино 30 автоматического исполнения передает сообщение-запрос данных исполнения серверному устройству 20 и принимает данные исполнения, которые должны быть буферизованы в буфере 37 данных. Вместо этой конфигурации пианино 30 автоматического исполнения может иметь конфигурацию, не имеющую буфер 37 данных. Фиг. 10 - это блок-схема, показывающая функциональную конфигурацию системы 100 исполнения согласно этому примеру модификации. Среди этих функций, тем же функциям, что и в вышеупомянутом варианте осуществления, назначены те же ссылочные коды, и их описания опущены. Как показано на фиг. 10, в этом варианте осуществления секция 313 буферизации не реализована в пианино 30 автоматического исполнения.

[0052] В случае, когда высоконадежный канал связи используется для соединения между пианино 30 автоматического исполнения и серверным устройством 20, например, в случае когда соединение между ними осуществлено по каналу связи, который может обеспечивать высокоскоростную передачу данных, возможно указывать точно, до некоторой степени, общее время задержки связи между пианино 30 автоматического исполнения и серверным устройством 20 и время, требуемое для секции 38 исполнения, чтобы вывести звук исполнения, после того как информация исполнения была доставлена в нее. Следовательно, секция 31 управления передает сообщение-запрос данных исполнения серверному устройству 20 с тем, чтобы принимать данные исполнения, включающие в себя информацию даты/времени, прежде приблизительно общего времени от даты/времени, измеренных посредством секции 311 часов. Кроме того, при приеме данных исполнения секция 31 управления сохраняет данные исполнения в RAM и считывает и воспроизводит MIDI-сообщение, включенное в данные исполнения, в момент времени синхронно с видео, распространяемым сервером 40 распространения движущегося изображения.

В этом примере модификации секция 24 хранения серверного устройства 20 может иметь функцию, эквивалентную функции буфера 37 данных, таким образом, конфигурация пианино 30 автоматического исполнения может быть упрощена.

[0053] (Пример 2 модификации)

Секция 31 управления пианино 30 автоматического исполнения принимает сигнал синхронизации посредством секции 36 связи в предварительно определенном цикле (здесь, одна секунда). В этом случае, если секция 31 управления не приняла сигнал синхронизации в течение предварительно определенного периода (например, одна минута), более длительного, чем этот цикл приема, секция 31 управления непрерывно воспроизводит MIDI-сообщение; однако если сигнал синхронизации не был принят позже этого предварительно определенного периода, секция 31 управления может прекращать воспроизведение MIDI-сообщения.

Например, если сбой произошел на сервере 40 распространения движущегося изображения, продолжается состояние, в котором пианино 30 автоматического исполнения может принимать данные исполнения, но не может принимать сигнал синхронизации. В это время, поскольку пианино 30 автоматического исполнения может принимать данные исполнения даже после того, как сбой произошел, пианино 30 автоматического исполнения может продолжать свое автоматическое исполнение. По этой причине с помощью системы 100 исполнения пользователь не ощущает дискомфорта, который вызван вследствие внезапного прекращения автоматического исполнения. С другой стороны, если сигнал синхронизации не принят в течение определенного времени или более, момент времени видео, распространяемого сервером 40 распространения движущегося изображения, значительно смещается от момента времени автоматического исполнения, таким образом, может возникать нежелательная ситуация. По этой причине, если секция 31 управления не может принять сигнал синхронизации в течение определенного периода, и если период продлевается за пределы периода, в котором проблема не возникает, даже если сигнал синхронизации не принимается, секция 31 управления прекращает доставку информации исполнения в секцию 38 исполнения, таким образом, прерывая автоматическое исполнение.

В этом примере модификации пианино 30 автоматического исполнения может возобновлять автоматическое исполнение, когда прием сигнала синхронизации возобновляется.

[0054] (Пример 3 модификации)

Вышеупомянутый вариант осуществления основан на предположении того, что реализуется автоматическое исполнение синхронно с движущимся изображением реального времени, полученным из живого исполнения; однако настоящее изобретение также применимо к системе исполнения, в которой вместо движущегося изображения реального времени используется записанное видео. В этом случае серверное устройство 20 аккумулирует данные исполнения, когда исполнение записывается. Когда автоматическое исполнение реализуется, серверное устройство 20 передает накопленный видеосигнал и аудиосигнал и сигнал синхронизации серверу 40 распространения движущегося изображения. Затем сервер 40 распространения движущегося изображения распространяет видеосигнал, аудиосигнал и сигнал синхронизации. Кроме того, запись этих сигналов может осуществляться с помощью устройства 102 записи на HDD. С другой стороны, система 3 на принимающей стороне осуществляет автоматическое исполнение на основе соответствующих сигналов, принятых от сервера 40 распространения движущегося изображения, следуя процедуре, аналогичной процедурам вышеупомянутого варианта осуществления.

В конфигурации этого примера модификации серверное устройство 20 может регистрировать и записывать принятые данные исполнения. Это обусловлено тем, что, когда один терминал 10 инструмента осуществляет множество исполнений, например, существует случай, в котором исполнения, которые желательно осуществить автоматически, желательно должны различаться. Кроме того, в серверном устройстве 20 желательно, чтобы данные исполнения объединялись относительно концерта или музыки в управлении данными исполнения. В этой регистрации множество частей информации исполнения могут быть объединены и зарегистрированы вручную относительно концерта или музыки, но предпочтительно, что регистрация может быть реализована без ручной операции. В этом случае серверное устройство 20 желательно должно выполнять регистрацию, следуя процедуре, описанной ниже. В этой конфигурации предполагается, что серверное устройство 20 имеет секцию часов для измерения даты/времени.

[0055] Пока терминал 10 инструмента осуществляет исполнение, секция 21 управления серверного устройства 20 принимает его данные исполнения посредством первой секции 22 связи и сохраняет данные в RAM. Когда исполнение на терминале 10 инструмента заканчивается со временем, данные исполнения не передаются от терминала 10 инструмента к серверному устройству 20. Когда данные исполнения не передаются от терминала 10 инструмента, в серверном устройстве 20 разница между датой/временем, измеренными посредством его секции часов, и датой/временем, указанными посредством информации даты/времени из данных исполнения, принимаемых последними, становится постепенно больше. Следовательно, когда разница между датой/временем, измеренными посредством его секции часов, и датой/временем, указанными посредством информации даты/времени из данных исполнения, принимаемых последними, становится равной или большей, чем пороговое значение (здесь, 5 секунд), секция 21 управления решает, что исполнение на терминале 10 инструмента, указанном посредством ID “0001” инструмента, было окончено. В этом случае секция 21 управления регистрирует данные исполнения, сохраненные в RAM, и затем выполняет процесс сохранения данных в секции 24 хранения. Более конкретно, секция 21 управления генерирует файл исполнения, полученный посредством объединения всех данных исполнения, включающих в себя ID “0001” инструмента, сохраненный в RAM, среди данных исполнения, сохраненных в RAM, в один файл. Кроме того, секция 21 управления генерирует идентификатор файла исполнения для уникальной идентификации файла исполнения и сохраняет файл исполнения, включающий в себя идентификатор файла исполнения, в секции 24 хранения. Можно сказать, что идентификатор файла - это идентификатор, который должен быть назначен группе информации исполнения, выступающей в качестве группы информации исполнения, классифицированной относительно концерта или музыки, например.

Кроме того, может быть возможным, что секция 21 управления получает ID инструмента, включенный в данные исполнения, из файла исполнения, также получает дату/время начала исполнения, указанные посредством самой ранней информации даты/времени, и дату/время окончания исполнения, указанные посредством самой последней информации даты/времени, среди значений дат/времени, включенных в данные исполнения в файле исполнения, и затем сохраняет их, пока они делаются соответствующими друг другу.

[0056] Фиг. 11 - это вид, показывающий структуру таблицы исполнения, в которой группа из ID инструмента, даты/времени начала исполнения, даты/времени окончания исполнения и идентификатора файла исполнения описывается. Секция 24 хранения хранит эту таблицу исполнения. Например, в случае, когда самой ранней информацией даты/времени, включенной в данные исполнения в файле исполнения, является "19:00:00:00 28-12-2010", информацией даты/времени, включенной в данные исполнения, переданные от терминала 10 инструмента в конце исполнения, является "19:31:23:05 28-12-2010", ID инструмента равен "0001", и "F0001" сгенерирован в качестве идентификатора файла, эти части информации хранятся в одной строке таблицы исполнения, как показано на фиг. 11. Когда пользователь включает терминал 10 инструмента и затем осуществляет исполнение с помощью терминала 10 инструмента, файл исполнения, включающий в себя MIDI-сообщение, представляющее исполнение, осуществляемое пользователем, сохраняется в серверном устройстве 20, как описано выше, без какой-либо необходимости для пользователя выполнять управление клавишей для начала и окончания записи исполнения. Вышеупомянутая операция выполняется каждый раз, когда пользователь осуществляет исполнение, и в серверном устройстве 20 файл исполнения сохраняется для каждого исполнения, осуществляемого пользователем.

[0057] Кроме того, в этом примере модификации желательно, чтобы пианино 30 автоматического исполнения указывало данные исполнения, которые должны быть приняты от серверного устройства 20, с помощью идентификатора файла. Следовательно, терминал 10 инструмента генерирует сигнал синхронизации с помощью идентификатора файла вместо ID инструмента или с помощью идентификатора файла вместе с ID инструмента и затем передает сигнал синхронизации. С другой стороны, желательно, чтобы пианино 30 автоматического исполнения принимало лишь данные исполнения, включающие в себя идентификатор файла, указанный посредством сигнала синхронизации, и не принимало данные исполнения, не включающие в себя идентификатор файла, указанный посредством сигнала синхронизации.

В режиме, в котором записанное видео распространяется, как в этом примере модификации, даже в случае, когда пропуск видео, быстрая перемотка вперед или назад выполняется, и позиция воспроизведения движущегося изображения изменяется, сигнал, который должен распространяться с сервера 40 распространения движущегося изображения, приспосабливается так, чтобы соответствовать измененной позиции воспроизведения, таким образом, пианино 30 автоматического исполнения может реализовывать автоматическое исполнение синхронно с движущимся изображением.

[0058] (Пример 4 модификации)

Хотя аудиосигнал и сигнал синхронизации передаются по отдельным каналам маршрута передачи аудиосигнала в вышеупомянутом варианте осуществления, может быть так, что сигнал синхронизации накладывается на (другими словами, синтезируется с) аудиосигнал с помощью так называемой технологии создания «водяных знаков» и затем передается.

Фиг. 12 - это блок-схема, показывающая функциональную конфигурацию системы 100 исполнения согласно этому примеру модификации. Среди этих функций, тем же функциям, что и в вышеупомянутом варианте осуществления, назначены те же ссылочные коды, и их описания опущены. Как показано на фиг. 12, в этом примере модификации синтезирующая секция 105 предусмотрена со стороны системы 1 на передающей стороне и вне терминала 10 инструмента. Кроме того, секция 302 разделения предусмотрена в системе 3 на принимающей стороне и вне пианино 30 автоматического исполнения.

Синтезирующая секция 105, например, модулирует по фазе несущий сигнал, представляющий несущую для аудиосигнала на основе информации водяных знаков, тем самым, синтезируя информацию водяных знаков в диапазоне, более высоком, чем частотные компоненты аудиосигнала. Кроме того, может быть возможным, что синтезирующая секция 105 синтезирует информацию водяных знаков с аудиосигналом, выполняя так называемую OFDM (мультиплексирование с ортогональным частотным разделением) модуляцию. Секция 302 разделения отделяет аудиосигнал от сигнала синхронизации с помощью способа, соответствующего способу синтезирования сигнала синхронизации в синтезирующей секции 105. Кроме того, синтезирование и разделение могут выполняться с помощью следующей процедуры.

[0059] Фиг. 13 - это вид, показывающий конфигурацию схемы синтезирующей секции 105 для синтезирования сигнала синхронизации S с аудиосигналом A. В последующем описании сигнал, полученный инвертированием фазы аудиосигнала A, представлен как "аудиосигнал - A", а сигнал, полученный инвертированием фазы сигнала S синхронизации, представлен как "музыкальный звуковой сигнал - S".

Синтезирующая секция 105 имеет входные терминалы c1 и c2. Входной терминал c1 является терминалом, к которому подводится аудиосигнал A. Входной терминал c2 - это терминал, к которому подводится сигнал S синхронизации. Секция c3 инверсии инвертирует фазу сигнала, введенного в нее, и выводит инвертированный сигнал. Секция c3 инверсии здесь инвертирует фазу сигнала S синхронизации, подведенного к входному терминалу c2, и выводит сигнал -S синхронизации. Каждая из секций c4 и c5 сложения используется, чтобы суммировать сигналы, введенные в нее, и выводить полученный сигнал. Секция c4 сложения добавляет аудиосигнал A, подведенный к входному терминалу c1, к сигналу -S синхронизации, выведенному из секции c3 инверсии, и выводит результат сложения в качестве первого разностного сигнала md(=A-S) на выходной терминал c6. Другими словами, секция c3 инверсии и секция c4 сложения используются, чтобы генерировать разностный сигнал, представляющий разницу между музыкальным звуковым сигналом и сигналом синхронизации. Секция c5 сложения добавляет аудиосигнал A, подводимый к входному терминалу c1, с сигналом S синхронизации, подводимым к входному терминалу c2, и выводит результат сложения в качестве первого суммарного сигнала ms(=A+S) на выходной терминал c7. Секция c5 сложения генерирует суммарный сигнал, представляющий сумму музыкального звукового сигнала и сигнала синхронизации.

Выходной терминал c6 соответствует одному каналу (здесь, L-каналу) и выводит первый разностный сигнал md. Выходной терминал c7 соответствует другому каналу (здесь, R-каналу), и выводит первый суммарный сигнал ms. PC 104 передает двухканальные сигналы, закодированные, как описано выше, серверу 40 распространения движущегося изображения по маршруту передачи аудиосигнала.

[0060] Фиг. 14 - это вид, показывающий конфигурацию схемы секции 302 разделения для отделения сигнала S синхронизации от аудиосигнала A. В последующем описании сигнал, полученный инвертированием фазы первого разностного сигнала md, представлен как "первый разностный сигнал - md", а сигнал, полученный инвертированием фазы первого суммарного сигнала ms, представлен как "первый суммарный сигнал - ms". Кроме того, каждое из целых чисел впереди сигналов "A" и "S" означает, что каждая из величин сигналов "A" и "S" умножается на целое число.

Входной терминал c11 соответствует L-каналу и является терминалом, к которому подается первый разностный сигнал md(=A-S). Входной терминал c12 соответствует R-каналу и является терминалом, к которому подается первый суммарный сигнал ms(=A+S). Секция c13 инверсии инвертирует фазу сигнала, введенного в нее, и выводит инвертированный сигнал. Секция c13 инверсии здесь инвертирует фазу первого разностного сигнала ms, поданного на входной терминал c11, и выводит инвертированный сигнал. Другими словами, когда первый разностный md(=A-S) подается, секция c13 инверсии выводит первый разностный сигнал -md(=-A+S), т.е., свой противоположный по фазе сигнал. Каждая из секций c14 и c15 сложения используется, чтобы суммировать сигналы, введенные в нее, и выводить полученный сигнал. Секция c14 сложения складывает первый разностный сигнал -md(=-A+S), выведенный из секции c13 инверсии, с первым суммарным сигналом md=A+S, поданным на входной терминал c11, и выводит результат сложения как второй разностный сигнал d(=2S) на выходной терминал c16. Другими словами, секция c13 инверсии и секция c14 сложения используются, чтобы генерировать разностный сигнал, представляющий разность, полученную, когда первый разностный сигнал вычитается из первого суммарного сигнала. Секция c15 добавления добавляет первый разностный сигнал md(=A-S), поданный на входной терминал c11, к первому суммарному сигналу ms(=A+S), поданному на входной терминал c12, и выводит результат сложения в качестве второго суммарного сигнала ds(=2A) на выходной терминал c17. Другими словами, секция c15 сложения используется, чтобы генерировать суммарный сигнал, представляющий сумму первого разностного сигнала и первого суммарного сигнала. Выходной терминал c16 выводит второй разностный сигнал dd в качестве сигнала синхронизации. Выходной терминал c17 выводит второй суммарный сигнал ds в качестве аудиосигнала. PC 301 выводит аудио, соответствующее аудиосигналу A, отделенному, как описано выше, и передает сигнал S синхронизации в пианино 30 автоматического исполнения.

В случае, когда амплитуды второго разностного сигнала dd и второго суммарного сигнала ds изменяются на первоначальные амплитуды (другими словами, 1/2), аудиосигнал A и сигнал S синхронизации, т.е., первоначальная информация перед кодированием, могут быть определены (другими словами, декодированы).

С этой конфигурацией, даже в случае, когда маршрут передачи аудиосигнала, проходящий через сервер 40 распространения движущегося изображения, имеет два канала, стереоаудиосигнал может быть передан от системы 1 на передающей стороне к системе 3 на принимающей стороне. Кроме того, даже в случае, когда, по меньшей мере, часть частотных составляющих сигнала S синхронизации включена в тот же диапазон, что и частотные составляющие аудиосигнала A, кодирование и декодирование может быть выполнено посредством добавления и вычитания обоих сигналов, таким образом, ухудшение качества музыкального звукового сигнала может быть пресечено.

[0061] В случае, когда вышеупомянутый синтез информации водяных знаков выполняется, предпочтительно, чтобы в системе 100 исполнения применялась система PCM (кодово-импульсная модуляция), например, и что соответствующие сигналы должны передаваться, в то время как их частота дискретизации повышается.

Кроме того, в конфигурации вышеупомянутого варианта осуществления, в случае, когда стереоаудиосигнал желательно передавать, может быть предусмотрен маршрут передачи аудиосигнала с тремя или более каналами в маршрутах связи, проходящих через сервер 40 распространения движущегося изображения.

[0062] (Пример 5 модификации)

Хотя PC 104 и PC 301 используются для передачи и приема сигнала синхронизации в вышеупомянутом варианте осуществления, терминал 10 инструмента, вместо PC 104, может быть подключен к сети 90 связи и может передавать сигнал синхронизации. Кроме того, пианино 30 автоматического исполнения, вместо PC 301, может быть подключено к сети 90 связи и может передавать сигнал синхронизации.

Более того, серверное устройство 20 и терминал 10 инструмента могут быть предусмотрены в одном и том же месте, и они могут быть соединены через канал связи, такой как LAN (локальная вычислительная сеть), вместо соединения через сеть 90 связи.

Вдобавок, хотя и маршрут передачи сигнала синхронизации, видеосигнала и аудиосигнала, и маршрут передачи данных исполнения включает в себя сеть 90 связи, маршруты передачи могут быть сконфигурированы так, чтобы проходить через сети передачи данных, независимые друг от друга.

Кроме того, сервер 40 распространения движущегося изображения не ограничен устройством, которое может быть использовано неопределенным большим числом пользователей, но может быть предусмотрено эксклюзивно для системы 100 исполнения.

Кроме того, в вышеупомянутом варианте осуществления устройство 102 записи на HDD имеет устройство 103 задержки. Вместо этой конфигурации может быть возможным, что устройство 102 записи на HDD не имеет устройства 103 задержки, и что функция процесса задержки сервера 40 распространения движущегося изображения используется для задержки момента распространения видеосигнала, аудиосигнала и сигнала синхронизации.

[0063] (Пример 6 модификации)

В вышеупомянутом варианте осуществления возможно опускать ID инструмента. Например, в случае, когда серверное устройство 20 хранит данные исполнения, включающие в себя информацию исполнения, сгенерированную одним музыкальным инструментом (например, в случае, когда используется один терминал 10 инструмента), пианино 30 автоматического исполнения может реализовывать автоматическое исполнение согласно только коду времени, даже если ID инструмента недоступен.

Кроме того, секция 311 часов может измерять время, прошедшее от времени начала автоматического исполнения, например. Даже в этом случае, секция 315 корректировки часов корректирует дату/время, измеренные посредством секции 311 часов, в зависимости от даты/времени, указанных посредством кода времени, таким образом, синхронизированное воспроизведение, эквивалентное воспроизведению в варианте осуществления, может быть реализовано.

Кроме того, терминал 10 инструмента может передавать только информацию времени, вместо информации даты/времени, включающей в себя информацию даты и информацию времени, в то время как информация времени включена в данные исполнения, или его время может быть включено в код времени. В этом случае получается конфигурация, в которой "информация даты/времени" в вышеупомянутом варианте осуществления заменена "информацией времени"; однако в случае, когда живое исполнение используется для автоматического исполнения, автоматическое исполнение может быть реализовано, предусматривается, что только время операции исполнения известно на стороне системы 3 принимающей стороны, даже если данные не могут быть указаны.

Кроме того, хотя сигнал синхронизации используется, чтобы указывать ID инструмента и информацию даты/времени, указывающую дату/время, когда исполнение осуществлялось в вышеупомянутом варианте осуществления, сигнал синхронизации может указывать информацию, отличную от них. Например, как показано на фиг. 15, сигнал синхронизации может указывать ID инструмента, время начала исполнения, т.е., время, когда исполнение было осуществлено на терминале 10 инструмента, и код времени, указывающий время, прошедшее со времени начала исполнения (т.е., относительное время). Время начала исполнения представляет "19 часов 00 минут 00 секунд 00 миллисекунд 28 декабря 2010 года" в случае варианта осуществления. Более того, код времени описывается следующим образом, когда пример, показанный на фиг. 5, используется. Код времени представляет "0 часов 0 минут 00 секунд 00 миллисекунд" в данных исполнения, соответствующих первой строке, представляет "0 часов 0 минут 02 секунды 24 миллисекунды" в данных исполнения, соответствующих второй строке, и представляет "0 часов 0 минут 03 секунды 59 миллисекунд" в данных исполнения, соответствующих третьей строке.

Время начала исполнения включено во все сигналы синхронизации, которые должны быть переданы от терминала 10 инструмента; однако в случае, когда пианино 30 автоматического исполнения может указывать время начала исполнения, например, в случае, когда исполнение, которое должно быть воспроизведено посредством пианино 30 автоматического исполнения, не изменяется, время начала исполнения может быть включено только в первый сигнал синхронизации, который должен быть передан от терминала 10 инструмента. В этом случае во время исполнения на терминале 10 инструмента пианино 30 автоматического исполнения определяет время начала исполнения на основе времени начала исполнения, указанного посредством сигнала синхронизации, принятого первым.

В случае, когда момент воспроизведения MIDI-сообщения регулируется так, что время, указанное посредством информации времени из данных исполнения, взаимно соединяется со временем, указанным посредством принятого сигнала синхронизации, как описано выше, пианино 30 автоматического исполнения может реализовывать автоматическое исполнение.

[0064] (Пример 7 модификации)

Кроме того, автоматическое исполнение может осуществляться на пианино 30 автоматического исполнения так, что его основной тон задан совпадающим с основным тоном терминала 10 инструмента. Способ для этого также раскрыт в японском патенте № 3867579.

Более конкретно, терминал 10 инструмента обнаруживает свой эталонный тон и передает сигнал, указывающий этот эталонный тон, в пианино 30 автоматического исполнения с помощью того же способа, который использован для передачи сигнала синхронизации, например. Эталонный тон является частотой, полученной, когда звук с некоторым музыкальным тоном выводится из секции 18 исполнения, и эта частота представляет тон, который используется в качестве эталона в системе 100 исполнения. Однако способ для передачи сигнала, указывающего эталонный тон, не определен в отдельности.

После получения эталонного тона пианино 30 автоматического исполнения обнаруживает эталонный тон своей секции 38 исполнения и получает разницу между музыкальными тонами. Кроме того, во время автоматического исполнения пианино 30 автоматического исполнения считывает данные исполнения из буфера 37 данных со скоростью считывания, соответствующей разнице между музыкальными тонами, и воспроизводит данные исполнения так, что частота звука с музыкальным тоном становится близкой к (предпочтительно совпадает с) эталонному тону.

С конфигурацией примера модификации эталонный тон терминала 10 инструмента может быть сделан близким к тону пианино 30 автоматического исполнения, и влияние вследствие индивидуальной разницы и т.д. в пианино 30 автоматического исполнения может быть пресечено, таким образом, может ожидаться, что автоматическое исполнение должно быть реализовано с музыкальными тонами, более близкими к тонам в живом исполнении.

[0065] (Пример 8 модификации)

В вышеупомянутой системе 100 исполнения может быть возможен сбор денег за часть или все услуги. Например, предполагается, что серверное устройство 20 выполняет этот процесс сбора денег, и что пианино 30 автоматического исполнения, которому данные исполнения передаются, зарегистрировано заранее. Кроме того, серверное устройство 20 проверяет пианино 30 автоматического исполнения на предмет аутентификации перед началом автоматического исполнения и разрешает передачу данных исполнения, если аутентификация успешна. Более того, когда желательно ограничивать пользователей, которым разрешено использовать услугу, связанную с автоматическим исполнением, может быть возможным, что пианино 30 автоматического исполнения, которому данные исполнения должны быть переданы, зарегистрировано заранее посредством серверного устройства 20, и что серверное устройство 20 проверяет пианино 30 автоматического исполнения на предмет аутентификации перед началом автоматического исполнения и разрешает автоматическое исполнение, если аутентификация успешна.

[0066] (Пример 9 модификации)

В вышеупомянутом варианте осуществления был описан случай, в котором устройство вывода информации исполнения согласно настоящему изобретению является терминалом 10 инструмента, более конкретно, электронным пианино; однако устройство может быть пианино автоматического исполнения, которое может выводить, например, MIDI-сообщение, соответствующее операции исполнения. В этом случае множество пианино автоматического исполнения одинакового типа могут быть использованы в качестве терминала 10 инструмента и пианино 30 автоматического исполнения. Кроме того, устройство вывода информации исполнения согласно настоящему изобретению может быть инструментальным терминалом, отличным от пианино, например клавишным инструментом, таким как Electone (зарегистрированное торговое название) или органом, или духовым инструментом, таким как флейта или кларнет, или ударным инструментом, таким как барабан. Следовательно, устройство автоматического исполнения согласно настоящему изобретению не ограничено пианино автоматического исполнения, а может быть устройством, которое может осуществлять автоматическое исполнение на основе MIDI-сообщения.

Более того, устройство вывода информации исполнения и устройство автоматического исполнения согласно настоящему изобретению могут быть, например, информационным терминалом, таким как смартфон, планшетный терминал или смартбук, в котором прикладная программа для инструментальных исполнений установлена, или мобильным музыкальным проигрывателем или устройством, не имеющим функции ручного исполнения.

Информация исполнения согласно настоящему изобретению не ограничена информацией, соответствующей MIDI-формату, а может быть информацией, представляющей содержимое исполнения на терминале 10 инструмента и которая может использоваться для автоматического исполнения.

[0067] (Пример 10 модификации)

Программы, которые должны выполняться секцией 11 управления терминала 10 инструмента, секцией 21 управления серверного устройства 20 и секцией 31 управления пианино 30 автоматического исполнения согласно варианту осуществления, описанному выше, могут быть предоставлены в записанном состоянии на машиночитаемых носителях, таких как магнитные носители записи (магнитная лента, магнитные диски (HDD и FD), и т.д.), оптические носители записи (оптические диски (CD и DVD), и т.д.), магнитно-оптические носители записи и полупроводниковая память. Кроме того, программы могут быть загружены по сети, такой как Интернет. Кроме того, функции, которые должны быть реализованы секцией 11 управления, секцией 21 управления и секцией 31 управления, могут быть реализованы посредством одного или множества программных продуктов или могут быть реализованы посредством одного или множества аппаратных продуктов.

Изобретение относится к компьютерной технике. Технический результат - автоматическое инструментальное исполнение синхронно с видео. Устройство автоматического исполнения включает в себя вторую секцию приема данных исполнения, которая принимает данные исполнения, переданные без прохождения через сервер распространения движущегося изображения, от серверного устройства, хранящего данные исполнения, которые являются группой информации исполнения терминала инструмента и информации даты и времени, указывающей дату и время, когда исполнение, указанное информацией исполнения, выполнено, секцию приема сигнала синхронизации, которая принимает сигнал синхронизации, переданный по маршруту передачи звукового сигнала от сервера распространения движущегося изображения, и блок воспроизведения, который воспроизводит информацию исполнения из принятых данных исполнения, синхронно с распространением изображения во время распространения сигнала синхронизации с моментом времени, соответствующим времени и дате, указанным посредством информации даты и времени из данных исполнения, принимаемых второй секцией приема данных для музыкального исполнения, и дате и времени, указанным посредством сигнала синхронизации, принятого блоком прима сигнала синхронизации. 4 н. и 3 з.п. ф-лы, 15 ил.

1. Устройство автоматического исполнения для воспроизведения информации исполнения, принятой от устройства вывода информации исполнения, синхронно с видео, распространяемым сервером распространения движущегося изображения для распространения видео и аудио, устройство автоматического исполнения содержит:
блок приема данных исполнения, который принимает данные исполнения, передаваемые из устройства хранения без прохождения через сервер распространения движущегося изображения, причем устройство хранения сконфигурировано, чтобы хранить данные исполнения, имеющие комбинацию информации исполнения и информации времени, информация исполнения выводится из информации исполнения, информация времени указывает время, когда исполнение, указанное информацией исполнения, было осуществлено, и это время измерено секцией часов устройства вывода информации исполнения;
блок приема сигнала синхронизации, который принимает сигнал синхронизации, передаваемый от устройства вывода информации исполнения, используя маршрут передачи аудиосигнала для аудио через сервер распространения движущегося изображения, сигнал синхронизации указывает время, измеренное посредством секции часов; и
блок воспроизведения, который воспроизводит информацию исполнения данных исполнения синхронно с видео, распространяемым во время, когда сигнал синхронизации распространяется, в момент времени, соответствующий времени, указанному информацией времени данных исполнения, принимаемых блоком приема данных исполнения, и времени, указанному сигналом синхронизации, принимаемым блоком приема сигнала синхронизации.

2. Устройство автоматического исполнения по п.1, дополнительно содержащее:
блок буферизации, сконфигурированный, чтобы буферизовать данные исполнения, принятые блоком приема данных исполнения, в области буферизации,
при этом блок воспроизведения считывает информацию исполнения буферизованных данных исполнения из области буферизации и воспроизводит информацию исполнения параллельно с буферизацией посредством блока буферизации.

3. Устройство автоматического исполнения по п.1 или 2, в котором, в то время как блок воспроизведения воспроизводит информацию исполнения, блок приема сигнала синхронизации принимает сигнал синхронизации в предварительно определенном цикле; и
при этом если сигнал синхронизации не принят в течение предварительно определенного периода, более длительного, чем упомянутый цикл, блок воспроизведения непрерывно воспроизводит информацию исполнения, а если сигнал синхронизации не принят после периода, воспроизведение информации исполнения останавливается.

4. Устройство автоматического исполнения по п.1 или 2, в котором в дополнение к информации исполнения и информации времени устройство хранения хранит идентификатор для идентификации устройства вывода информации исполнения или группу информации исполнения, выступающую в качестве группы информации исполнения;
при этом сигнал синхронизации является сигналом, указывающим идентификатор и время, когда исполнение было осуществлено; и
при этом блок воспроизведения воспроизводит информацию исполнения данных исполнения, включающих в себя идентификатор, указанный посредством сигнала синхронизации, и не воспроизводит информацию исполнения данных исполнения, включающих в себя другие идентификаторы.

5. Устройство хранения, которое может связываться с устройством вывода информации исполнения для вывода информации исполнения и с устройством автоматического исполнения для воспроизведения информации исполнения синхронно с видео, распространяемым сервером распространения движущегося изображения для распространения видео и аудио, устройство хранения содержит:
блок приема данных исполнения, который принимает данные исполнения, имеющие комбинацию информации исполнения и информации времени, от устройства вывода информации исполнения каждый раз, когда информация исполнения генерируется устройством вывода информации исполнения, без прохождения через сервер распространения движущегося изображения, причем информация времени указывает время, когда исполнение, указанное информацией исполнения, было осуществлено,
блок хранения, который хранит данные исполнения, принимаемые блоком приема данных исполнения; и
блок передачи данных исполнения, который передает данные исполнения, сохраненные в блоке хранения, устройству автоматического исполнения без прохождения через сервер распространения движущегося изображения параллельно с сохранением данных исполнения, принятых блоком хранения.

6. Устройство вывода информации исполнения, которое может связываться с устройством хранения и устройством автоматического исполнения для воспроизведения информации исполнения синхронно с видео, распространяемым сервером распространения движущегося изображения для распространения видео и аудио, устройство вывода информации исполнения содержит:
блок генерирования информации исполнения, который генерирует информацию исполнения;
блок синхронизации, который измеряет время;
блок передачи данных исполнения, который передает данные исполнения, имеющие комбинацию информации времени и информации исполнения, в устройство хранения без прохождения через сервер распространения движущегося изображения каждый раз, когда информация исполнения генерируется блоком генерирования информации исполнения, причем информация времени указывает время, измеренное блоком синхронизации; и
блок передачи сигнала синхронизации, который передает сигнал синхронизации, указывающий время, измеряемое блоком синхронизации, серверу распространения движущегося изображения по маршруту передачи аудиосигнала для аудио.

7. Система исполнения, содержащая:
устройство вывода информации исполнения, которое выводит информацию исполнения;
устройство хранения; и
устройство автоматического исполнения, которое воспроизводит информацию исполнения синхронно с видео, распространяемым сервером распространения движущегося изображения для распространения видео и аудио,
при этом устройство вывода информации исполнения включает в себя:
блок генерирования информации исполнения, который генерирует информацию исполнения;
блок синхронизации, который измеряет время;
первый блок передачи данных исполнения, который передает данные исполнения, имеющие комбинацию информации времени и информации исполнения, устройству хранения без прохождения через сервер распространения движущегося изображения каждый раз, когда информация исполнения генерируется блоком генерирования информации исполнения, причем информация времени указывает время, измеренное блоком синхронизации; и
блок передачи сигнала синхронизации, который передает сигнал синхронизации, указывающий время, измеряемое блоком синхронизации, серверу распространения движущегося изображения, используя маршрут передачи аудиосигнала для аудио;
при этом устройство хранения включает в себя:
первый блок приема данных исполнения, который принимает данные исполнения, передаваемые через первый блок передачи данных исполнения;
блок хранения, который хранит данные исполнения, принимаемые блоком приема данных исполнения; и
второй блок передачи данных исполнения, который передает данные исполнения, сохраняемые в блоке хранения, устройству автоматического исполнения без прохождения через сервер распространения движущегося изображения параллельно с сохранением данных исполнения, принимаемых блоком хранения; и
при этом устройство автоматического исполнения включает в себя:
второй блок приема данных исполнения, который принимает данные исполнения, передаваемые через второй блок передачи данных исполнения;
блок приема сигнала синхронизации, который принимает сигнал синхронизации, передаваемый через блок передачи сигнала синхронизации от сервера распространения движущегося изображения, используя маршрут передачи; и
блок воспроизведения, который воспроизводит информацию исполнения данных исполнения синхронно с видео, распространяемым во время, когда сигнал синхронизации распространяется, в момент времени, соответствующий времени, указанному информацией времени данных исполнения, принимаемых вторым блоком приема данных исполнения, и времени, указанному сигналом синхронизации, принимаемым блоком приема сигнала синхронизации.