Область техники
Изобретение относится, в целом, к комплексным отраслям робототехники и искусственного интеллекта, а более конкретно к компьютеризированным роботизированным системам для приготовления пищи путем перевода процесса приготовления пищи, осуществляемого профессиональными и непрофессиональными поварами, в цифровой вид и последующего воспроизведения движений, методик и техник повара с возможностью выполнения электронных настроек в режиме реального времени.
Предшествующий уровень техники
В последние десятилетия ведутся научно-исследовательские разработки в области робототехники, однако, в основном, прогресс наблюдается в тяжелой промышленности, в частности, в автоматизации автомобилестроения или военных применениях. Для потребительского рынка были разработаны простые роботизированные системы, однако они не получили широкого распространения в сфере домашней робототехники. Концепция замены людей роботами в некоторых отраслях и выполнения задач, которые всегда выполнялись людьми, является основополагающей для идеологии непрерывного развития со времен появления первых роботов в 1970-х годах.
Из уровня техники известны решения, в которых приготовление блюд осуществляется с помощью роботизированных устройств, например, в заявке на изобретение US 2004/172,380, опубликованной 02.09.2004, раскрыты способ и устройство автоматического приготовления пищи, в которых описан процесс приготовления пищи манипулятором на основании программы о процессе приготовления пищи поваром с информацией о количестве и видах основных ингредиентов и приправ, используемых шеф-поваром, сроках добавления основных ингредиентов и приправ, а также отслеживания движения контейнера для приготовления пищи.
Недостатком данного технического решения является ограниченность одним блюдом, невозможность варьирования различных вариантов рецепта и, в силу того, что считывание последовательности наблюдений движений шеф-повара осуществляется посредством двух видеокамер, техническое решение по заявке на изобретение US 2004/172,380 не позволяет воспроизводить сложные блюда. Кроме того, в данном решении отсутствует режим «обучение/воспроизведение» манипулятора.
Раскрытие изобретения
Техническим результатом, на достижение которого направлена заявленная группа изобретений, является обеспечение возможности варьирования различных вариантов рецепта за счет режима «обучение/воспроизведение», повышение экономичности за счет упрощения системы подачи и дозирования ингредиентов, сокращение времени за счет повышения точности позиционирования кухонных приспособлений и контейнеров с ингредиентами.
Указанный технический результат достигается за счет того, что роботизированная кухонная система включает в себя роботизированное устройство, содержащее один или несколько концевых рабочих органов для взаимодействия со средой, по меньшей мере, один из нескольких концевых рабочих органов для взаимодействия со средой содержит один или несколько датчиков, при этом один или несколько концевых рабочих органов для взаимодействия со средой сконфигурированы таким образом, чтобы (i) собирать данные датчиков через один или несколько датчиков и (ii) воспроизводить рецепт процесса путем выполнения машинного последовательного роботизированного сценария рецепта, соответствующего рецепту процесса на основе хотя бы части собранных датчиками данных. При этом один или несколько датчиков содержат камеру.
Краткое описание фигур чертежей
Сущность изобретения поясняется чертежами, где:
на фиг. 1 представлено схематическое изображение системы, где показана полная роботизированная кухня для приготовления пищи с аппаратным и программным обеспечением в соответствии с настоящим изобретением;
на фиг. 2 представлено схематическое изображение системы, где показано осуществление роботизированной системы приготовления пищи, которая включает в себя студию-кухню шеф-повара и бытовую роботизированную кухонную систему в соответствии с настоящим изобретением.
на фиг. 3 представлено схематическое изображение системы, где показано осуществление стандартизованной роботизированной кухни для приготовления блюд путем воспроизведения процесса приготовления по рецепту, техник и движений шеф-повара в соответствии с настоящим изобретением.
на фиг. 4 представлено схематическое изображение системы, где показано осуществление роботизированного механизма приготовления пищи, используемого вместе с компьютером в студии-кухне шеф-повара и бытовой роботизированной кухонной системы в соответствии с настоящим изобретением.
Осуществление изобретения
Приведенные ниже определения применяются к элементам и этапам, описанным в настоящем документе. Аналогичным образом данные понятия могут быть расширены.
Абстрагированные данные - данный термин относится к абстрагированному рецепту, используемому при исполнении автоматической системой, который имеет множество других элементов данных, которые система должна знать для обеспечения правильного выполнения и воспроизведения. Эти так называемые метаданные, или дополнительные данные, соответствующие определенному этапу в процессе приготовления, будь то данные непосредственно от датчиков (время на часах, температура воды, изображение камеры, используемая утварь или ингредиенты и т.д.) или данные, генерируемые путем интерпретации или абстрагирования более крупных наборов данных (таких как облако объемных данных от лазера, используемого для определения расположения и типов объектов на изображении с наложенной текстурой и картами цветов из изображений камеры и т.д.), имеют временные метки и используются роботизированной кухней для настройки, управления и контроля всех процессов, способов и оборудования, необходимых в определенные моменты времени по мере выполнения последовательности этапов в рецепте.
Абстрагированный рецепт - данный термин относится к представлению рецепта шеф-повара, который человек знает и использует в определенных последовательностях при работе с определенными ингредиентами, подготовленными и объединенными с помощью последовательности процессов и способов, а также навыков человека-повара. Абстрагированный рецепт, используемый системой при автоматизированном выполнении, требует использования различных типов классификации и последовательностей. Хотя все выполняемые этапы идентичны этапам, выполняемым человеком-поваром, абстрагированный рецепт, используемый на роботизированной кухне, требует того, чтобы частью каждого этапа в рецепте были дополнительные метаданные. К таким метаданным можно отнести время приготовления, переменные параметры, такие как температура (и ее изменения в течение некоторого периода времени), настройки печи, используемый инструмент/оборудование и т.д. В основном, исполняемый системой сценарий рецепта должен иметь все возможные измеренные переменные, импортированные в процедуру приготовления (переменные, измеренные и сохраненные во время приготовления блюда человеком-поваром по рецепту в студии шеф-повара), соотнесенные со временем (общие переменные и переменные для каждого этапа процедуры приготовления). Таким образом, абстрагированный рецепт является представлением этапов приготовления, преобразованных в машиночитаемый вид, или область, которая собирает данные о процессе из области человеческого восприятия в область машинного восприятия (в понятной и исполняемой форме) с помощью набора этапов логического абстрагирования.
Ускорение - данный термин относится к максимальной степени изменения скорости, при которой роботизированные руки могут ускоряться вокруг оси или вдоль некоторой траектории в пространстве на короткой дистанции.
Точность - данный термин относится к тому, насколько близко робот может приблизиться к заданному положению. Точность определяется как разность между абсолютным положением робота и заданным положением. Точность может быть повышена, настроена или откалибрована с помощью внешней системы датчиков, таких как датчики на роботизированной кисти или трехмерной модели в режиме реального времени, использующей несколько (мультимодальных) датчиков.
Элементарное действие - в одном варианте данный термин относится к неделимому роботизированному действию, такому как перемещение роботизированного приспособления из положения X1 в положение Х2, или определению расстояния от объекта для приготовления пищи без необходимости получения функционального результата. В другом варианте данный термин относится к неделимому роботизированному действию в последовательности одного или нескольких таких блоков для выполнения мини-манипуляций. Эти два аспекта относятся к одному определению.
Автоматизированная система дозирования - данный термин относится к контейнерам дозирования в модуле стандартизованной кухни, в которые подается определенное количество химических веществ (в т.ч. соль, сахар, перец, специи, любой вид жидкостей, например, вода, масло, эссенции, кетчуп и т.д.).
Автоматизированная система хранения и подачи - данный термин относится к контейнерам хранения в модуле стандартизованной кухни, в которых для хранения пищевых продуктов поддерживается определенная температура и влажность; каждому контейнеру хранения присвоен код (например, штрих-код), с помощью которого роботизированная кухня идентифицирует и считывает информацию о том, где находится соответствующий контейнер с конкретными пищевыми продуктами.
Облако данных - данный термин относится к коллекции числовых измеренных значений от датчиков или из базы данных, полученных из определенного источника (объемные данные лазера/данные измерений уровня шума, RGB-значения с изображения камеры и т.д.), собранные с определенными интервалами и аггрегированные на основании множества взаимосвязей, таких как время, место и т.д.
Степень свободы («СС») - данный термин относится к определенному режиму и/или направлению, в котором может перемещаться механическое устройство или система. Число степеней свободы равно общему количеству независимых перемещений или типов движения. При использовании двух роботизированных рук общее количество степеней свободы удваивается.
Обнаружение контуров - данный термин относится к компьютерной программе (программам), позволяющей идентифицировать контуры нескольких объектов, которые могут быть наложены на двухмерное изображение камеры для успешного определения их границ и упрощения идентификации объектов, а также планирования их захвата и обработки.
Значение равновесия - данный термин относится к целевому положению конечности робота, такой как роботизированная рука, в котором силы, действующие на нее, находятся в равновесии, т.е. нет результирующей силы и, следовательно, результирующего перемещения.
Планировщик последовательности выполнения - данный термин относится к компьютерной программе (программам), способной создавать сценарии последовательностей действий или команды для одного или нескольких элементов или систем, которыми можно управлять с помощью компьютера, таких как рука (руки), дозаторы, приборы и т.д.
Качество воспроизведения действий с пищей - данный термин относится к роботизированной кухне, которая должна воспроизводить сценарий рецепта, сгенерированный в студии шеф-повара путем наблюдения, измерения и интерпретирования этапов, переменных, способов и процедур, выполняемых человеком-поваром, для воспроизведения его (ее) техник и навыков. Точность того, насколько близко выполнение приготовления блюда к действиям человека-повара, измеряется тем, насколько сильно приготовленное роботом блюдо похоже на блюдо, приготовленное человеком, на основании измерения различных субъективных параметров, таких как консистенция, цвет, вкус и т.д. Смысл заключается в том, что чем больше блюдо, приготовленное роботизированной кухней, похоже на блюдо, приготовленное человеком-поваром, тем выше качество процесса воспроизведения.
Стадия приготовления пищи (также называемая «стадия готовки») - данный термин относится к сочетанию (последовательному или параллельному) одной или нескольких мини-манипуляций, включающих в себя элементарные действия, и компьютерных инструкций для управления различным кухонным оборудованием и устройствами в модуле стандартизованной кухни; при этом одна или несколько стадий приготовления пищи вместе образуют весь процесс приготовления пищи по определенному рецепту.
Геометрическое осмысление - данный термин относится к компьютерной программе (программам), способной использовать данные о двухмерных (2D)/трехмерных (3D) поверхностях и/или объемные данные для определения фактических форм и размеров геометрического тела; способность определять или использовать информацию о границах также позволяет делать выводы о начале и конце определенного геометрического элемента и количестве таких элементов (на изображении или модели).
Осмысление захвата - данный термин относится к компьютерной программе (программам), способной использовать геометрические и физические основания для планирования многоконтактного (точка/область/объем) взаимодействия между роботизированным концевым рабочим органом (зажимом, звеном и т.д.) и инструментами/утварью, удерживаемой концевым рабочим органом, для успешного и стабильного обеспечения контакта, захвата и удерживания объекта для выполнения манипуляций с ним в трехмерном пространстве.
Автоматическое аппаратное устройство - устройство выполнения определенного процесса, способное выполнять заранее запрограммированные последовательные этапы без возможности внесения изменений в любой из них; такие устройства используются для выполнения циклических движений, которые не требуют изменений.
Управление и манипуляции с ингредиентами - данный термин относится к определению подробной информации об ингредиентах (включая размер, форму, вес, габариты, характеристики и свойства), внесению одного или нескольких изменений в переменные в режиме реального времени, связанные с определенным ингредиентом, которые могут отличаться от заранее сохраненной информации об ингредиентах (такой как размер рыбного филе, габариты яйца и т.д.), выполнению различных стадий для совершения манипуляций с ингредиентом.
Кухонный модуль (или кухонное пространство) - модуль стандартизованной полноразмерной кухни со стандартизованными наборами кухонного оборудования, стандартизованными наборами кухонных инструментов, стандартизованными наборами кухонных ручек и стандартизованными наборами кухонных контейнеров, с заранее заданным пространством и габаритами для хранения, получения доступа и работы с любым кухонным элементом в стандартизованном модуле полноразмерной кухни. Одной из задач кухонного модуля является предварительное определение всего кухонного оборудования, инструментов, ручек, контейнеров и т.д. таким образом, чтобы создать относительно стабильную кухонную платформу для движений роботизированных кистей и рук. Как шеф-повар в студии-кухне, так и человек в доме с роботизированной кухней (или человек в ресторане) используют стандартизованный кухонный модуль таким образом, чтобы максимизировать прогнозируемость работы кухонного аппаратного обеспечения, а также минимизировать риски изменений, отличий и отклонений между студией-кухней шеф-повара и домашней роботизированной кухней. Возможны различные варианты осуществления кухонного модуля, включая автономный кухонный модуль и встроенный кухонный модуль. Встроенный кухонный модуль устанавливается в обычную кухонную зону стандартного дома. Кухонный модуль работает по меньшей мере в двух режимах: в роботизированном режиме и в нормальном (ручном) режиме.
Машинное обучение - данный термин относится к технологии, в которой программный компонент или программа повышает уровень производительности на основании опыта и обратной связи. Одним из типов машинного обучения является стимулированное обучение, часто используемое в робототехнике, при котором желательные действия поощряются, а нежелательные действия - бракуются. Другой тип обучения - ситуационное обучение, при котором предварительные решения, например, последовательности действий человека-учителя или самого робота, сохраняются вместе с различными ограничениями или выводами по решению, а затем применяются или повторно используются при новых настройках. Также можно использовать дополнительные типы машинного обучения, такие как индуктивное и трансдуктивное обучение.
Мини-манипуляция - данный термин относится к сочетанию (или последовательности) одного или нескольких этапов, которые позволяют достичь основного результата выполнения функции с учетом порогового значения с самым высоким уровнем вероятности (например, пороговое значение находится в пределах 0,1, 0,001 или 0,001 от оптимального значения). Каждый этап может представлять собой элементарное действие или другую (меньшую) мини-манипуляцию, аналогичную компьютерной программе, состоящей из основных этапов кодирования и других компьютерных программ, которые могут быть отдельными программами или выполняться в виде подпрограмм. Например, мини-манипуляция может представлять собой разбивание яйца, состоящее из действий двигателя, необходимых для формирования правильной конфигурации роботизированной руки путем перемещения роботизированных пальцев, и приложения необходимого усилия для захвата - все элементарные действия. Другая мини-манипуляция может представлять собой разбивание яйца при помощи ножа, включающее в себя мини-манипуляцию захвата, выполняемую одной роботизированной кистью, последующую мини-манипуляцию захвата ножа другой кистью, последующее элементарное действие удара ножом по яйцу с заранее заданной силой.
Элементы и классификация моделей - данный термин относится к одной или нескольким компьютерным программам, способным интерпретировать элементы в рабочей области как предметы, используемые или необходимые для выполнения разных этапов задач, например, для смешивания нужна чаша, а для перемешивания ее содержимого следует использовать ложку и т.д. Множество элементов в рабочей области или в модели окружающей среды могут быть классифицированы по группам для ускорения планирования и выполнения задач.
Элементарные движения - данный термин относится к движениям, которые определяют различные уровни/области выполнения отдельных этапов процедур, например, элементарное движение высокого уровня будет представлять собой захват чашки, а элементарное движение низкого уровня будет представлять собой поворот запястья на пять градусов.
Мультимодальный измерительный прибор - данный термин относится к измерительному прибору, состоящему из нескольких датчиков, способных выполнять измерения и обнаружения в нескольких режимах, электромагнитных диапазонах или спектрах, в частности, способных собирать информацию о положении и/или движениях в пространстве; электромагнитные спектры могут изменяться в пределах от низких до высоких частот и не должны ограничиваться уровнями, воспринимаемыми человеком. Дополнительные режимы могут включать в себя, не ограничиваясь этим, другие физические чувства, такие как осязание, обоняние и т.д.
Количество осей - для достижения любой точки в пространстве необходимо три оси. Для обеспечения полного контроля ориентации конца руки (т.е. запястья), требуется три дополнительных оси вращения (горизонтальная поперечная ось, горизонтальная продольная ось и вертикальная ось).
Параметры - данный термин относится к переменным, которые могут принимать числовые значения, или диапазонам числовых значений. Имеется три основных типа параметров: параметры в инструкциях для роботизированного приспособления (например, сила или расстояние перемещения руки), настраиваемые пользователем параметры (например, предпочтительная степень прожарки: полностью прожаренное или среднепрожаренное), а также параметры, настраиваемые шеф-поваром (например, установленная температура в печи 350°F).
Регулировка параметров - данный термин относится к процессу изменения значений параметров на основании входных данных. Например, изменения параметров в инструкциях для роботизированных устройств могут быть основаны на свойствах (например, размере, форме, ориентации), не ограничиваясь этим, ингредиентов, положениях/ориентациях кухонных инструментов, оборудовании, устройствах, скорости и продолжительности выполнения мини-манипуляций.
Полезная или транспортировочная грузоподъемность - данный термин относится к тому, какой вес роботизированная рука может перенести или удержать (или даже ускоряться) с учетом силы тяжести, в виде функции зависимости от конечного места.
Физическое осмысление - данный термин относится к компьютерной программе (программам), способной использовать геометрически осмысленные данные и использовать физическую информацию (плотность, текстуру, обычную геометрию и форму), чтобы помочь механизму (программе) логического вывода оптимизировать модель объекта и спрогнозировать его поведение в реальных условиях, в частности, при захвате и/или манипулировании/выполнении операций.
Необработанные данные - данный термин относится ко всем измеренным и спрогнозированным данным датчиков и представленной информации, собранной в рамках генерирования рецепта в студии-кухне шеф-повара во время наблюдения/контроля действий человека-повара во время приготовления блюда. Необработанные данные могут включать в себя простые точечные измерения (например, время на часах, температура в печи (изменяющаяся с течением времени), изображение камеры, данные о рабочей области, сгенерированные с помощью трехкоординатного лазера), а также информацию об используемых устройствах/оборудовании, применяемых инструментов, названиях и времени подачи ингредиентов (тип и количество) и т.д. Вся информация, собранная в студии-кухне с помощью встроенных датчиков и сохраненная в необработанном виде с временными метками, представляет собой необработанные данные. Затем необработанные данные используются другими программными процессами для достижения еще более высокого уровня интерпретации процесса выполнения рецепта, преобразования необработанных данных в дополнительные обработанные/интерпретированные данные с временными метками.
Роботизированное приспособление - данный термин относится к набору датчиков и рабочих органов робота. Рабочие органы включают в себя одну или несколько роботизированных рук и одну или несколько роботизированных кистей для работы на стандартизованной роботизированной кухне. Датчики включают в себя камеры, дальномеры, датчики усилия (тактильные датчики), которые передают информацию на процессор или группу процессоров, которые управляют рабочими органами.
Процесс готовки по рецепту - данный термин относится к роботизированному сценарию, содержащему уровни представления абстрагированных и подробных инструкций для набора программируемых и жестко автоматизированных устройств таким образом, чтобы устройства с компьютерным управлением могли выполнить последовательность действий в определенных внешних условиях (например, на кухне с ингредиентами, инструментами, утварью и устройствами).
Сценарий рецепта - данный термин относится к сценарию рецепта как временной последовательности, содержащей структуру и перечень команд и элементарных действий (управляющее программное обеспечение, построенное по принципу «от простого к сложному»), при выполнении которой с помощью элементов роботизированной кухни (рука робота, автоматизированное оборудование, устройства, инструменты и т.д.) в заданной последовательности, должно обеспечиваться правильное воспроизведение и получение блюда, аналогичного блюду, приготовленному человеком-поваром в студии-кухне. Такой сценарий выполняется последовательно в течение некоторого периода времени и эквивалентен последовательности, используемой человеком-поваром для создания блюда, формат которой подходит и понятен для элементов с компьютерным управлением на роботизированной кухне.
Соблюдение скоростных режимов рецепта - данный термин относится к соблюдению временной последовательности выполнения этапов рецепта при приготовлении блюда путем воспроизведения движений шеф-повара, при этом этапы рецепта включают в себя стандартизованные операции по приготовлению пищи (например, стандартизованную кухонную посуду, стандартизованное оборудование, кухонные комбайны и т.д.), мини-манипуляции и приготовление нестандартизованных объектов.
Повторяемость - данный термин относится к приемлемому заранее установленному запасу, с которым роботизированные руки/кисти могут многократно возвращаться в запрограммированное положение с нужной точностью. Если в соответствии с техническими требованиями, заданными в памяти блока управления, роботизированная кисть должна перемещаться в определенное положение по осям X, Y и Z с точностью ±0,1 мм от данного положения, то повторяемость для возврата роботизированных кистей измеряется в пределах ±0,1 мм от запомненного и желательного/заданного положения.
Роботизированный сценарий рецепта - данный термин относится к сгенерированной компьютером последовательности машиночитаемых инструкций, относящихся к правильной последовательности роботизированного/жестко автоматизированного выполнения этапов для дублирования необходимых этапов приготовления в рецепте для получения конечного продукта, идентичного продукту, полученному при приготовлении шеф-поваром.
Роботизированный костюм - внешнее устройство (устройства) или одежда с измерительной аппаратурой, такая как перчатки, одежда с маркерами, отслеживаемыми камерой, экзоскелет с шарнирами и т.д., используемая в студии шеф-повара для контроля и отслеживания движений и действий шеф-повара во время приготовления блюда по рецепту (рецептам).
Моделирование рабочего места - данный термин относится к компьютерной программе (программам), способной контролировать рабочее место в поле зрения одной или нескольких камер, обнаруживать и идентифицировать важные объекты с точки зрения выполнения определенной задачи. Данные объекты могут быть заранее заданы и/или могут являться частью компьютерной библиотеки с известными физическими атрибутами и предполагаемым использованием.
«Умная» кухонная посуда/оборудование - данный термин относится к кухонной посуде (например, кастрюле или сковороде) или кухонному оборудованию (например, печи, грилю или водопроводному крану) с одним или несколькими датчиками, которые контролируют приготовление блюда на основании одной или нескольких графических кривых (например, температурной кривой, кривой влажности и т.д.).
Программный механизм абстрагирования - данный термин относится к программному механизму, который определяется как набор программных циклов или программ, используемых вместе с входными данными процесса и формирующих определенный желательный набор выходных данных для использования другими программными механизмами или конечным пользователем в форме текстового или графического выходного интерфейса. Программный механизм абстрагирования представляет собой компьютерную программу (программы), предназначенную для приема большого объема входных данных из известного источника в определенной области (таких как объемные данные измерений, которые образуют облако объемных данных измерений, от одного или нескольких датчиков), и дальнейшей обработки данных для их интерпретирования в другой области (такого как обнаружение и распознавание поверхности стола в облаке данных на основании данных с одинаковой вертикальной координатой и т.д.), чтобы идентифицировать, обнаружить и классифицировать значения данных как привязанные к объекту в трехмерном пространстве (такому как столешница, кастрюля и т.д.). Процесс абстрагирования определяется в основном как прием массива данных из одной области и реконструкция структуры (в т.ч. геометрии) в пространстве более высокого уровня (абстрагирование точечных данных), а также абстрагирование выводов для дополнительных идентифицированных объектов (кастрюль и т.д.) на основании абстрагированных наборов данных для идентификации элементов реального мира на изображении, которые впоследствии могут быть использованы другими программными механизмами для принятия дополнительных решений (решение о выполнении операций/ манипулировании ключевыми объектами и т.д.). Синонимом для «программного механизма абстрагирования» в данном применении может быть «программный механизм интерпретирования» или «алгоритм компьютерной обработки и интерпретирования».
Осмысление задачи - данный термин относится к компьютерной программе (программам), способной проанализировать описание задачи и разбить его на последовательность нескольких исполняемых этапов (с помощью роботизированных или жестко автоматизированных систем) таким образом, чтобы достичь определенного конечного результата, указанного в описании задачи.
Трехмерное моделирование и осознание объектов реального мира - данный термин относится к компьютерной программе (программам), способной использовать данные датчиков для построения изменяющейся во времени трехмерной модели всех поверхностей и объемов таким образом, чтобы можно было обнаруживать, идентифицировать, классифицировать объекты и осознавать их способ использования и назначение.
Вектор момента - данный термин относится к торсионной силе конечности робота, включая ее направление и величину.
Логический вывод для объемного объекта (механизм) - данный термин относится к компьютерной программе (программам), способной использовать геометрические данные и информацию о контуре, а также другие данные датчиков (цвет, форму, текстуру и т.д.) для идентификации объемности одного или нескольких объектов для упрощения идентификации и классификации объекта.
Роботизированное приспособление на стандартизованной роботизированной кухне содержит две роботизированные руки с кистями, которые точно повторяют движения шеф-повара в той же последовательности (или практически той же последовательности) и с такими же (или практически с такими же) временными характеристиками для приготовления блюда на основании предварительно записанного программного файла (сценарий рецепта) с данными о точных движениях шеф-повара, выполняемых им во время приготовлении данного блюда.
Приспособление для приготовления пищи с компьютерным управлением готовит блюдо, используя сенсорную кривую, в т.ч. зависимость температуры от времени, предварительно записанную в программный файл, когда то же блюдо готовилось шеф-поваром при помощи приспособления для приготовления пищи с датчиками, для которых компьютер записывает показания в течение времени, когда шеф-повар предварительно готовит блюдо на оборудовании для приготовления с датчиками.
Кухонное оборудование для приготовления блюд содержит роботизированные руки по первому варианту осуществления и приспособление для приготовления с датчиками по второму варианту осуществления, причем применение роботизированных рук сочетается с одной или несколькими сенсорными кривыми, и роботизированные руки способны проверять качество блюда в процессе приготовления в отношении таких показателей, как вкус, запах и внешний вид, допуская любые корректировки процесса приготовления блюда.
Кухонное оборудование содержит систему хранения продуктов, с компьютерно-управляемыми контейнерами и идентификаторами контейнеров для хранения и передачи ингредиентов пользователю для приготовления блюда в соответствии с указаниями шеф-повара.
Роботизированная кухня содержит робота с руками и кухонное оборудование, где робот перемещается по всему кухонному оборудованию для приготовления блюд путем имитации точных движений шеф-повара по приготовлению, включая возможные модификации/адаптации процесса приготовления, заданного в сценарии рецепта, в режиме реального времени.
Роботизированный механизм для приготовления пищи может обнаруживать, записывать и имитировать движения шеф-повара во время приготовления, контролировать значимые параметры, в т.ч. температуру и время, а также обеспечивать работу специальных устройств, оборудования и инструментов, чтобы приготовить изысканное блюдо, вкус которого будет идентичен вкусу блюда, приготовленного шеф-поваром, и которое может быть подано в определенное удобное время. В одном варианте роботизированный механизм приготовления пищи использует роботизированные руки для воспроизведения движений, идентичных движениям шеф-повара, с теми же ингредиентами и методиками для изготовления блюда с идентичным вкусом.
Для осуществления настоящего изобретения основное внимание фокусируется на людях, за которыми наблюдают с помощью датчиков во время выполнения определенных естественных действий, и последующем использовании датчиков контроля, датчиков захвата, компьютеров и программного обеспечения для генерирования информации и команд с целью воспроизведения человеческих действий, используя одну или несколько роботизированных и/или автоматизированных систем. Несмотря на то, что данный подход можно использовать для множества аналогичных действий (например, для приготовления пищи, рисования, игры на музыкальных инструментах и т.д.), один аспект настоящего изобретения относится к приготовлению пищи, а именно, к роботизированному приготовлению пищи. Наблюдение и регистрация действий человека выполняется в специальной системе с измерительной аппаратурой (в данном случае на стандартизованной кухне) с использованием датчиков и компьютеров для наблюдения, контроля, записи и интерпретации движений и действий человека-повара, чтобы сформировать набор исполняемых роботом команд, устойчивый к изменениям и отклонениям внешних условий, при помощи которого роботизированная или автоматизированная система на роботизированной кухне сможет приготовить такое же блюдо по соответствию стандартам и качеству, как и блюдо, приготовленное человеком-поваром.
Сбор необработанных данных осуществляется с помощью мультимодальных сенсорных систем (систем датчиков). К датчикам, способным собирать и предоставлять такие данные, можно отнести датчики условий окружающей среды и датчики геометрических размеров, например, двухкоординатные (камеры и т.д.) и трехкоординатные (лазеры, ультразвуковые датчики и т.д.) датчики, а также системы захвата движения человека (носимые маркеры для камер, костюмы/экзоскелеты с измерительной аппаратурой, перчатки с измерительной аппаратурой и т.д.), а также оборудование с измерительной аппаратурой (датчиками) и механизированное оборудование (с исполнительными механизмами), используемое во время создания рецепта и его выполнения (устройства с измерительной аппаратурой, оборудование для приготовления пищи, инструменты, дозаторы ингредиентов и т.д.). Все эти данные собираются одной или несколькими распределенными/централизованными компьютерными системами и обрабатываются с помощью различных программных процедур. При помощи алгоритмов выполняется обработка и абстрагирование данных до такой степени, чтобы человек и роботизированная кухня с компьютерным управлением смогли интерпретировать операции, задачи, действия, оборудование, ингредиенты, способы и процедуры, используемые человеком, включая воспроизведение ключевых навыков конкретного шеф-повара. Необработанные данные обрабатываются с помощью одного или нескольких программных механизмов абстрагирования для создания сценария рецепта, который одновременно был бы понятен человеку и после дальнейшей обработки мог быть считан и выполнен компьютером, а также подробно расписывал все действия и движения на всех этапах определенного рецепта, который должен быть выполнен на роботизированной кухне. Набор таких команд по сложности может варьироваться от управления отдельными шарнирами в соответствии с определенным профилем движения шарнира в течение времени до абстрагированных уровней встроенных команд выполнения движений более низкого уровня, связанных с конкретными шагами в рецепте. На основании необработанных данных можно сгенерировать абстрагированные команды движения (например, «разбить яйцо на сковороду», «обжарить с обеих сторон до получения золотистого цвета» и т.д.), после чего они могут быть уточнены и оптимизированы с помощью многочисленных вариантов итеративных процедур обучения, выполняемых в режиме реального времени и/или в автономном режиме, позволяя роботизированным кухонным системам справляться с неоднозначностями результатов измерений, изменением ингредиентов и т.д., давая возможность выполнять сложные (адаптивные) мини-манипуляции с помощью кистей с пальцами, установленных на руках и запястьях робота, на основании достаточно абстрагированных команд или команд высокого уровня (например, «взять кастрюлю за ручку», «высыпать содержимое», «взять ложку со столешницы и перемешать суп» и т.д.).
Возможность создания машиновыполняемых последовательностей команд, хранящихся теперь в цифровых файлах, которыми можно поделиться или передать, позволяя выполнить их на любой роботизированной кухне, предоставляет опцию выполнения этапов по приготовлению блюд в любом месте и в любое время. Таким образом, данный подход позволяет покупать/продавать рецепты в режиме онлайн, позволяя пользователям получать доступ и распространять рецепты для разового использования или по подписке.
Повторение блюда, приготовленного человеком, выполняется роботизированной кухней, что, в сущности, представляет собой точную стандартизованную копию кухни с аппаратурой, используемой человеком-поваром во время создания блюда, за тем исключением, что действия человека теперь выполняются набором роботизированных рук и кистей с помощью устройств, оборудования, инструментов, дозаторов и т.д. с компьютерным контролем и управлением. Поэтому степень точности воспроизведения блюда тесно связана с тем, насколько роботизированная кухня является точной копией кухни (и всех элементов и ингредиентов), в которой наблюдают за человеком-поваром при приготовлении блюда.
Говоря в широком смысле, может быть предусмотрен выполняемый компьютером способ, функционирующий на роботизированном приспособлении, который включает в себя электронное описание одного или нескольких блюд, включая рецепты для приготовления шеф-поваром каждого блюда из некоторых ингредиентов; считывание последовательности наблюдений за движениями шеф-повара (для каждого блюда) с помощью совокупности роботизированных датчиков во время приготовления блюда шеф-поваром с использованием ингредиентов и кухонного оборудования; обнаружение в этой последовательности наблюдений мини-манипуляций, соответствующих последовательности движений, выполняемых на каждой стадии приготовления определенного блюда; преобразование считанной последовательности наблюдений в машиночитаемые инструкции для управления роботизированным устройством, способным выполнять последовательности мини-манипуляций; хранение на электронном носителе для каждого блюда, по меньшей мере, указанной последовательности инструкций для мини-манипуляций, причем последовательность мини-манипуляций для каждого блюда хранится в виде соответствующей электронной записи; передачу соответствующей электронной записи с информацией о блюде на роботизированное приспособление, которое способно воспроизводить последовательность сохраненных мини-манипуляций, соответствующих оригинальным действиям шеф-повара; и выполнение роботизированным приспособлением последовательности инструкций для мини-манипуляций для определенного блюда, получая практически тот же результат, как и в случае приготовления оригинального блюда шеф-поваром, причем выполнение инструкций включает в себя считывание свойств ингредиентов, используемых при приготовлении блюда.
Преимуществом является то, что роботизированное приспособление на стандартизованной роботизированной кухне имеет функциональные возможности для приготовления широкого набора блюд разных кухонь со всего мира за счет использования глобальной сети и доступа к базам данных, по сравнению с шеф-поваром, который может специализироваться только на одном типе кухни. Стандартизованная роботизированная кухня также может иметь функцию захвата и записи одного из любимых блюд пользователя для последующего воспроизведения роботизированным устройством в любой момент, когда человек захочет попробовать это блюдо, без многократных трудных повторений для приготовления одного и того же блюда снова и снова.
На Фиг. 1 представлено схематическое изображение системы, иллюстрирующее всю роботизированную кухню 10 для приготовления пищи с аппаратным обеспечением 12 и программным обеспечением 14. Вся роботизированная кухня 10 для приготовления пищи содержит аппаратное обеспечение 12 для роботизированного приготовления пищи и программное обеспечение 14 для роботизированного приготовления пищи, которые взаимодействуют друг с другом для выполнения роботизированных функций по приготовлению пищи. Аппаратное обеспечение 12 для роботизированного приготовления пищи включает в себя компьютер 16, который управляет различными операциями и движениями стандартизованного кухонного модуля 18 (который работает в инструментальной среде с одним или несколькими датчиками), мультимодальные трехкоординатные датчики 20, роботизированные руки 22, роботизированные кисти 24 и захватные перчатки 26. Программное обеспечение 14 для роботизированного приготовления пищи вместе с аппаратным обеспечением 12 для роботизированного приготовления пищи обеспечивает захват движений шеф-повара во время приготовления блюда и воспроизведение движений шеф-повара с помощью роботизированных рук и кистей, чтобы получить блюдо, идентичное или практически идентичное (например, с точки зрения вкуса, запаха и т.д.) результату, достигнутому человеком-поваром.
Программное обеспечение 14 для роботизированного приготовления пищи включает в себя мультимодальные трехкоординатные датчики 20, модуль захвата 28, калибровочный модуль 30, модуль выполнения алгоритма преобразования 32, повторяющий модуль 34, модуль проверки качества 36 с системой трехмерного зрения, модуль идентичности результата 38 и модуль обучения 40. Модуль захвата 28 захватывает движения шеф-повара во время приготовления блюда. Калибровочный модуль 30 калибрует роботизированные руки 22 и роботизированные кисти 24 до, во время и после приготовления. Модуль алгоритма преобразования 32 преобразовывает записанные данные о движениях шеф-повара, собранные в студии шеф-повара, в измененные (трансформированные) данные рецепта для использования на роботизированной кухне, где роботизированные кисти воспроизводят процесс приготовления пищи шеф-поваром. Модуль повторения 34 воспроизводит движения шеф-повара на роботизированной кухне. Модуль проверки качества 36 выполняет проверку качества блюда, приготовленного на роботизированной кухне, во время, до или после приготовления пищи. Модуль идентичности результата 38 определяет, имеет ли блюдо, приготовленное парой роботизированных рук и кистей на роботизированной кухне, такой же или практически такой же вкус, что и блюдо, приготовленное шеф-поваром. Модуль обучения 40 предназначен для предоставления возможностей обучения для компьютера 16, который управляет роботизированными руками и кистями.
На Фиг. 2 представлено схематическое изображение первого варианта роботизированной системы приготовления пищи, которая включает в себя студию шеф-повара и бытовые роботизированные кухонные системы для приготовления блюд путем воспроизведения процесса приготовления по рецепту и движений шеф-повара. Система 42 роботизированного приготовления включает в себя кухню 44 шеф-повара (так называемую «студию-кухню шеф-повара»), которая передает один или несколько записанных программных файлов рецепта 46 на роботизированную кухню 48 (так называемую «бытовую роботизированную кухню»). В одном варианте кухня 44 шеф-повара и роботизированная кухня 48 используют тот же самый модуль 50 стандартизованной роботизированной кухни (так называемый «модуль роботизированной кухни», «пространство роботизированной кухни», «кухонный модуль» или «кухонное пространство») для обеспечения максимальной точности воспроизведения приготовления блюда, что снижает воздействие переменных факторов, способных привести к возникновению различий между блюдом, приготовленным на кухне 44 шеф-повара, и блюдом, приготовленным на роботизированной кухне 46. Шеф-повар 49 надевает роботизированные перчатки или костюм с внешними сенсорными устройствами для захвата и записи его движений. Стандартизованная роботизированная кухня 50 содержит компьютер 16 для управления различными вычислительными функциями, при этом компьютер 16 включает в себя запоминающее устройство 52 для хранения одного или нескольких программных файлов с рецептами от датчиков на перчатках или костюме 54 для захвата движений шеф-повара, а также роботизированный механизм 56 (программное обеспечение) для готовки. Роботизированный механизм 56 для готовки включает в себя модуль 58 анализа перемещений, абстрагирования рецепта и упорядочивания. Роботизированная кухня 48 обычно использует пару роботизированных рук и кистей и, возможно, пользователя 60, для включения или программирования роботизированной кухни 46. Компьютер 16 на роботизированной кухне 48 включает в себя жестко автоматизированный модуль 62 для работы роботизированных кистей и рук, а также модуль 64 воспроизведения рецепта для воспроизведения движений шеф-повара с помощью данных (ингредиентов, последовательностей, процесса и т.д.) из программного файла с рецептом.
Стандартизованная роботизированная кухня 50 предназначена для обнаружения, записи и имитации движений шеф-повара, управления значимыми параметрами, такими как температура, в течение некоторого периода времени, а также выполнения процесса на роботизированных кухнях со специальными устройствами, оборудованием и инструментами. Кухня 44 шеф-повара предоставляет вычислительную среду (компьютер) 16 с перчатками с датчиками или костюмом с датчиками для записи и захвата движений шеф-повара 49 во время приготовления пищи по определенному рецепту. После записи движений и рецепта шеф-повара 49 для определенного блюда в программный файл с рецептом на запоминающее устройство 52 программный файл с рецептом передается с кухни 44 шеф-повара на роботизированную кухню 48 посредством сети связи 46, включая беспроводную сеть и/или проводную сеть, подключенные к Интернету, таким образом, чтобы пользователь 60 (необязательный) мог приобрести один или несколько программных файлов с рецептами или мог оформить подписку на кухню 44 шеф-повара в качестве участника группы, который получает новые программные файлы с рецептами или периодические обновления существующих программных файлов с рецептами. Бытовая роботизированная кухонная система 48 работает как внешняя вычислительная среда на роботизированной кухне в жилых домах, ресторанах и других местах, где кухня предназначена для приготовления пищи для пользователя 60. Бытовая роботизированная кухонная система 48 включает в себя роботизированный механизм 56 приготовления пищи с помощью одной или нескольких роботизированных рук и жестко автоматизированных устройств для воспроизведения действий, процессов и движений шеф-повара во время приготовления на основании программного файла с рецептом, полученного из студии 44 шеф-повара.
Студия 44 шеф-повара и роботизированная кухня 48 представляют собой тесно связанную систему, работающую в режиме «обучение/ воспроизведение», которая имеет несколько уровней качества исполнения. Если студия 44 шеф-повара представляет собой рабочую модель высокого качества приготовления профессиональных блюд, то роботизированная кухня 48 - это механизм/процесс выполнения/воспроизведения сценария рецепта, создаваемого шеф-поваром, работающим в студии шеф-повара. Стандартизация модуля роботизированной кухни позволяет повысить качество исполнения и вероятность достижения успеха.
Варьирующиеся уровни качества выполнения рецепта зависят от взаимосвязи между датчиками и оборудованием (не принимая в расчет ингредиенты) в студии 44 шеф-повара и на роботизированной кухне 48. Качество может быть задано как степень идентичности (неотличимости) вкуса блюда, приготовленного на роботизированной кухне, вкусу блюда, приготовленного человеком-поваром, при этом на одном конце диапазона оценки обеспечивается отличное воспроизведение/исполнение, а на противоположном конце блюдо может иметь один или несколько серьезных или значительных недостатков, связанных с качеством (пережаренное мясо или переваренная паста), вкусом (обгоревшие участки), съедобностью (неправильная консистенция) или даже проблемами со здоровьем (недожаренное мясо, такое как курица/свинина, зараженная сальмонеллой, и т.д.).
Использование роботизированной кухни с аппаратным обеспечением, датчиками и системами привода, которые позволят воспроизвести движения и процессы, используемые шеф-поваром, идентичных зарегистрированным во время приготовления в студии-кухне шеф-повара, с большей вероятностью позволит достичь более высокого качества. Идея заключается в том, что установки должны быть идентичными с точки зрения стоимости и занимаемого пространства. Тем не менее, роботизированная кухня 48 может быть оборудована дополнительными стандартизованными элементами с компьютерным управлением или без него (кастрюли с датчиками, устройства, подключенные к сети, такие как печи и т.д.), требующими более детального интерпретирования при помощи датчиков для обеспечения комплексного контроля выполнения. В связи с увеличением неопределенности с точки зрения ключевых элементов (правильного количества ингредиентов, температур приготовления и т.д.) и процессов (использования мешалки/давилки в случае отсутствия блендера на бытовой роботизированной кухне), вероятность достижения результата, идентичного результату, полученному шеф-поваром, значительно снизится.
Основным аспектом настоящего изобретения является наличие соединения между студией 44 шеф-повара и роботизированной кухней. Уровень роботизированной кухни 48 может изменяться от домашней кухни, оборудованной набором роботизированных рук и датчиков внешних условий, до точной копии студии-кухни, в которой движения набора рук и шарниров, инструменты, устройства и ингредиенты позволяют практически идентично воспроизвести рецепт шеф-повара. Единственным переменным фактором будет уровень качества конечного результата или блюда с точки зрения качества, внешнего вида, вкуса, съедобности и влияния на здоровье.
Данную взаимосвязь между результатом выполнения рецепта и входными переменными данными на роботизированной кухне можно математически выразить следующим образом:
где Fстудия = качество сценария рецепта для студии шеф-повара
FРоб.Кухня = выполнение сценария рецепта с помощью роботизированной кухни
I = ингредиенты
Е = оборудование
Р = процессы
М = способы
V = переменные (температура, время, давление и т.д.)
Ео = точность оборудования
Rв = точность воспроизведения
Ркп = качество контроля процесса
Данное уравнение определяет степень соответствия результата использования рецепта роботизированной системой и результата работы человека-повара и способствует (Fконечный рецепт) уровню правильности захвата и представления данных в студии 44 шеф-повара (Fстудия) на основании использованных ингредиентов (I), оборудования (Е), доступного для выполнения процессов (Р) и способов (М) шеф-повара при правильном захвате всех ключевых переменных (V) во время процесса приготовления; и то, как роботизированная кухня способна представить процесс воспроизведения/выполнения роботизированного сценария рецепта в виде функции (FРоб.Кухня), которая зависит от использования правильных ингредиентов (I), уровня качества оборудования (Ео) на роботизированной кухне по сравнению с показателями студии шеф-повара, уровня, с которым сценарий рецепта может быть воспроизведен (Rв) на роботизированной кухне, и тому, насколько нужно контролировать и выполнять корректирующие действия для достижения максимального качества контроля процесса (Ркп).
Функции (Fстудия) и (FРоб.Кухня) могут представлять собой любое сочетание линейных или нелинейных функциональных формул с постоянными, переменными и любыми алгоритмическими соотношениями. Обе функции можно алгебраически представить следующим образом:
Fстудия = I(фнкц. sin(Темп.)) + Е (фнкц. ВарочнПов1*5) + Р(фнкц. Круг(ложка) + V (фнкц. 0,5*время)
Предполагается, что качество процесса приготовления связано с температурой ингредиента, изменяющейся в холодильнике как синусоидальная функция, скоростью, с которой ингредиент может нагреться на варочной поверхности на конкретной станции при определенном значении множителя, и с тем, как хорошо ложка может перемещаться по круговой траектории определенной амплитуды и периода, и что процесс должен быть выполнен со скоростью не ниже 
от скорости человека-повара для поддержания качества процесса приготовления.
FРоб.Кухня = Ео (ВарочнПов2, Размер) + I (1,25*Размер + Линейн.(Темп.)) + Rв (Движение-Профиль) + Ркп (Соответствие Датчик-Костюм)
Предполагается, что качество процесса воспроизведения на роботизированной кухне связано с типом приспособления, конфигурацией области для приготовления и размером нагревательного элемента, размером и температурным профилем приготавливаемого ингредиента (чем толще стейк, тем больше уходит времени на его приготовление), при этом также учитывается профиль любого движения перемешивания и обработки на определенном этапе, например, во время подрумянивания мяса или взбивания мусса, и наличие достаточно высокого соответствия между датчиками на роботизированной кухне и студии шеф-повара, чтобы считать контролируемые данные датчика точными и достаточно подробными для обеспечения надлежащего контроля качества процесса приготовления на роботизированной кухне во время выполнения всех этапов приготовления по рецепту.
Результат приготовления по рецепту зависит не только от качества захвата этапов/способов/процессов/навыков человека-повара во время приготовления в студии шеф-повара, но и от качества их выполнения на роботизированной кухне, при этом каждый параметр имеет ключевые элементы, влияющие на производительность соответствующих подсистем.
На Фиг. 3 представлено схематическое изображение варианта стандартизованной роботизированной кухни 50 для приготовления пищи путем записи движений шеф-повара во время приготовления блюда и воспроизведения блюда роботизированными кистями и руками. В данном контексте термин «стандартизованный» (или «стандартный») означает, что характеристики или признаки компонентов являются заранее установленными, как будет описано ниже. Компьютер 16 соединен с возможностью обмена данными с несколькими кухонными элементами на стандартизованной роботизированной кухне 50, включая датчик трехмерного зрения 66, убирающийся защитный экран 68 (например, из стекла, пластика или другого защитного материала), роботизированные руки 70, роботизированные кисти 72, стандартизованные устройства/оборудования 74 для приготовления, стандартизованную кухонную посуду с датчиками 76, стандартизованную кухонную посуду 78, стандартизованные ручки и утварь 80, стандартизованный жестко автоматизированный дозатор (дозаторы) 82 (так называемый «роботизированный жестко автоматизированный модуль (модули)»), стандартизованный кухонный комбайн 84, стандартизованные контейнеры 86 и стандартизованный отсек хранения продуктов 88 в холодильнике.
Стандартизованный жестко автоматизированный дозатор (дозаторы) 82 представляет собой устройство или группу устройств, которые могут программироваться и/или управляться с помощью компьютера 16 для приготовления, который подает или поставляет предварительно упакованное (известное) количество или специальные порции ключевых материалов для процесса приготовления, таких как специи (соль, перец и т.д.), жидкости (воду, масло и т.д.) или другие сухие материалы (мука, сахар и т.д.). Стандартизованные жестко автоматизированные дозаторы 82 могут быть расположены на определенной станции или могут быть доступны роботу и обеспечивать подачу в соответствии с последовательностью, заданной в рецепте. В других вариантах роботизированный жестко автоматизированный модуль может быть объединен или работать последовательно или параллельно с другими такими модулями или роботизированными руками или утварью. В данном варианте стандартизованная роботизированная кухня 50 включает в себя роботизированные руки 70 и роботизированные кисти 72, при этом роботизированные кисти управляются роботизированным механизмом 56 приготовления пищи в соответствии с программным файлом с рецептом, хранящимся на запоминающем устройстве 52 для воспроизведения точных движений шеф-повара во время приготовления блюда для создания блюда со вкусом, идентичным вкусу блюда, приготовленного шеф-поваром. Датчики трехмерного зрения 66 позволяют выполнить трехмерное моделирование объектов, создавая визуальную трехмерную модель действий на кухне, а также сканирование кухонного пространства для оценки габаритов и объектов на стандартизованной роботизированной кухне 50. Убирающийся защитный экран 68 на роботизированной кухне 50 изготовлен из прозрачного материала, при переводе которого во включенное состояние вокруг роботизированной кухни создается экран для защиты окружающих людей от опасностей, связанных с движениями роботизированных рук 70 и кистей 72, горячей водой и другими жидкостями, паром, огнем и другими опасными факторами. Роботизированный механизм приготовления 56 соединен с возможностью обмена данными с электронным запоминающим устройством 52 для считывания программного файла с рецептом, предварительно отправленного из студии 44 шеф-повара, для которой роботизированный механизм 56 приготовления пищи выполняет операции по приготовлению и воспроизведению способов и процедур, выполняемых шеф-поваром во время приготовления, как указано в программном файле с рецептом. Роботизированные руки 70 и роботизированные кисти 72 предназначены для воспроизведения точных движений шеф-повара при приготовлении блюда таким образом, чтобы получившееся блюдо имело вкус, идентичный (или практически идентичный) вкусу блюда, приготовленного шеф-поваром. Стандартизованное кухонное оборудование 74 включает в себя набор кухонных устройств 46, которые представляют собой часть роботизированной кухни 50, включая, но не ограничиваясь этим, электрическую плиту/индукционную плиту/варочную поверхность (электрическую варочную поверхность, газовую варочную поверхность, индукционную варочную поверхность), печь, гриль, пароварку и микроволновую печь. Стандартизованная кухонная посуда 76 с датчиками используется для записи этапов приготовления пищи на основании данных датчиков на кухонной посуде и для приготовления блюда на основании данных от кухонной посуды с датчиками, к которой можно отнести кастрюлю с датчиками, сковороду с датчиками, печь с датчиками и гриль с датчиками. Стандартизованная кухонная посуда 78 включает в себя сковороды для жарки, сотейники, сковороды-гриль, многофункциональные сковороды, обжарочные аппараты, воки и сковороды для тушения. Во время приготовления роботизированные руки 70 и роботизированные кисти 72 используют стандартизованные ручки и утварь 80. В одном варианте одна из роботизированных кистей 72 имеет стандартизованную ручку, которая крепится к концу вилки, концу ножа и концу ложки для выбора по требованию. Стандартизованные жестко автоматизированные дозаторы 82 встроены в роботизированную кухню 50 таким образом, чтобы подавать подходящие (с помощью рук робота 70 и использования человеком) основные и стандартные или часто используемые ингредиенты, которая могут быть отмерены/дозированы или поданы в предварительной упакованном виде. Стандартизованные контейнеры 86 представляют собой места хранения, где пищевые продукты хранятся при комнатной температуре. Стандартизованные контейнеры 88 для хранения в холодильнике представляют собой, не ограничиваясь этим, холодильник с маркированными контейнерами для хранения рыбы, мяса, овощей, фруктов, молока и других скоропортящихся продуктов. Стандартизованные контейнеры 86 или стандартизованные отсеки хранения 88 могут иметь идентификационные номера контейнеров, с помощью которых роботизированный механизм приготовления пищи 56 может проверить тип пищевых продуктов в контейнере на основании идентификационного номера. Стандартизованные контейнеры 86 предоставляют пространство для хранения нескоропортящихся пищевых продуктов, таких как соль, перец, сахар, масло и другие специи. Стандартизованная кухонная посуда с датчиками 76 и кухонная посуда 78 могут храниться на полке или в ящике для использования роботизированными руками 70 при выборе инструмента для приготовления блюд. Обычно сырая рыба, сырое мясо и ненарезанные овощи хранятся в стандартизованных отсеках хранения 88 с идентификационными номерами. Столешница 90 используется роботизированными руками 70 как платформа для обработки мяса или овощей, данный процесс может включать или не включать в себя резку или рубку. Кухонный водопроводный кран 92 обеспечивает пространство для мойки или чистки пищи во время приготовления блюд. Когда роботизированные руки 70 завершают приготовление блюда по рецепту и его подготовку к подаче, блюдо размещается на сервировочном столе 90, который может также использоваться для приема пищи после выполнения роботизированными руками 70 определенных операций, таких как размещение столовых приборов, бокалов для вина и выбора вина, подходящего к приготовленной пище. В одном варианте оборудование в модуле 50 стандартизованной роботизированной кухни является профессиональным и позволяет повысить универсальность с точки зрения приготовления различных типов блюд.
Модуль 50 стандартизованной роботизированной кухни в качестве одной из целей имеет стандартизацию кухонного модуля и различных компонентов с самим кухонным модулем, для обеспечения сходства кухни 44 шеф-повара и роботизированной кухни 48, чтобы гарантировать максимальную точность воспроизведения рецепта и свести к минимуму риски отклонений от точного воспроизведения рецепта блюда на кухне 44 шеф-повара и роботизированной кухне 48. Одной из основных целей обеспечения стандартизации кухонного модуля 50 является получение одинакового результата процесса приготовления (или одинакового блюда) первого блюда, приготовленного шеф-поваром, и последующим воспроизведением того же процесса приготовления по рецепту с помощью роботизированной кухни. Использование стандартизованной платформы в модуле 50 стандартизованной роботизированной кухни для кухни 44 шеф-повара и роботизированной кухни 48 имеет несколько основных преимуществ: одинаковые временные рамки, одинаковая программа или режим, а также проверка качества. Под одинаковыми временными рамками на стандартизованной роботизированной кухне 50, где шеф-повар готовит блюда на кухне 44 шеф-повара, и на роботизированной кухне 48 во время воспроизведения процесса приготовления с помощью роботизированных кистей, подразумевается одинаковая последовательность манипуляций, одинаковое время начала и время завершения каждой манипуляции, а также одинаковая скорость перемещения объекта при выполнении разных операций. Под одинаковой программой или режимом на стандартизованной роботизированной кухне 50 подразумевается использование или работа стандартизованного оборудования во время каждого этапа записи и выполнения манипуляции. Под проверкой качества подразумевается использование датчиков трехмерного зрения на стандартизованной роботизированной кухне 50, которые контролируют и управляют в режиме реального времени каждой манипуляцией во время приготовления пищи для устранения любых отклонений и предотвращения получения неверного результата. Использование модуля стандартизованной роботизированной кухни 50 снижает и сводит к минимуму риски достижения разных результатов для блюда, приготовленного шеф-поваром, и блюда, приготовленного роботизированной кухней с помощью роботизированных рук и кистей. При отсутствии стандартизации модуля роботизированной кухни и компонентов модуля роботизированной кухни увеличение различий между кухней 44 шеф-повара и роботизированной кухней 48 может привести к росту вероятности недостижения одинакового результата для блюда, приготовленного шеф-поваром, и блюда, приготовленного роботизированной кухней, поскольку для различных кухонных модулей, различного кухонного оборудования, различной кухонной посуды, различных кухонных инструментов и различных ингредиентов на кухне 44 шеф-повара и роботизированной кухне 48 необходимо использовать более детально разработанные и сложные алгоритмы регулировки.
Модуль 50 стандартизованной роботизированной кухни включает в себя стандартизацию многих аспектов. Во-первых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные положения и ориентации (в плоскости координат XYZ) всех типов кухонной посуды, кухонных контейнеров, кухонных инструментов и кухонного оборудования (со стандартизованными зафиксированными отверстиями в кухонном модуле и положениями устройств). Во-вторых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные габариты и архитектуру пространства для приготовления. В-третьих, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные наборы оборудования, такого как печь, электрическая плита, посудомоечная машина, водопроводный кран и т.д. В-четвертых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованную кухонную посуду, стандартизованные инструменты для приготовления, стандартизованные устройства для приготовления, стандартизованные контейнеры и стандартизованную камеру хранения продуктов в холодильнике с точки зрения формы, габаритов, конструкции, материалов, функций и т.д. В-пятых, модуль 50 стандартизованной роботизированной кухни в одном варианте включает в себя стандартизованную универсальную ручку для выполнения операций с любой кухонной посудой, инструментами, приборами, контейнерами и оборудованием, которая позволяет роботизированной кисти удерживать стандартизованную универсальную ручку только в одном правильном положении, исключая возможность неправильного захвата или неправильной ориентации. В-шестых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные роботизированные кисти и руки с библиотеками манипуляций. В-седьмых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованный кухонный комбайн для выполнения стандартизованных манипуляций с ингредиентами. В-восьмых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные устройства трехмерного зрения для формирования динамических трехмерных визуальных данных, а также другие возможные стандартные датчики для записи рецепта, выполнения отслеживания и проверки качества. В-девятых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные типы, стандартизованные объемы, стандартизованные размеры и стандартизованные значения веса для каждого ингредиента во время выполнения приготовления по определенному рецепту.
На Фиг. 4 представлено схематическое изображение варианта роботизированного механизма приготовления 56 (так называемый «роботизированный механизм готовки пищи») для использования с компьютером 16 в студии 44 шеф-повара и бытовой роботизированной кухонной системе 48. Другие варианты осуществления могут иметь измененные, дополнительные или модифицированные модули в роботизированном механизме для приготовления 16 на кухне 44 шеф-повара и роботизированной кухне 48. Роботизированный механизм приготовления 56 включает в себя модуль ввода 51, модуль калибровки 94, модуль проверки качества 96, модуль 98 записи движений шеф-повара, модуль 100 записи данных датчиков на кухонной посуде, модуль памяти 102 для хранения программных файлов с рецептами, модуль 104 абстрагирования рецепта с помощью записанных данных датчиков для генерирования специальных профилей последовательной работы вычислительного модуля, программный модуль 106 воспроизведения движений шеф-повара, модуль 108 воспроизведения данных датчиков на кухонной посуде с использованием одной или нескольких кривых данных датчиков, роботизированный модуль приготовления 110 (компьютерный блок управления для выполнения стандартизованных операций, мини-манипуляций и работы с нестандартизованными объектами), модуль 112 выполнения регулировок в режиме реального времени, модуль обучения 114, модуль 116 базы данных библиотек мини-манипуляций, модуль 117 базы данных библиотек стандартизованных кухонных операций и модуль вывода 118, с которым указанные модули соединяются с возможностью обмена данными по шине 120.
Модуль ввода 51 может принимать любой тип входной информации, такой как программные файлы с рецептами, отправляемые с другого вычислительного устройства. Калибровочный модуль 94 выполняет калибровку роботизированных рук 70, роботизированных кистей 72, кухонной посуды и компонентов оборудования в модуле 50 стандартизованной роботизированной кухни. Модуль 96 проверки качества определяет качество и свежесть сырого мяса, сырых овощей, молочных ингредиентов и других сырых пищевых продуктов, когда сырые пищевые продукты подаются для приготовления, а также проверяет качество сырых пищевых продуктов при их загрузке в стандартизованный отсек 88 хранения продуктов. Модуль 96 проверки качества также может выполнять проверку качества объекта на основании таких параметров, как запах пищи, цвет пищи, вкус пищи, изображение или внешний вид пищи. Модуль 98 записи движений шеф-повара записывает последовательность и точные движения шеф-повара во время приготовления блюда шеф-поваром. Модуль 100 записи данных датчиков на кухонной посуде записывает данные датчиков от кухонной посуды, оборудованной датчиками (такой как сковорода с датчиками, гриль с датчиками или печь с датчиками), которые расположены на различных участках кухонной посуды, формируя одну или несколько кривых данных датчиков. Построенная кривая данных датчиков, например, кривая значений температуры (и/или влажности), отражает флуктуации температуры кухонных устройств от времени для определенного блюда. Модуль памяти 102 используется как место хранения программных файлов с рецептами для воспроизведения движений шеф-повара во время приготовления по рецепту или других программных файлов с рецептами, включая кривые данных датчиков. Модуль 104 абстрагирования рецепта использует записанные данные датчиков для генерирования специальных профилей последовательной работы вычислительного модуля. Модуль 106 воспроизведения движений шеф-повара воспроизводит точные движения шеф-повара во время приготовления блюда на основании сохраненного программного файла с рецептом на запоминающем устройстве 52. Модуль 108 воспроизведения данных датчиков на кухонной посуде воспроизводит приготовление блюда путем изменения характеристик в соответствии с одной или несколькими предварительно записанными кривыми данных датчиков, которые были сгенерированы во время приготовления блюда шеф-поваром 49 при использовании стандартизованной кухонной посуды 76 с датчиками. Роботизированный модуль 110 приготовления управляет и выполняет стандартизованные кухонные операции, мини-манипуляции, действия с нестандартизованными объектами, кухонными инструментами и оборудованием на стандартизованной роботизированной кухне 50. Модуль 112 регулировки в режиме реального времени выполняет регулировки в режиме реального времени для переменных, связанных с определенной кухонной операцией или мини-операцией, таким образом, чтобы обеспечить выполнение конечного процесса, являющегося точным воспроизведением движений шеф-повара или точным воспроизведением кривой данных датчиков. Модуль обучения 114 выполняет обучение роботизированного механизма приготовления 56 с целью оптимизации точного воспроизведения при приготовлении блюда с помощью роботизированных рук 70 и роботизированных кистей 72, чтобы оно было идентично блюду, приготовленному шеф-поваром, используя такой метод, как ситуационное (роботизированное) обучение. Модуль 116 базы данных библиотек мини-манипуляций хранит первую базу данных библиотек мини-манипуляций. Модуль 117 базы данных библиотек стандартизованных кухонных операций хранит вторую базу данных библиотек стандартизованной кухонной посуды и информацию о том, как использовать данную стандартизованную кухонную посуду. Модуль вывода 118 отправляет выходные компьютерные файлы или сигналы управления от роботизированного механизма приготовления.
Процесс создания рецепта в студии шеф-повара осуществляется с использованием расширенной мультимодальной системы датчиков для создания сценария рецепта для роботизированной кухни. Данные нескольких датчиков, включая, но, не ограничиваясь этим, данные датчиков запаха, видеокамер, инфракрасных сканеров и дальномеров, стереокамер (или даже камер с тринокулярной насадкой), тактильных перчаток, лазерных сканеров с шарнирным соединением, очков виртуальной реальности, микрофонов или экзоскелета с функцией захвата движений, речевых датчиков, датчиков касания и других устройств пользовательского ввода, используются для сбора данных при помощи модуля сопряжения датчиков. Данные собираются и фильтруются, включая возможный ввод данных пользователем (например, шеф-поваром с помощью сенсорного экрана и устройства речевого ввода), после чего несколько (параллельных) программных процедур используют временные и пространственные данные для генерирования данных, используемых при выполнении специального машинного процесса создания рецепта. Датчики могут не ограничиваться захватом положения и/или движения человека, они также могут включать в себя захват положения, ориентации и/или движения других объектов на стандартизованной роботизированной кухне.
Указанные отдельные программные модули (но не обязательно только эти модули) генерируют следующую информацию: (i) место шеф-повара и идентификационный номер станции приготовления с помощью модуля места и конфигурации, (ii) конфигурация рук (с помощью торса), (iii) тип, время и способ выполнения операций с инструментами, (iv) используемая утварь и места на станции, определяемые с помощью модуля аппаратного обеспечения и регулируемого абстрагирования, (v) процессы, выполняемые ими, (vi) переменные факторы (температура, наличие крышки, перемешивание и т.д.) с точки зрения необходимости контроля с помощью рабочего модуля, (vii) временное (начало/конец, тип) распределение, (viii) типы выполняемых процессов (перемешивание, складывание и т.д.), (ix) добавляемые ингредиенты (тип, количество, состояние готовности и т.д.), с помощью модуля абстрагирования последовательности и процесса приготовления.
Позднее вся указанная информации используется для создания специального машинного (не только для роботизированных рук, но и для дозаторов ингредиентов, инструментов и утвари и т.д.) набора инструкций рецепта с помощью автономного модуля, которые объединяются в сценарий последовательно/параллельно выполняемых и контролируемых задач. Данный сценарий рецепта сохраняется вместе с полным набором необработанных данных в модуле хранения данных и становится доступным для удаленной роботизированной станции приготовления через модуль сопряжения роботизированной кухни или для пользователя через графический пользовательский интерфейс (ГПИ).
Процесс «обучение/воспроизведение» описывает этапы захвата процедур/способов работы/навыков шеф-повара при приготовлении по рецепту в студии шеф-повара, где он готовит блюдо по рецепту, используя набор стандартизованного оборудования, имеющийся в студии шеф-повара, и ингредиенты, предусмотренные рецептом, для получения блюда, при этом выполняется запись и контроль. Необработанные данные датчиков записываются (для воспроизведения) и обрабатываются для генерирования информации на различных уровнях абстрагирования (используемые инструменты/оборудование, техники, начальное/конечное время/температура и т.д.), а также используются для создания сценария рецепта, выполняемого роботизированной кухней.
Роботизированная кухня использует процесс воспроизведения рецепта, профиль которого зависит от того, является ли кухня стандартизованной или нет, что проверяется процессом.
Работа роботизированной кухни зависит от вида кухни, используемой пользователем. Если роботизированная кухня использует оборудование, аналогичное/идентичное (по крайней мере, с точки зрения функциональности) тому, что использовалось в студии шеф-повара, процесс воспроизведения рецепта будет использовать необработанные данные и воспроизводить их в рамках процесса выполнения сценария рецепта. Однако если кухня отличается от (идеальной) стандартизованной кухни, механизм (механизмы) выполнения будут использовать абстрагированные данные для генерирования последовательности выполнения, подходящей для определенной кухни, чтобы поэтапно достичь аналогичного результата.
Поскольку процесс приготовления непрерывно контролируется всеми сенсорными устройствами на роботизированной кухне с помощью процесса контроля вне зависимости от того, используется ли известное оборудование из студии шеф-повара или комбинированное/нестандартное оборудование (по сравнению с оборудованием из студии шеф-повара), система может вносить изменения по мере необходимости при выполнении проверки прогресса выполнения рецепта. В одном варианте стандартизованной кухни необработанные данные обычно воспроизводятся с помощью модуля выполнения, используя оборудование из студии шеф-повара, при этом единственными необходимыми регулировками будут изменения, касающиеся выполнения сценария (повторение определенного этапа, возврат к определенному этапу, замедление выполнения и т.д.), поскольку между сохраненными и воспроизводимыми наборами данных будет иметься точное соответствие. Однако в случае нестандартизованной кухни очень высока вероятность того, что система потребует внесения изменений и адаптации имеющегося рецепта и его выполнения с помощью модуля изменения сценария рецепта с учетом доступных инструментов/устройств, которые могут отличаться от имеющихся в студии шеф-повара или обнаружения измеряемых отклонений от сценария рецепта (мясо готовится слишком медленно, наличие слишком горячих участков в кастрюле приводит к подгоранию заправки для соуса и т.д.). Весь прогресс выполнения сценария рецепта контролируется с помощью аналогичного процесса, который может различаться в зависимости от того, используется ли оборудование из студии шеф-повара или комбинированное/нестандартное оборудование.
Вероятность получения блюда, качество которого будет похоже на блюдо, приготовленное человеком-поваром, при использовании нестандартизованной кухни будет ниже, чем при использовании стандартизованной роботизированной кухни, имеющей такое же оборудование и функции, что и студия-кухня. Самым субъективным критерием является вкус человека (или шеф-повара), т.е. оценка качества является менее важной, чем (субъективное) определение качества.
Создание сценария рецепта и абстрагирования, который определяет структуру и порядок выполнения процесса генерирования сценария рецепта в рамках приготовления блюда человеком-поваром по рецепту в студии, включает несколько этапов. Первый этап для всех доступных данных, полученных в студии шеф-повара: эргономические данные от шеф-повара (положения и скорость работы рук/кистей, тактильные данные пальцев и т.д.), состояние кухонных устройств (печей, холодильников, дозаторов и т.д.), особые переменные (температура варочной поверхности, температура ингредиента и т.д.), используемые приспособления или инструменты (кастрюли/сковороды, лопатки и т.д.) или двухмерные и трехмерные массивы данных, собранные многодиапазонным сенсорным оборудованием (таким как камеры, лазеры, системы структурированного света и т.д.), вводятся и фильтруются с помощью центральной компьютерной системы, а также получают временные метки от главного процесса.
Алгоритм преобразования данных использует простые (в основном, одиночные) переменные для определения того, где выполняется действие (варочная поверхность и/или печь, холодильник и т.д.), и временно или постоянно присваивает метку использования любому предмету/ приспособлению/оборудованию. Это позволяет связать этап приготовления (выпекание, жарку, добавление ингредиентов и т.д.) с определенным временным периодом и отследить время, место, тип и количество каждого добавленного ингредиента. Затем этот набор данных (с временными метками) становится доступным для процесса слияния данных в ходе процесса генерации сценария рецепта.
Процесс извлечения и картирования (распределения по схеме) данных сфокусирован в первую очередь на отборе двухмерного массива данных (такой как информация от монокулярных/однолинзовых камер) и извлечении из него ключевой информации. Чтобы извлечь важную и более абстрагированную описательную информацию из каждого последовательного изображения, к данному набору применяется несколько алгоритмических процессов. К подобным этапам обработки можно отнести, не ограничиваясь этим, обнаружение контура, определение цвета и преобразование текстуры, а также последующее использование данных об изображении и информации об объектах (тип и размер), считанной при выполнении процесса сокращения объема и абстрагирования данных, за счет чего можно будет идентифицировать и определить место расположения объекта (является ли предмет оборудованием или ингредиентом, и т.д.), повторное извлечение из процесса сокращения и абстрагирования данных, за счет которого можно будет сопоставить состояние (и все соответствующие переменные) и предметы на изображении с определенным этапом обработки (жарка, варка, резка и т.д.). После извлечения и сопоставления этих данных с определенным изображением в конкретный момент времени можно будет перейти к процессу генерации сценария рецепта для формирования последовательности и этапов рецепта.
Механизм процесса сокращения объема данных и абстрагирования (набор программных процедур) предназначен для сокращения большого объема трехмерных массивов данных и извлечения из них ключевой геометрической и ассоциативной информации. На первом этапе выполняется извлечение из большого облака трехмерных данных определенной рабочей области, играющей важную роль для рецепта, в конкретный момент времени. После сокращения размеров массива данных ключевые геометрические особенности будут идентифицированы с помощью процесса, известного как сопоставление с шаблоном; это позволит идентифицировать такие предметы, как горизонтальные столешницы, цилиндрические кастрюли и сковороды, места расположения рук и кистей и т.д. После определения стандартных известных (шаблонных) геометрических данных в массиве данных процесс идентификации и сопоставления объектов переходит к различению всех предметов (кастрюля или сковорода и т.д.), а также указывает определенные габариты (размер кастрюли или сковороды и т.д.) и ориентацию данных предметов, оценивает их положение на трехмерной модели окружающей среды с помощью компьютера. Вся абстрагированная/считанная информация затем совместно используется механизмом извлечения и преобразования данных перед ее поступлением в механизм генерации сценария рецепта.
Процедура использования механизма генерации сценария рецепта предназначена для объединения (слияния/комбинирования) всех доступных данных и массивов в структурированный и последовательный сценарий приготовления с понятными идентификаторами процессов (предварительная подготовка, бланширование, жарка, мойка, сервировка и т.д.) и в этапы каждого отдельного процесса, которые затем могут быть транслированы в сценарии команд, исполняемых системой, для роботизированной кухни, которые синхронизируются на основании завершения процесса, общего времени приготовления и прогресса приготовления. Слияние данных, включает в себя, по меньшей мере, не ограничиваясь этим, способность отбора каждого этапа процесса (приготовления) и создание последовательности выполняемых этапов с правильно ассоциированными элементами (ингредиентами, оборудованием и т.д.), способами и процессами, используемыми во время этапов процесса, а также соответствующими ключевыми переменными управления (заданные значения температуры/настройки печи/варочной поверхности) и контроля (температура воды или мяса и т.д.), которые должны поддерживаться на определенном уровне и проверяться для обеспечения нормального прогресса и выполнения процесса. Слитые данные затем объединяются в структурированный последовательный сценарий приготовления, который будет похож на минимальный набор описаний этапов (похожий на рецепт в журнале), но с большим набором переменных для каждого элемента (оборудования, ингредиента, процесса, способа, переменной и т.д.) процесса приготовления в каждый момент выполнения процедуры. На финальном этапе выполняется отбор последовательного сценария приготовления и его трансформация в последовательный сценарий с идентичной структурой, который, в свою очередь, может быть транслирован с помощью набора систем/роботов/оборудования на роботизированной кухне. Данный сценарий будет использоваться роботизированной кухней для автоматизированного выполнения и контроля этапов рецепта.
Все исходные (необработанные) и обработанные данные, а также соответствующие сценарии (и структурный сценарий последовательности приготовления, и сценарий последовательности приготовления, исполняемый системой) хранятся в устройстве/процессе хранения данных и профилей с временными метками. С помощью графического пользовательского интерфейса (GUI) пользователь может выбрать из базы данных и отправить команду для роботизированной кухни на выполнение нужного рецепта через механизм 230 автоматизированного выполнения и контроля, который непрерывно контролируется с помощью собственного внутреннего автоматизированного процесса приготовления, с необходимыми изменениями и модификациями сценария, сгенерированного с его помощью и исполняемого элементами роботизированной кухни, чтобы получить правильно сервированное и поданное блюдо.
Чтобы автоматизированное приготовление с помощью роботизированных рук/кистей было возможным, недостаточно просто контролировать каждый отдельный шарнир в руке и кистях/пальцах. Во многих случаях известны (и могут быть воспроизведены) только положение и ориентация кисти/запястья, но тогда манипулирование объектом (идентификация места, ориентации, позы, места захвата, способа захвата и выполнение задачи) потребует использования локальной системы датчиков, сохраненных моделей поведения и стратегий, чтобы кисти и пальцы могли успешно выполнить захват/манипулирование. Данные модели и последовательности профилей движения (использующие/ управляемые датчиками) хранятся в программном хранилище библиотек мини-манипуляций на роботизированной кухне. Человек-повар может носить полную руку экзоскелета или нарукавники с измерительной аппаратурой/мишенями для захвата, позволяющие компьютеру с помощью встроенных датчиков или отслеживания камерами определить точное положение кистей и запястий в пространстве в каждый отдельный момент времени. Даже если установить измерительную аппаратуру на все суставы десяти пальцев обеих кистей (более 30 степеней свободы (СС) для обеих кистей, которые неудобно надевать и использовать, в результате чего использовать их нежелательно), воспроизведение положений всех суставов с помощью простых движений не будет гарантировать успешное (интерактивное) манипулирование объектом.
Библиотека мини-манипуляций представляет собой программное хранилище команд, в котором хранятся модели движения и процессы, полученные путем обучения в автономном режиме, при этом движения руки/запястья/пальца и последовательности для успешного выполнения определенной теоретической задачи (захват ножа и последующая нарезка; захват ложки и последующее перемешивание; захват кастрюли одной кистью, использование другой кисти для захвата лопатки, поддевания куска мяса и его переворачивания на сковороде; и т.д.). Данное хранилище содержит запомненные последовательности успешных профилей движения, управляемых датчиками, и последовательности работы кистей/запястий (в некоторых случаях с коррекцией положения руки) для обеспечения успешного выполнения манипуляций с объектом (приспособлением, оборудованием, инструментами) и ингредиентом, которые описываются более абстрагированным языком, например, «взять нож и нарезать овощ», «разбить яйцо в чашку», «перевернуть мясо на сковороде» и т.д. Процесс обучения является итеративным и основан на нескольких повторяющихся профилях движения шеф-повара из студии шеф-повара, который затем выполняется и итеративно изменяется с помощью модуля алгоритма обучения в автономном режиме до тех пор, пока не будет получена приемлемая последовательность выполнения. Библиотека мини-манипуляций (программное хранилище команд) содержит все элементы (полученные предварительно или в автономном режиме), необходимые, для того чтобы роботизированная кухня успешно взаимодействовала со всем оборудованием (приспособлениями, инструментами и т.д.) и основными ингредиентами, требующими обработки (этапы, выполняемые сразу после дозирования) в рамках процесса приготовления. Поскольку человек-повар носит перчатки со встроенными тактильными датчиками (датчик приближения, датчик касания, датчик места/усилия при контакте) для пальцев и ладони, роботизированные кисти имеют датчики аналогичных типов в местах, что позволяет использовать эти данные для создания, изменения и адаптации профилей движений с целью успешного выполнения желаемых профилей движений и команд для выполнения операций.
Часть манипуляций с объектом в рамках процесса приготовления на роботизированной кухне (программный модуль роботизированного выполнения сценария рецепта для интерактивного манипулирования и выполнения операций с объектами на кухне), будет подробно рассмотрена ниже. Используя базу данных о роботизированном сценарии рецепта (которая содержит данные в необработанном виде, в виде абстрагированной последовательности приготовления и в виде исполняемого сценария), модуль выполнения сценария рецепта способен выполнить определенный этап рецепта. Модуль воспроизведения конфигурации выбирает и выполняет команды конфигурации с помощью контроллера системы роботизированной руки (торс, рука, запястье и кисти), который управляет физической системой для имитации необходимых значений конфигурации (положения/скорости/крутящие моменты шарниров и т.д.).
Точное выполнение необходимых этапов выполнения манипуляций и взаимодействия с другими предметами для выполнения операций становится возможным за счет проверки процесса в режиме реального времени за счет: (i) трехмерного моделирования объектов реального мира, (ii) мини-манипуляций. Этапы подтверждения и манипулирования выполняются путем добавления модификатора конфигурации запястья и кисти робота. Данный программный модуль использует данные от средства трехмерного моделирования конфигурации реального мира, который строит новую трехмерную модель реального мира на каждом этапе сбора данных мультимодального датчика (датчиков) для обеспечения того, чтобы данная конфигурация систем роботизированной кухни и процесса соответствовала требованиям сценария рецепта (базы данных); при невыполнении данного условия в значения конфигурации управляемой системы вносятся модификации, позволяющие успешно выполнить определенную задачу. Более того, модификатор конфигурации запястья и кисти робота также использует команды внесения изменений в конфигурацию от исполнителя профиля движения для мини-манипуляций. Данные для внесения изменений в конфигурацию кисти/запястья (и, возможно, руки) передаются в модификатор конфигурации на основании профиля движения исполнителя мини-манипуляций, знающего желательную конфигурацию для воспроизведения, но затем модифицирующего ее на основании библиотеки трехмерных моделей объектов и предварительно запомненных (и сохраненных) данных из библиотеки конфигураций и последовательностей (которая формируется на основании нескольких итеративных этапов обучения для всех основных этапов выполнения операций с объектом и обработки).
Когда модификатор конфигурации непрерывно выдает данные о модифицированной управляемой конфигурации контроллеру системы роботизированной руки, используется программный модуль проверки операции/манипулирования, чтобы была правильно выполнена не только данная операция, но и все необходимые последующие манипуляции/операции. При невыполнении указанного условия модификатор конфигурации повторно запрашивает обновления для модификаций конфигурации (для запястья, кистей/пальцев и, возможно, руки и даже торса) от средства моделирования реального мира и исполнителя мини-манипуляций. Это необходимо для успешного выполнения этапа или последовательности манипуляций/операций. Программный модуль проверки операций/манипуляций выполняет такую проверку с использованием информации из базы данных со сценариями рецептов и средства трехмерного моделирования реального мира для обеспечения соответствующего прогресса на контролируемом этапе приготовления с помощью исполнителя сценария рецепта. После обнаружения прогресса процесс приращения индекса сценария рецепта уведомляет исполнителя сценария рецепта о переходе на следующий этап выполняемого сценария рецепта.
Одна из основных особенностей автономного приготовления, позволяющая планировать, выполнять и контролировать сценарий роботизированного приготовления, требует использования устройств ввода мультимодальной системы датчиков, которые используются несколькими программными модулями для генерирования данных, необходимых для (i) осознания реального мира, (ii) создания модели рабочего места и материалов, (iii) планирования следующих этапов последовательности роботизированного приготовления, (iv) выполнения сгенерированного плана, (v) контроля выполнения процесса для обеспечения правильности операций, - все эти этапы выполняются в виде непрерывного/циклически повторяющегося замкнутого цикла.
Мультимодальный сенсорный блок(и) (система датчиков), содержащий (не ограничиваясь этим) видеокамеры, ИК-камеры и дальномеры, одну или нескольку стереокамер (или даже камер с тринокулярной насадкой) и лазерные сканеры для многомерного сканирования, позволяет получить данные датчиков в разных диапазонах для основных программных механизмов абстрагирования (после сбора и фильтрации в модуле сбора и фильтрации данных). Данные используются в модуле интерпретирования рабочей области для выполнения нескольких этапов, включая, но не ограничиваясь этим, построение поверхностей геометрических тел высокого и низкого разрешения (лазер: высокое разрешение; стереокамера: низкое разрешение) на рабочем месте, с наложенной информацией о цвете и текстуре в видимом и инфракрасном диапазонах, что позволит алгоритмам обнаружения контуров и обнаружения трехмерных объектов определить, какие элементы находятся в рабочей области, чтобы использовать алгоритмы картирования формы/цвета/текстуры и консистенции для использования обработанных данных при передаче обработанной информации в модуль выполнения операций с кухонным оборудованием в процессе приготовления. Программные механизмы используются для идентификации и определения положения и ориентации кухонных инструментов и утвари в пространстве, а также идентификации и маркировки распознаваемых пищевых продуктов (мясо, морковь, соус, жидкости и т.д.) таким образом, чтобы сгенерировать данные, которые позволят компьютеру построить модель и полностью интерпретировать рабочее место в определенный момент времени, чтобы использовать эту информацию для планирования и контроля следующего этапа. Механизмы, необходимые для получения и абстрагирования данных и информации, включают в себя, не ограничиваясь этим, механизмы осмысления захвата, механизмы геометрического осмысления, механизмы физического осмысления и механизмы решения задач. Выходные данные механизмов впоследствии используются для подачи на средство моделирования рабочего места и классификатор контента, в которых создается трехмерная модель реального мира со всеми ключевыми данными, необходимыми для устройства выполнения роботизированного сценария приготовления. После интерпретирования полностью заполненной модели реального мира ее можно использовать для передачи в планировщик движений и операций (если необходимо выполнять захват и различные операции с помощью роботизированной руки, эти же данные могут использоваться для различения и планирования захвата и выполнения манипуляций с пищевыми продуктами и кухонными предметами в зависимости от нужной ручки и расположения) для обеспечения планирования движений и траектории руки (рук) и прикрепленного рабочего органа (органов) (захватов, кистей с несколькими пальцами). Планировщик последовательности дальнейших действий создает правильную последовательность команд для выполнения задачи для всех отдельных элементов роботизированной/автоматизированной кухни, которые затем используются системой привода роботизированной кухни. Вся описанная выше последовательность непрерывно повторяется в виде замкнутого цикла в рамках роботизированного выполнения и контроля сценария рецепта.
В некоторых случаях шеф-повар выполняет одинаковые операции по приготовлению пищи несколько раз, чтобы получить показания датчиков и параметры соответствующих роботизированных инструкций, которые каким-либо образом меняются каждый раз. Набор показаний каждого датчика при нескольких повторениях цикла приготовления одного блюда позволяет получить распределение со средним значением, стандартным отклонением, а также минимальным и максимальным значениями. Соответствующие изменения в роботизированных инструкциях (так называемые параметры рабочего органа) при нескольких циклах выполнения одного блюда шеф-поваром также определяют распределения со средним значением, стандартным отклонением, минимальным и максимальным значениями. Данные распределения могут быть использованы для определения качества (или точности) последующих роботизированных циклов приготовления пищи.
В одном варианте средняя точность операций роботизированного приготовления пищи описывается следующим образом:
где С - набор параметров шеф-повара (1 до n), a R - набор параметров роботизированного приспособления (соответственно (1 до n). Числитель в сумме - разность между параметрами робота и шеф-повара (т.е. погрешность), а знаменатель нормализует максимальную разность). Сумма позволяет определить общую нормализованную суммарную погрешность, (т.е. 
), а умножение на 1/n дает среднюю погрешность. Добавление средней погрешности соответствует средней точности.
Другой вариант расчета точности основан на взвешивании важных параметров, где каждый коэффициент (каждое значение αi) представляет собой важность i-го параметра, при этом нормализованная суммарная погрешность равна 
а расчетная средняя точность будет следующей:
Этапы выполнения роботизированного приготовления на основании захваченных данных датчиков от перчаток шеф-повара: в студии шеф-повара шеф-повар надевает перчатки с датчиками для захвата процесса приготовления пищи, при этом данные датчиков записываются в виде таблицы. Например, шеф-повар нарезает морковь с помощью ножа кружками толщиной 1 сантиметр. Данные элементарные действия шеф-повара, регистрируемые с помощью перчаток, могут представлять собой мини-манипуляции, которые выполняются в определенные моменты времени. Модуль преобразования алгоритма рецепта преобразовывает записанный файл рецепта, полученный из студии шеф-повара, в роботизированные инструкции для выполнения роботизированными руками и роботизированными кистями на роботизированной кухне в соответствии с программной таблицей. Роботизированные руки и роботизированные кисти готовят блюда с помощью управляющих сигналов для выполнения мини-манипуляций, заранее заданных в библиотеке мини-манипуляций, для нарезания моркови с помощью ножа на кружочки толщиной около 1 сантиметра. Роботизированные руки и роботизированные кисти работают, используют те же координаты XYZ с возможностью в режиме реального времени внесения корректировок в размер и форму каждой моркови путем создания временной трехмерной модели моркови с помощью устройств регулировки в режиме реального времени.
Для использования механического роботизированного механизма, такого как механизмы, соответствующие вариантам осуществления данного изобретения, специалисты в данной области техники осознают, что должны быть учтены многие механические проблемы и проблемы управления, способы решения которых описаны в литературе по робототехнике. При этом особую роль играет определение статической и/или динамической устойчивости роботизированной системы. В частности, что касается роботизированных манипуляций, динамическая устойчивость является крайне желательным свойством, чтобы избежать случайного повреждения или движений, не являющихся желательными или запрограммированными.
«Значение равновесия» является желательным состоянием руки (т.е. рука точно перемещается точно в запрограммированном направлении с отклонениями, вызванными любым количеством факторов, таких как инерция, центростремительная или центробежная сила, гармонические колебания и т.д.). Устойчивая динамически система - система, в которой колебания являются незначительными и затухают со временем. Динамическая неустойчивая система - система, в которой колебания не затухают и могут увеличиваться со временем. Худшим вариантом является ситуация, когда рука является статически нестабильной (например, она не может удерживать вес захваченного предмета) и падает, либо не может компенсировать отклонения от запрограммированного положения и/или траектории.
Чтобы система, состоящая из роботизированной кисти и рук/захватов, была устойчивой, важно, чтобы система была правильно сконструирована и построена, а также имела соответствующую систему обнаружения и управления, которая работает в допустимых пределах производительности. Данная причина играет важную роль в связи с тем, что для достижения оптимальной (максимальной скорости при максимальном отслеживании положения/скорости и усилиях/крутящем моменте при стабильности всех условий) производительности для физической системы и того, что просит сделать контроллер.
Что касается правильной конструкции, необходимо обеспечить правильную контролируемость и управляемость системы. Контролируемость означает, что ключевые переменные параметры системы (положения, скорости, усилия и крутящие моменты шарниров/пальцев) могут быть измерены системой, т.е. она должна быть способна измерять значения данных переменных, что, в свою очередь, подразумевает наличие и использование подходящих измерительных устройств (внутренних или внешних). Управляемость подразумевает, что система (в данном случае компьютер) способна формировать или управлять ключевыми осями системы на основании значений параметров, получаемых с помощью внутренних/внешних датчиков; обычно это означает, что исполнительный механизм или прямое/косвенное управление определенным параметром выполняется с помощью мотора или другой управляемой компьютером системой привода. Возможность создания максимально линейной системы с точки зрения ее реакции для минимизации отрицательного воздействия нелинейностей (трение покоя, люфт, гистерезис и т.д.) позволяет использовать такие схемы управления, как программное изменение коэффициента усиления ПИД-регулятора и нелинейных регуляторов, например, плавное регулирование для обеспечения стабильности и эффективности системы даже при наличии неопределенностей при моделировании системы (погрешности в оценке массы/инерции, дискретизация геометрии контуров, погрешности дискретизации датчика/крутящего момента и т.д.), которые всегда имеют место в высокоэффективных системах управления.
Более того, использование подходящей системы вычисления и дискретизации играет важную роль, поскольку способность системы быстро перемещаться с определенным максимальным частотным спектром сильно зависит от того, какой полосы пропускания системы управления (частота дискретизации замкнутого цикла системы компьютерного управления) вся система может достичь, и от того, какую частотную характеристику (способность отслеживать движения при определенных скоростях и частотном спектре перемещений) система может использовать.
Все описанные выше характеристики играют важную роль для обеспечения того, что система с высокой избыточностью сможет фактически выполнить сложные и ловкие движения человека-повара, требуемые для успешного динамического или стабильного выполнения сценария рецепта.
Машинное обучение в контексте роботизированной манипуляции, соответствующей настоящему изобретению, может использовать известные способы регулировки параметров, такие как стимулированное обучение. Альтернативным предпочтительным вариантом осуществления для данного изобретения является другой более подходящий способ обучения для циклического выполнения сложных действий, таких как подготовка и приготовление пищи в несколько этапов в течение некоторого периода времени, в частности, это может быть ситуационное обучение. Ситуационное обучение, также известное как метод аналогий, требует определенного времени.
В общем виде ситуационное обучение содержит следующие этапы:
A. Создание и запоминание ситуаций. Ситуация - последовательность действий с параметрами, которые успешно выполняются для достижения цели. К данным параметрам можно отнести расстояния, усилия, направления, положения и другие физические или электронные измерения, чьи значения должны соответствовать определенным требованиям для успешного выполнения задачи (например, операции приготовления). В первую очередь,
1. сохранение аспектов проблемы, которая была решена, а также:
2. способ (способы) и дополнительные промежуточные этапы для решения проблемы и значения параметров;
3. (обычно) сохранение конечного результата.
B. Использование ситуаций (на более позднем этапе).
4. Извлечение одной или нескольких сохраненных ситуаций, где проблемы наиболее схожи с новой проблемой;
5. дополнительная регулировка параметров извлеченной ситуации (ситуаций) для применения к текущей ситуации (например, предмет может весить несколько больше, а, следовательно, для его подъема требуется несколько большая сила);
6. использование аналогичных способов и этапов из ситуации (ситуаций) с отрегулированными параметрами (при необходимости) для, по меньшей мере, частичного решения новой проблемы.
Следовательно, ситуационное обучение включает в себя запоминание предыдущих проблем и применение возможных изменений параметров для решения новых аналогичных проблем. Однако для того чтобы применить ситуационное обучение к роботизированным манипуляциям, может понадобиться нечто большее. Изменение одного параметра плана решения приведет к изменению одного или нескольких связанных параметров. Это потребует преобразования решения проблемы, а не просто его применения. Новый процесс можно назвать ситуационным роботизированным обучением, поскольку он обобщает решение для множества схожих решений (соответствующих небольшим изменениям входных параметров, включая точный вес, форму и место подачи ингредиентов). Ситуационное роботизированное обучение используется следующим образом:
C. Построение, запоминание и трансформация роботизированных манипуляций.
1. Сохранение аспектов проблемы, которая была решена, а также:
2. значения параметров (например, инерционная матрица, усилия и т.д. из уравнения 1);
3. выполнение анализа методом возмущений путем изменения параметра (параметров), относящегося к области применения (например, для кулинарии это может быть изменение веса ингредиентов или их точного начального положения), чтобы увидеть, насколько значения параметров могут варьироваться при условии достижения желательных результатов;
4. запись того, какие другие значения параметров будут изменены (например, силы) и насколько они изменятся, с помощью анализа модели методом возмущений;
5. если изменения находятся в пределах технических характеристик роботизированного приспособления, то выполняется сохранение трансформированного плана решения (с указанием зависимостей между параметрами и расчетными прогнозируемыми изменениями для их значений).
D. Применение ситуаций (на более позднем этапе).
6. Извлечение одной или нескольких сохраненных ситуаций с трансформированными точными значениями (либо для текущих диапазонов, либо расчеты для новых значений в зависимости от значений входных параметров), но начальные проблемы которых все еще очень похожи на новую проблему, включая значения параметров и диапазоны значений;
7. использование трансформированных способов и этапов для ситуации (ситуаций) для по меньшей мере частичного решения новой проблемы.
Когда шеф-повар обучает робота (две руки и измерительные устройства, например с помощью тактильной обратной связи от пальцев, обратной связи по усилию от шарниров, а также одной или нескольких камер), робот запоминает не только определенные последовательности движений с временной корреляцией, но и группы небольших вариаций движений шеф-повара при приготовлении одного блюда вне зависимости от незначительных вариаций наблюдаемых входных параметров, таким образом, он запоминает объединенный трансформированный план, расширяя возможности применения метода запоминания.
Процесс приготовления требует выполнения последовательности этапов для множества стадий S1, S2, S3 … Sj … Sn приготовления пищи. Это может потребовать строгого соблюдения линейного/последовательного порядка, либо что-то можно будет выполнить параллельно; в любом случае имеется набор стадий {S1, S2, Si, Sn}, каждая из которых должна быть успешно выполнена для достижения успеха. Если вероятность успеха каждой стадии равна P(si) для n стадий, то вероятность успеха оценивается как произведение вероятностей успеха для каждой стадии:
Специалисты в данной области техники должны понимать, что вероятность общего успеха может быть ниже, даже если вероятность успеха отдельных стадий относительно высока. Например, при наличии десяти стадий и вероятности успеха выполнения каждой стадии, равной 90%, вероятность успеха будет составлять: (0,9)10=0,28 или 28%.
Стадия приготовления блюда содержит одну или несколько мини-манипуляций, при этом каждая мини-манипуляция содержит одно или несколько роботизированных действий, приводящих к определенному промежуточному результату. Например, нарезка овоща может представлять собой мини-манипуляцию, включающую в себя захват овоща одной кистью, захват ножа другой кистью, выполнение повторяющихся движений ножом до тех пор, пока нарезка овоща не будет завершена. Стадия приготовления блюда может включать в себя одну или несколько мини-манипуляций по нарезке.
Формула расчета вероятности успеха одинаково хорошо подходит для стадий и для мини-манипуляций, поскольку каждая мини-манипуляция является относительно независимой от других мини-манипуляций.
В одном варианте для смягчения проблемы снижения достоверности успеха из-за потенциальной ошибки смешения, рекомендуется использовать стандартизованные способы для большинства или всех мини-манипуляций на всех стадиях. Стандартизованные операции - операции, которые могут быть заранее запрограммированы, предварительно протестированы и при необходимости предварительно отрегулированы для выбора последовательности операций с наибольшей вероятностью успеха. Таким образом, если вероятность успеха стандартизованных способов, использующих мини-манипуляции на стадиях, является очень высокой, то общая вероятность успеха приготовления блюда за счет предварительной подготовки, выполняемой до доведения всех этапов до идеала и их тестирования, также будет очень высокой. Вернемся к предыдущему примеру: если каждая стадия использует надежные стандартизованные способы, а вероятность ее успеха равна 99% (вместо 90% в предыдущем примере), то общая вероятность успеха будет равна (0,99)10=90,4%, при условии использования 10 стадий, как и раньше. Это гораздо больше 28%-ной вероятности нужного конечного результата.
В соответствии с другим вариантом осуществления для каждой стадии имеется несколько альтернативных способов, при этом при неудачном использовании одного варианта используется другой вариант. В этом случае требуется динамический контроль для определения успеха или неудачи при выполнении каждой стадии и наличие альтернативных вариантов. Вероятность успеха для данной стадии является дополнением до единицы для вероятности неудачного использования всех альтернативных вариантов, что математически может быть выражено следующим образом:
В предыдущем уравнении si - стадия, A(si) - набор альтернативных вариантов выполнения стадии si. Вероятность неудачного использования определенного альтернативного варианта является дополнением до единицы для вероятности успеха данного альтернативного варианта, т.е. 1 - P(S1|aj), а вероятность неудачи для всех альтернативных вариантов равна произведению в предыдущей формуле. Следовательно, вероятность того, что не все они будут неудачными - дополнение произведения до единицы. Используя альтернативные варианты, можно оценить общую вероятность успеха как произведение каждой стадии с альтернативными вариантами, т.е.:
При использовании способа альтернатив, если каждая из десяти стадий имеет четыре альтернативы, и ожидается, что вероятность успеха для каждой альтернативы на каждой стадии равна 90%, то общая вероятность успеха будет равна (1-(1-(0,9))4)10=0,99 или 99% по сравнению с 28% для случая, когда альтернативы не используются. Способ, основанный на использовании альтернатив, преобразует исходную проблему из цепи стадий с множеством единичных точек отказа (при неудаче на какой-либо стадии) к одной стадии без отдельных точек отказа, поскольку для того, чтобы стадия завершилась неудачно, все альтернативы должны завершиться неудачно, что позволяет повысить надежность.
В соответствии с другим вариантом осуществления стандартизованные стадии, содержащие стандартизованные мини-манипуляции, и альтернативные средства приготовления пищи на определенных стадиях объединяются, что позволяет дополнительно повысить надежность. В данном случае вероятность успеха может быть очень высока, даже при наличии нескольких альтернатив только для некоторых стадий или мини-манипуляций.
В соответствии с другим вариантом осуществления альтернативы, которые используются в случае неудачи, предусмотрены только для стадий с низкой вероятностью успеха, например, стадий, для которых нет достаточно надежного стандартизованного способа, или для которых имеет место потенциальная изменчивость, например, из-за материалов неправильной формы. Данный вариант позволяет снизить избыточность, связанную с использованием альтернатив на всех стадиях.
Выполнение рецепта с несколькими стадиями для роботизированного приготовления пищи при помощи мини-манипуляций и элементарных действий осуществляется следующим образом. Каждый рецепт для приготовления пищи может быть разделен на несколько стадий приготовления пищи: первая стадия приготовления пищи S1, вторая стадия приготовления пищи S2 … n-я стадия приготовления пищи Sn, которые выполняются с помощью роботизированных рук и роботизированных кистей. Первая стадия приготовления пищи S1 содержит одну или несколько мини-манипуляций ММ1, ММ2 и ММ3. Каждая мини-манипуляция включает в себя одно или несколько элементарных действий для достижения результата выполнения функции. Например, первая мини-манипуляция ММ1 включает в себя первое элементарное действие АР1, второе элементарное действие АР2 и третье элементарное действие АР3, необходимые для достижения результата выполнения функции. Одна или несколько мини-манипуляций MM1, ММ2, ММ3 на первой стадии S1 позволяют достичь результата выполнения стадии. Сочетание одной или нескольких стадий приготовления пищи S1, второй стадий приготовления пищи S2 и n-ной стадии приготовления пищи Sn позволяет получить практически такой же или аналогичный результат путем воспроизведения процесса приготовления пищи шеф-повара, записанного в студии шеф-повара.
Заранее заданная мини-манипуляция позволяет достичь каждого результата выполнения функции (например, яйцо разбито). Каждая мини-манипуляция содержит набор элементарных действий, которые выполняются вместе и позволяют достичь результата выполнения функции. Например, робот может переместить кисть в сторону яйца, прикоснуться к яйцу для определения его положения и проверки его размера, а затем выполнить движения и измерения с помощью датчиков, необходимые для захвата и подъема яйца в известную и заранее заданную конфигурацию.
Несколько мини-манипуляций могут быть собраны в стадии, например, создание соуса, для удобства понимания и организации рецепта. Конечным результатом выполнения всех мини-манипуляций для завершения всех стадий каждый раз должно являться воспроизведение блюда каждый раз с устойчивым результатом.
Роботизированная кисть с пятью пальцами и запястьем может иметь датчик RGB-D, датчики камеры и акустические датчики для обнаружения и перемещения кухонного инструмента, объекта или части кухонного оборудования. Ладонь роботизированной кисти может содержать датчик RGB-D, датчик с камерой или акустический датчик. В качестве альтернативы ладонь роботизированной кисти может включать в себя датчик с камерой и акустический датчик. Датчик RGB-D или акустический датчик способны обнаружить место расположения, габариты и форму объекта для создания трехмерной модели объекта. Например, датчик RGB-D использует структурированный свет для захвата формы объекта, трехмерного преобразования и определения места расположения, планирования траектории, навигации, распознавания объекта и отслеживания людей. Акустический датчик использует звуковые волны для захвата формы объекта. Вместе с датчиком с камерой и/или акустическим датчиком можно использовать видеокамеру, размещенную на роботизированной кухне, например, на рельсе или на роботе, для захвата, следования или направления перемещения кухонного инструмента, используемого шеф-поваром. Видеокамера располагается под углом и на некотором расстоянии от роботизированной кисти, обеспечивая таким образом обзор более высокого уровня для захвата объекта роботизированной кистью, за счет чего предоставляет высокоуровневый вид захвата или бросания/отпускания объекта роботизированной кистью. В качестве примера датчика RGB-D (красный луч, зеленый луч, синий луч и глубина) можно указать систему Kinect от компании Microsoft, которая оснащена RGB-камерой, датчиком глубины и многонаправленным микрофоном, управляемыми с помощью программного обеспечения, которое позволяет выполнять полноразмерный захват движения в пространстве, распознавание лиц и распознавание голоса.
Роботизированная кисть имеет датчик RGB-D, расположенный внутри или рядом с центром ладони, который предназначен для определения размеров и формы объекта и расстояния до объекта, а также для выполнения операций с кухонным инструментом. Датчик RGB-D выдает инструкции для кисти при перемещении роботизированной кисти в сторону объекта и используется при выполнении необходимых регулировок для захвата объекта. Кроме того, акустический датчик и/или тактильный датчик давления расположены рядом с ладонью роботизированной кисти и используются для определения расстояния и формы для последующего контакта с объектом. Акустический датчик также может направлять роботизированную кисть двигаться в сторону объекта. К дополнительным типам датчиков в кисти можно отнести ультразвуковые датчики, лазеры, датчики радиочастотной идентификации (RFID) и другие подходящие датчики. Более того, тактильный датчик давления используется в качестве механизма обратной связи при определении того, должна ли роботизированная кисть продолжать увеличивать давление для захвата объекта в определенной точке, где имеется достаточное давление для безопасного подъема объекта. Кроме того, акустический датчик в ладони роботизированной кисти выполняет функцию тактильного восприятия для захвата и выполнения операций с кухонным инструментом. Например, когда роботизированная кисть захватывает нож для резки говядины, величина давления, которое роботизированная кисть прилагает к ножу и говядине, может быть определена тактильным датчиком при завершении резки, т.е. когда на нож перестает действовать сопротивление, или при удерживании объекта. Распределенное давление может использоваться не только для фиксации объекта, но и для того, чтобы не повредить его (например, яйцо).
Кроме того, каждый палец на роботизированной кисти имеет тактильные датчики вибраций и акустические датчики на соответствующих кончиках пальцев, как показано в виде первого тактильного вибрационного датчика и первого акустического датчика на кончике большого пальца, второго тактильного вибрационного датчика и второго акустического датчика на кончике указательного пальца, третьего тактильного вибрационного датчика и третьего акустического датчика на кончике среднего пальца, четвертого тактильного вибрационного датчика и четвертого акустического датчика на кончике безымянного пальца, а также пятого тактильного вибрационного датчика и пятого акустического датчика на кончике мизинца. Каждый тактильный вибрационный датчик может имитировать различные поверхности и эффекты, изменяя форму, частоту, амплитуду, продолжительность и направление вибрации. Каждый акустический датчик может определять расстояние и форму объекта, определять температуру или влажность, а также генерировать сигнал обратной связи. Дополнительные акустические датчики размещены на запястье роботизированной кисти.
Деформируемая ладонь роботизированной кисти представляет собой следующее: возвышение большого пальца представляет собой выпуклую часть деформируемого материала на радиальной стороне кисти; возвышение мизинца представляет собой выпуклую часть деформируемого материала на ульнарной стороне кисти. Пястно-фаланговые подушечки представляют собой выпуклые деформируемые части на нижней (ладонной) стороне пястно-фаланговых (шарнирных) суставов второго, третьего, четвертого и пятого пальцев. На роботизированную кисть с деформируемой ладонью надевается перчатка с мягкой кожей, имитирующей кожу человека, на наружной стороне.
Вместе возвышение большого пальца и возвышение мизинца обеспечивают приложение больших усилий от руки робота к объекту в рабочей области, при этом приложение данных усилий создает минимальное напряжение на шарнирах кисти робота (на изображении показана скалка). Дополнительные шарниры внутри ладони могут обеспечивать деформацию ладони. Ладонь должна деформироваться таким образом, чтобы обеспечивать создание наклонного углубления в ладони для захвата инструмента так же, как это делает шеф-повар (обычный захват ручки). Ладонь должна деформироваться таким образом, чтобы создавать впадину для подходящего захвата выпуклых объектов, например, блюд и пищевых продуктов так же, как это делает шеф-повар.
Шарниры внутри ладони, которые могут выполнять подобные движения, включают в себя запястно-пястный сустав большого пальца (ЗПС), расположенный на радиальной стороне ладони рядом с запястьем, которая может иметь два разных направления перемещения (сгибание/разгибание и отведение/приведение). Дополнительные шарниры, необходимые для выполнения данных движений, могут включать в себя шарниры на ульнарной стороне ладони рядом с запястьем (ЗПС шарниры четвертого пальца и пятого пальца), которые позволят выполнить сгибание под острым углом для создания чашеобразной формы у возвышения мизинца и образования углубления на ладони.
Роботизированная ладонь может иметь дополнительные/другие шарниры, необходимые для воспроизведения формы ладони, используемой человеком во время приготовления, например, несколько соединенных гибких суставов для формирования дуги между возвышением большого пальца и возвышением мизинца для деформирования ладони, как, например, при прикосновении большого пальца к мизинцу.
Когда ладонь сложена лодочкой, возвышение большого пальца, возвышение мизинца и ПФ подушечки образуют неровности вокруг ладонной впадины, что позволяет ладони сомкнуться вокруг небольшого сферического объекта (например, 2 см).
Форма деформируемой ладони описана с помощью положений характерных точек относительно зафиксированной системы координат. Каждая характерная точка представляет собой вектор координат х, у и z, изменяющихся с течением времени. Положения характерных точек отмечены на сенсорной перчатке, носимой шеф-поваром, и на сенсорной перчатке, носимой роботом. На перчатке также отмечена система координат. Характерные точки указаны на перчатке относительно указанной системы координат.
Характерные точки обнаруживаются с помощью откалиброванных камер, установленных в рабочей области, во время выполнения шеф-поваром действий по приготовлению. Траектории характерных точек, перемещающихся с течением времени, используются для сопоставления движения шеф-повара с движением робота, включая сопоставление с формой деформируемой ладони. Траектории движения характерных точек при движении шеф-повара также можно использовать для определения структуры деформируемой ладони робота, включая форму поверхности деформируемой ладони, а также расположение и диапазон перемещения шарниров кисти робота.
Для определения 3D положений характерных точек может быть использован визуальный шаблон. Положения данных характерных точек формы предоставляют информацию о форме поверхности ладони при перемещении шарниров ладони и при деформировании поверхности ладони в ответ на прилагаемые усилия.
Визуальный шаблон включает в себя поверхностные метки на кисти робота или на перчатке, надетой шеф-поваром. Данные метки поверхности могут быть закрыты прозрачной перчаткой для обеспечения пищевой безопасности, однако поверхностные метки остаются видимыми через перчатку.
Когда поверхностные метки видны на изображениях с камеры, двухмерные характерные точки могут быть идентифицированы на данных изображениях с камеры за счет определения положения выпуклого или вогнутого углов визуального шаблона. Каждый такой угол на одном изображении с камеры представляет собой двухмерную характерную точку.
При идентификации одной характерной точки на нескольких изображениях с камеры пространственное положение данной точки может быть определено в системе координат, зафиксированной относительно стандартизованной роботизированной кухни. Данный расчет выполняется на основании двухмерного положения точки на каждом изображении и известных параметров камеры (положение, ориентация, поле обзора и т.д.).
Система координат, неподвижная относительно роботизированной кисти, может быть получена с помощью визуального шаблона системы координат. В одном варианте система координат, неподвижная относительно роботизированной кисти, содержит точку отсчета и три ортогональные оси координат. Она идентифицируется с помощью локализации характеристик визуального шаблона системы координат на нескольких камерах и использования известных параметров визуального шаблона системы координат и известных параметров камер для извлечения точки отсчета и осей координат.
Характерные точки трехмерной формы в системе координат станции приготовления пищи могут быть преобразованы в систему координат кисти робота после обнаружения системы координат кисти робота.
Форма деформируемой ладони состоит из вектора характерных точек трехмерной формы, каждая из которых привязана к относительной системе координат, неподвижной относительно кисти робота или шеф-повара.
Локации объемных характерных точек определяются на основании сигналов от датчиков. Датчики генерируют выходные сигналы, позволяющие рассчитать расстояние в системе координат, привязанной к магниту, который прикреплен к кисти робота или шеф-повара.
Локация каждой объемной характерной точки в пространстве рассчитывается на основании измерений датчика и известных параметров, полученных при калибровке датчика. Форма деформируемой ладони определяется с помощью вектора характерных точек трехмерной формы, положение каждой из которых выражается в относительной системе координат, зафиксированной на кисти робота или шеф-повара.
Записывающие устройства для шеф-повара, которые он носит на роботизированной кухне и использует их для записи и захвата его движений в процессе приготовления пищи по определенному рецепту, включают в себя, не ограничиваясь этим, одну или несколько роботизированных перчаток (или роботизированный костюм), мультимодальный датчик и пару роботизированных очков. В студии шеф-повара шеф-повар носит роботизированные перчатки для приготовления, записи и захвата движений шеф-повара во время приготовления. В качестве альтернативы шеф-повар может носить роботизированный костюм с роботизированными перчатками, а не только роботизированные перчатки. В одном варианте роботизированная перчатка с встроенными датчиками захватывает, записывает и сохраняет положение, давление и другие параметры движения руки, кисти и пальцев шеф-повара относительно системы координат XYZ с временными метками. Роботизированные перчатки сохраняют положение и давление рук и пальцев шеф-повара в трехмерной системе координат в течение некоторого временного периода, от начального момента до конечного момента цикла приготовления определенного блюда. Когда шеф-повар носит роботизированные перчатки, все движения, положение кистей, движения захвата и величина оказываемого давления при приготовлении блюда в студии шеф-повара точно записываются с определенным временным интервалом, например, каждые t секунд. Мультимодальный датчик (датчики) может представлять собой видеокамеры, ИК-камеры и дальномеры, стереокамеру (стереокамеры) (или даже камеру (камеры) с тринокулярной насадкой) и лазерные сканеры для многомерного сканирования и предоставляет данные многодиапазонных датчиков для основных программных механизмов абстракции (после сбора и фильтрации в модуле сбора и фильтрации данных). Мультимодальный датчик генерирует трехмерную поверхность или текстуру, а также обрабатывает данные модели абстрагирования. Данные используются в модуле интерпретирования рабочей области для выполнения нескольких этапов, включая, без ограничения перечисленным, построение поверхностей геометрических тел высокого и низкого разрешения (лазер: высокое разрешение; стереокамера: низкое разрешение) на рабочем месте, с наложенной информацией о цвете и текстуре в видимом и инфракрасном диапазонах, что позволит алгоритмам обнаружения контуров и обнаружения трехмерных объектов определить, какие элементы находятся в рабочей области, чтобы использовать алгоритмы картирования формы/цвета/текстуры и консистенции для использования обработанных данных при передаче обработанной информации в модуль выполнения операций с кухонным оборудованием в процессе приготовления. Кроме роботизированных перчаток шеф-повар может носить пару роботизированных очков, которые имеют один или несколько роботизированных датчиков вокруг оправы с роботизированными наушниками и микрофоном. Роботизированные очки обеспечивают дополнительные возможности визуализации и захвата, например как камера для захвата видео и записи изображений, которые шеф-повар видит во время приготовления пищи. Один или несколько роботизированных датчиков захватывают и записывают температуру и запах приготавливаемой пищи. Наушники и микрофон улавливают и записывают звуки, которые шеф-повар 49 слышит во время приготовления, к которым можно отнести человеческие голоса, звуки, характерные для жарки, приготовления на гриле, помола и т.д. Шеф-повар также может параллельно записывать речевые инструкции и этапы приготовления в режиме реального времени с помощью наушников и микрофона. В связи с этим роботизированные записывающие устройства для шеф-повара записывают движения шеф-повара, скорость, температуру и звуковые параметры во время процесса приготовления пищи определенных блюд.
Создающий модуль базы данных библиотек мини-манипуляций представляет собой процесс создания, тестирования различных возможных сочетаний, а также выбор оптимальных мини-манипуляций для достижения определенного результата выполнения функции. Одной целью создающих модулей является анализ всех возможных сочетаний при выполнении определенных мини-манипуляций и предварительное формирование библиотеки оптимальных мини-манипуляций для последующего выполнения роботизированными руками и роботизированными кистями при приготовлении блюда. Создающий модуль библиотеки мини-манипуляций также можно использовать в качестве способа обучения для роботизированных рук и роботизированных кистей различным функциям приготовления пищи из базы данных библиотек мини-манипуляций. Исполняющий модуль базы данных библиотек мини-манипуляций позволяет выполнять ряд функций для мини-манипуляций, которые роботизированное приспособление может получить и выполнить из базы данных библиотек мини-манипуляций, содержащей первую мини-манипуляцию MM1 с первым результатом выполнения функции, вторую мини-манипуляцию ММ2 со вторым результатом выполнения функции, третью мини-манипуляцию ММ3 с третьим результатом выполнения функции, четвертую мини-манипуляцию ММ4 с четвертым результатом выполнения функции, а также пятую мини-манипуляцию ММ5 с пятым функциональным результатом во время приготовления блюда.
Антропоморфная роботизированная кисть обеспечивает дополнительные функциональные возможности для выполнения операций с человеческими инструментами, упрощения перенастройки движений человеческой кисти, большую деформируемость, однако такая конструкция имеет большую сложность, а также связана с увеличением веса и стоимости изделия. Простая роботизированная кисть легче, дешевле, имеет меньшие функциональные возможности и не может напрямую использовать человеческие инструменты. Промышленная роботизированная рука обладает повышенной точностью, большей грузоподъемностью, но в целом не считается безопасной для людей и может потенциально создавать большую силу и приводить к травмам.
Видеоэлемент мультимодальной системы датчиков может реализовывать процесс, который использует обнаружение цвета и спектральный анализ для детектирования изменения цвета, указывающего на возможные признаки порчи. Аналогичным образом использование чувствительных к аммиаку датчиков, встроенных в кухню или являющихся частью мобильного зонда, управляемого роботизированными кистями, также позволяет обнаружить возможные признаки порчи. Дополнительные тактильные датчики в роботизированных кистях и пальцах позволяют проверять свежесть ингредиентов с помощью контактной методики, в соответствии с которой выполняется измерение твердости и сопротивления усилиям контакта (величина и скорость прогибания в виде функции расстояния сжатия). В качестве примера цвет рыбы (темно-красный) и содержание влаги в жабрах является признаком свежести, при этом глаза должны быть прозрачными (не замутненными), а температура тела правильно размороженной рыбы не должна превышать 40°F. Дополнительные датчики контакта на концах пальцев позволяют выполнить дополнительную проверку качества с точки зрения температуры, текстуры и общего веса ингредиента путем прикосновения, трения и удерживания/захвата. Все данные, собранные с помощью данных тактильных датчиков и видеоизображений могут быть использованы в алгоритме обработки для определения свежести ингредиента и принятия решения о возможности его использования или необходимости выбрасывания.
Принцип системы хранения ингредиентов заключается в том, что контейнеры для хранения пищевых продуктов, предназначенные для хранения всех необходимых ингредиентов, которые используются во время приготовления (например, мясо, рыба, дичь, моллюски, овощи и т.д.), имеют датчики для измерения и контроля свежести соответствующего ингредиента. Датчики управления, встроенные в контейнеры для хранения пищевых продуктов, включают в себя, не ограничиваясь этим, датчики аммиака, датчики летучих органических соединений, датчики температуры внутри контейнера и датчики влажности. Кроме того, человек-повар или роботизированные кисти и руки могут использовать ручной зонд для выполнения ключевых измерений (например, температуры) внутри большого ингредиента (например, температуры внутри мяса).
Особые или периодически используемые ингредиенты (соль, сахар, мука, масло и т.д.) могут либо дозироваться с помощью механизмов подачи с компьютерным управлением, либо определенное количество каждого ингредиента может подаваться с помощью кисти (человеческой или роботизированной кисти или пальцев). Задание подаваемого количества ингредиентов может осуществляться либо вручную через сенсорную панель с помощью человеческой или роботизированной кисти, либо с помощью компьютерного управления. Дозируемый ингредиент может собираться или подаваться к некоторому элементу кухонного оборудования (чаше, сковороде, кастрюле и т.д.) в любой момент времени во время процесса воспроизведения рецепта. Данный вариант системы подачи и дозирования ингредиентов обеспечивает максимальную экономичность, компактность, упрощение выполнения операций с контейнером, а также сокращение времени, необходимого для перемещения ингредиентов с помощью рук/кистей робота.
Проецируемое компьютером изображение и отдельная камера, контролирующая область проекции, могут быть использованы для определения того, где находится кисть и палец человека при осуществлении конкретного выбора на основании локации на проецируемом изображении, после чего система выполняет соответствующие действия. Виртуальный сенсорный экран позволяет получить доступ ко всем функциям управления и контроля всеми типами оборудования на стандартизованной роботизированной кухне, считать и сохранить рецепты, полностью или частично просмотреть сохраненные видео для этапов рецепта, выполняемых человеком-поваром, а также прослушать речевые описания и инструкции человека-повара, касающиеся определенного этапа или операции в определенном рецепте.
Отдельное жестко автоматизированное роботизированное устройство или группа таких устройств, которые встроены в стандартизованную роботизированную кухню, программируются и управляются удаленно с помощью компьютера, они предназначены для подачи или предоставления доступа к заранее упакованным или заранее дозированным объемам определенных ингредиентов, необходимых для воспроизведения рецепта, таких как специи (соль, перец и т.д.), жидкости (вода, масло и т.д.) или другие сухие ингредиенты (мука, сахар, разрыхлитель и т.д.). Эти роботизированные автоматические устройства расположены таким образом, чтобы роботизированные руки/кисти могли получить к ним доступ для последующего выполнения соответствующих операций с помощью рук/кистей робота или человека, для настройки и/или запуска выгрузки определенного количества нужного ингредиента на основании сценария рецепта.
Устройство или устройства программируются и управляются удаленно с помощью компьютера, они предназначены для подачи или предоставления доступа к заранее упакованным или заранее дозированным объемам общих или периодически используемых ингредиентов, необходимых для воспроизведения рецепта, при этом механизм/система управления дозированием способна подавать правильное количество к определенной части оборудования, такой как чаша, кастрюля или сковорода. Данные роботизированные автоматические устройства расположены таким образом, чтобы роботизированные руки/кисти могли получить к ним доступ для последующего выполнения соответствующих операций с помощью рук/кистей робота или человека, для настройки и/или запуска выгрузки определенного количества нужного ингредиента с помощью механизма дозирования на основании сценария рецепта. Стандартизованная кухня может быть оборудована системой проверки качества ингредиентов с измерительной аппаратурой, состоящей из инструментальной панели с датчиками и зондом для пищи. Данная область включает в себя датчики на фартуке, способные анализировать несколько физических и химических параметров ингредиентов, находящихся в данной области, включая, но не ограничиваясь этим, признаки порчи (датчик аммиака), температуры (термопара), летучих органических соединений (выделяемых при разложении биомассы), а также содержания влаги/влажности (гигрометр). Зонд для пищи, использующий датчик температуры (термопару), также может быть заранее настроен на использование роботизированными руками/кистями для анализа внутренних свойств определенных ингредиентов или элементов (таких как внутренняя температура красного мяса, дичи и т.д.).
Стандартизованная роботизированная кухня может быть разделена на три уровня: верхний уровень, уровень столешницы и нижний уровень.
Верхний уровень содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования. На самом простом уровне имеется полка/ящик для хранения, ящик, используемый для хранения и доступа к инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зоны для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик для хранения в замороженном виде продуктов глубокой заморозки и буфет для хранения других ингредиентов и редко используемых специй и т.д.
На уровне столешницы имеются не только роботизированные руки, но и поверхность для сервировки, область столешницы с раковиной, дополнительная область столешницы со съемными рабочими поверхностями (доски для резки/рубки продуктов и т.д.), решетчатый угольный гриль и многофункциональная область для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу.
На нижнем уровне расположены комбинированная конвекционная печь и микроволновая печь, посудомоечная машина и большой ящик, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, упаковочные материалы и столовые приборы.
Компьютер также может контролировать правильность профилей температуры, правильность профилей влажности, правильность профилей давления и правильность профилей запаха в каждом программируемом месте хранения для осуществления контроля и поддержания оптимальных условий хранения определенных пищевых продуктов или ингредиентов.
Процедура приготовления блюда на роботизированной кухне путем воспроизведения движений шеф-повара из записанного программного файла на роботизированной кухне осуществляется следующим образом. Пользователь выбирает с помощью компьютера определенный рецепт, который должен будет использоваться роботизированным приспособлением при приготовлении. Роботизированный механизм считывает абстрагированный рецепт для выбранного рецепта приготовления блюда и выгружает выбранный сценарий рецепта в запоминающее устройство компьютера. Затем роботизированный механизм определяет доступность ингредиентов и необходимое время приготовления. На этом этапе роботизированный механизм выдает предупреждение или уведомление при недостаточном количестве ингредиентов или недостаточном времени для приготовления блюд в соответствии с выбранным рецептом и правилами сервировки. Роботизированный механизм отправляет предупреждение для добавления отсутствующих или заканчивающихся ингредиентов в список покупок или выбирает альтернативный рецепт. Пользователь подтверждает выбор рецепта, после чего роботизированный механизм проверяет наступление времени начала приготовления по рецепту. Процесс приготовления не выполняется до наступления времени начала приготовления. Кроме того, роботизированное приспособление проверяет свежесть и состояние (например, дату покупки, срок годности, запах, цвет) каждого ингредиента и отправляет инструкции на роботизированное приспособление для перемещения пищи или ингредиентов из стандартизованных контейнеров в положение для приготовления пищи. Роботизированный механизм выдает инструкции роботизированному устройству для начала приготовления пищи в начальный момент времени «0» путем воспроизведения действий по приготовлению блюда из программного файла со сценарием рецепта. Роботизированное приспособление на стандартизованной кухне воспроизводит блюдо с помощью таких же движений рук и пальцев, таких же ингредиентов, такой же позы, таких же стандартизованных кухонных инструментов и оборудования, которые использовал шеф-повар. Роботизированное приспособление выполняет проверку качества во время приготовления пищи для выполнения необходимых регулировок параметров и завершает воспроизведение и приготовление блюда, после чего блюдо может быть украшено и сервировано.
Процесс загрузки и идентификации контейнеров для хранения осуществляется следующим образом. С помощью панели для контроля качества пользователь выбирает загружаемый ингредиент и сканирует упаковку с ингредиентом на приемной станции или рабочей поверхности. С помощью дополнительных данных сканера штрих-кода, весов, камеры и лазерных сканеров роботизированный механизм приготовления обрабатывает данные об ингредиентах и соотносит их с библиотекой ингредиентов и рецептов, а также анализирует наличие угроз аллергии. При обнаружении опасности аллергенной реакции система принимает решение об уведомлении пользователя и отбраковке ингредиента по соображениям безопасности. Если ингредиент считается приемлемым, то он принимается и подтверждается системой. Пользователь может распаковать (если это еще не сделано) и выложить предмет. Предмет упаковывается (в фольгу, вакуумную упаковку и т.д.), маркируется с помощью напечатанного на компьютере ярлыка со всеми необходимыми данными об ингредиентах и помещается в контейнер хранения и/или место хранения на основании результатов идентификации, после чего роботизированный механизм приготовления обновляет внутреннюю базу данных и отображает доступные ингредиенты на панели для контроля качества.
Процесс выгрузки ингредиентов и приготовления осуществляется с помощью панели для контроля качества. На этом этапе пользователь выбирает опцию проверки одного продукта, необходимого для одного или нескольких рецептов. После этого компьютеризированная кухня перемещает определенный контейнер, содержащий выбранный продукт из места хранения на рабочую поверхность. Если пользователь берет продукт, то он выполняет с ним действия, соответствующие одному или нескольким возможным способам (приготовление, выбрасывание, возврат и т.д.), после чего оставшийся продукт (продукты) возвращается в систему, что соответствует завершению взаимодействия пользователя с системой. Если с выгруженным ингредиентом (ингредиентами) работают роботизированные руки на стандартизованной роботизированной кухне, то выполняется этап, на котором руки и кисти проверяют каждый ингредиент в контейнере с точки зрения их идентификационных данных (типа и т.д.) и состояния (срока годности, цвета, запаха и т.д.). На этапе контроля качества роботизированный механизм приготовления принимает решение о возможном несоответствии предмета или обнаруженного состояния качества. Если предмет не соответствует предъявляемым требованиям, выдается предупреждение для того, чтобы механизм приготовления выполнил соответствующее действие. Если ингредиент имеет приемлемый тип и качество, роботизированные руки перемещают продукт (продукты) для использования на следующей стадии процесса приготовления.
Процедура разработки и записи сценария рецепта на роботизированной кухне начинается с того, что шеф-повар выбирает определенный рецепт, для которого он вводит или изменяет данные о рецептах, включая, но не ограничиваясь этим, название и другие метаданные (предварительные условия, техники и т.д.). затем шеф-повар вводит или изменяет необходимые ингредиенты на основании базы данных и соответствующих библиотек, а также вводит необходимое для рецепта количество (вес/объем/штуки), после чего шеф-повар выбирает необходимые техники, используемые при приготовлении рецепта, на основании доступных вариантов в базе данных и соответствующих библиотеках. Шеф-повар выполняет аналогичные действия, но в этот раз он (она) выбирает способы приготовления, необходимые для выполнения рецепта. На завершающем этапе система генерирует идентификатор рецепта, который будет использоваться при последующем сохранении и считывании из базы данных.
Выбора рецепта пользователем начинается с приобретения рецепта или оформления подписки на рецепты на торговой онлайн-площадке с помощью компьютера или мобильного приложения, чтобы загрузить воспроизводимый сценарий рецепта. После этого пользователь ищет и выбирает в онлайн-базе данных определенный рецепт из рецептов, приобретенных ранее или доступных ему в рамках подписки, на основании персональных настроек предпочтений и имеющихся ингредиентов. На последнем этапе пользователь вводит время и дату, когда он (она) хочет, чтобы блюдо было готово к сервировке.
Процедура поиска рецепта, приобретения и/или оплаты подписки осуществляется на портале услуг, так называемой коммерческой платформе с рецептами. На первом этапе новый пользователь должен зарегистрироваться в системе (выбрать возраст, пол, пищевые предпочтения и т.д., а также общие предпочтительные способы приготовления или виды кухонь), после чего он сможет начать искать и просматривать рецепты путем их загрузки через приложение на портативном устройстве или с помощью телевизора и/или модуля роботизированной кухни. На следующем этапе пользователь может выполнить поиск по критериям, например, по типу рецепта (включая рецепты с ручным выполнением операций), или на основании определенных видов кухни или оборудования (сковорода-вок, пароварка, коптильный аппарат и т.д.). Затем пользователь может выбрать или настроить поиск для использования заранее заданных критериев, а затем использовать этап фильтрации для сужения области поиска и проверки результатов. Пользователь выбирает рецепт из предлагаемых результатов поиска, информации и рекомендаций. Затем пользователь может поделиться, совместно использовать или обменяться с друзьями или группой в режиме реального времени выбранным рецептом.
Пользователю может быть предложено выбрать определенный рецепт для роботизированного приготовления или рецепт с контролируемыми параметрами. При выборе рецепта с контролируемыми параметрами система указывает подробную информацию об оборудовании для таких объектов, как кухонная посуда и приспособления, и требования к роботизированным рукам, и выдает информацию об источниках ингредиентов и поставщиков оборудования с подробными инструкциями по заказу. Портал выполняет проверку типа рецепта, после чего можно будет напрямую загрузить и установить программный файл рецепта на удаленное устройство или понадобится ввести информацию для оплаты разовой покупки или подписки, используя один из множества возможных вариантов оплаты (PayPal, BitCoin, кредитная карта и т.д.).
Для процесса, используемого при создании приложения для работы с рецептами роботизированного приготовления («приложение»), необходимо создать учетную запись разработчика на Арр Store, Google Play, Windows Mobile или другой аналогичной торговой площадке, указав банковские реквизиты и реквизиты компании. Пользователю предлагается получить доступ и загрузить последнее обновление документации по интерфейсу прикладных программ (API), специфической для каждого магазина приложений. Затем разработчик должен будет следовать требованиям, прописанным в документации по API и создать программу рецепта. Разработчику нужно предоставить название и другие метаданные для рецепта, подходящие и предусмотренные различными площадками (Apple, Google, Samsung и т.д.), также разработчику требуется загрузить программу рецепта и файлы с метаданными для утверждения. После этого соответствующие торговые сайты просмотрят, проверят и одобрят программу рецепта, а затем соответствующий сайт (сайты) добавит и сделает программу рецепта доступной для поиска, просмотра и приобретения в режиме реального времени с помощью интерфейса для совершения покупок.
Процесс приобретения определенного рецепта или оформления подписки для получения доступа к рецептам может выглядеть следующим образом: пользователь ищет определенный рецепт, который он хочет заказать, при этом он может использовать просмотр по ключевому слову и отфильтровать результаты в соответствии с предпочтениями, просмотр с помощью заранее заданных критериев или просмотр рекламируемых, последних добавленных или заранее заказанных рецептов, а также наблюдать за процессом приготовления шеф-поваром в прямом эфире. Пользователь сможет просмотреть результаты поиска рецептов. Потом пользователь сможет ознакомиться с указанными рецептами, а также предварительно просмотреть рецепт в виде короткого аудио- или видеоклипа. Пользователь выбирает устройство и операционную систему и получает ссылку для загрузки с определенной торговой онлайн-площадки (веб-сайта). Если пользователь захочет подключиться к площадке нового поставщика, площадка попросит нового пользователя выполнить аутентификацию и принять условия, разрешая площадке загружать и устанавливать специальное интерфейсное программное обеспечение, чтобы можно было продолжить процесс предоставления рецепта. Площадка поставщика выдаст пользователю запрос создания списка покупок для роботизированного приготовления, после чего, при получении согласия пользователя, она предложит приобрести определенный рецепт в рамках разовой покупки или подписки, а также указать определенную дату и время подачи блюда. Затем будет сформирован и отображен список покупок с необходимыми ингредиентами и оборудованием, включая информацию о самых близких и оперативно работающих поставщиках и их адресах, о наличии ингредиентов и оборудования, а также о соответствующих сроках поставки и ценах. После этого пользователю предлагается просмотреть описание каждого продукта и стандартные или рекомендованные источники или марки. Пользователь сможет просмотреть соответствующую стоимость всех ингредиентов и оборудования из списка, включая все соответствующие цены каждого продукта (доставка, налоги и т.д.). Если пользователь или покупатель захочет просмотреть альтернативные варианты для предлагаемого списка покупок, то ему будут предложены ссылки на альтернативные источники, по которым можно будет перейти и просмотреть альтернативные варианты покупки и заказа. Если пользователь или покупатель подтверждает предлагаемый список покупок, система не только сохраняет данные варианты выбора как персональный выбор для будущих покупок и обновляет текущий список покупок, но и переходит на следующий этап, на котором она выбирает альтернативные варианты из списка покупок на основании дополнительные критериев, таких как местные/ближайшие поставщики, доступность товаров в определенное время года и степень созревания или цен на оборудование у различных поставщиков, которые имеют практически одинаковую производительность, но значительную разницу в стоимости поставки пользователю или покупателю.
Роботизированный ресторанный кухонный модуль может иметь прямоугольную конфигурацию с несколькими парами роботизированных кистей для одновременного приготовления пищи. Кроме того, может быть многоступенчатая конфигурация из нескольких последовательно или параллельно работающих станций роботизированных рук и кистей в профессиональных условиях или на кухне ресторана. Геометрическая форма с несколькими модулями роботизированных рук/кистей используется в случае, когда каждый из модулей предназначен для создания определенного продукта, блюда или выполнения определенного этапа сценария рецепта (например, шесть пар роботизированных рук/кистей могут выполнять различные роли на коммерческих кухнях, например, помощник шеф-повара, приготовление мяса, жарка/пассирование, контроль запасов, приготовление кондитерских изделий, приготовление супов и соусов и т.д.). Конфигурация роботизированной кухни является таковой, чтобы доступ/взаимодействие с любым человеком или между соседними модулями рук/кистей осуществлялась вдоль одной передней поверхности. Структура может управляться компьютером, позволяя всей роботизированной кухне с несколькими руками/кистями выполнять соответствующие задачи воспроизведения приготовления независимо от того, выполняют ли руки/кисти роботизированного модуля один рецепт последовательно (конечный продукт одной станции поступает на следующую станцию для выполнения следующего этапа в сценарии рецепта) или несколько рецептов/этапов параллельно (например, подготовка полуфабрикатов/ ингредиентов для последующего использования в ходе воспроизведения блюда для работы в жестких временных рамках во время наплыва клиентов).
Роботизированная кухня ресторана может иметь U-образную форму, с несколькими парами роботизированных кистей для одновременного приготовления пищи. Также может быть использована другая многоступенчатая конфигурация для нескольких последовательно или параллельно работающих станций роботизированных рук и кистей для использования в профессиональной среде или на кухне ресторана. В данном случае кухня имеет прямоугольную конфигурацию, хотя может быть использована и другая геометрическая форма с несколькими модулями роботизированных рук/кистей, каждый из которых предназначен для создания определенного продукта, блюда или выполнения определенного этапа сценария рецепта. Конфигурация роботизированной кухни такова, чтобы доступ/взаимодействие с любым человеком или между соседними модулями рук/кистей осуществлялись вдоль U-образного набора направленных наружу поверхностей и вдоль центральной части U-образной формы, за счет чего модули рук/кистей смогут пройти/достать до противоположных рабочих областей и взаимодействовать с противоположными модулями рук/кистей во время выполнения разных стадий воспроизведения рецепта. Система может иметь компьютерное управление, что позволит всей роботизированной кухне с несколькими руками/кистями выполнять задачи воспроизведения приготовления независимо от того, выполняют ли руки/кисти роботизированного модуля один рецепт последовательно (конечный продукт одной станции поступает на следующую станцию по U-образной траектории для выполнения следующего этапа в сценарии рецепта) или несколько рецептов/этапов параллельно (например, подготовка полуфабрикатов/ ингредиентов для последующего использования в ходе воспроизведения блюда для работы в жестких временных рамках во время наплыва клиентов, с возможным хранением приготовленных ингредиентов в контейнерах или приспособлениях (морозильнике и т.д.), установленных в основании кухни U-образной формы).
Роботизированная система приготовления пищи может быть осуществлена следующим образом. Студия шеф-повара со стандартизованной роботизированной кухонной системой подразумевает участие человека-повара, который готовит или выполняет действия по рецепту, при этом датчики на кухонном оборудовании записывают важные переменные (температуру и т.д.) в течение некоторого периода времени и сохраняют их в компьютерной памяти в виде кривых данных датчиков и параметров, которые являются частью файла с необработанными данными для сценария рецепта. Эти сохраненные файлы кривых данных датчиков и данных о параметрах из студии шеф-повара передаются на стандартизованную (удаленную) роботизированную кухню при разовой покупке или оформления подписки. Бытовая стандартизованная роботизированная кухня подразумевает участие пользователя и включает в себя управляемую компьютером систему для обеспечения работы оборудования автоматизированной и/или роботизированной кухни на основании принятых необработанных данных из файлов с кривыми измеренных данных датчиков и с данными о параметрах.
В другом варианте стандартизованная роботизированная кухня включает компьютер, который управляет (программным) роботизированным механизмом приготовления, включающим в себя модуль управления процессом приготовления, обрабатывающий записанные, проанализированные и абстрагированные данные датчиков из сценария рецепта, а также соответствующий накопитель и память для хранения программных файлов, которые состоят из кривых данных датчиков и данных о параметрах, взаимодействует с несколькими внешними устройствами. Данные внешние устройства могут представлять собой, не ограничиваясь этим, убирающийся защитный экран с компьютерным управлением, отсек хранения с компьютерным контролем и управлением, набор датчиков, передающих информацию о качестве и подаче сырых пищевых продуктов, жестко автоматизированные модули для дозирования ингредиентов, стандартизованные контейнеры с ингредиентами, а также «умную» кухонную посуду с датчиками.
«Умная» кухонная посуда имеет встроенные температурные датчики, работающие в режиме реального времени, которые способны генерировать и передавать по беспроводному каналу связи температурный профиль для нижней поверхности посуды по меньшей мере (но не ограничиваясь этим) для трех плоских зон, границы которых представляют собой концентрические окружности на всей нижней поверхности кухонной посуды. Каждая из этих трех зон способна передавать по беспроводному каналу связи данные от подключенных датчиков.
Управляемая компьютером система поджига и управления для блока управления изменяет электрическую мощность, подаваемую на угольный гриль для правильного повторения сенсорной кривой для одного или нескольких датчиков температуры и влажности, размещенных внутри гриля. Блок управления мощностью использует электронные управляющие сигналы для включения гриля и сигналы и для регулировки расстояния между поверхностью гриля и углем и подачи водяного тумана на уголь, чтобы регулировать температуру и влажность подвижного (вверх/вниз) яруса соответственно. Блок управления основывает свои выходные сигналы на наборе потоков данных для параметров влажности от набора распределенных датчиков влажности и внутри гриля, а также для потока данных для параметров температуры от распределенных температурных датчиков.
Кроме того, может быть использован водопроводный кран с компьютерным управлением, позволяющий компьютеру управлять скоростью потока, температурой и напором воды из водопроводного крана в раковину (или кухонную посуду). Водопроводный кран управляется с помощью блока управления, который принимает отдельные потоки данных от датчика скорости потока воды, датчика температуры и датчика напора воды. Блок управления контролирует подачу холодной воды (с соответствующей температурой и напором холодной воды, отображаемыми в виде числовых значений на дисплее) и горячей воды (с соответствующей температурой и напором горячей воды, отображаемыми в виде числовых значений на дисплее) для достижения желаемого напора, расхода и температуры воды, выходящей из крана.
Стандартизованная роботизированная кухня может быть разделена на три уровня: верхний уровень, уровень столешницы и нижний уровень, при этом каждый уровень содержит оборудование и приспособления, которые имеют полностью встроенные датчики и блоки компьютерного управления.
Верхний уровень содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования. На самом простом уровне имеется полка/ящик для хранения, ящик, используемый для хранения и доступа к инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зона для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик для хранения в замороженном виде продуктов глубокой заморозки и буфет для хранения других ингредиентов и редко используемых специй и т.д. Каждый модуль на верхнем уровне содержит датчики, передающие данные для одного или нескольких блоков управления (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.
На уровне столешницы имеются не только контролирующие датчики и блоки управления, но и поверхность для сервировки, область столешницы с раковиной, дополнительная область столешницы со съемными рабочими поверхностями (доски для резки/рубки продуктов и т.д.), решетчатый угольный гриль и многофункциональная область для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу. Каждый модуль на уровне столешницы содержит датчики, передающие данные для одного или нескольких блоков управления (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.
На нижнем уровне имеется комбинированная конвекционная печь и микроволновая печь, а также пароварка, кастрюля-пашотница и гриль, посудомоечная машина, жестко автоматизированные дозаторы ингредиентов и большой ящик, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, упаковочные материалы и столовые приборы. Каждый модуль на нижнем уровне содержит датчики, передающие данные для одного или нескольких блоков управления (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.
Процесс приготовления блюда на роботизированной кухне на основании одной или нескольких предварительно записанных кривых параметров на стандартизованной роботизированной кухни осуществляется следующим образом. Пользователь выбирает с помощью компьютера определенный рецепт, который должен будет использоваться роботизированным приспособлением при приготовлении. Затем роботизированный механизм приготовления пищи считывает абстрагированный рецепт для выбранного рецепта приготовления блюда и выгружает выбранный сценарий рецепта в запоминающее устройство компьютера. После чего роботизированный механизм приготовления пищи решает, имеет ли место недостаточное количество или отсутствие некоторых ингредиентов для приготовления блюда в соответствии с выбранным рецептом и правилами сервировки, отправляет предупреждение для добавления отсутствующих или заканчивающихся ингредиентов в список покупок или выбирает альтернативный рецепт. Пользователь подтверждает выбор рецепта и роботизированный механизм приготовления пищи отправляет роботизированные инструкции пользователю для помещения пищи или ингредиентов в стандартизованные контейнеры и их перемещения в положение для приготовления пищи. Пользователь может вывести видеопроекцию в режиме реального времени на специальный монитор или голографическую лазерную проекцию для просмотра каждого этапа воспроизведения рецепта на основании всех движений и процессов, выполняемых шеф-поваром во время записи для последующего использования. Роботизированный механизм приготовления пищи позволяет пользователю запустить процесс приготовления пищи в начальный момент времени «0» после выбора соответствующей опции и включения компьютерной системы управления для стандартизованной роботизированной кухни. Пользователь выполняет воспроизведение всех действий шеф-повара при отображении всего рецепта создания процесса человеком-поваром на мониторе/проекционном экране, с помощью которого полуфабрикаты перемещаются в специальную кухонную посуду и приспособления или промежуточные контейнеры хранения для последующего использования. Роботизированное приспособление на стандартизованной кухне выполняет отдельные этапы обработки в соответствии с кривыми данных датчиков или на основании параметров приготовления, записанных во время выполнения шеф-поваром аналогичного этапа в процессе приготовления по рецепту на стандартизованной роботизированной кухне в студии шеф-повара. Компьютер для роботизированного приготовления пищи управляет всеми настройками кухонной посудой и приспособлений, т.е. температурой, давлением и влажностью, таким образом, чтобы воспроизводить необходимые кривые данных в течение всего времени приготовления на основании данных, зарегистрированных и сохраненных во время приготовления блюда шеф-поваром по рецепту на стандартизованной роботизированной кухни в студии шеф-повара. Пользователь выполняет все простые движения таким образом, чтобы воспроизвести этапы и движения шеф-повара в соответствии с аудио- и видео- инструкциями, передаваемыми пользователю с помощью монитора или проекционного экрана. Механизм приготовления роботизированной кухни предупреждает пользователя, когда будет завершен определенный этап приготовления на основании кривой данных датчиков или набора параметров. Когда взаимодействие пользователя и компьютерного органа управления приведет к завершению всех этапов приготовления в рецепте, роботизированный механизм приготовления отправит запрос завершения части процесса воспроизведения, управляемого компьютером. Пользователь либо убирает готовое блюдо и тарелки для сервировки, либо продолжает выполнять оставшиеся этапы приготовления или процессы вручную.
Процесс регистрации сенсорных данных в студии шеф-повара включает несколько этапов. На первом этапе шеф-повар создает или разрабатывает рецепт. На следующем этапе шеф-повар должен ввести в роботизированный механизм приготовления название, ингредиенты, значения измеряемых параметров и описания процесса для рецепта. Шеф-повар сначала загружает все необходимые ингредиенты в специальные стандартизованные контейнеры для хранения и приспособления, а затем выбирает соответствующую кухонную посуду. На следующем этапе шеф-повар настраивает начальный момент времени и включает системы датчиков и системы обработки для записи всех полученных необработанных данных и их обработки. После того, как шеф-повар начнет приготовление, все встроенные управляющие датчики и приспособления будут собирать и отправлять необработанные данные в центральную компьютерную систему для обеспечения записи всех соответствующих данных в режиме реального времени в рамках всего процесса приготовления. Дополнительные параметры приготовления и голосовые комментарии шеф-повара также записываются и сохраняются в виде необработанных данных. (Программный) механизм абстрагирования роботизированного приготовления обрабатывает все необработанные данные, включая двух- и трехмерные данные о движении геометрических объектов и данные о распознавании объекта, для создания машиночитаемого и исполняемого сценария рецепта. После завершения создания рецепта в студии шеф-повара и процесса приготовления шеф-поваром роботизированный механизм приготовления генерирует программу моделирования и визуализации для воспроизведения движений и медиаданных при последующем воспроизведении рецепта с помощью удаленной стандартизованной роботизированной кухонной системе. На основании необработанных и обработанных данных, а также подтверждения результатов моделирования и визуализации рецепта шеф-поваром выполняется разработка и интегрирование приложений для аппаратных средств в различные (мобильные) операционные системы, а также их отправка в магазины приложений и/или торговые площадки, после чего пользователи смогут напрямую приобрести один рецепт или несколько рецептов по подписке.
Приготовление в домашних условиях: на первом этапе пользователь выбирает рецепт и запрашивает рецепт в цифровом формате рецепта. Роботизированный механизм приготовления принимает сценарий рецепта, содержащий машиночитаемые команды для приготовления по выбранному рецепту. Рецепт выгружается в роботизированный механизм приготовления со сценарием, хранящемся на запоминающем устройстве. После сохранения рецепта выполняется расчет необходимого количества ингредиентов и определение их доступности. На этапе принятия решения система определяет, нужно ли предупредить пользователя, отправить ему предложение добавления недостающих ингредиентов в список покупок или предложить ему альтернативный рецепт, в котором используются имеющиеся ингредиенты, или имеется же имеющееся количество ингредиентов достаточно. После того, как будет подтверждена доступность необходимых ингредиентов, система подтвердит выбор рецепта и выдаст запрос пользователю для размещения необходимых ингредиентов в специальных стандартизованных контейнерах в положения, в которых они находились в начале процесса создания рецепта шеф-поваром (в студии шеф-повара). Пользователю предлагается указать время начала процесса приготовления и настроить систему приготовления. После запуска роботизированная система приготовления начинает выполнение процесса приготовления в режиме реального времени в соответствии с кривыми данных датчиков и данных о параметрах приготовления, указанных в файлах данных о сценарии рецепта. Во время приготовления компьютер управляет всеми приспособлениями и оборудованием на основании файлов кривых данных датчиков и данных о параметрах, изначально зарегистрированных и сохраненных во время создания рецепта в студии шеф-повара. После завершения процесса приготовления роботизированный механизм приготовления отправляет напоминание об обнаружении завершения процесса приготовления. После этого роботизированный механизм приготовления отправляет запрос завершения в компьютерную систему управления для завершения всего процесса приготовления, затем пользователь убирает блюдо с поверхности для сервировки или выполняется оставшиеся этапы приготовления вручную.
Библиотека электронной интеллектуальной собственности (IP) для робота, имитирующего человека, использует различные концепции, в которых роботизированное приспособление используется для воспроизведения определенного набора навыков человека. В частности, роботизированное приспособление, которое включает в себя пару роботизированных кистей и роботизированных рук, может быть предназначено для воспроизведения набора навыков человека. В некоторых случаях переход от навыков человека к роботизированному исполнению может быть осуществлен за счет использования человеческих кистей; после этого роботизированное приспособление воспроизводит точные записанные движения для достижения идентичного результата. Библиотека IP включает в себя роботизированный механизм, воспроизводящий навыки человека в кулинарии, роботизированный механизм воспроизведения навыков человека в живописи, роботизированный механизм воспроизведения навыков человека в музыке, роботизированный механизм воспроизведения навыков человека для медицинского ухода, роботизированный механизм распознавания эмоций человека, роботизированный механизм воспроизведения действий человека, модуль ввода/вывода и модуль связи.
Роботизированный интеллектуальный механизм, имитирующий человека, имеет две основных блока, включая блок обучения и функциональный блок, оба этих блока содержат несколько дополнительных модулей, соединенных друг с другом с помощью общей межмодульной шины связи. Блок обучения интеллектуального механизма робота, имитирующего человека, содержит дополнительные модули, включая, но не ограничиваясь этим, модуль ввода для датчиков, модуль входного сигнала от человека, модуль реакции робота, имитирующего человека, который реагирует на входной сигнал, интеллектуальный модуль записи реакции, модуль проверки качества и модуль машинного обучения. Функциональный блок интеллектуального механизма робота, имитирующего человека, содержит дополнительные модули, включая, но не ограничиваясь этим, модуль анализа входных сигналов, модуль ввода для датчиков, модуль генерирования реакции и модуль регулировки обратной связи.
Система разделена на когнитивный агент робота и модуль воспроизведения навыков человека. Оба модуля используют обнаруженные данные обратной связи, полученные данные о движении, а также смоделированные данные о движении. Модуль когнитивного агента робота включает в себя, не обязательно ограничиваясь этим, модули, которые представляют собой базу знаний, соединенную с модулем регулировки и корректировки, которые совершенствуются с помощью модуля обучения. Существующие знания передаются на модуль контроля выполнения, а существующие знания передаются на модуль автоматизированного анализа и принятия решений, при этом оба набора пополняются данными датчиков обратной связи от модуля воспроизведения навыков человека, при этом они оба передают информацию на модуль обучения. Модуль воспроизведения навыков человека включает в себя модуль управления, который выдает сигналы управления для сбора и обработки нескольких источников обратной связи (визуальной и звуковой), и модуль со стандартизованным оборудованием, инструментами и дополнительными приспособлениями робота.
Система может быть реализована с помощью комбинации аппаратного и программного обеспечения, как описано в настоящем документе, полностью аппаратным способом или полностью программным способом. Разделение функциональности между различными компонентами системы, описанными в настоящем документе, представлено лишь в качестве примера и не является обязательным; функции, выполняемые одним компонентом системы, могут вместо этого выполняться несколькими компонентами, а функции, выполняемые несколькими компонентами, могут вместо этого выполняться с помощью одного компонента.
Изобретение относится к комплексным отраслям робототехники и искусственного интеллекта, в частности к компьютеризированным роботизированным системам для приготовления пищи. Роботизированная кухонная система включает в себя роботизированное устройство, содержащее один или несколько концевых рабочих органов для взаимодействия со средой, по меньшей мере, один из нескольких концевых рабочих органов для взаимодействия со средой содержит один или несколько датчиков, при этом один или несколько концевых рабочих органов для взаимодействия со средой сконфигурированы таким образом, чтобы (i) собирать данные датчиков через один или несколько датчиков и (ii) воспроизводить рецепт процесса путем выполнения машинного последовательного роботизированного сценария рецепта, соответствующего рецепту процесса на основе хотя бы части собранных датчиками данных. 1 з.п. ф-лы, 4 ил.
1. Роботизированная кухонная система, включающая в себя:
роботизированное устройство, содержащее один или несколько концевых рабочих органов для взаимодействия со средой, по меньшей мере, один из нескольких концевых рабочих органов для взаимодействия со средой содержит один или несколько датчиков,
при этом один или несколько концевых рабочих органов для взаимодействия со средой сконфигурированы таким образом, чтобы (i) собирать данные датчиков через один или несколько датчиков и (ii) воспроизводить рецепт процесса путем выполнения машинного последовательного роботизированного сценария рецепта, соответствующего рецепту процесса на основе хотя бы части собранных датчиками данных.
2. Роботизированная кухонная система по п. 1, отличающаяся тем, что один или несколько датчиков содержат камеру.
| US 2004172380 A1, 02.09.2004 | |||
| US 2003118077 A1, 26.06.2003 | |||
| Многоступенчатая активно-реактивная турбина | 1924 |
|
SU2013A1 |
| US 2009031825 A1, 05.02.2009 | |||
| Сглаживающее устройство для линий передач постоянного тока высокого напряжения | 1950 |
|
SU88467A1 |
| US 2013333094 A1, 19.12.2013 | |||
| US 2013151007 A1, 13.06.2013 | |||
| US 2010274388 A1, 28.10.2010. | |||
