Свободные руки взаимодействия: отслеживание глаз и голосовые команды на HoloLens 2

Создание интуитивных пространственных вычислительных приложений требует выхода за рамки физических контроллеров и жестов рук. Разработка для среды свободных рук открывает мощные возможности доступности и упрощенные рабочие процессы для работников на переднем крае и повседневных пользователей. Этот курс поможет вам освоить основные понятия и практические методы использования отслеживания движения глаз и голосовых команд на HoloLens 2. Вы перейдете от понимания теорий пространственного ввода к настройке полностью чувствительных, чувствующих взгляд и активируемых речью виртуальных объектов. Что вы узнаете: - Понять основные концепции отслеживания глаз и механику отбора на основе взгляда - Настройка голосовых команд и подсистем распознавания речи для ввода естественного языка - Реализация поведения объекта, реагирующего на взгляд, когда пользователь смотрит на них - Примените современные профили взаимодействия Mixed Reality Toolkit (MRTK) для оптимизации настройки - Разработка доступных, свободных от рук пользовательских интерфейсов с использованием передовых методов в пространственном UX - Устранение общих проблем калибровки и отслеживания окружающей среды в смешанной реальности Вы начнете с изучения основной терминологии пространственных вычислений и основ конфигурации, прежде чем перейти к поэтапным стратегиям реализации. Затем текстовые уроки помогут вам ознакомиться со структурами кода и настройками конфигурации, чтобы связать ввод взгляда и речи с действиями объектов. Этот курс предназначен для начинающих разработчиков, дизайнеров UX и энтузиастов пространственных вычислений. Не требуется предыдущий опыт работы с HoloLens, хотя полезно знакомство с концепциями объектно-ориентированного программирования. Начните читать сегодня, чтобы создать более естественные и доступные интерактивные впечатления в смешанной реальности.