Apple анонсировала новые функции доступности с поддержкой искусственного интеллекта, такие как Eye Tracking, Music Haptics и Vocal Shortcuts, которые обеспечивают бесшовный пользовательский опыт.
15 мая 2024 года Apple объявила о грядущем ряде обновлений для iOS 18, в которых большое внимание уделяется доступности. Запланированные к выпуску в конце этого года, новые обновления Apple включают в себя такие инновационные функции, как отслеживание глаз, тактильная музыка и голосовые ярлыки.
Эти функции доступности Apple облегчают использование устройств Apple людям с проблемами мобильности, глухим или слабовидящим, а также тем, у кого проблемы с речью. За такими возможностями стоят кремний Apple, искусственный интеллект (ИИ) и машинное обучение. Давай изучим новые функции Apple и то, какое влияние они окажут на повседневную жизнь.
Как общество, мы должны быть уверены, что наши технологические достижения доступны каждому. Сделав технологии доступными, можно изменить жизнь многих людей. Например, в наше время технологии являются огромной частью любой работы, но недоступные интерфейсы могут создать карьерные препятствия для людей с ограниченными возможностями. Исследования показывают, что в 2018 году уровень безработицы среди людей с ограниченными возможностями почти в два раза выше, чем среди тех, кто не имеет инвалидности.
Правовые системы также обращаются к разговору о том, как сделать технологии доступными. Многие страны добавили законы, обязывающие соблюдать стандарты доступности для веб-сайтов и цифровых продуктов. В США количество судебных исков, связанных с доступностью веб-сайтов, постоянно растет: с 2017 по 2022 год будет подано около 14 000 исков о доступности веб-сайтов, в том числе более 3000 только в 2022 году . Независимо от юридических требований, доступность необходима для инклюзивного общества, в котором каждый может полноценно участвовать. Именно в этом случае на помощь приходят следующие функции доступности Apple.
Apple работает над тем, чтобы сделать технологии доступными для всех, с 2009 года. В том же году они представили VoiceOver - функцию, которая позволяла слепым и слабовидящим пользователям управлять iPhone с помощью жестов и звуковой обратной связи. Зачитывая то, что находится на экране, пользователям становится проще взаимодействовать со своими устройствами.
С тех пор Apple постоянно улучшает и расширяет свои функции доступности. Они представили Zoom для увеличения экрана, Invert Colors для улучшения визуального контраста и Mono Audio для тех, кто страдает нарушениями слуха. Эти функции значительно улучшили взаимодействие пользователей с различными ограниченными возможностями со своими устройствами.
Вот более подробный взгляд на некоторые ключевые функции доступности Apple, которые мы видели в прошлом:
Теперь человек с ограниченной подвижностью рук может легко просматривать интернет, отправлять сообщения и даже управлять устройствами умного дома, просто глядя на экран. Эти достижения делают их повседневную жизнь более управляемой, позволяя им самостоятельно выполнять задачи, которые раньше казались им сложными.
Еще одна интересная грядущая функция доступности Apple - Eye Tracking, которая делает это реальностью. Разработанная для пользователей с физическими недостатками, функция Eye Tracking обеспечивает возможность навигации без рук на iPad и iPhone. Используя искусственный интеллект и фронтальную камеру, чтобы видеть, куда ты смотришь, она позволяет тебе без усилий активировать кнопки, свайпы и другие жесты.
Фронтальная камера настраивает и калибрует Eye Tracking за считанные секунды. Ты можешь использовать Dwell Control для взаимодействия с элементами приложения, получая доступ к таким функциям, как кнопки и свайпы, только глазами. Пользователи могут быть уверены, что их конфиденциальность защищена, потому что устройство безопасно обрабатывает все данные с помощью машинного обучения на устройстве. Eye Tracking работает без проблем в приложениях iPadOS и iOS , не требуя дополнительного оборудования или аксессуаров. В VisionOS от Apple Vision Pro также есть функция отслеживания взгляда для удобной навигации.
Music Haptics - еще одна из скоро выходящих функций доступности Apple. Она была разработана для глухих и слабослышащих пользователей, чтобы они могли слушать музыку на своих iPhone. При использовании Taptic Engine генерирует постукивания, текстуры и утонченные вибрации, которые синхронизируются с аудио. Ты можешь почувствовать ритм и нюансы музыки. Это довольно глубокое ощущение, благодаря способности Taptic Engine генерировать вибрации различной интенсивности, характера и продолжительности, чтобы передать ощущения от музыки.
Музыкальная тактильная связь может соединить слабослышащего человека с музыкой таким образом, который раньше был невозможен. Это открывает мир впечатлений в их повседневной жизни. Бег во время прослушивания музыки или наслаждение песней с другом становятся совместным и захватывающим опытом. Вибрации могут соответствовать энергии плейлиста для тренировки, делая упражнения более мотивирующими, или помочь успокоить нервы с помощью любимой мелодии для медитации. Music Haptics поддерживает миллионы песен в каталоге Apple Music и будет доступен в виде API для разработчиков, что позволит им создавать более доступные приложения.
В списке новых функций доступности Apple разработала функцию Vocal Shortcuts для улучшения речевых систем с помощью ИИ. Она позволяет пользователям iPhone и iPad создавать "пользовательские изречения", чтобы Siri могла запускать ярлыки и управлять сложными задачами. Это особенно полезно для людей с такими заболеваниями, как церебральный паралич, ALS или инсульт.
Функция "Прослушивание нетипичной речи" использует машинное обучение устройства для распознавания и адаптации к различным речевым паттернам, облегчая такие задачи, как отправка сообщений или установка напоминаний. Поддерживая пользовательские словари и сложные слова, Vocal Shortcuts обеспечивает персонализированный и эффективный пользовательский опыт.
Также есть несколько новых функций доступности Apple, которые помогут пассажирам более комфортно использовать свои устройства во время поездок. Например, Vehicle Motion Cues - это новая функция для iPhone и iPad, которая помогает уменьшить укачивание пассажиров в движущемся транспорте. Укачивание часто возникает из-за сенсорного несоответствия между тем, что человек видит, и тем, что он чувствует, что делает использование устройств во время движения некомфортным. Vehicle Motion Cues решает эту проблему, отображая анимированные точки по краям экрана, которые представляют изменения в движении транспортного средства. Это уменьшает сенсорный конфликт, не нарушая основного контента. Эта функция использует встроенные в iPhone и iPad датчики, чтобы определять, когда пользователь находится в движущемся транспортном средстве, и соответствующим образом настраиваться.
CarPlay также получил обновления, повышающие доступность. Функция Voice Control позволяет пользователям управлять CarPlay и его приложениями с помощью голосовых команд, а Sound Recognition предупреждает глухих и слабослышащих людей о гудках и сиренах автомобилей. Для дальтоников Color Filters улучшает визуальное удобство интерфейса CarPlay. Эти усовершенствования помогают сделать всех пассажиров более комфортными во время поездки в автомобиле.
Apple Vision Pro уже предлагает Apple функции доступности, такие как субтитры, закрытые титры и транскрипции, чтобы помочь пользователям следить за аудио и видео. Теперь Apple расширяет эти возможности еще больше. Новая функция Live Captions, управляемая искусственным интеллектом, позволяет всем желающим следить за разговорным диалогом в живых беседах и аудио из приложений, отображая текст на экране в реальном времени. Это особенно полезно для глухих или слабослышащих людей. Например, во время FaceTime-звонка в VisionOS пользователи могут видеть на экране транскрибированный диалог, что облегчает общение и совместную работу с помощью Персоны (сгенерированного компьютером виртуального аватара).
Подобно инициативам Apple в области доступности, многие другие компании активно исследуют и внедряют инновации, используя ИИ для создания доступных решений. Например, автономные автомобили с поддержкой ИИ могут дать людям с проблемами мобильности независимость, облегчив им самостоятельное вождение. До сих пор люди с ограниченными возможностями могли водить машину, используя специально модифицированные автомобили с такими приспособлениями, как ручное управление, подрулевые устройства и функции, доступные для инвалидных колясок. С интеграцией технологий искусственного интеллекта, таких как компьютерное зрение, эти автомобили теперь смогут оказывать еще большую поддержку.
Автопилот Tesla - хороший пример помощи при вождении, дополненной ИИ. Он использует продвинутые датчики и камеры для обнаружения препятствий, интерпретации сигналов светофора и навигационной помощи в реальном времени. С помощью этих искусственных интеллектов автомобиль может решать различные задачи по вождению, например, оставаться в пределах полосы движения и регулировать скорость в зависимости от дорожных условий. Благодаря компьютерному зрению опыт вождения становится безопаснее и доступнее для каждого.
С этими новыми обновлениями Apple открывает новую эру инклюзивности на основе ИИ. Интегрируя ИИ в свои функции доступности, Apple облегчает повседневные задачи для людей с ограниченными возможностями и способствует развитию инклюзивности и инноваций в технологиях. Эти достижения повлияют на различные рынки: технологические компании установят новые ориентиры инклюзивности, здравоохранение выиграет от повышения независимости людей с ограниченными возможностями, а потребительская электроника увидит повышенный спрос на доступные устройства. Вполне вероятно, что будущее технологий связано с созданием бесшовного пользовательского опыта для всех.
Загляни в наш репозиторий GitHub и стань частью нашего сообщества, чтобы всегда быть в курсе передовых разработок в области ИИ. Узнай, как ИИ меняет самодвижущиеся технологии, производство, здравоохранение и многое другое.
Начни свое путешествие с будущим машинного обучения
