Как смартфоны облегчают жизнь слепых людей?

Какими должны быть характеристики смартфона для незрячего

Люди с нарушением зрения – такие же, как и все остальные. Они полноценные члены общества, у которых есть своим радости и проблемы, заботы и потребности. Им также хочется каждый раз отправиться на прогулку в другое место, избегая привычного маршрута “квартира – магазин – аптека”. У них есть желание звонить по телефону, читать свежие новости, загружающиеся на устройство по сети, слушать музыку. Если функционал мобильного гаджета сможет удовлетворить все потребности незрячего, это не сделает его самым счастливым, но хоть немного упростит жизнь.

Исходя из отзывов пользователей, имеющих проблемы со зрением, при выборе смартфона такие люди обычно руководствуются следующими критериями:

Размер устройства и особенности расположения кнопок;
Длительность работы от батареи;
Операционная система, синтезаторы речи, специализированные программы.

Данный перечень можно продолжить, но указанные пункты – основные.

Размеры смартфона

Люди, неспособные видеть, обычно передвигаются с тростью. В данном случае это подразумевает: телефон должен быть таким, чтобы с ним можно было удобно обращаться, имея одну занятую руку. Если он маленький, то неудобств не возникнет, но здесь всплывает один важный нюанс: у телефона с сенсорным экраном дисплей будет маленьким, что сделает попадание на миниатюрные кнопки довольно сложным процессом. Идеальный вариант – диагональ от 4,5 до 5 дюймов. Такое устройство в кармане не затеряется, но это и не “лопата”. Отлично, если кнопки на корпусе имеют четкий вид и хорошо определяются при касании.

Тактильные ощущения у незрячих развиты очень хорошо, но случайное двойное нажатие вместо одиночного может привести к набору, скажем, “горячего” номера. Поэтому работа клавиш обязана быть четкой. Для некоторых пользователей неудобства также кроются в наличии сенсорных кнопок “назад” и “меню”.

Немаловажна и способность телефона противостоять механическим воздействиям. Ударопрочное устройство не повредится при ударе о край стола, когда телефон находится в кармане.

Время работы от аккумулятора

Чем дольше работает телефон от батареи, тем лучше. Естественно, этого желают все пользователи, но для неспособных видеть это особенно важный момент. Причина: общение с устройством с помощью «поедающих» энергию голосовых помощников. Смартфон, имеющий обычную батарею, приходится заряжать ежедневно. Повысить степень удобства в данном случае поможет более мощный аккумулятор (емкость 3000-4000 мАч).

ОС и специальное ПО

В данной области предпочтительно приобрести телефон, функционирующий на ОС Android. Под этой операционной системой может работать большее количество специальных программ, которые озвучивают текст с экрана. К примеру, собственные разработки есть у Google: “Синтезатор речи Google” и Talk Back.

Немного сложнее, если гаджет работает под Windows Phone или iOS. Команды типа “позвонить” или “открыть будильник” WP распознает вполне нормально, но текст с экрана воспроизводить не умеет. Компания Apple выпустила Siri – программу, считающуюся одним из лучших голосовых помощников, но ПО не русифицировано, да и своенравно. Вывод: специализированный софт для незрячих – лучше стандартного.

К сожалению, есть один нюанс: механический голос, исходящий из динамика смартфона и помогающий слепому, может раздражать окружающих. Выход из ситуации – наушники, а еще лучше – Bluetooth-гарнитура. Последний вариант обеспечит отсутствие проводов, с которыми человеку, неспособному видеть, обращаться не совсем удобно.

Еще один неочевидный для зрячих людей нюанс связан набором номера. Проблемой для человека с ограниченными зрительными возможностями может стать открытие дополнительной клавиатуры. В подобной ситуации на переключение и поиск нужной клавиши уходит много времени.

Слабовидящему или незрячему хорошим помощником станет установленная на смартфон программа, делающая более удобным рабочий стол. Пример – Blind Launcher – ПО, увеличивающее на сенсорном экране значки до достаточно большого размера, что упрощает процесс набора цифровых комбинаций. Одно из преимуществ софта – доступ к пробной бесплатной версии.

Некоторые пользователи также предпочитают применять официальный клиент “ВКонтакте” вместо Twitter, встроенный Total Commander вместо стандартного плеера. Среди браузеров достаточно популярен Firefox.

Настройка iPhone для слепых

iPhone имеет ряд функций и инструментов, которые могут облегчить использование устройства людям с ограниченными возможностями зрения. Несмотря на отсутствие зрения, вы все равно можете полноценно пользоваться своим iPhone и наслаждаться всеми его функциями.

Голосовой ввод и ассистент

Вам не нужно использовать клавиатуру iPhone для ввода текста. Вместо этого вы можете использовать голосовой ввод, чтобы диктовать сообщения, напоминания, заметки и многое другое. Кроме того, голосовой ассистент Siri поможет вам выполнить различные задачи, от отправки сообщений до поиска информации в Интернете.

Увеличение и обратный цвет

Если вам сложно читать текст на экране, можно воспользоваться функцией увеличения. Просто дважды коснитесь экрана двумя пальцами и двигайте пальцы, чтобы увеличить или уменьшить масштаб. Если вы предпочитаете больше контраста, вы можете включить функцию обратного цвета, которая инвертирует цвета на экране.

Голосовое чтение текста

iPhone также предлагает функцию голосового чтения, которая может прочитать текст на экране вслух. Вы можете использовать эту функцию для прослушивания текстовых сообщений, электронных писем, веб-страниц и многого другого. Просто выделите текст, который вы хотите прочитать, и нажмите кнопку «Голосовое чтение».

Текстовый размер и шрифт

Чтобы улучшить читаемость текста на экране, можно настроить размер и стиль шрифта. В разделе «Настройки» выберите «Общие» и затем «Шрифты и размер текста». Здесь вы можете выбрать больший размер шрифта, а также изменить стиль шрифта с помощью функции «Отображение жирного текста».

Беспроводные наушники и система Braille

Если вы предпочитаете слушать аудиосодержимое, iPhone поддерживает беспроводные наушники, такие как AirPods, которые позволяют вам наслаждаться звуком со своего устройства. Кроме того, iPhone также совместим с системой Braille, позволяя слепым людям использовать виртуальную клавиатуру Braille для ввода текста и навигации по устройству.

У Apple есть специальное сообщество и поддержка для людей с ограниченными возможностями зрения, где вы можете найти дополнительные сведения и ресурсы для использования iPhone.

Стратегия использования всех доступных функций и инструментов поможет вам максимально эффективно использовать свой iPhone и наслаждаться его возможностями, даже если у вас ограниченные возможности зрения.

Полезные ИИ-приложения для слепых и слабовидящих

Помимо Seeing AI и Lookout, людям с нарушениями зрения доступны и другие приложения с ИИ, способные повысить комфортность их жизни. Расскажем о самых популярных среди них.

Envision AI

Одно из самых скачиваемых в мире мобильных ИИ-приложений для людей с нарушениями зрения. Доступно бесплатно для Android и iOS. Поддерживает русский и ещё более 60 языков.

Разработчик пишет об Envision AI как о «самом быстром и самом надёжном приложении для оптического распознавания». И это не пустые слова. В 2022 году программа получила награду Общества слепых и слабовидящих пользователей продуктов Apple.

Envision AI может распознавать и озвучивать тексты, документы, электронные книги, определять продукты по штрихкодам, описывать изображения, идентифицировать цвета, «узнавать» лица людей из списка контактов. Из недостатков можно отметить отсутствие функции определения номиналов денежных банкнот, а также то, что приложение не работает автономно без доступа к интернету.

Sullivan+

Ещё одна программа с аналогичным набором функций от южнокорейской фирмы TUAT, специализирующейся на разработке программ с нейросетями. Sullivan+ — это бесплатное приложение для Android и iOS с поддержкой русского языка. Оно выдаёт точные и подробные описания объектов, попадающих в объектив камеры смартфона. В 2020 году приложение стало победителем премии GLOMO (Global Mobile Awards) в номинации «Лучшая мобильная инновация для обеспечения доступности и инклюзивности».

В линейке продуктов TUAT для слепых можно найти «облегчённые» варианты приложения Sullivan+ с меньшим набором функций, предназначенные для гаджетов со скромными аппаратными возможностями: Sullivan Lite и Sullivan A. Последний работает только с чтением документов.

Но есть и недостатки. Sullivan+ работает только при наличии подключения к интернету и не умеет распознавать штрихкоды продуктов и номинал денежных купюр.

Supersense — AI for Blind

Разработка дочернего ИИ-стартапа Массачусетского технологического института (MIT), знаменитого своими инновациями. Приложение работает без подключения к интернету, имеет русскоязычную версию и доступно пользователям Android и iOS. Обладает всеми функциями конкурентов — от чтения штрихкодов на продуктах в супермаркете до чтения рукописного текста. Но многие из них доступны только в платной версии.

AudiVision

Бесплатное приложение от одноимённого стартапа, основанного в 2022 году. Пока что доступна только бета-версия для Android-смартфонов. iOS-вариант разработчики обещают выпустить позже.

Программа поддерживает 12 языков, среди которых нет русского. Все функции работают автономно, без доступа к интернету. Из интересных фич стоит отметить две: Safe street и Expiry date. Первая помогает слепым и слабовидящим ходить по улице, реагируя на приближение пешеходов, а Expiry date определяет срок годности продуктов по маркировке, нанесённой на упаковку.

Cash Reader: определитель купюр

Приложение делает только одно — определяет номинал купюр по их изображению. Зато делает это очень эффективно. Cash Reader имеет русскоязычную версию и способно распознавать банкноты большинства популярных валют, включая рубли. Информация может быть озвучена или передана в виде вибросигналов смартфона.

Cash Reader позволяет конвертировать валюты по актуальному курсу. Большинство функций приложения работают без доступа к интернету. Есть версии программы для Android и iOS. К недостаткам можно отнести то, что приложение платное, хотя есть небольшой пробный период.

Особый взгляд

Российское приложение, которое помогает людям с нарушениями зрения при просмотре фильмов и другого видеоконтента. «Особый взгляд» выдаёт голосовой тифлокомментарий, автоматически синхронизируемый с видеорядом с помощью ИИ. Программа создана в рамках проекта благотворительного фонда «Искусство, наука и спорт».

«Особый взгляд» работает просто. Перед тем как смотреть фильм, необходимо скачать на смартфон тифлокомментарии к нему. После этого открыть приложение и запустить его. Алгоритмы сами синхронизируют видеоряд и озвучиваемый текст.

Режим для слепых на iPhone: как отключить?

Режим для слепых на iPhone представляет собой особенный режим, который облегчает использование телефона людям с ограниченными возможностями зрения. Однако, если вы ошибочно включили этот режим или больше не нуждаетесь в его использовании, вы можете легко его отключить, следуя простым шагам.

Чтобы отключить режим для слепых на iPhone, выполните следующие действия:

Откройте настройки на своем iPhone, нажав на значок «Настройки» на главном экране.
Прокрутите вниз и выберите вкладку «Общие».
На странице «Общие» найдите и выберите раздел «Доступность».
В разделе «Доступность» найдите опцию «Режим для слепых» и нажмите на нее.
В открывшемся меню вы увидите переключатель «Вкл./Выкл.». Чтобы отключить режим для слепых, просто переключите этот переключатель в положение «Выкл.».

После выполнения этих шагов режим для слепых будет отключен на вашем iPhone, и вы сможете использовать телефон в обычном режиме.

Однако, имейте в виду, что при отключении режима для слепых некоторые функции и возможности, специально разработанные для людей с ограниченными возможностями зрения, могут перестать быть доступными. Если вы все же хотите сохранить некоторые из этих функций, вам может потребоваться настроить соответствующие настройки доступности в настройках телефона.

Адаптация экрана: сочные цвета для каждого

Эта функция встроена в iOS 11 для людей с различными формами дальтонизма и прочими нарушениями восприятия цветов.

В режиме адаптации экрана можно менять баланс белого, инвертировать цвета, применять цветные фильтры и отображать только оттенки серого. Присутствует возможность использовать предустановленные цветовые профили, или настроить всё на свой вкус.

Как включить: Настройки – Основные – Универсальный доступ – Адаптация дисплея

Важно, что адаптация экрана применяется для всего, что отображается на экране Айфона, будь то рабочий стол, запущенное приложение или видео-файл

Планирование и организация событий с помощью голосового помощника

С голосовым помощником на iPhone для слепых вы можете легко планировать и организовывать свои события. Технология распознавания и синтеза речи позволяет вам вводить команды голосом и получать информацию или производить необходимые действия без необходимости использования зрения. Вот некоторые способы использования голосового помощника для планирования и организации событий:

Создание календарных событий: С помощью голосового помощника вы можете добавлять новые события в свой календарь. Просто скажите «Создать событие» и укажите дату, время и описание события.
Установка напоминаний: Если у вас есть какие-либо задачи или важные события, которые нужно не забыть, вы можете использовать голосовой помощник для установки напоминаний. Просто скажите «Напомнить мне» и укажите время и содержание напоминания.
Поиск информации о местах: Если вы хотите организовать встречу в ресторане или найти ближайший спортзал, голосовой помощник может помочь вам найти информацию о местах. Просто скажите «Найти рестораны поблизости» или «Найти спортзалы рядом» и голосовой помощник предоставит вам необходимую информацию.
Помощь в организации путешествий: Если у вас запланирована поездка, вы можете использовать голосовой помощник для бронирования билетов на самолет, поиск отелей и получения информации о местных достопримечательностях. Просто скажите «Забронировать билеты на самолет» или «Найти отели в городе» и голосовой помощник поможет вам с планированием вашего путешествия.

Использование голосового помощника на iPhone для слепых позволяет сделать планирование и организацию событий более удобными и доступными. Благодаря нему вы можете эффективно управлять своим временем и быть всегда в курсе важных дел.

Как отключить на айфоне функции для слепых

Айфон предоставляет несколько функций, специально разработанных для слепых и имеющих зрительные ограничения. Однако, если вы не нуждаетесь в этих функциях, вы можете отключить их, чтобы упростить использование своего устройства.

Вот несколько шагов, которые вы можете выполнить, чтобы отключить функции для слепых на айфоне:

Откройте настройки, нажав на значок «Настройки» на главном экране айфона.
Прокрутите вниз и нажмите на раздел «Общие».
В разделе «Общие» выберите «Доступность».
На странице доступности вы увидите различные функции для слепых, такие как VoiceOver, Большие буквы и Зумирование экрана. Для отключения каждой функции, просто переключите соответствующий переключатель в положение «Выключено».
После отключения функций для слепых вы можете вернуться к обычному использованию вашего айфона. Если вам когда-либо понадобится включить эти функции снова, вы можете снова зайти в настройки и включить их по вашему усмотрению.

Отключение функций для слепых на айфоне поможет вам использовать устройство более простым и удобным способом, освободившись от функций, которые вам не нужны.

iOS: доступность для слепых

Смартфоны iPhone с операционной системой iOS предоставляют широкие возможности для настройки доступности для слепых. Ниже приведены основные функции, которые помогут пользователю в этом:

1. Голосовое управление: В iOS доступен голосовой помощник Siri, который может помочь пользователям слепым или с нарушениями зрения в управлении устройством. Siri может выполнять различные команды, а также отвечать на вопросы и предоставлять информацию.

2. TalkBack: Устройства iOS имеют встроенную функцию TalkBack, которая делает смартфон голосовым помощником. Она предоставляет доступ к основным функциям устройства, таким как просмотр и отправка сообщений, набор номеров, использование интернет-браузера и другие.

3. Увеличение шрифта и контрастности: В настройках iOS можно увеличить размер шрифта, а также изменить цветовую схему для лучшей видимости. Это очень полезно для слабовидящих пользователей.

4. VoiceOver: VoiceOver — это встроенная функция в iOS, которая помогает слепым и слабовидящим пользователям получить доступ ко всем функциям устройства. Она озвучивает текст, прикосновения и другие действия пользователей, позволяя им легко навигировать по интерфейсу.

5. Поддержка брайля: iOS поддерживает печать на брайлевских дисплеях. Вы можете подключить брайлевский дисплей к своему iPhone и получить текстовую информацию в виде точек, которые вы сможете прощупывать пальцами.

6. Магнификация: Эта функция позволяет увеличить определенную область экрана, делая ее более видимой для слабовидящих пользователей. Вы можете выбрать область, которую хотите увеличить, и настроить уровень масштабирования.

Благодаря этим функциям доступности iOS на iPhone можно максимально адаптировать для использования слепыми и слабовидящими пользователями. Следуя инструкциям, предоставленным Apple, вы сможете в полной мере насладиться преимуществами смартфона и использовать его в повседневной жизни.

Полный гайд по настройке интерфейса

Настройка интерфейса iPhone для слабовидящих пользователей может существенно улучшить доступность устройства. Следуя простым шагам, вы сможете настроить интерфейс таким образом, чтобы облегчить работу и навигацию смартфоном для людей с ограниченным зрением.

1. Изменение размера текста

Перейдите в раздел «Настройки» и выберите «Экран и яркость». Затем нажмите на «Размер текста» и используйте ползунок, чтобы изменить размер текста на более удобный для вас.

2. Включение увеличения

В том же разделе «Экран и яркость» включите функцию увеличения, нажав на «Увеличение». Эта функция позволяет легко увеличивать отображаемую информацию двумя пальцами при необходимости.

3. Использование голосового ассистента

iPhone предлагает мощный встроенный голосовой ассистент Siri. Чтобы включить его, перейдите в раздел «Настройки», затем «Siri и поиск». Включите функцию Siri и выберите голосовой ввод, наиболее удобный для вас.

4. Использование голосового чтения контента

Для слабовидящих пользователей доступна функция голосового чтения контента. В разделе «Настройки», выберите «Общие», затем «Доступность», и перейдите в раздел «Поддержка чтения». Включите «Голосовое чтение контента» и настройте другие предпочтения, такие как скорость чтения и язык.

5. Настройка указателя при чтении

В разделе «Доступность», выберите «Поддержка чтения» и перейдите к настройке указателя при чтении. Это позволяет удобно отслеживать текст, который голосовой ассистент читает в данный момент, благодаря подсветке слов и предложений.

6. Включение цветовых фильтров

Для повышения контрастности и лучшей читаемости вы можете использовать цветовые фильтры. Перейдите в раздел «Настройки», выберите «Доступность» и перейдите в раздел «Дисплей и текст». Включите функцию «Цветовые фильтры» и выберите наиболее подходящие настройки для вас.

Следуя этому полному гайду, вы сможете настроить интерфейс iPhone таким образом, чтобы обеспечить максимальную доступность для слабовидящих пользователей. Помните, что настройки могут отличаться в зависимости от модели и версии операционной системы, поэтому обратитесь к руководству пользователя вашего устройства для получения подробной информации.

Взаимодействие с голосовым помощником через Siri

С помощью Siri слепые пользователи могут выполнить следующие действия:

Отправлять и просматривать текстовые сообщения.
Осуществлять телефонные звонки и управлять контактами.
Получать информацию о текущей погоде, новостях, спортивных событиях и других интересующих темах.
Управлять календарем, создавать события, устанавливать напоминания.
Получать маршруты и указания по навигации.
Открывать приложения и осуществлять поиск по интернету.

Siri также может использоваться для управления функциями доступности на iPhone. Например, слепые пользователи могут попросить Siri увеличить размер шрифта или прочитать текст на экране.

Для взаимодействия с голосовым помощником Siri достаточно произнести фразу «Привет, Siri» или удерживать кнопку главного экрана. После этого Siri начнет слушать команды и отвечать на них голосовыми сообщениями.

Голосовой помощник Siri обладает интуитивно понятным пользовательским интерфейсом, который позволяет легко взаимодействовать с устройством с помощью голоса. Это очень удобно для слепых людей, которые могут использовать Siri для выполнения различных задач, не требуя физического взаимодействия с экраном.

Интегрированный голосовой помощник Siri делает iPhone доступным для слепых пользователей, предоставляя им мощный инструмент для контроля устройства и выполнения основных функций с помощью голоса.

Зачем отключать функцию для слепых на Айфоне 10?

Функция для слепых на Айфоне 10, которая называется VoiceOver, предназначена для помощи людям с нарушениями зрения. Она позволяет пользователям слушать аудиоинформацию об элементах интерфейса, а также перемещаться и взаимодействовать с приложениями и веб-сайтами с помощью голосовых команд.

Однако есть случаи, когда отключение данной функции может быть полезным. Например, если вы разрабатываете приложение или веб-сайт и хотите убедиться, что оно работает правильно и без сбоев для всех пользователей, включая тех, у кого нет ограничений в зрении. Отключение функции VoiceOver позволяет проверить, насколько удобен и доступен ваш продукт для всех.

Также, отключение функции для слепых может быть полезным для пользователей, которые не нуждаются в этой функциональности и хотят сохранить энергию батареи своего устройства. VoiceOver потребляет дополнительные ресурсы и может снижать продолжительность работы аккумулятора. Отключение этой функции поможет продлить время автономной работы вашего Айфона 10.

Кроме того, некоторым пользователям VoiceOver может быть сложно освоить и использовать эта функция правильно. Отключение ее позволит им облегчить работу с устройством и избежать потенциальных проблем и ошибок, связанных с неверным восприятием и нечеткой работой голосового ассистента.

В целом, отключение функции для слепых на Айфоне 10 может быть полезным для проверки доступности ваших приложений и веб-сайтов, сохранения энергии аккумулятора и облегчения работы с устройством для некоторых пользователей. Однако следует помнить, что эта функция предназначена для помощи людям с нарушениями зрения, и ее отключение может ограничить возможности доступности для таких пользователей.

Как сделать чтобы айфон говорил при зарядке iOS 14?

Также можно просто заставить Сири произнести какую-то фразу, когда вы подключаетесь или отключаетесь от зарядки.…Звук Siri на зарядку iPhone

Как разблокировать iPhone с функцией VoiceOver

Вы когда-нибудь оказывались в ситуации, когда на iPhone или iPad включена функция VoiceOver, и из-за неё вы не можете разблокировать своё устройство? Когда функция активна, а экран заблокирован, то при попытке ввести пароль или использовать Touch ID/Face ID вы обнаружите, что всё содержимое экрана будет воспроизводиться в аудио-формате, и это помешает разблокировать устройство. Если вы включили функцию случайно, и теперь ваше устройство с вами разговаривает, мы поможем вам его разблокировать. Мы также расскажем, как отключить функцию VoiceOver с заблокированным экраном или же просто ввести пароль.

Если вы не понимаете, почему ваш iPhone или iPad вдруг начал с вами разговаривать и описывать всё содержимое экрана, это функция VoiceOver. VoiceOver – отличный инструмент универсального доступа, которая читает вслух всё, что находится на экране. Функция предназначена для людей с проблемами со зрением: они могут использовать устройство, не глядя на экран. Многие успешно используют функцию, но, если вы включили её случайно, то разобраться с ней будет сложно. К счастью, отключить функцию довольно просто.

Альтернативные функции для слабовидящих на айфоне

Современные смартфоны, такие как iPhone, предлагают ряд альтернативных функций, которые могут быть полезны для людей со слабым зрением. Вот некоторые из них:

Доступность

Настройки доступности в iPhone позволяют пользователям настроить различные параметры для улучшения видимости и доступности. В разделе «Настройки» можно найти различные опции, такие как увеличение текста, изменение цветовой схемы и настройка звуковых сигналов.

Голосовой помощник

Siri, голосовой помощник iPhone, может быть полезна для слабовидящих пользователей, позволяя им управлять устройством с помощью голосовых команд. Siri может выполнять различные задачи, такие как отправка сообщений, навигация, настройка напоминаний и т. д.

Кроме того, iPhone также поддерживает специальные приложения, разработанные для слабовидящих пользователей. Эти приложения могут предоставлять увеличение изображения, озвучивание текста и другие функции, которые делают использование iPhone более удобным для людей со слабым зрением.

Функция	Описание
Увеличение текста	Позволяет увеличивать размер текста на экране для лучшей читаемости.
Инверсия цветов	Меняет цвета на экране, делая их более контрастными и легкими для прочтения.
Голосовые команды	Позволяет управлять устройством с помощью голосовых команд, что особенно полезно для людей с ограниченной подвижностью.
Специальные приложения	Предоставляют дополнительные функции, такие как увеличение изображения и озвучивание текста.

Если вам нужно отключить режим для слепых на iPhone, вы можете просто перейти в раздел «Настройки» > «Служба доступности» и выключить соответствующую опцию

Важно помнить, что отключение режима для слепых может сделать некоторые функции iPhone менее доступными для пользователей со слабым зрением

GPT-4: «Виртуальный волонтёр»

Все приложения, о которых мы рассказали ранее, работают так, что пользователь не может задать к полученному описанию уточняющие вопросы. Поэтому многие детали предметов или особенности людей остаются неясными.

Новые модели нейросетей, например GPT-4, решают эту проблему. Помимо популярной функции генерации текста модель от OpenAI способна выдавать подробные описания для изображений в режиме диалога с человеком.

Неслучайно возможность опробовать мультимодальные возможности GPT-4 первыми получили именно слепые и слабовидящие люди. Для этого языковую модель интегрировали в приложение Be My Eyes («Будь моими глазами») в рамках функции Virtual Volunteer («Виртуальный волонтёр»).

«Разница между GPT-4 и моделями машинного обучения предыдущего поколения заключается как в возможности вести с ней свободную беседу, так и в значительно возросшем качестве анализа изображений, обеспечиваемом технологией.

Существовавшие ранее приложения для распознавания изображений сообщали только о тех предметах, которые непосредственно находились перед камерой. Они не могли вести диалог, чтобы понять, есть ли в лапше те или иные ингредиенты или представляет ли объект опасность для пользователя, чтобы сообщить об этом».

Джеспер Хвирринг Хенриксен, технический директор Be My Eyes (цитата: OpenAI)

В базовом варианте приложение Be My Eyes не использует ИИ, а полагается на помощь сотрудников, готовых подключиться по видеосвязи к камере смартфона незрячего пользователя, чтобы ответить на его вопросы об окружающей обстановке. Однако некоторые пользователи испытывают трудности в общении с людьми или вынуждены ждать, пока волонтёр со знанием нужного языка освободится и будет готов помочь.

«Виртуальный волонтёр» на GPT-4 будет доступен круглосуточно, а по качеству ответов, как утверждают разработчики, он сопоставим с обученным сотрудником сервиса. Кроме того, с нейросетью можно поговорить и на отвлечённые темы. Например, направив камеру на открытый холодильник с продуктами, пользователь сможет узнать у программы не только их описание, но и варианты рецептов блюд, которые можно из них приготовить.

Примеры работы функции «Виртуальный волонтёр»: приложение помогает при стирке белья, настройке телевизора и поиске контактов на интернет-страничке Изображение: Be My Eyes

Virtual Volunteer находится на стадии бета-тестирования и доступна ограниченному числу пользователей из 12 европейских стран. Чтобы её опробовать нужно установить на смартфон приложение Be My Eyes — Android и iOS — и подать заявку на регистрацию в списке ожидания.

Создатели приложения обещают, что со временем доступ к возможностям GPT-4 будет бесплатным для всех пользователей. В случае, если человека не устроит качество работы ИИ, он всегда сможет обратиться к живому оператору.

«Благодаря ИИ я могу обойтись без помощи людей. Есть только я и мой телефон, я и технология. Это даёт мне чувство независимости. В некотором смысле это похоже на возвращение моего зрения».

Люси Эдвардс, журналистка, телеведущая, блогер

Чтобы понять, как будет работать Virtual Volunteer, можно попробовать другой сервис под названием ImageChat, предоставляющий схожий набор функций. Эта программа разработана американской компанией Chooch, специализирующейся на ИИ-продуктах. Она сочетает в себе алгоритмы компьютерного зрения и мощь больших языковых моделей.

ImageChat можно бесплатно установить на смартфоны с Android и iOS, или попробовать в веб-режиме через любой браузер.

ImageChat выдаёт ответы только на английском языке, но «понимает» уточняющие вопросы на русском. Для работы потребуется интернет-соединение. Программа не имеет функции озвучки, поэтому людям со слабым зрением придётся использовать сторонние скринридеры для преобразования текста в речь.

Пример описания изображения, выданного программой ImageChat, с последующим уточнением интересующих пользователя деталей с помощью текстового диалогаСкриншот: ImageChat / Skillbox Media