Vision

Общее описание

Android приложение Разговор - мобильный помощник для глухих и слабослышащих людей. Позволяет людям с ограничением слуха в коммуникации со слышащими людьми. Общение происходит в формате чата: человек с потерей слуха набирает текст, а фразы слышащего распознаются автоматически. Набранные фразы можно озвучить женским или мужским голосом.

Функции приложения

Распознавание речи собеседника: приложение распознаёт устную речь и переводит её в текст на экран смартфона.

Синтез фраз: если человек с потерей слуха не разговаривает, приложение может озвучить слова, которые он напечатал. Есть женский и мужской голоса.

Увеличение фраз: любое сообщение в диалоге можно развернуть на весь экран и показать собеседнику. Текст станет крупным и будет виден с расстояния. Если фраз несколько, их можно листать вправо и влево.

Готовые фразы для быстрого старта диалога: в приложении есть заготовленные реплики для типовых ситуаций. Например, если надо начать разговор, занять очередь в магазине или попросить о помощи. Можно добавлять свои варианты.

Шаблонные фразы для быстрого ввода: - стандартная клавиатура дополнена шестью фразами, которые ускоряют набор текста в разговоре. Пример фраз: "повторите еще раз" или "напишите то, что Вы сказали".

История диалогов: сохраняет историю общения, приложение записывает все реплики (и устные, и письменные) в виде диалогов. Любой диалог можно продолжить.

Ограничения

Приложение может некорректно распознавать речь глухих и слабослышащих людей. Также оно вряд ли поможет понять, что говорят по телевизору или по телефону. Лучше всего распознавание работает при следующих условиях:

• у говорящего хорошая дикция
• говорит один человек
• речь медленная, разборчивая и состоит из простых конструкций
• вокруг достаточно тихо

Поддерживаемые языки русский

Потребности и проблемы глухих людей

• базовая потребность: понять что говорит собеседник
• базовая потребность: важно уметь отвечать собеседнику, голосом или подручными средствами (блокнот, текст на телефоне, синтез голоса)
• сложно понимать общение в компании нескольких человек (например на совещаниях), актуально даже для тех, у кого потеря слуха не высокая
• разговор по телефону
• вызвать службу экстренной помощи в критических ситуациях
• не пропустить оповещение при экстренных ситуациях (например, пожарная сигнализация)
• не пропускать и понимать объявления в общественных местах (вокзалы, метро, аэропорты)
• сложно понять направление звука (например, сигнал автомобиля)
• трудно понимать сложные слова: термины, адреса, необычные названия и имена
• глухого человека очень сложно окликнуть, часто пропускают обращение к себе

Идеи новых функций

1. Режим караоке: при синтезе текста наглядно показывать цветом какие слова в данный момент воспроизводятся. Глухой человек так будет понимать что в данный момент озвучивает телефон, Функция синтеза речи есть в двух местах: на экране чата и экране увеличенной фразы.
2. Показывать ползунок с громкостью звука на телефоне при вызове функции синтеза. Нужно для того, чтобы глухой человек понимал есть ли слышен ли звук собеседнику. Как вариант реализации: показать ползунок один раз, а при последующих вызовах синтеза не показывать (логика сбрасывается при запуске новой сессии приложения).
3. Программное увеличение громкости синтеза речи. Сейчас звук относительно тихий даже при максимальной громкости на устройстве. Исследовать, можно ли программно сделать звук громче.
4. Добавить поддержку горизонтальной ориентации. Увеличивать шрифт при таком режиме.
5. Облегчить стартовый экран и разнести его по функциям. Сделать три больших блока: "Распознавание", "Синтез", "Чат".
6. Трансляция звука со слуховых аппаратов на телефон и дальнейшее распознавание речи. То же самое можно сделать и со стримерами: устройствами, которые улучшают звук слуховых аппаратов. Это должно повысить качество входящего звука и следовательно качество распознавания.
7. Телефонные звонки: распознавание речи собеседника при телефонном звонке.
8. Кнопка помощи. Вызов скорой помощи или звонок близким в экстренных случаях. Во время телефонного звонка приложение проговаривает заранее подготовленную фразу, которую пользователь может составить сам. Либо SMS рассылка определенному кругу людей с заданным текстом и координатами человека.
9. Распознавание речи нескольких собеседников. Например, у каждого пользователя стоит приложение, в которое он говорит. Всем пользователям показывается общий чат с распознанными фразами. Видно какая фраза кому принадлежит.
10. На smart watch выводить оповещения, уровень шума вокруг, детектирование речи.
11. Режим "совещания": запись разговора, избавления от посторонних шумов и предоставление пользователю обработанной записи для последующего внимательного прослушивания.