От диплома до продакшена: Часть 2: Как я проектировал опыт пользователя

Дорогие читатели!

Продолжаю серию статей о моём дипломном проекте «Голосовое управление Умным домом». В первой части я рассказал о концепции проекта и технической реализации. Во второй части я хочу погрузиться в самую важную часть любого ИИ-продукта — проектирование пользовательского опыта.

Ведь можно создать самую совершенную нейросеть с точностью 99%, но если пользователь не понимает, как с ней взаимодействовать — проект обречён на провал.

Глава 1: Философия проектирования — продукт для людей

Почему пользовательский опыт важнее кода

Когда я начинал проектировать систему, у меня уже был опыт в стратегическом маркетинге и управлении продуктом. Это сформировало мой подход:

Эта философия стала фундаментом для всех архитектурных решений. Я понимал, что технология должна служить человеку, а не наоборот.

Ключевые принципы проектирования

При проектировании пользовательского опыта я руководствовался следующими принципами:

Глава 2: Концепция разделения прав доступа

Зачем нужно разделение прав?

В умном доме живут разные люди: взрослые, дети, пожилые люди, гости. У каждого из них должны быть разные права доступа к функциям дома.

Примеры ситуаций:

Архитектура системы разделения прав

┌─────────────────────────────────────────────────────────────────┐ │ СИСТЕМА РАЗДЕЛЕНИЯ ПРАВ ДОСТУПА │ ├─────────────────────────────────────────────────────────────────┤ │ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ 1. ИДЕНТИФИКАЦИЯ ПОЛЬЗОВАТЕЛЯ │ │ │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ │ │ │ │ Голосовая │ │ Распознавание│ │ Профиль │ │ │ │ │ │ биометрия │→ │ голоса │→ │ пользователя│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ └──────────────┘ └──────────────┘ └──────────────┘ │ │ │ └─────────────────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ 2. ОПРЕДЕЛЕНИЕ УРОВНЯ ДОСТУПА │ │ │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ │ │ │ │ Возраст │ │ Роль в │ │ Время │ │ │ │ │ │ пользователя│ │ семье │ │ суток │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ └──────────────┘ └──────────────┘ └──────────────┘ │ │ │ └─────────────────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ 3. ПРОВЕРКА ПРАВ НА КОМАНДУ │ │ │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ │ │ │ │ Тип команды │ │ Устройство │ │ Контекст │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ └──────────────┘ └──────────────┘ └──────────────┘ │ │ │ └─────────────────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ 4. ИСПОЛНЕНИЕ ИЛИ ОТКЛОНЕНИЕ КОМАНДЫ │ │ │ │ ┌──────────────┐ ┌──────────────┐ │ │ │ │ │ Исполнить │ │ Отклонить │ │ │ │ │ │ команду │ │ с уведомлением│ │ │ │ │ │ │ │ │ │ │ │ │ └──────────────┘ └──────────────┘ │ │ │ └─────────────────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────┘

Уровни доступа

Для обеспечения безопасности многоуровневая система доступа:

Механизм «взросления»

Один из интересных моментов, которые я реализовал — это автоматический переход пользователя из статуса «ребёнок» в статус «взрослый» на основе даты рождения.

Как это работает:

1. Владелец устройства вводит дату рождения каждого члена семьи

2. Система хранит эту информацию в постоянной памяти

3. При достижении определённого возраста права доступа автоматически обновляются

Примеры возрастных ограничений: (вариативно)

Эта функция особенно важна для семей с детьми, потому что родителям не нужно вручную обновлять права доступа — система делает это автоматически.

Глава 3: Контекстное понимание команд

Проблема: команда или обычная речь?

Одна из главных проблем голосового управления — различить команду и обычную речь. Если система будет реагировать на каждое упоминание слова «включи», это создаст больше проблем, чем решит.

Решение: метод с книгой

Для обучения нейросети различать команды и обычную речь я использовал интересный метод:

Этап 1: Чтение книги как фон

• Я брал книгу и читал её вслух

• В книге было повествование о том, что есть какое-то движение в помещении

• Люди ходят, включают телевизор, смотрят передачу

• Затем хотят просто включить чайник, чтобы заварить чай

Этап 2: Пауза перед командой

• Я дочитывал до момента, где герой книги включает телевизор

• Делал короткую паузу, замедление, менялась высота и тембр голоса (это паттерн)

• Говорил команду: «Включи телевизор»

• Продолжал чтение

Этап 3: Разметка данных

• Эта пауза и замедление служили маркером для системы

• Нейросеть училась распознавать этот паттерн

• После обучения фон убирался

• Нейросеть вырабатывала свои паттерны распознавания

┌─────────────────────────────────────────────────────────────────┐ │ МЕТОД ОБУЧЕНИЯ С КНИГОЙ │ ├─────────────────────────────────────────────────────────────────┤ │ │ │ Шаг 1: Чтение книги (фоновая речь) │ │ "Герой вошёл в комнату и включил свет..." │ │ │ │ Шаг 2: Пауза (2-3 секунды) │ │ [система фиксирует паузу как маркер] │ │ │ │ Шаг 3: Команда │ │ "Включи телевизор" │ │ │ │ Шаг 4: Продолжение чтения │ │ "После этого он сел в кресло..." │ │ │ │ Результат: │ │ • Фоновая речь = НЕ команда │ │ • Пауза + фраза = КОМАНДА │ │ • После обучения фон убирается │ │ • Нейросеть вырабатывает свои паттерны │ │ │ └─────────────────────────────────────────────────────────────────┘

Этот метод оказался очень эффективным, потому что:

1. Естественный контекст — книга создаёт естественный речевой поток

2. Чёткие маркеры — пауза перед командой служит чётким маркером

3. Разнообразие — разные книги дают разную лексику и интонации

4. Масштабируемость — метод можно применять для обучения разным командам

Паттерны, которые вырабатывала нейросеть

После обучения нейросеть научилась распознавать следующие паттерны:

Всплески в аудиосигнале

Когда я глазами просматривал результаты разбора звука, я понял, что ещё происходит всплески по голосу.

Сравнение характеристик:

Глава 4: Гибкость vs. Строгие требования

Моя философия балансировки

Этот принцип стал основой для проектирования гибкой, но безопасной системы.

Примеры реализации

Жёсткие требования (неизменяемые):

• Проверка прав доступа перед открытием двери

• Валидация возраста для контента 18+

• Проверка подлинности голоса владельца

Гибкие настройки (настраиваемые):

• Громкость уведомлений

• Время автоматического отключения света

• Персональные сценарии «Утро», «Вечер», «Ночь»

Глава 5: Мониторинг и безопасность

Наблюдение за здоровьем

Одна из расширенных возможностей системы — мониторинг активности пользователей для заботы о здоровье и безопасности.

Сценарий для пожилых людей:

Сценарий для детей:

Логирование и уведомления

Для обеспечения безопасности все действия логируются:

Глава 6: Практическая реализация

Пример сценария: ребёнок пытается открыть дверь (например может быт таким)

┌─────────────────────────────────────────────────────────────────┐ │ СЦЕНАРИЙ: РЕБЁНОК ПЫТАЕТСЯ ОТКРЫТЬ ДВЕРЬ │ ├─────────────────────────────────────────────────────────────────┤ │ │ │ 1. Ребёнок говорит: "Открой дверь" │ │ │ │ 2. Система распознаёт голос → Профиль: Ребёнок (8 лет) │ │ │ │ 3. Проверка прав доступа: │ │ • Команда: "Открой дверь" │ │ • Устройство: Входная дверь │ │ • Права ребёнка: НЕТ доступа к входной двери │ │ │ │ 4. Решение системы: │ │ • Команда ОТКЛОНЕНА │ │ • Действие: Дверь не открывается │ │ • Логирование: Запись в журнал событий │ │ • Уведомление: Отправка уведомления родителям │ │ │ │ 5. Обратная связь ребёнку: │ │ • Голосовое сообщение: "Извини, ты не можешь открыть │ │ входную дверь. Это могут сделать только взрослые." │ │ │ └─────────────────────────────────────────────────────────────────┘

Пример сценария: автоматическое обновление прав

┌─────────────────────────────────────────────────────────────────┐ │ СЦЕНАРИЙ: ДЕНЬ РОЖДЕНИЯ ПОДРОСТКА │ ├─────────────────────────────────────────────────────────────────┤ │ │ │ 1. Система проверяет даты рождения пользователей │ │ │ │ 2. Обнаружено: Пользователь "Сын" достигает 18 лет │ │ │ │ 3. Автоматическое обновление прав: │ │ • Предыдущий статус: Подросток (13-17 лет) │ │ • Новый статус: Взрослый (18+ лет) │ │ • Обновлённые права: Полный доступ ко всем функциям │ │ │ │ 4. Уведомление: │ │ • Пользователю: "Поздравляем! Теперь у вас полный доступ │ │ ко всем функциям умного дома." │ │ • Родителям: "Ваш сын достиг 18 лет. Права доступа │ │ автоматически обновлены." │ │ │ └─────────────────────────────────────────────────────────────────┘

Глава 7: Уроки и выводы

Что сработало хорошо

1. Метод с книгой — оказался очень эффективным для обучения контекстному пониманию

2. Автоматическое обновление прав — избавило от ручной настройки

3. Голосовая биометрия — обеспечила надёжную идентификацию пользователей

4. Гибкие настройки — позволили адаптировать систему под разные семьи

Что можно улучшить

1. Распознавание эмоций — можно добавить распознавание эмоционального состояния для более точного понимания контекста

2. Мультимодальность — добавить распознавание жестов и взгляда для более естественного взаимодействия

3. Адаптивное обучение — система должна учиться на ошибках и адаптироваться под пользователя

4. Интеграция с внешними сервисами — интеграция с системами безопасности, экстренными службами

Советы для разработчиков

1. Начинайте с пользовательских сценариев — не с архитектуры, а с того, как пользователь будет использовать систему

2. Тестируйте на реальных людях — не только на тестовых данных

3. Думайте о крайних случаях — дети, пожилые, люди с особенностями

4. Соблюдайте баланс между интеллектом и контролем — система должна быть умной, но не слишком

Что будет в следующей части?

Часть 3: Архитектура нейросети

В третьей части я расскажу о технической реализации нейросети:

• Почему была выбрана архитектура Multi-input CNN

• Как обрабатываются три группы признаков (SSR, CHZ, MFC)

• Детали реализации свёрточных слоёв

• Оптимизация для работы в реальном времени

📚 Источники и ресурсы

Исходные материалы проекта

Будет продолжение