Преодоление предвзятости систем распознавания речи и обеспечение точности

Технология распознавания речи стремительно развивается, становясь неотъемлемой частью различных приложений – от виртуальных помощников и программ распознавания речи до инструментов обеспечения доступности и аналитики контакт-центров. Однако, несмотря на эти достижения, остаются значительные проблемы, особенно в отношении предвзятости систем распознавания речи и общей точности биометрической транскрипции. В этой статье мы рассмотрим лежащие в основе этих проблем причины, изучим методы улучшения и опишем лучшие практики создания более справедливых и надежных систем преобразования речи в текст.

Основные выводы

Корень проблемы: Модели распознавания речи обучаются на данных, и если эти данные не являются репрезентативными, результирующая система будет демонстрировать предвзятость, влияющую на производительность для недостаточно представленных демографических групп.

Увеличение данных имеет решающее значение: Расширение обучающих наборов данных с использованием разнообразных акцентов, диалектов и демографических характеристик необходимо для смягчения предвзятости.

Помимо данных: Алгоритмическая справедливость: Борьба с предвзятостью – это не только данные; также важны алгоритмические корректировки и методы обучения, ориентированные на справедливость.

Непрерывный мониторинг и оценка: Регулярная оценка производительности в различных демографических группах является ключом к выявлению и исправлению предвзятости с течением времени.

Понимание источников предвзятости систем распознавания речи

Основным источником предвзятости в распознавании речи являются данные, используемые для обучения моделей. Большинство коммерчески доступных систем автоматического распознавания речи (ASR) исторически обучались на наборах данных, сильно смещенных в сторону стандартного американского английского (SAE), на котором говорят белые носители языка. Это создает значительный разрыв в производительности для людей с разными акцентами, диалектами, демографическим происхождением или нарушениями речи. Это неравенство – это не просто вопрос неудобства; оно может иметь реальные последствия в таких областях, как правоохранительные органы, здравоохранение и финансовые услуги.

В частности, предвзятость проявляется несколькими способами:

• Предвзятость акцента: Системы часто демонстрируют более высокую частоту ошибок слов (WER) для неродных акцентов. Исследования показали, что WER может быть в 3 раза выше для афроамериканского разговорного английского (AAVE) по сравнению с SAE.
• Гендерная предвзятость: Ранние системы ASR часто хуже работали с женскими голосами из-за недостаточной представленности в обучающих данных. Хотя улучшения были достигнуты, тонкие предубеждения все еще могут существовать.
• Демографическая предвзятость: Возраст, социально-экономический статус и географическое положение могут способствовать изменениям в производительности.
• Предвзятость акустической среды: Обучающие данные, в основном собранные в чистых студийных условиях, могут привести к плохой производительности в шумной реальной среде.

Улучшение биометрической транскрипции с помощью увеличения данных

Увеличение данных – это мощная техника для устранения дисбаланса данных и повышения надежности систем распознавания речи. Он включает в себя искусственное расширение обучающего набора данных путем создания модифицированных версий существующих данных. Общие методы увеличения включают:

• Изменение скорости: Незначительное изменение скорости аудио без изменения высоты тона.
• Изменение громкости: Регулировка уровня громкости.
• Внедрение шума: Добавление фонового шума, имитирующего реальные условия.
• SpecAugment: Маскировка частей спектрограммы, вынуждающая модель изучать более надежные признаки.
• Генерация синтетических данных: Использование технологии преобразования текста в речь (TTS) для создания речевых образцов с различными характеристиками. Однако это требует тщательного внимания, чтобы гарантировать, что сгенерированные данные будут реалистичными и не внесут новые предубеждения.

Критически важно, чтобы увеличение данных было целенаправленным. Просто добавления большего количества данных недостаточно; это должны быть данные, которые решают конкретные предубеждения, присутствующие в исходном наборе данных. Например, если система работает хуже с индийским английским, увеличение набора данных образцами индийского английского имеет решающее значение.

Алгоритмическая справедливость и корректировки модели

Помимо увеличения данных, алгоритмические корректировки могут играть значительную роль в смягчении предвзятости. Методы, такие как обучение с учетом справедливости, модифицируют процесс обучения, чтобы явно наказывать различия в производительности между различными группами. Это может включать:

• Состязательное обучение: Обучение дискриминаторной сети для идентификации демографических атрибутов из вывода ASR, а затем обучение модели ASR для обмана дискриминатора, эффективно удаляя демографическую информацию из изученных представлений.
• Перевзвешивание: Присвоение более высоких весов недостаточно представленным группам во время обучения.
• Постобработка: Настройка вывода ASR на основе демографической информации (хотя к этому подходу следует относиться с осторожностью, чтобы избежать внесения новых предубеждений).

Кроме того, архитектура самой модели ASR может влиять на предвзятость. Модели на основе внимания, такие как Transformers, обычно более устойчивы к вариациям стилей и акцентов речи по сравнению со старыми моделями, такими как скрытые марковские модели (HMM).

Непрерывный мониторинг и оценка

Устранение предвзятости систем распознавания речи – это не одноразовое решение. Непрерывный мониторинг и оценка необходимы. Регулярно оценивайте производительность системы в различных демографических группах, используя такие показатели, как WER, частота ошибок символов (CER) и частота равных ошибок (EER). Установите четкие ориентиры и отслеживайте прогресс с течением времени. Внедрите механизмы обратной связи, чтобы пользователи могли сообщать о случаях предвзятости или неточности. Используйте наборы данных, специально разработанные для оценки предвзятости, такие как набор данных Common Voice, который подчеркивает инклюзивность.

Как Didit помогает

Платформа идентификации Didit решает проблему предвзятости в распознавании речи в своих модулях биометрической аутентификации голосом:

• Разнообразные обучающие данные: Использование запатентованного набора данных, охватывающего широкий спектр акцентов, диалектов и демографических характеристик.
• Адаптивные алгоритмы: Использование алгоритмов, предназначенных для смягчения предвзятости и обеспечения справедливой производительности для всех пользователей.
• Мониторинг в реальном времени: Непрерывный мониторинг производительности системы на предмет потенциальной предвзятости и проактивное решение любых расхождений.
• Параметры настройки: Предложение настраиваемых моделей, адаптированных к конкретным группам населения или вариантам использования.

Готовы начать?

Не позволяйте предвзятости распознавания речи повлиять на точность и справедливость ваших приложений. Изучите решения Didit для проверки личности и узнайте, как мы можем помочь вам создать более инклюзивные и надежные системы.

Запросить демонстрацию | Просмотреть документацию | Связаться с отделом продаж