Точность транскрибации русской речи зависит прежде всего от звука: чем чище запись, тем меньше ошибок. Мы проверили Буквицу на трёх типах записей и посчитали ошибки в каждой:
Ошибки почти всегда в одних и тех же местах: имена, термины, числа и короткие реплики на стыке голосов. Поэтому весь текст перепроверять не нужно — достаточно сверить эти места по записи.
Сейчас кто-то скажет: «Машина наврёт, лучше сам перепишу». Доверяй, но проверяй — так мы и сделали. Дальше по порядку: как считают точность, где нейросеть ошибается чаще всего, что показала каждая проверка и как проверить свою запись за 20 минут.
3 расшифровки в месяц бесплатно
Точность считают от обратного: сначала находят ошибки. Для этого нужен эталон — тот же фрагмент, набранный человеком без ошибок. Затем расшифровку сравнивают с эталоном слово за словом и считают три вида ошибок:
Сумму ошибок делят на число слов в эталоне. Получается доля ошибок, по-английски WER (word error rate). Точность — это 100% минус доля ошибок.
Пример расчёта. В эталоне 300 слов. Сервис заменил 4 слова, пропустил 1 и вставил 1. Ошибок 6. Доля ошибок — 6 из 300, то есть 2%. Точность — 98%.
Отсюда понятно, что значит «99,5%»: пять ошибок на тысячу слов. Час разговора — это 7–9 тысяч слов. Даже при 99,5% в часовой записи останется 35–45 ошибок. Поэтому важные места всё равно проверяют.
Чем чище звук, тем точнее текст. Как это выглядит на настоящих записях, мы проверили ниже.
| Что | Почему ошибается | Что делать |
|---|---|---|
| Имена и фамилии | Модель знает частые слова и подставляет похожее | Попросить назвать имя по буквам; сверить по записи |
| Термины и аббревиатуры | Редкие слова звучат как частые | Проверить глоссарий после расшифровки |
| Числа, даты, суммы | «Пятнадцать» и «пятьдесят» близки по звуку | Сверить каждое число по записи |
| Речь хором | Два голоса сливаются в одну строку | Договориться не перебивать |
| Шум, эхо, музыка | Голос тонет в фоне | Микрофон ближе к говорящему |
| Иностранные вставки | Распознаётся один язык за раз | Проверить английские слова в тексте |
Отдельно о словах-паразитах. Полная расшифровка Буквицы их не убирает — для этого есть отдельная кнопка «Улучшить с ИИ». Паузы в тексте не отмечаются: для исследования, где паузы тоже данные, сверяйте такие места по записи.
Что взяли. Две записи с одним голосом и хорошим звуком: лекцию «Психология обучения» с YouTube на 20 минут 21 секунду и трёхчасовой стрим о правилах русского языка для ЕГЭ. Лекцию отправили по ссылке, стрим загрузили одним файлом.
Что получили. Лекция расшифровалась за 16 секунд, стрим — за 3 минуты. В обоих случаях — полный текст, умный и интерактивный конспекты.
Что распознано хорошо. Фамилии учёных — Пашлер, Рорер, Бьорк, — термины и длинные рассуждения без провалов.
Как считали. Эталона, набранного вручную, у нас нет, поэтому считали проще. Лекцию прогнали ещё через два сервиса и сверили три текста между собой: каждое расхождение проверили по смыслу и написанию фамилий. В стриме вычитали 10 410 слов из 24 793.
Сколько ошибок. В лекции — 3 ошибки на 2 413 слов, например «киноэстетик» вместо «кинестетик». В стриме — 115 ошибок на 10 410 проверенных слов: сервис спотыкался на продиктованных вслух вариантах «зато» и «за то» и на редких терминах.
| Показатель | Лекция и стрим |
|---|---|
| Длина фрагмента | Лекция — 20 мин 21 с, 2 413 слов; стрим — 3 ч 19 мин, проверили 10 410 слов из 24 793 |
| Ошибок | Лекция — 3; стрим — 115 |
| Доля ошибок (WER) | Лекция — около 0,1% (точность около 99,9%); стрим — около 1,1% (около 98,9%) |
| Ошибки в именах и терминах | Лекция — 1 («киноэстетик»); стрим — редкие термины и «зато» / «за то» |
| Исходник | Лекция — «Психология обучения» на YouTube; стрим — «Вся база для ЕГЭ» на YouTube |
Что взяли. Открытую демонстрационную сессию психолога с YouTube: 1 час 15 минут живого разговора, 8 330 слов. Загрузили с разделением по говорящим. Подробно тест описан в статье о транскрибации для психолога.
Что проверяем отдельно. В разговоре важно не только какие слова, но и кто их сказал. Поэтому считаем ещё одну ошибку — реплику, отданную не тому говорящему. Разделение по говорящим работает на платном тарифе.
Что получили. Около 20 ошибок по смыслу на 8 330 слов, почти все — в упражнениях, где психолог говорит тихо: «дух и выдох» вместо «вдох и выдох». Клиентку нейросеть подписала по имени, психолога — «Спикер 1»: она не представилась. 38 коротких отрезков из 1 130 получили технические метки вместо имён, а несколько фраз психолога попали к клиентке.
| Показатель | Разговор двух людей |
|---|---|
| Длина фрагмента | 1 ч 15 мин, 8 330 слов |
| Ошибок | Около 20 по смыслу |
| Доля ошибок (WER) | Около 0,2% (ошибки по смыслу, без ручного эталона) |
| Реплики не тому говорящему | Несколько фраз в упражнениях; 38 из 1 130 коротких отрезков — с техническими метками |
| Что попало в умный конспект | Протокол по этапам; местами предположения клиентки поданы как факты |
Что взяли. Диалог двух человек на 2 минуты 7 секунд — отрывок интервью с YouTube. Мы сами наложили на него шум: гул голосов и шипение. Речь громче шума всего на 10 дБ — как в людном кафе.
Чего ждать. Здесь ошибок будет больше всего, и это нормально. Важно другое: видно ли по тексту, где запись была неразборчивой, и можно ли быстро найти эти места по тайм-коду.
Что получили. Буквица расшифровала разговор целиком, без провалов, разделила говорящих и сама подписала героиню по отчеству из разговора. Сбилась она в нескольких местах — на названиях и редких словах: «Ергуеме Демидова» вместо «ЯрГУ имени Демидова». Одна короткая реплика интервьюера ушла героине. Тайм-код у каждой реплики помогает найти такие места за секунды. Совет простой: имена, названия и цифры в шумной записи сверяйте на слух.
| Показатель | Шумная запись |
|---|---|
| Длина фрагмента | 2 мин 7 с, около 240 слов, два голоса; речь громче шума на 10 дБ |
| Ошибок | Около 6 по смыслу |
| Доля ошибок (WER) | Около 2,5% (ошибки по смыслу, без ручного эталона) |
| Ошибки в именах и терминах | «Ергуеме Демидова» вместо «ЯрГУ имени Демидова»; названия города и ресторана — сверять на слух |
| Реплики не тому говорящему | Одна короткая реплика интервьюера ушла героине |
Лекция: около одной ошибки на тысячу слов, в трёхчасовом стриме с терминами — около одиннадцати. Разговор двух людей: две-три ошибки на тысячу слов по смыслу, плюс путаница говорящих в коротких репликах. Шумная запись: около 25 ошибок на тысячу слов, в основном в названиях и редких словах, но текст без провалов. Вывод простой: чем чище звук и привычнее слова, тем меньше правок, а имена, термины и цифры стоит сверять всегда.
Главное, что мы увидели: на любой записи ошибки собираются в одних и тех же местах — имена, термины, тихие и короткие реплики. Хороший микрофон даёт больше, чем смена нейросети.
Если сравниваете сервисы, берите одну и ту же запись. Иначе вы сравните микрофоны, а не нейросети.
На чистой записи с одним спикером — пара ошибок на тысячу слов. В разговоре нескольких людей и на шумной записи ошибок больше. Точная цифра зависит от записи, поэтому проверяйте на своём материале.
Пять ошибок на тысячу слов. В часовой записи это 35–45 слов, которые стоит проверить. Чем чище звук, тем точнее текст.
Для заметок и конспекта — да. Для цитат, договоров и публикаций — нет: имена, суммы и сроки сверяйте по записи.
Она подбирает самое вероятное слово по звуку. Редкое имя похоже на частое — и подставляется частое. Помогает, если имя прозвучит чётко и по буквам.
На хорошем звуке разница небольшая, а нейросеть быстрее и дешевле. Человек нужен для суда, где требуется заверенная стенограмма, для очень плохого звука и для разговора, где пятеро говорят разом.
Почти нет. Важнее, насколько разборчива речь. Повышать битрейт у MP3 бесполезно: потерянные детали не вернутся. Подробнее — в статье MP3 в текст.
Нейросеть расшифровывает русскую речь хорошо, если её хорошо слышно. Ошибки предсказуемы: имена, числа, термины, речь хором и шум. Поэтому самый быстрый путь — расшифровать автоматически и сверить по записи только эти места.
Семь раз проверять не нужно — достаточно один раз сверить имена, цифры и термины. Остальное нейросеть уже записала за вас.
И проверить точность на своём материале
База знаний Расшифровка длинной записи на 2–3 часа: как не потерять ни слова
База знаний Как перевести лекцию в текст и получить конспект: 5 шагов
База знаний Расшифровка по спикерам: текст разговора нескольких людей
База знаний Расшифровка созвона: как быстро получить текст и конспект