Что такое Whisper от OpenAI: краткий обзор

Whisper — это нейросетевая модель от OpenAI, которая умеет слушать аудио и превращать его в текст. Появилась она в 2022 году и тогда произвела настоящий фурор. Дело в том, что все предыдущие системы распознавания речи работали сносно только в идеальных условиях — в тихой студии, с диктором, который говорит чётко и без акцента. Стоило появиться фоновому шуму, быстрой речи или кавказскому акценту — программы начинали ошибаться и выдавать бессмыслицу.

Как он устроен изнутри

Whisper построен на архитектуре Transformer. Это та же технология, что лежит в основе ChatGPT. Внутри модели две основные части. Первая — энкодер — слушает звук и превращает его в набор чисел, которые описывают, что было сказано. Вторая — декодер — по этим числам генерирует текст. Они работают вместе, а не по отдельности, как было в старых системах. Это даёт меньше ошибок, потому что модель не пытается сначала разобрать отдельные звуки, потом сложить их в слова, потом проверить по словарю. Она видит всю фразу целиком и понимает её смысл.

Отличие от старых программ можно объяснить простым примером. Представьте, что вы слушаете человека, который говорит неразборчиво. Какое-то слово вы не расслышали, но понимаете его по смыслу всего предложения. Whisper работает так же. Если одно слово звучит нечётко, он додумывает его из контекста. Это и есть главный секрет его точности.

Какие версии существуют

Модель выпускается в пяти размерах. Они отличаются точностью и тем, какой компьютер нужен для работы. Tiny — самая маленькая и быстрая, но ошибается чаще. Base и Small подходят для большинства обычных ноутбуков. Medium требует видеокарты, но ошибок уже мало. Large даёт почти идеальный результат, но нужен мощный компьютер с видеокартой на 16 гигабайт. Есть ещё Large-v3 — дообученная версия, которая на 10–20 процентов точнее обычной Large.

Языки и перевод

Whisper понимает 99 языков. Русский входит в их число. Модель умеет сама определять язык — не нужно заранее говорить, на чём запись. Если вы даёте ей файл, она слушает пару секунд и понимает, русская это речь, испанская или китайская. При желании она может не просто расшифровать, а сразу перевести текст на английский. Правда, на практике эту функцию используют редко — обычно нужна расшифровка на том же языке, на котором говорили.

Что умеет хорошо

С русским языком Whisper справляется уверенно. Он понимает разговорную речь, не теряется при быстром темпе и правильно расставляет запятые и точки. На выходе вы получаете текст, который выглядит как нормальный документ, а не сплошной поток слов. Модель работает с популярными форматами аудио: MP3, WAV, M4A, FLAC, OGG.

Она справляется с фоновым шумом — уличным, от ветра, в кафе или метро. Если в записи кто-то кашляет или звенит телефон, это обычно не мешает. Модель просто игнорирует лишние звуки и продолжает расшифровывать речь.

В чём слабые места

• Галлюцинации. Когда в записи есть длинные паузы или плохое качество, модель иногда придумывает слова, которых не было. Она не любит тишину и пытается заполнить её тем, что, по её мнению, логично звучит.
• Несколько голосов одновременно. Если два человека говорят одновременно или перебивают друг друга, модель смешивает их слова и выдаёт кашу. Она не умеет разделять голоса и определять, кто что сказал.
• Редкие имена и технические термины. Модель не знает, как пишется, например, фамилия «Кузьмич» или слово «нейроморфный». Она может их исказить или заменить на что-то похожее по звучанию.
• Требовательность к ресурсам. Крупные версии вроде Large не запустятся на обычном ноутбуке. Нужна видеокарта с большим объёмом памяти.
• Английский vs русский. С английским языком модель работает заметно лучше, чем с русским. На английском ошибок меньше, текст точнее.

Что можно и нельзя сделать с Whisper

• Можно расшифровать интервью, лекцию, совещание, подкаст, видеоролик.
• Можно получить текст с расставленными знаками препинания.
• Можно запустить на своём компьютере без интернета.
• Можно через облачный API получить результат без мощного железа.
• Нельзя разделить голоса нескольких говорящих.
• Нельзя получить стопроцентную точность — всегда придётся проверять и править.
• Нельзя добиться качества на плохой записи с грязным звуком.

Где это используют в реальной жизни

• Блогеры и авторы видео делают с помощью Whisper субтитры. Раньше на это уходило несколько часов ручной работы, теперь несколько минут.
• Журналисты расшифровывают интервью — не нужно переслушивать запись по десять раз и печатать на паузах.
• Студенты превращают лекции в тексты и делают из них конспекты.
• Врачи записывают приёмы пациентов — после приёма получают расшифровку и заполняют карту по готовому тексту.
• В бизнесе анализируют звонки клиентов, ищут ключевые слова, смотрят, на что жалуются чаще всего.
• Люди с нарушением слуха используют Whisper для субтитров в реальном времени.

Что важно знать перед использованием

Текст всегда нужно проверять. Даже на хорошей записи могут быть ошибки. Whisper даёт хороший черновик, но не идеальный документ. Если нужна стопроцентная точность — придётся править вручную. Если нужен рабочий материал для заметок или набросков — он подходит идеально. Качество аудио сильно влияет на результат. Чем чище запись, тем лучше расшифровка. В идеале — один голос, без эха, без фоновой музыки. При желании можно работать через интернет и не заморачиваться с железом — OpenAI предлагает платный API, который делает всё в облаке. Но локальная версия работает офлайн и не требует платежей.

Коротко о главном

Whisper — это инструмент, который решает одну конкретную задачу: превращает звук в текст. Он не идеален, но он лучше всего, что существовало раньше. Он экономит часы ручной работы и подходит для самых разных сценариев — от блогов до медицины. Ошибки бывают, но в большинстве случаев результат достаточно хорош, чтобы использовать его как основу. Он не требует специальных навыков, не нужно быть программистом или инженером, чтобы запустить модель и получить текст. Это просто рабочий инструмент для тех, кто много говорит или много слушает и хочет сохранить это в письменном виде.