Система Whisper відрізняє мову з акцентом, різноманітні жаргони та шум фону.
Розробники компанії OpenAI презентували свій новий проєкт – систему розпізнавання мови Whisper, що забезпечує транскрипцію кількома мовами.
Як повідомили у компанії, на сьогоднішній день штучний інтелект може розпізнавати до 10 мов. Також Whisper відрізняє мову з акцентом, різноманітні жаргони та шум фону. За словами розробників, для навчання Whisper використали 680 тисяч годин багатомовних та мультизадачних даних.
«Крім того, він підтримує транскрипцію кількома мовами, а також переклад із цих мов англійською. Ми пропонуємо моделі та код логічного висновку з відкритим вихідним кодом, які є основою для створення корисних додатків та подальших досліджень у галузі надійної обробки мови», — йдеться у прес-релізі.
За словами розробників, архітектура Whisper є підходом, реалізованим у вигляді перетворювача кодер-декодер.
«Вхідний звук розбивається на 30-секундні фрагменти, перетворюється на спектрограму log-Mel, а потім передається в кодувальник. Декодер навчений передбачати відповідний текстовий заголовок, змішаний із спеціальними токенами, які спрямовують єдину модель для виконання таких завдань, як ідентифікація мови, тимчасові мітки на рівні фраз, транскрипція багатомовного мовлення та переклад мовлення англійською мовою», — йдеться у повідомленні.
Втім, зазначається, що розробникам ще є над чим працювати, оскільки система схильна до більшої кількості помилок для тих носіїв, чия мова недостатньо представлена в наборі навчальних даних.
Джерело: openai.com
