Съдържание
Надписът на живо е една от най-готините функции на Android досега, като се използва машинно обучение за устройство за генериране на надписи за местни видеоклипове и уеб клипове.
Google публикува публикация в блога, в която подробно описва как точно работи тази изящна функция и тя всъщност се състои от три модела за машинно обучение на устройството, за начало.
Има модел на повтаряща се последователност на преобразуване на последователност на невронната мрежа (RNN-T) за разпознаване на речта, но Google също използва периодична невронна мрежа за прогнозиране на пунктуацията.
Третият модел на машинно обучение на устройството е конволюционна невронна мрежа (CNN) за звукови събития, като цвиркане на птици, плескане на хора и музика. Google казва, че този трети модел на машинно обучение е извлечен от работата му върху приложението за достъпност на Live Transcribe, което е в състояние да преписва речеви и звукови събития.
Намаляване на въздействието на Live Caption
Компанията твърди, че е предприела редица мерки за намаляване на потреблението и производителността на батерията Live Caption.От една страна, двигателят за автоматично автоматично разпознаване на реч (ASR) работи само когато речта е действително открита, за разлика от постоянно работещия във фонов режим.
„Например, когато се открие музика и речта не присъства в аудио потока, етикетът ще се появи на екрана и ASR моделът ще бъде разреден. Моделът ASR се зарежда обратно в паметта само когато речта присъства отново в аудио потока “, обяснява Google в своя блог пост.
Google също използва техники като подрязване на невронни връзки (намаляване на размера на речевия модел), намаляване на консумацията на енергия с 50% и позволява на Live Caption да работи непрекъснато.
Google обяснява, че резултатите от разпознаването на речта се актуализират няколко пъти всяка секунда, тъй като надписът се формира, но пунктуационното предвиждане е различно. Търсачът-гигант казва, че предоставя пунктуационно предсказване „на опашката на текста от най-скоро разпознатото изречение“, за да намали търсенето на ресурси.
Надписът на живо вече е наличен в серията Google Pixel 4 и Google казва, че ще бъде налична „скоро“ в серията Pixel 3 и други устройства. Компанията твърди, че работи и върху поддръжката на други езици и по-добрата поддръжка за съдържание с много говорители.
