Obsah
Live Caption je jednou z najúžasnejších funkcií systému Android, ktorá pomocou strojového učenia na zariadení vytvára titulky pre miestne videá a webové klipy.
Google uverejnil blogový príspevok s podrobným popisom toho, ako táto šikovná funkcia funguje, a v skutočnosti pozostáva z troch modelov strojového učenia sa na prístroji pre začiatočníkov.
Existuje model opakovanej transdukcie sekvencií neurónovej siete (RNN-T) pre samotné rozpoznávanie reči, ale spoločnosť Google používa aj predpovedajúcu interpunkciu pomocou rekurentnej neurónovej siete.
Tretím modelom strojového učenia sa na stroji je konvolučná neurónová sieť (CNN) pre zvukové udalosti, ako je švitanie vtákov, tlieskanie ľudí a hudba. Google tvrdí, že tento tretí model strojového učenia je odvodený od jeho práce na aplikácii uľahčenia prenosu naživo, ktorá dokáže prepisovať rečové a zvukové udalosti.
Zníženie dopadu živých titulkov
Spoločnosť tvrdí, že podnikla niekoľko opatrení na zníženie spotreby energie a požiadaviek na výkon Live Caption.Pre jeden, plne automatické rozpoznávanie reči (ASR) beží iba vtedy, keď je reč skutočne detekovaná, na rozdiel od neustáleho behu na pozadí.
„Napríklad, keď sa zistí hudba a vo zvukovom toku sa nenachádza reč, štítok sa objaví na obrazovke a model ASR sa vyloží. Model ASR sa načíta späť do pamäte iba vtedy, keď je v zvukovom toku opäť prítomná reč, “vysvetľuje Google vo svojom blogovom príspevku.
Spoločnosť Google tiež použila techniky, ako napríklad prerezávanie nervových spojení (zníženie veľkosti rečového modelu), zníženie spotreby energie o 50% a umožnenie nepretržitého fungovania živého titulku.
Google vysvetľuje, že výsledky rozpoznávania reči sa aktualizujú niekoľkokrát každú sekundu, keď sa vytvára popis, predikcia interpunkcie je však iná. Vyhľadávací gigant tvrdí, že poskytuje predikciu interpunkcie „na konci textu od naposledy rozpoznanej vety“, aby sa znížili požiadavky na zdroje.
Live Caption je teraz k dispozícii v sérii Google Pixel 4 a Google hovorí, že bude k dispozícii „čoskoro“ na sérii Pixel 3 a na ďalších zariadeniach. Spoločnosť tvrdí, že pracuje aj na podpore iných jazykov a lepšej podpore obsahu s viacerými hovorcami.
