Աուդիոյի տեղային տրանսկրիպցիա. ինչպես ստեղծել մոդելների արդյունավետ կասկադ

Հոդվածի հեղինակը կիսվում է macOS-ի համար տեղային աուդիո տրանսկրիպցիայի հավելվածի մշակման իր փորձով, որը նախատեսված է աշխատանքային հանդիպումների արձանագրումն ավտոմատացնելու համար: Առանց ամպային ծառայությունների օգտագործման խոսքի որակյալ ճանաչման անհրաժեշտության բախվելով՝ մշակողը փորձարկել է 32 կոնֆիգուրացիա՝ հիմնված Whisper, Parakeet և GigaAM մոդելների վրա: Արդյունքում գտնվել է երկու մոդելների օպտիմալ կապակցում. առաջինը ստեղծում է հիմնական տեքստը, իսկ երկրորդը շտկում է անճշտությունները: Այս մոտեցումը թույլ է տվել նվազեցնել WER (Word Error Rate) ցուցանիշը 27,0%-ից մինչև 21,7%՝ շտկելով յուրաքանչյուր հինգերորդ սխալը: Հրապարակման մեջ մանրամասն նկարագրվում է մոդելների ընտրության գործընթացը, չափման մեթոդաբանությունը և տրվում են գործնական խորհուրդներ, ներառյալ նմանատիպ լուծում ինքնուրույն իրականացնելու համար անհրաժեշտ հրահանգը (prompt): Նախագիծը նախատեսված է այն օգտատերերի համար, ում համար կարևոր է տվյալների գաղտնիությունը և աուդիոյի հետ օֆլայն ռեժիմում աշխատելու հնարավորությունը՝ բացառելով ձայնագրությունների փոխանցումը արտաքին սերվերներ: