Microsoft-ի ստեղծած ԱԲ-ն ընդօրինակում է ցանկացած մարդու ձայնն ու խոսքը՝ բնօրինակը լսելով ընդամենը 3 վայրկյան

Microsoft-ի մշակած արհեստական ​բանականությամբ աշխատող VALL-E ծրագիրը կարող է ընդօրինակել ցանկացած մարդու ձայնը՝ բնօրինակ ձայնը լսելով ընդամենը 3 վայրկյան։ ԱԲ-ն նույնիսկ կարող է պահպանել բնօրինակի տեմբրն ու զգացմունքային երանգավորումը:

Այս նախագիծը հիմնված է EnCodec տեխնոլոգիայի վրա, որը մշակել է Meta ընկերությունը: Տեքստը խոսքի վերափոխելու այլ մեթոդների պարագայում խոսքի սինթեզի համար սովորաբար մանիպուլացվում են ազդանշանների ձևերը, սակայն Microsoft-ի մշակումը տարբերվում է նրանով, որ այն վերլուծում է կոնկրետ անձի ձայնը, որից հետո այդ տեղեկությունը բաժանվում է առանձին «թոքենների» և օգտագործվում է և ԱԲ-ին «սովորեցնելու» համար, որպեսզի այն «պատկերացնի», թե ինչպես կհնչեր այդ ձայնը, եթե տվյալ անձն արտաբերեր այլ արտահայտություններ։

VALL-E-ն «վարժեցվել» է LibriLight գրադարանում։ Այն պարունակում է 60,000 ժամ անգլերեն խոսք, որն արտասանվում է ավելի քան 7000 մարդու կողմից: Այս ԱԲ-ի աշխատանքի օրինակները կարելի է գտնել նախագծի կայքում, և դրանք իսկապես տպավորիչ են:

Speaker Prompt սյունակում կարող եք լսել երեք վայրկյանանոց խոսքի նմուշներ, որոնք տրամադրվել են ԱԲ-ին, որպեսզի ԱԲ-ն դրա հիման վրա «սովորի» և ընդօրինակի: Ground Truth սյունակում անհրաժեշտ արտահայտություններն արտասանում է հենց մարդը, իսկ VALL-E սյունակում նույն արտահայտությունը կատարում է VALL-E ԱԲ-ն: Իսկ համեմատության համար Baseline սյունակում կարող եք լսել տեքստից խոսք ավանդական փոխարկիչների աշխատանքի նմուշը։

Ինչպես կարելի է նկատել, ԱԲ-ն գեներացվող ձայնին տալիս է ոչ միայն անհրաժեշտ զգացմունքային երանգավորում, այլև ընդօրինակում է բնօրինակ նմուշի «ակուստիկ միջավայրը»։ Օրինակ՝ եթե բնօրինակում ձայնագրությունն արվել է հեռախոսային խոսակցության ժամանակ, ապա ԱԲ-ի գեներացրած ձայնը նմանվելու է հեռախոսային խոսակցության։

Նման ԱԲ-ն կարող է օգտագործվել տարբեր ոլորտներում, այդ թվում՝ եսասիրական նպատակներով, հետևաբար, այս տեխնոլոգիայի չարաշահումից խուսափելու համար Microsoft-ը չի հրապարակել VALL-E-ի կոդը, որպեսզի դրանով փորձեր չարվեն։ Ընկերության ներկայացուցիչների խոսքով՝ իրենք նույնը կանեն նաև այլ նախագծերի դեպքում, որոնք չարաշահումների պոտենցիալ սպառնալիք են պարունակում։