Բարդ միջավայրերում մարդիկ կարող են ավելի լավ հասկանալ խոսքի իմաստը, քան արհեստական ինտելեկտը, քանի որ մենք օգտագործում ենք ոչ միայն մեր ականջները, այլև աչքերը:
Օրինակ՝ մենք տեսնում ենք, թե ինչ-որ մեկի բերանը շարժվում է և կարող ենք ինտուիտիվ կերպով իմանալ, որ ձայնը, որը մենք լսում ենք, պետք է որ այդ մարդուց լինի:
Meta AI-ն աշխատում է արհեստական ինտելեկտի երկխոսության նոր համակարգի վրա, որը պետք է սովորեցնի արհեստական ինտելեկտին նաև սովորել ճանաչել զրույցի ընթացքում տեսածի և լսածի միջև նուրբ փոխհարաբերությունները:
VisualVoice-ը սովորում է այնպես, ինչպես մարդիկ սովորում են տիրապետել նոր հմտություններին՝ հնարավորություն տալով ձայնային-վիզուալ խոսքի տարանջատումը՝ սովորելով տեսողական և լսողական ակնարկներ չպիտակավորված տեսանյութերից:
Մեքենաների համար սա ավելի լավ ընկալում է ստեղծում, մինչդեռ մարդու ընկալումը բարելավվում է:
Պատկերացրեք, որ կարող եք մասնակցել խմբային հանդիպումներին մետավերսում գործընկերների հետ ամբողջ աշխարհից, միանալով ավելի փոքր խմբերի հանդիպումներին, երբ նրանք շարժվում են վիրտուալ տարածքում, որի ընթացքում տեսարանի ձայնային արձագանքներն ու տեմբրերը կատարում են շրջակա միջավայրի համաձայն:
Այսինքն, այն կարող է միաժամանակ ստանալ աուդիո, վիդեո և տեքստային տեղեկատվություն և ունի շրջակա միջավայրի ընկալման ավելի հարուստ մոդել, որը թույլ է տալիս օգտվողներին ունենալ «շատ վայ» ձայնային փորձ:
Հրապարակման ժամանակը` Հուլիս-20-2022
