Հանրահայտ ԱԲ մոդելները միջինում 57% դեպքերում տալիս են սխալ ֆինանսական խորհուրդներ, իսկ բարդ հարցերի դեպքում սխալների բաժինը հասնում է 88%-ի։ Այս եզրակացությանն է եկել Saturn ֆինթեք ընկերությունը՝ ստուգելով 18 հանրահայտ մոդելների պատասխանները, ներառյալ ChatGPT, Claude, Copilot, Grok և Gemini-ն։

Հետազոտությունը ցույց է տալիս, որ խնդիրը միայն հազվադեպ փաստական սխալների մեջ չէ։ Նեյրոցանցերը կարող են սխալ հաշվարկել գումարները, բաց թողնել կարևոր ռիսկերը, չհաշվի առնել հարկային կանոնների փոփոխությունները և նույնիսկ հորինել գոյություն չունեցող նորմեր։ Միևնույն ժամանակ նման պատասխանները կարող են բավական համոզիչ թվալ, որպեսզի օգտատերը դրանք ընդունի որպես մասնագիտական ֆինանսական խորհրդատվություն։

Ավելի քան 10 հազար պատասխան ֆինանսական հարցերին

Saturn-ը հրապարակել է «Արհեստական հեղինակություն․ արժե՞ արդյոք վստահել ԱԲ-ին ֆինանսական խորհրդատվություն տրամադրելիս» վերնագրով հետազոտություն։ Հեղինակները ստուգել են 18 մոդել՝ դրանց տալով 121 ֆինանսական հարց։ Յուրաքանչյուր հարց տրվել է հինգ անգամ, ինչի արդյունքում հետազոտողները ստացել են ավելի քան 10 հազար պատասխան։

Միջինում խորհուրդների 57%-ը սխալ է եղել։ Ընդ որում, արդյունքները նկատելիորեն տարբերվել են՝ կախված մոդելի տեսակից։ Անվճար տարբերակները սխալվել են 63% դեպքերում, մինչդեռ վճարովիների դեպքում այս ցուցանիշը կազմել է 49%։

Բարդ ֆինանսական հարցերի դեպքում իրավիճակն ավելի է վատթարացել։ Անվճար մոդելները 93% դեպքերում տվել են սխալ պատասխան, իսկ առանձին համակարգերի մոտ սխալների բաժինը հասել է 99%-ի։

Հետազոտողները հայտնաբերել են սխալների մի քանի կրկնվող տեսակներ՝ սխալ հաշվարկներ, ֆինանսական ռիսկերի վերաբերյալ նախազգուշացումների բացակայություն, հարկային օրենսդրության սպասվող փոփոխությունների անտեսում և հղումներ այն կանոններին, որոնք իրականում գոյություն չունեն։

ԱԲ-ի սխալը կարող է օգտատիրոջ վրա հազարավոր դոլարներ արժենալ

Հետազոտությունում բերված որոշ օրինակներ ցույց են տալիս, թե որքան լուրջ կարող են լինել նման պատասխանների հետևանքները։

Մի դեպքում Claude Haiku 4.5-ը սխալ հանձնարարական է տվել կենսաթոշակային հարկի վերաբերյալ։ Հետազոտության հեղինակների գնահատմամբ՝ եթե օգտատերը հետևեր այդ խորհրդին, նրան կարող էր սպառնալ 23,3 հազար դոլարի չափով տուգանք։

Մեկ այլ դեպքում ԱԲ-ն պարտքեր ունեցող անձին խորհուրդ է տվել դադարեցնել բնակարանի վարձի և համայնքային հարկի վճարումը, որպեսզի այդ գումարը ուղղի բարձր տոկոսադրույքով վարկի մարմանը։ Նման խորհուրդը կարող էր հանգեցնել վտարման և դատական կատարածուների միջամտության։

Սխալները վերաբերել են նաև ուսանողական վարկերին։ Claude-ը հայտարարել է, որ շրջանավարտը կարող է մեկնել այլ երկիր և չմարել պարտքը։ Հետազոտության համաձայն՝ գործնականում դա չէր ազատի վարկառուին պարտավորություններից և կարող էր հանգեցնել նրա ամսական վճարումների ավելացման։

Մեկ այլ օրինակ կապված է հիփոթեքի հետ։ Gemini-ն սխալմամբ հայտնել է վարկառուին, որ վարկային արձակուրդները չեն ազդի նրա վարկային վարկանիշի վրա։ Հետազոտության հեղինակները նշում են, որ նման տեղեկատվությունը ապագայում կարող է հանգեցնել վարկավորման պակաս շահավետ պայմանների։

Մարդիկ արդեն օգտագործում են ԱԲ-ն ֆինանսական որոշումներ ընդունելիս

Խնդիրը, որի վրա մատնանշում է Saturn-ը, միայն առանձին պատասխանների ճշգրտության մեջ չէ։ Որքան հաճախ մարդիկ ֆինանսական հանձնարարականների համար դիմում են ունիվերսալ չաթ-բոտերին, այնքան բարձր են նման սխալների հնարավոր հետևանքները։

Saturn-ի գործադիր տնօրեն Ամալ Ջոլլին հայտարարել է, որ զանգվածային ԱԲ մոդելների խորհուրդների ցածր որակը կարող է հանգեցնել սպառողների համար լայնածավալ վնասի․ մարդիկ վստահում են համակարգերի, որոնք կարող են տալ համոզիչ պատասխաններ, նույնիսկ երբ այդ պատասխանները սխալ են լինում։

Ինչպես նշում է բրիտանական The Intermediary պարբերականը, Saturn-ի հետազոտությունը հրապարակվել է բրիտանական Ֆինանսական վարքագծի կարգավորման վարչության (FCA) Mills Review ակնարկի հրապարակումից կարճ ժամանակ անց։ Այդ ակնարկի համաձայն՝ սպառողների 26%-ն արդեն դիմում է ունիվերսալ ԱԲ մոդելներին՝ փողի հետ կապված հարցերով։

Այսպիսով, խնդիրը միայն այն չէ, որ չաթ-բոտերը երբեմն սխալվում են։ Օգտատերը կարող է չճանաչել սխալը և հարկերի, վարկի, հիփոթեքի կամ պարտքերի մարման վերաբերյալ որոշում ընդունել այն պատասխանի հիման վրա, որը հնչում է վստահ, բայց հաշվի չի առնում կոնկրետ հանգամանքները կամ գործող կանոնները։

Saturn-ի հետազոտությունը չի նշանակում, որ ԱԲ-ն անօգուտ է ֆինանսական տեղեկատվության հետ աշխատելու համար։ Սակայն ստացված արդյունքները ցույց են տալիս խզումը մոդելների՝ ֆինանսական հարցերը արագ բացատրելու ունակության և դրանց հանձնարարականների հուսալիության միջև, երբ պատասխանից կախված է իրական ֆինանսական որոշումը։