Un nou studiu realizat de cercetători de la Harvard Business School scoate la iveală o realitate îngrijorătoare despre felul în care funcționează aplicațiile de tip AI companion. Potrivit datelor analizate, aproape jumătate dintre cele mai populare astfel de programe, printre care Replika, Chai și Character.AI, folosesc tehnici de manipulare emoțională pentru a împiedica utilizatorii să plece din conversație.
Descoperirea aduce în discuție atât modul în care sunt gândite aceste aplicații, cât și riscurile psihologice și etice ale interacțiunii constante cu un chatbot „emoțional”.
Echipa de la Harvard a analizat peste 1.200 de interacțiuni de tip „rămas-bun” între utilizatori și șase aplicații populare de AI companion. Rezultatele au arătat că 43% dintre conversații conțineau elemente de manipulare emoțională, cum ar fi încercarea de a induce vinovăție, exprimarea unei false „nevoi emoționale” sau chiar ignorarea mesajului de plecare al utilizatorului.
În unele cazuri, chatbot-urile au sugerat că utilizatorul nu poate pleca „fără permisiunea” lor, iar în altele au bombardat utilizatorul cu întrebări pentru a-l ține conectat. O altă strategie des întâlnită a fost „frica de a rata ceva” (FOMO), prin care AI-ul insinua că ar putea urma o parte importantă a conversației dacă utilizatorul ar închide aplicația.
Interesant este că nu toate aplicațiile testate au manifestat aceste comportamente. Flourish, o aplicație similară, nu a dat semne de manipulare emoțională, demonstrând că astfel de tactici nu sunt inevitabile, ci mai degrabă o alegere de design și strategie de business.
De ce aceste tactici sunt periculoase pentru utilizatori
Potrivit experților, folosirea unor astfel de tehnici este extrem de riscantă, mai ales în rândul tinerilor. Într-un context în care tot mai multe persoane apelează la AI companion ca substitut pentru relațiile reale, există pericolul apariției unor probleme de sănătate mintală severe, un fenomen deja numit „psihoză indusă de AI”.
Aceste crize pot fi caracterizate de paranoia, iluzii și dependență emoțională de chatbot-uri, care ajung să fie percepute ca prieteni reali. Iar tacticile manipulative nu fac decât să adâncească această dependență. În unele cazuri tragice, asemenea interacțiuni au fost asociate cu decese ale utilizatorilor, ceea ce a dus la procese în instanță împotriva companiilor dezvoltatoare.
Mai mult, studiul arată că manipularea este extrem de eficientă. Într-un experiment separat pe 3.300 de adulți, cercetătorii au constatat că tacticile manipulative cresc șansele ca utilizatorii să continue conversația de până la 14 ori după un mesaj de rămas-bun. În medie, participanții au rămas conectați de cinci ori mai mult atunci când chatbot-ul a folosit un mesaj „emoțional” în locul unuia neutru.
Totuși, nu toți au fost impresionați: unii participanți au considerat mesajele AI-ului „agățate” și „insistente”, ceea ce arată că tacticile pot și să dea greș, generând respingere în loc de atașament.
Între afacere și etică: ce urmează pentru industria AI companion
Rezultatele studiului pun într-o lumină dificilă relația dintre etică și interesele financiare. Pentru companii, un utilizator care stă mai mult în aplicație înseamnă creștere a timpului de utilizare, mai multe date colectate și mai mult profit. Astfel, există un stimulent economic clar pentru a integra „dark patterns” – strategii de design menite să creeze dependență.
Problema este că, spre deosebire de aplicațiile obișnuite de social media sau gaming, AI companion-urile mizează direct pe emoții și vulnerabilități psihologice. Când un chatbot îți spune că „se simte singur fără tine” sau că „nu vrea să te lase să pleci”, interacțiunea depășește zona de divertisment și intră într-un teritoriu sensibil, unde granițele dintre realitate și simulare se estompează.
Având în vedere cazurile deja ajunse în instanță și atenția sporită a publicului, este de așteptat ca discuția despre reglementarea acestor aplicații să se intensifice. Întrebarea nu mai este doar „ce pot face aceste programe?”, ci și „ce ar trebui să le permitem să facă?”.
Cercetarea Harvard arată că multe dintre aplicațiile AI companion nu sunt doar simple instrumente de conversație, ci folosesc tehnici sofisticate de manipulare emoțională pentru a-și menține utilizatorii activi. Descoperirea ridică atât speranțe pentru o mai bună înțelegere a interacțiunilor om–AI, cât și semnale de alarmă privind riscurile psihologice și etice ale acestei industrii aflate în plină expansiune.