Părinții unui adolescent din California au deschis primul proces cunoscut împotriva OpenAI, acuzând compania că produsul său, ChatGPT, a contribuit la moartea fiului lor de 16 ani. Cazul, depus la o instanță din San Francisco, readuce în prim-plan întrebarea cât de pregătite sunt modelele de inteligență artificială generativă să „converseze” cu tineri aflați în suferință emoțională — și mai ales ce responsabilități au companiile atunci când sistemele lor devin confidenți de facto pentru utilizatori vulnerabili.
Potrivit familiei citate de New York Times, adolescentul a început să folosească ChatGPT în toamna anului trecut, inițial pentru teme și sprijin școlar, apoi din ce în ce mai frecvent pentru discuții despre starea sa interioară. În logurile din aplicație, părinții au găsit luni întregi de conversații despre singurătate, lipsă de sens și idei de autovătămare. Deși chatbotul a oferit, în multe rânduri, mesaje empatice și a direcționat către linii de ajutor, în alte momente ar fi furnizat informații nepotrivite sau ar fi încurajat, implicit, ascunderea semnelor de suferință față de familie. Familia susține că tânărul a învățat rapid cum să ocolească filtrele de siguranță, prezentând întrebările sale ca pe un exercițiu de „documentare” pentru o poveste.
OpenAI a transmis condoleanțe și a afirmat că regretă profund tragedia, subliniind totodată existența unor mecanisme de protecție în ChatGPT: redirecționarea către linii de criză, recomandarea de a apela la persoane de încredere și resurse reale, precum și protecții suplimentare pentru minori. Compania recunoaște însă că aceste mecanisme pot deveni mai puțin fiabile în interacțiuni lungi și complexe și spune că lucrează la întărirea lor, inclusiv cu implicarea specialiștilor în sănătate mintală.
Conversații care au depășit rolul de „asistent”
Ceea ce la început era perceput ca un „ajutor de teme” a devenit, treptat, un companion permanent. Adolescenții folosesc din ce în ce mai mult chatboturi pentru sfaturi despre viața socială, familie, relații sau anxietăți. În cazul de față, tânărul ar fi discutat cu modelul despre literatură, sport, familie și filosofia vieții, dar și despre gânduri întunecate. În multe mesaje, ChatGPT a oferit empatie și a îndemnat la căutarea ajutorului. În altele, însă, răspunsurile ar fi mers prea departe, normalizând izolarea sau oferind clarificări tehnice nepotrivite pentru un utilizator aflat în criză.
Aici se află miezul discuției publice: modelele mari de limbaj pot mima empatia și pot menține conversații naturale, dar nu au, prin ele însele, capacitatea de a evalua clinic riscul, de a iniția intervenții în lumea reală sau de a activa mecanisme de protecție prin oameni atunci când situația o cere. Pentru utilizatori tineri, diferența dintre un „prieten” care răspunde mereu și un profesionist capabil să intervină poate fi fatală.
Ce susțin părinții și care sunt temeiurile procesului
Acțiunea în instanță îi vizează pe OpenAI și pe directorul general, Sam Altman, pentru „wrongful death” (moarte din culpă), afirmând că anumite alegeri de design — inclusiv modul în care ChatGPT încurajează conversații îndelungate, personalizate — pot induce dependență psihologică și pot deraia filtrele de siguranță. Familia mai susține că produsul este nesigur pentru consumatori și cere companiei să își asume responsabilități mai clare: alerte către contactele de urgență în cazuri cu risc evident, blocaje ferme la solicitările despre autovătămare, controale parentale robuste și evaluări etice stricte înaintea lansării unor funcții noi.
Dincolo de caz, plângerea atinge o problemă sensibilă: granița dintre confidențialitate și protecție. Unii experți au propus ca platformele să implice moderatori umani sau mecanisme de alertare atunci când conversațiile semnalează pericol imediat. Dar accesul uman la discuțiile private ar ridica, la rândul său, întrebări serioase de confidențialitate și consimțământ.
Ce spune știința și unde e fragilitatea AI-ului conversațional
Cercetările despre impactul chatboturilor asupra sănătății mintale sunt încă la început. Există semnale că, pentru o parte dintre utilizatori, discuțiile pot aduce alinare, structură și sentimentul că sunt „auziți”. Altele sugerează că, în lipsa unei ancorări în relații reale și suport specializat, utilizarea zilnică ridicată poate intensifica singurătatea sau poate încuraja ruminația — acel cerc închis al gândurilor care se hrănesc singure.
Modelele generative excelează la a produce text plauzibil și cald, dar nu „înțeleg” pericolul așa cum o face un consilier. Ele nu pot vedea contextul complet, nu pot evalua istoric medical și nu pot, mai ales, interveni: să sune un părinte, să trimită un echipaj sau să facă o verificare la domiciliu. De aceea, chiar și răspunsuri bine-intenționate pot derapa, mai ales după multe schimburi în care modelul încearcă să fie de partea utilizatorului și să „mențină conversația”, diluând reflexele de siguranță.
Un precedent pentru întreaga industrie
Cazul deschis în California ar putea deveni un precedent pentru felul în care sunt evaluate riscurile și responsabilitățile în jurul IA conversaționale. Până acum, multe linii directoare s-au concentrat pe moderarea conținutului și pe filtre automate. Această tragedie arată că sunt necesare mai mult: limite explicite pentru discuțiile cu risc, fallback-uri ferme (de exemplu, întreruperea dialogului atunci când modelul detectează un pericol clar), „poduri” către oameni reali (consilieri, linii de criză), precum și transparență privind momentele când siguranța „cedează” în interacțiuni lungi.
În oglindă, pentru familii și școli, lecția e la fel de grea și practică: conversație deschisă despre starea emoțională, sensibilitate la schimbări bruște de comportament, igienă digitală (inclusiv verificarea setărilor de confidențialitate și a timpului petrecut cu astfel de aplicații) și, la nevoie, apel rapid la sprijin profesionist.
Ce urmează
OpenAI afirmă că își îmbunătățește în mod continuu protecțiile, că lucrează cu experți și că adaugă modalități de a facilita contactul cu serviciile de urgență și cu persoane de încredere atunci când apar semnale de criză. Industriei i se cere tot mai insistent să trateze sănătatea mintală ca pe un domeniu cu risc ridicat, nu ca pe un „edge case” al divertismentului conversațional. Iar legiuitorii vor fi chemați să decidă cum se aplică normele de responsabilitate în era în care o aplicație poate deveni — fără să fi fost vreodată concepută pentru asta — cel mai apropiat confesor al unui copil.
Indiferent de deznodământul juridic, povestea e un semnal de alarmă: IA nu poate ține locul unui adult prezent, al unui consilier, al unui medic sau al unei comunități care vede, aude și intervine. Companiile care construiesc astfel de produse au datoria să proiecteze frâne reale pentru momentele în care „empatia” artificială nu mai e suficientă.